מאמרים בנושאי קידום אתרים ואינטרנט

מועדי סריקת הרובוט של גוגל

על מנת לנסות להבין יותר את סריקות הרובוט של גוגל באתרים החלטתי לעשות ניסוי קטן. לקחתי לשם הדגמה אתר המכיל 10 עמודים והצבתי בכל עמוד סקריפט בצד שרת שמזהה סריקה של הרובוט. כל נתוני הסריקות הוכנסו לבסיס נתונים לצורך ניתוח התוצאות. אני מציג כאן את התוצאות והמסקנות הראשוניות ואני אמשיך לבדוק אותם גם באתרים נוספים ואדווח בהמשך.

• זיהיתי שבכל יום בשעה פחות או יותר קבועה (במקרה של אתר הניסוי מדובר בסביבות 8:00) מתבצעת גישה יחידה לעמוד הראשי של האתר. ייתכן שניתן להסיק מכך שגוגל במועד מסויים מבצע סריקה של האתרים השונים רק כדי לדעת האם הם קיימים.
• לאחר מספר שעות משתנה מתחילה סריקה של עמודי האתר שמתבצעת בפרק זמן של כשעתיים, כלומר כל מספר דקות אקראי נסרק עמוד אחר. ייתכן שפרק הזמן של השעתיים נובע מכמות העמודים של האתר.
• ישנם מקרים שעמוד אחד נסרק אפילו 3 פעמים באותו יום ולעיתים אותו עמוד נסרק פעמיים בהפרש של מספר שניות.
• לא כל יום נסרקים כל העמודים. ייתכן שניתן למצוא תבנית שיום אחד נסרקים כל העמודים, יום לאחריו נסרקים רק העמודים בהררכיה הגבוהה יותר וביום השלישי שוב כל העמודים.

כאמור, אלה הנתונים הראשונים, אני ממשיך בניסוי על מנת לנסות לפצח את תבנית הסריקה.לדעתי, בתהליך של קידום אתרים, חשוב למקדם האתר להבין לעומק את ה"עומד מולו". ייתכן שהנתונים ישתנו ברגע שאבדוק אותם על אתרים גדולים יותר, אבל לדעתי ניתן ללמוד משהו גם מהתוצאות שהתקבלו עד עכשיו.

המשיכו למאמר השני בנושא "מועדי סריקת הרובוט של גוגל"