הפוסט שלי מלפני כמה ימים על כך שמנוע החיפוש (למעשה הרובוט) של תפוז לא מכבד את הקובץ robots.txt הכניס אותי למחקר טכנולוגי ומחשבתי קטן על כל הנושא שלימד אותי כמה דברים על תקנים רשמיים ועל תקנים נהוגים. למרות שהפוסט הזה טכני וספציפי, אני ממליץ לדלג למטה ולקרוא את המסקנות הרחבות שלי מכך.

לאחר כתיבת הפוסט, שלחתי את הטקסט שלו לדביר וולק, מפתח טכנולוגיית הארנבת שעליה מבוסס מנוע החיפוש של תפוז.

דביר כתב לי:

הקובץ רובוטס.טקסט שלך לא תקני, ובגלל זה הקרולר שלי קרא ממך דפים שהוא לא היה אמור. אולי גוגל סלחן לשגיאה שהיתה לך, אבל הקרולר שלי לא – אבל בכל מקרה החל מהיום הוא כן יהיה.

…

אי אפשר להשתמש בכוכביות פרט לציון שם הרובוט שאליו אתה מייעד את ההוראות

אני מצטט מתוך המדריך לבוני אתרים: The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "Disallow: /tmp/*" or "Disallow: *.gif".

מצד אחד, הקובץ אצלי באתר לא תקני. מצד שני, התקן לא מתאים לציפיות של מנהל האתר הסביר (אם יורשה לי לתת לעצמי את המחמאה הזאת).

אני השתמשתי בקובץ באתר שלי בתכונה לא תקנית וראיתי איך השימוש שלי משפיע על מנוע החיפוש הסטנדרטי – גוגל.

מכך הנחתי שעשיתי את הדבר הנכון ולכן ציפיתי ששאר מנועי החיפוש צריכים להתנהג באותה צורה וכעסתי כשזה לא קרה.

דביר פיתח את התוכנה שלו על פי התקן הרשמי ולא על פי התקן הנהוג. יכול להיות שהוא בכלל לא חשב לבדוק מה הוא התקן הנהוג. לאחר שהצבעתי בפניו על הבעיה הוא החליט לשנות את האופן שבו פועלת התוכנה שלו על פי התקן הנהוג.

אחד הדברים שלמדתי בתהליך הוא שכשמפתחים מערכת, צריכים לשאול האם קיים תקן נהוג למרות שיודעים שקיים תקן רשמי.

רק כשנמצאים מול העיניים שני סוגי התקנים אפשר לשאול איך לצריך לנהוג במקרה המסויים.

כשנמצאים בנקודת קבלת ההחלטה, אני חושב שתמיד כדאי להעדיף את נקודת המבט של חוויית המשתמש.

במקרה של תקני תצוגה, עדיף לפתח אתרים תקניים כי הם מסייעים לחוויית המשתמש.

במקרה של תוכנה הפועלת מול אתרי אינטרנט, המשתמש במקרה זה הוא מנהל האתר.

ישנם מקרים ידועים שבהם חברות מסחריות יוצרות "תקן נהוג" (מיקרוסופט-אקספלורר) שפוגע בחוויית המשתמש בטווח הארוך.

אני חושב שמקרה של robots.txt גוגל הרחיבו את התקן הרשמי לטובת בעלי האתרים בלי לפגוע בחוויית המשתמש העתידית שלהם ולכן כדאי לפעול על פי התקן שהנהיגה גוגל.

בכל מקרה, אני מודה לדביר וולק על השיחה ועל התיקון.