חיפוש במנוע של תפוז (שכבר נטשתי, אבל זה סיפור אחר) הציג לי תוצאות מתוך אתר שתיל (שאותו אני מנהל) שלא היו אמורות להופיע. מדובר במודעות דרושים וחיפוש עבודה עם פרטים אישיים של אנשים שלא ראוי שיגיעו ויוצגו במנועי החיפוש. כדי להגביל את הופעת המודעות במנועי החיפוש יצרתי את הקובץ robots.txt שעל פיו אמורים מנועי החיפוש להימנע מאינדוקס תכנים מסויימים באתר.
גוגל ויהאו מכבדים את ההנחיות בקובץ.
הרובוט של תפוז לא כיבד את ההנחיות בקובץ ואינדקס את המודעות. חלק מהמודעות זמינות לצפיה בגרסת המטמון וזה מאד מכעיס אותי.
בבקשה לתקן. מהר. תודה.
Pingback: וובסטר 2 - חנן כהן » ארכיון הבלוג » על תקנים רשמיים ותקנים נהוגים
Pingback: חנן נהיה מיקרוסופט, וליאור הנרד לא קורא » Content / Interactive
Pingback: » עיתונאים, בלוגרים, חברים, ידידים » וובסטר 3 - חנן כהן