בניית אתרים כוללת שימוש בכלים שונים, שאינם גלויים לעין. אחדים מן הכלים הללו, שלכאורה אינם בעלי חשיבות, הם חיוניים מאד, שכן בלעדיהם יכול האתר להחשף לבעיות לא רצויות, כמו למשל פירסום של האתר מנועי החיפוש עוד לפני שבנייתם הושלמה ואף חשיפת מידע שבעלי האתר אינם חפצים לחשוף. הפעם נעסוק בשני כלים קטנים אבל חשובים מאד. אחד מהם הוא קובץ robots.txt שתפקידו לא תמיד ברור לבעלי אתרים ואפילו, לא תאמינו, גם לבוני-אתרים רבים. הכלי השני הוא תג מטא, noindex.
robots.txt, הוא קובץ טקסט קטן, הממוקם לרוב בספריית השורש של האתר בשרת האיחסון. תפקידו, על פי התפיסה הפופולארית הוא למנוע ממנועי החיפוש מלהגיע לדפים או ספריות מסויימות באתר שלנו, שאיננו מעוניינים בחשיפתם. זה נכון ולא נכון. או יותרנכון, לא מדוייק. לא מדובר בחסימה של מנועי החיפוש, אלא בבקשה למנועי החיפוש (ניתן להחליט על פניה לכולם, או מנועים ספציפיים) שלא לסרוק עמודים מסויימים.
עם זאת, למרות שבדרך כלל המנועים נענים לבקשה שלא לסרוק תוכן של דפים ספציפיים, אין זה מונע מהם לרשום (לאנדקס) את הדפים ולהציג את כתובתם )ה-URL). כלומר, אם התכוונתם להמנע מהצגת תוכן של דפים מסויימים, למרות שפירסמתם אותם באתר, יש לבחור להשתמש ב- robots.txt שעושה בדיוק את העבודה הזו.
לעומת זאת, אם הכוונה היתה למנוע את הרישום של כתובת הדף - כדי שמנועי החיפוש לא ירשמו אותם במאגר המידע שלהם, הבחירה הנכונה היא מטא תג אחר, noindex, שאותו יש להציב בחלק ה-HEAD של קוד ה-HTML בעמוד שאיננו מעוניינים באינדוקס שלו.
ההבדל בין שני התגים נעוץ באופן רישום הדפים במאגר הנתונים של מנועי החיפוש: רישום ("אינדוקס") העמודים נעשה רק כאשר גוגל ושאר מנועי החיפוש "נתקלים" בקישורים המובילים אל עמודים אלה, כלומר לכתובתם (URL). משום כך, גם אם בקובץ ה"רובוטוס" נרשום disallow , הפקודה או הבקשה, לא לסרוק את התוכן, אין גם הוראה שלא לרשום את כתובת העמוד או האתר. בקשה שלא לרשום את הכתובת, כאמור, צריכה להעשות ע"י שימוש ב-noidex, תג שבאופן הפשוט ביותר, אם אינכם רוצים להסתבך בעריכה של קוד ה-HTML, ניתן להציב באמצעות שימוש בפלגין ה-SEO הנפוץ של יוסט.
הסיבות למניעה של רישום העמוד או האתר במנועי החיפוש יכולות להיות רבות, שונות ומגוונות. אחת מהן, היא למנוע הגעה לאתר או לדפים מסויימים דרך חיפוש במנועי החיפוש, מאחר שהם עדיין בבניה במנועי החיפוש עוד קודם שבנייתו הושלמה, או דפים פרטיים, שאיננו מעוניינים שתוכנם יהיו פומבי. דפים אחרים, הם דפי "תודה", הנשלחים אוטמטית לגולשים שמילאו פרטים - וכמובן לא ממש רצוי שגולשים יגיעו אליהם ללא מעבר דרך מילוי הטופס.כך גם לגבי דפים שהאמורים להיות עמודי בונוס, או מתנה - בתגובה להיענות של גולשים שהגיעו דרך דפי נחיתה.