Според едно от последните изследвания в интернет за ползването на robots.txt файла, само 38% от сайтовете се възползват от него. Вярно е, че научният труд засяга предимно англоезични сайтове, но не можем да кажем, че у нас цифрите биха могли да бъдат по-оптимистични или казано с други думи robots.txt не се ползва ефективно.

Защо robots.txt е толкова важен за SEO? Защото с няколко реда от по няколко знака указвате на търсачките какво да кешират и какво не, на вашия сайт. С robots.txt може да изключите индексирането на страници с повтарящо (еднакво) се съдържание или т.нар. duplicate content като страниците с включен session ID параметър в тях. Можете да изключвате файлове и директории, в които се намират темплейта на сайта или други служебни файлове, които по един или друг начин са станали достъпни за тъсачките.

В заключение искам да кажа, че от всички администрирани от мен сайтове, в един или друг момент се е появявала нуждата от ползване на robots.txt, затова направете си един такъв файл преди да пуснете сайта си. Това ще ви спести доста работа в един бъдещ период от време.

Протоколът за създаване на robots.txt файл е описан на достъпен език в Wikipedia.