robots.txt — файл ограничения доступа к
содержимому сайта поисковым роботам. Файл должен
находиться в корне сайта (то есть иметь путь
относительно имени сайта /robots.txt). При наличии
нескольких поддоменов файл должен располагаться в
корневом каталоге каждого из них. Данный файл дополняет
стандарт Sitemaps.
Использование
файла добровольно. Стандарт был принят консорциумом W3C
30 января 1994 года в списке рассылки robots-request@nexor.co.uk
и с тех пор используется большинством известных
поисковых машин.
Файл
robots.txt используется для частичного управления
индексированием сайта поисковыми роботами. Этот файл
состоит из набора инструкций для поисковых машин, при
помощи которых можно задать файлы, страницы или каталоги
сайта, которые не должны индексироваться.
Файл
robots.txt может использоваться для указания
расположения файла и может показать, что именно нужно, в
первую очередь, проиндексировать поисковому роботу.
