Это текстовый файл (формат .txt), который находится в корне (корневой директории) вашего сайта. В файле записаны инструкции для поискового робота, что ему делать с информацией на сайте, что можно индексировать, а что запрещено к индексации, какое главное зеркало, есть ли ссылка на карту сайта.