Поисковый робот (бот, паук, агент)

Поисковый робот — специальная программа, принадлежащая определённой поисковой системе и предназначенная для индексирования (занесения в базу сайтов поисковой системы) сайтов и их страниц, найденных в интернет-пространстве. Также принятые названия: краулер, бот, паук, webcrawler, bot, automaticindexer, ant, webrobots, webspider, webscutter.

Сообщите о предложении или проблеме