Краулер (Crawler)

Краулер (Crawler) – программное обеспечение поисковой системы, которое обходит веб-страницы и заносит их в индекс. Также программа, позволяющая спарсить все внутренние и внешние ссылки сайта, метатеги, заголовки, канонические URL и множество других данных, необходимых для SEO-специалиста.