O que é o Crawl?

Rastrear é um termo usado para descrever o processo de um bot, script ou programa de software que visita uma página da web e captura o conteúdo e os links nessa página. Depois de concluído, o programa visita o próximo link na lista ou um dos links obtidos na página da Web que ele acabou de visitar.

Termos da Internet, Metacrawler, Motor de busca, Aranha