O que é uma aranha?

Uma aranha é um programa ou script escrito para navegar na World Wide Web de maneira sistemática com o objetivo de indexar sites. Uma aranha também pode ser chamada de web bot, web crawler ou web robot .

Por exemplo, os spiders costumam ser usados ​​para coletar palavras-chave de páginas da web que são então classificadas para que os usuários possam localizá-las por meio de um mecanismo de busca na Internet.

Bots, Rastreamento, Termos da Internet, Robô, Robots.txt, Página da web, Site