Crawler, spider lub robot, bądź bot
ang. CRAWL - czołgać się; SPIDER - pająk; roBOT - robot, automat) - program, który odwiedza każdą stronę internetową, “czyta” informacje na niej zawarte po to, by zindeksować je w wyszukiwarce internetowej. Crawler przegląda głównie nowe lub uaktualnione strony. Regularnie odwiedza całe witryny lub poszczególne podstrony, by zaktualizować dane w wyszukiwarce.
Zbiór zasad, jakimi powinny się [...]