Glossario Web

Lo spider è il responsabile del processo di scansione e indicizzazione di un sito internet presente sul web. Gli spider di solito effettuano due tipi diversi di scansione: una scansione eseguita una volta al mese, la deep-crawl, e una scansione eseguita più di frequente, quasi giornalmente, chiamata fresh-crawl. Durante la deep-crawl vengono aggiornati tutti gli indici dei risultati.