Dopo aver letto e commentato questa domanda PHP Library for Keeping your site index by Google, Bing, etc, ero curioso di vedere StackOverFlow sitemap. Ciò ha restituito un errore 404 che sto cercando di indovinare è solo una pagina protetta determinando se sei un Index Bot o semplicemente non esiste.Perché il robot di indicizzazione di Yahoo è considerato "malvagio"?
Questo mi porta quindi a guardare lo robots.txt per StackOverFlow. Sono rimasto sorpreso nel vedere il commento "Yahoo bot è malvagio" insieme a un paio di altri robot di indicizzazione (Spinn3r e KSCrawler). Io sono unfamilular con Spinn3r e KSCrawler ma la mia domanda è, perché questi robot (in particolare Yahoo) sono considerati malvagi? Sicuramente qualsiasi indicizzazione di qualsiasi motore di ricerca è una buona cosa?