website-admin

7calore

1risposta

Tipico fattore di cortesia per un web crawler?

Qual è un tipico fattore di cortesia per un web crawler? parte sempre obbedire robot.txt Sia il "Disallow:" e non standard "Crawl-delay:" Ma se un sito non specifica un esplicito crawl-delay quale dov