Robots.txt: questa regola jolly è valida?

Question

Domanda semplice. Voglio aggiungere:

Disallow */*details-print/ 

In sostanza, regole di blocco in forma di /foo/bar/dynamic-details-print --- foo e bar in questo esempio può anche essere totalmente dinamica.

ho pensato che questo sarebbe semplice, ma poi www.robotstxt.org c'è questo messaggio:

Si noti inoltre che globbing e l'espressione regolare non sono supportati sia in user-agent o impedire le linee. Il '*' nel campo User-agent è un valore speciale che significa "qualsiasi robot". In particolare, non è possibile avere righe come "User-agent: bot", "Disallow:/tmp/*" o "Disallow: * .gif".

Quindi non possiamo farlo? I motori di ricerca si attengono a questo? Ma poi, c'è Quora.com's robots.txt di file:

Disallow: /ajax/ 
Disallow: /*/log 
Disallow: /*/rss 
Disallow: /*_POST 

Allora, chi ha ragione - o sono io fraintendendo il testo sulla robotstxt.org?

Grazie!

Answer 1

La risposta è "dipende". Lo standard "robots.txt" come definito su robotstxt.org è il minimo che ci si aspetta che i robot supportino. Googlebot, MSNbot e Yahoo Slurp supportano alcune estensioni comuni e non c'è davvero modo di sapere cosa supportano gli altri robot. Alcuni dicono ciò che sostengono e altri no.

In generale, ci si può aspettare che i principali motori del motore di ricerca supportino i caratteri jolly che hai scritto, e quello che hai lì sembra che funzionerà. La soluzione migliore sarebbe eseguirla oltre uno o più dei validatori robots.txt these o utilizzare lo Webmaster tools di Google per controllarlo.