Potrebbe anche essere utile per impostare un nofollow al vostro ambiente di staging, se si utilizza uno. Non sono sicuro se c'è un caso d'uso per avere un sito di staging indicizzato .... quindi se sei d'accordo potresti essere in grado di usare questi passaggi per aiutare a bloccarlo.
Se si utilizza Tomcat, impostare una variabile di ambiente come NOFOLLOW = true -> vedi qui, per esempio: TOMCAT_OPTS, environment variable and System.getEnv()
Prossimo come detto da @doelleri impostare i urlMappings
urlMappings
//Robots.txt
"/robots.txt"(controller: 'robots', action:'robots')
quindi utilizzare il robotsController per rilevare l'envir variabile onmentale impostata sul tomcat di staging.
RobotsController
def robots() {
if (System.getenv('NOFOLLOW') == 'true') {
render(view: 'robots')
} else {
render(status: 404, text: 'Failed to load robots.txt')
}
}
robots.gsp
<%@ page contentType="text/plain;charset=UTF-8" %>User-agent: *
Disallow:/
fonte
2015-12-07 19:17:51
Grazie. Funziona con i robot, ma non con sitemap.xml come faresti? – confile
Perché non funziona? – doelleri
"/sitemap.xml" (visualizza: "/ sitemap") non funziona. – confile