Come posso fermare i motori di ricerca indicizzando una pagina di manutenzione

Question

Ho bisogno di impostare una pagina di manutenzione per un sito Web che sto utilizzando, ad es. per la visualizzazione quando eseguo la manutenzione del sito (tempi di inattività programmati) o se qualcosa si rompe veramente e ho bisogno di mettere su una pagina di attesa.

C'è qualcosa di speciale che devo fare per garantire che i crawler dei motori di ricerca non lo indicizzino e penso che sia il mio sito. O dovrei fare un 404, aggiungere un file robots.txt temporaneo o qualcosa del genere? Fondamentalmente non voglio che indicizzino come mio sito, ma non voglio nemmeno che credano che il mio sito sia morto e non torni indietro.

Edit: Ecco quello che ho fatto in Apache:!. ErrorDocument 503 /.server-maintenance.html RewriteEngine On RewriteRule^server maintenance.html/server-manutenzione Redirect 503/server-manutenzione testo forte

Answer 1

Si dovrebbe inviare un codice di stato HTTP 503 Service Unavailable, e non un 404. Utilizzalo unitamente all'intestazione Retry-After per comunicare ai robot quando tornare.

Answer 2

È possibile utilizzare un file robots.txt

http://www.robotstxt.org/

Inoltre, Google ha un validatore nei loro strumenti di webmaster.

https://www.google.com/webmasters/tools/

Answer 3

Un altro approccio sarebbe quello di non collegare la pagina di manutenzione da qualsiasi altra pagina sul tuo sito web (o qualsiasi altro sito web).

Answer 4

Il reso 503 Service Unavailable indica ai robot di Google di tornare più tardi. C'è un Google support page che descrive i codici di errore HTTP e il modo in cui sono interpretati da loro.

È inoltre possibile utilizzare Retry-After response header per suggerire il tempo minimo dopo il quale il sito viene ricontrollato per la disponibilità.