Consenti solo a Google CSE e non consente la ricerca standard di Google in ROBOTS.txt

Question

Ho un sito su cui sto utilizzando un motore di ricerca personalizzato di Google. Desidero che Google CSE esegua la scansione del mio sito ma voglio che rimanga fuori dai risultati di una normale ricerca di Google. Ho messo questo nel mio file robots.txt sperando che i bot di Google CSE avrebbero ignorato da quando ho specificato le pagine ho voluto Google CSE a strisciare nelle impostazioni

User-agent: * 
Disallow:/

Credo che il bot di Google CSE hanno anche obbedire robot. testo. Quindi c'è un modo per far sì che la mia pagina rimanga fuori dalle ricerche nei motori di ricerca, ma Google CSE è ancora in grado di indicizzarla? TIA!

Answer 1

Non esiste una soluzione a questa domanda che si adatti a ciò che desideri. Anch'io ho la stessa situazione in cui ho bisogno solo di ricerca personalizzata. Purtroppo l'elenco di Google di crawlers non mostra un bot specifico per la ricerca personalizzata di Google. Il blocco di Googlebot ucciderà sia la ricerca nativa sia la ricerca personalizzata.