6
Sto cercando un elenco completo di User-Agent di BOT (crawler, spider, twitter bot, ecc.).Come sapere se HTTP Request è un BOT
Sai qualcosa?
Grazie
A
risposta
3
Per farla breve: non puoi, non c'è un proiettile d'argento. Qualsiasi bot può impostare la sua stringa user-agent su qualsiasi cosa, da "googlebot" a "spamalot".
Potete vederlo da soli, tutto quello che dovete fare è andare al primo sito indicato da Shinnok e iniziare a contare tutti i robot Googlebot/2.X elencati qui. Li blocchi, cambiano il nome del bot in parole senza senso casuali e così via. Alla fine ti ritroverai con un elenco di robot di 10k che ridurrà i tempi di caricamento degli utenti quando proverai a verificare se sono bot o meno.
+1
come fa Google in Analytics? – Himberjack
4
controllare questo elenco: http://www.botsvsbrowsers.com/category/1/index.html
Contiene un numero totale di 4768 agenti utente bot.
L'altro modo per realizzare il rilevamento dei bot è utilizzare l'approccio inverso in un modo white-list, ovvero verificare se l'agente utente non è un bot, quindi qualsiasi altra cosa è un bot. :-)
Per compilare un elenco completo di agenti non utente bot è possibile utilizzare gli elenchi a http://www.user-agents.org/ e http://www.botsvsbrowsers.com/.
+0
Un altro: http://www.useragentstring.com/pages/useragentstring.php – surfealokesea
Problemi correlati
- 1. Come posso sapere se Request/Response è disponibile in Application_Error?
- 2. Come sapere se un elemento è reso?
- 3. HTTP DELETE request
- 4. SOAP: HTTP Bad Request
- 5. Come sapere se l'utente ha visto un messaggio inviato dal mio bot in Telegram?
- 6. Come sapere se NSManagedObject è stato salvato?
- 7. Come sapere se PropertyInfo è una raccolta
- 8. Come sapere se l'oggetto raphael è nascosto?
- 9. Come sapere se __uint128_t è definito
- 10. Come sapere se un oggetto è autoreleased o no?
- 11. Java BufferedImage come sapere se un pixel è trasparente
- 12. Come sapere se un MediaRecorder è in esecuzione o no?
- 13. Come faccio a sapere se un appuntamento è privato
- 14. Come sapere se un canale SSH paramiko è disconnesso?
- 15. Come posso sapere se un "assemblaggio" è davvero cambiato?
- 16. Come sapere se .keyup() è un tasto carattere (jQuery)
- 17. PHP Come sapere se una variabile è un riferimento?
- 18. Come sapere se un webworker è ancora in esecuzione?
- 19. Come sapere se un modello è nuovo o no?
- 20. Come posso sapere se un controllo Delphi è attualmente visibile?
- 21. Come sapere se un PHAsset è stato modificato?
- 22. Come sapere se un assembly .NET è dinamico?
- 23. Come posso sapere se un determinato hWnd è ancora valido?
- 24. Come sapere se un flusso BufferedReader è chiuso
- 25. Git: come sapere se un commit è selezionato in ciliegio?
- 26. Utilizzando jQuery, come posso sapere se un modulo è cambiato?
- 27. Http get request size packet in byte
- 28. Come fa un browser a sapere se un sito supporta HTTP/2?
- 29. Come posso sapere se la richiesta al servlet è stata eseguita utilizzando HTTP o HTTPS?
- 30. Come rimuovere unmarshall akka http request entity come stringa?
Cosa c'entra questo con la programmazione? – sbi
Ne ho bisogno per filtrare le richieste HTTP – Himberjack
Google go down dove vivi? Fortunatamente funziona per me. Ecco qua: [http://www.user-agents.org/](http://www.user-agents.org/). –