Dove comincio con un bot web?

Question

Voglio semplicemente creare uno script automatico che può essere eseguito (preferibilmente) su un server web e semplicemente "clic" su un oggetto di una pagina web. Sono nuovo in Python o in qualsiasi lingua venga usata per questo quindi ho pensato di andare qui per chiedere da dove iniziare! Potrebbe sembrare che io voglia che la sceneggiatura imbrogli pubblicità o faccia qualcosa di illegale, ma è semplicemente per interagire con un altro sito web.

Answer 1

Suggerirei la libreria Python mechanize. È progettato per fungere da browser simulato. L'ho usato per guidare diverse interfacce Web da script.

Answer 2

Si consiglia di utilizzare il controllo WebBrowser del pacchetto .NET. Puoi accedere a tutti gli elementi DOM e interagire pienamente con qualsiasi sito web. Ecco un breve article

Se si preferisce ancora python, mechanize potrebbe essere un buon modo per farlo.

Answer 3

Probabilmente inizierei con Twill - è possibile utilizzare il suo linguaggio di scripting o API Python.

Answer 4

Non deve essere Python, l'ho visto fatto in PHP e Perl, e probabilmente lo si può fare in molte altre lingue. L'approccio generale è:

1) Si fornisce all'app un URL e invia una richiesta HTTP a tale URL. Penso di aver visto questo fatto con php/wget. Probabilmente molti altri modi per farlo.

2) Analizzare la risposta HTTP per altri URL che si desidera "fare clic" (in realtà, inviando loro richieste HTTP), quindi inviare richieste a tali utenti. L'analisi dei collegamenti richiede in genere una certa comprensione delle espressioni regolari (se non si ha familiarità con le espressioni regolari, rispolverare su di esse - sono cose importanti;)).