Modifica di user agent su urllib2.urlopen

Question

Come posso scaricare una pagina Web con un agente utente diverso da quello predefinito su urllib2.urlopen?

Answer 1

Setting the User-Agent dal preferito di tutti Dive Into Python.

Il racconto: è possibile utilizzare Request.add_header per farlo.

È inoltre possibile passare le intestazioni come un dizionario durante la creazione della richiesta stessa, as the docs note:

intestazioni dovrebbe essere un dizionario, e verranno trattati come se add_header() è stato chiamato con ogni chiave e valore come argomenti. Questo è spesso usato per "falsificare" l'intestazione User-Agent, che viene utilizzata da un browser per identificarsi; alcuni server HTTP consentono solo le richieste provenienti da browser comuni anziché da script. Ad esempio, Mozilla Firefox potrebbe identificarsi come "Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11", mentre la stringa di agente utente predefinita di urllib2 è "Python-urllib/2.6" (su Python 2.6).

Answer 2

I answered a similar question un paio di settimane fa.

C'è esempio di codice in questa domanda, ma in fondo si può fare qualcosa di simile: (. Si noti la capitalizzazione di User-Agent come di RFC 2616, sezione 14,43)

opener = urllib2.build_opener() 
opener.addheaders = [('User-Agent', 'Mozilla/5.0')] 
response = opener.open('http://www.stackoverflow.com') 

Answer 3

headers = { 'User-Agent' : 'Mozilla/5.0' } 
req = urllib2.Request('www.example.com', None, headers) 
html = urllib2.urlopen(req).read() 

Oppure, un po 'più corto :

req = urllib2.Request('www.example.com', headers={ 'User-Agent': 'Mozilla/5.0' }) 
html = urllib2.urlopen(req).read() 

Answer 4

Tutto questo dovrebbe funzionare in teoria, ma (con Python 2.7.2 su Windows, almeno) ogni volta che si invia un header personalizzato User-agent, urllib2 non invia che hea der. Se non si tenta di inviare un'intestazione User-agent, invia il default Python/urllib2

Nessuno di questi metodi sembrano funzionare per l'aggiunta di User-agent, ma lavorano per altre intestazioni:

opener = urllib2.build_opener(proxy) 
opener.addheaders = {'User-agent':'Custom user agent'} 
urllib2.install_opener(opener) 

request = urllib2.Request(url, headers={'User-agent':'Custom user agent'}) 

request.headers['User-agent'] = 'Custom user agent' 

request.add_header('User-agent', 'Custom user agent') 

Answer 5

Per pitone 3, urllib è suddiviso in 3 moduli ...

import urllib.request 
req = urllib.request.Request(url="http://localhost/",data=b'None',headers={'User-Agent':' Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0'}) 
handler = urllib.request.urlopen(req) 

Answer 6

Un'altra soluzione in urllib2 e Python 2.7:

req = urllib2.Request('http://www.example.com/') 
req.add_unredirected_header('User-Agent', 'Custom User-Agent') 
urllib2.urlopen(req) 

Answer 7

Per urllib si può usare:

from urllib import FancyURLopener 

class MyOpener(FancyURLopener, object): 
    version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11' 

myopener = MyOpener() 
myopener.retrieve('https://www.google.com/search?q=test', 'useragent.html') 

Answer 8

Prova questa:

html_source_code = requests.get("http://www.example.com/", 
        headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.107 Safari/537.36', 
          'Upgrade-Insecure-Requests': '1', 
          'x-runtime': '148ms'}, 
        allow_redirects=True).content 

Answer 9

ci sono due proprietà di urllib.URLopener() e cioè:
addheaders = [('User-Agent', 'Python-urllib/1.17'), ('Accept', '*/*')] e
version = 'Python-urllib/1.17'.
Per ingannare il sito Web è necessario modificare entrambi questi valori in un utente-agente accettato. per es.
browser Chrome: 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.149 Safari/537.36'
Google bot: 'Googlebot/2.1'
come questo

import urllib 
page_extractor=urllib.URLopener() 
page_extractor.addheaders = [('User-Agent', 'Googlebot/2.1'), ('Accept', '*/*')] 
page_extractor.version = 'Googlebot/2.1' 
page_extractor.retrieve(<url>, <file_path>) 

cambiare solo una proprietà non funziona perché il sito contrassegna come una richiesta di sospetto.