HTTPS accedi con urllib2

Question

Attualmente ho un piccolo script che scarica una pagina web ed estrae alcuni dati a cui sono interessato. Niente di particolare.

Attualmente sto scaricando la pagina in questo modo:

import commands 
command = 'wget --output-document=- --quiet --http-user=USER --http-password=PASSWORD https://www.example.ca/page.aspx' 
status, text = commands.getstatusoutput(command) 

Anche se questo funziona perfettamente, ho pensato che sarebbe dare un senso di rimuovere la dipendenza da wget. Ho pensato che sarebbe stato banale convertire il precedente in urllib2, ma finora non ho avuto successo. Internet è pieno di esempi di urllib2, ma non ho trovato nulla che corrisponda al mio bisogno di un semplice username e password di autenticazione HTTP con un server HTTPS.

Answer 1

Il modulo requests fornisce un'API moderna per HTTP/HTTPS capacità.

import requests 

url = 'https://www.someserver.com/toplevelurl/somepage.htm' 

res = requests.get(url, auth=('USER', 'PASSWORD')) 

status = res.status_code 
text = res.text 

Answer 2

this dice, dovrebbe essere semplice

[come] fino a quando il Python locale ha il supporto SSL.

Se si utilizza solo l'autenticazione di base HTTP, è necessario impostare un gestore diverso, come descritto here.

Citando l'esempio c'è:

import urllib2 

theurl = 'http://www.someserver.com/toplevelurl/somepage.htm' 
username = 'johnny' 
password = 'XXXXXX' 
# a great password 

passman = urllib2.HTTPPasswordMgrWithDefaultRealm() 
# this creates a password manager 
passman.add_password(None, theurl, username, password) 
# because we have put None at the start it will always 
# use this username/password combination for urls 
# for which `theurl` is a super-url 

authhandler = urllib2.HTTPBasicAuthHandler(passman) 
# create the AuthHandler 

opener = urllib2.build_opener(authhandler) 

urllib2.install_opener(opener) 
# All calls to urllib2.urlopen will now use our handler 
# Make sure not to include the protocol in with the URL, or 
# HTTPPasswordMgrWithDefaultRealm will be very confused. 
# You must (of course) use it when fetching the page though. 

pagehandle = urllib2.urlopen(theurl) 
# authentication is now handled automatically for us 

Se lo fai Digest, dovrete impostare alcune intestazioni supplementari, ma sono gli stessi indipendentemente utilizzo di SSL. Google per python + urllib2 + http + digest.

Cheers,

Answer 3

La documentazione urllib2 ha un esempio di lavorare con l'autenticazione di base:

http://docs.python.org/library/urllib2.html#examples