Sto scaricando un file usando Python urllib2. Come posso verificare quanto è grande la dimensione del file?

Question

E se è grande ... quindi interrompere il download? Non voglio scaricare file di dimensioni superiori a 12 MB.

request = urllib2.Request(ep_url) 
request.add_header('User-Agent',random.choice(agents)) 
thefile = urllib2.urlopen(request).read() 

Answer 1

Non è necessario come bobince fatto e passare a httplib. Si può fare tutto ciò che con urllib direttamente:

>>> import urllib2 
>>> f = urllib2.urlopen("http://dalkescientific.com") 
>>> f.headers.items() 
[('content-length', '7535'), ('accept-ranges', 'bytes'), ('server', 'Apache/2.2.14'), 
('last-modified', 'Sun, 09 Mar 2008 00:27:43 GMT'), ('connection', 'close'), 
('etag', '"19fa87-1d6f-447f627da7dc0"'), ('date', 'Wed, 28 Oct 2009 19:59:10 GMT'), 
('content-type', 'text/html')] 
>>> f.headers["Content-Length"] 
'7535' 
>>> 

Se si utilizza httplib allora potrebbe essere necessario implementare la gestione di reindirizzamento, supporto proxy, e le altre belle cose che urllib2 fa per voi.

Answer 2

è possibile controllare il contenuto di lunghezza in una richiesta HEAD prima, ma attenzione, questa intestazione non deve essere impostato - vedere How do you send a HEAD HTTP request in Python 2?

Answer 3

Si potrebbe dire:

maxlength= 12*1024*1024 
thefile= urllib2.urlopen(request).read(maxlength+1) 
if len(thefile)==maxlength+1: 
    raise ThrowToysOutOfPramException() 

ma ovviamente hai ancora letto 12 MB di dati indesiderati. Se vuoi minimizzare il rischio che ciò accada, puoi controllare l'intestazione HTTP Content-Length, se presente (potrebbe non esserlo). Ma per farlo devi scendere a httplib invece del più generale urllib.

u= urlparse.urlparse(ep_url) 
cn= httplib.HTTPConnection(u.netloc) 
cn.request('GET', u.path, headers= {'User-Agent': ua}) 
r= cn.getresponse() 

try: 
    l= int(r.getheader('Content-Length', '0')) 
except ValueError: 
    l= 0 
if l>maxlength: 
    raise IAmCrossException() 

thefile= r.read(maxlength+1) 
if len(thefile)==maxlength+1: 
    raise IAmStillCrossException() 

È possibile controllare la lunghezza prima di chiedere di ottenere il file, se si preferisce. Questo è fondamentalmente lo stesso di sopra, tranne che usando il metodo 'HEAD' anziché 'GET'.

Answer 4

Ciò funzionerà se l'intestazione Content-Length è impostato

import urllib2   
req = urllib2.urlopen("http://example.com/file.zip") 
total_size = int(req.info().getheader('Content-Length'))