Fare richieste HTTP tramite il modulo Python Requests non funziona tramite proxy dove arriccia? Perché?

Question

Utilizzando questo comando ricciolo sono in grado di ottenere la risposta che sto cercando da Bash

curl -v -u z:secret_key --proxy http://proxy.net:80 \ 
-H "Content-Type: application/json" https://service.com/data.json 

I have already seen this other post on proxies with the Requests module

e mi ha aiutato a formulare il mio codice in Python, ma ho bisogno di fare una richiesta tramite un proxy . Tuttavia, pur fornendo i proxy appropriati, non funziona. Forse non sto vedendo qualcosa?

>>> requests.request('GET', 'https://service.com/data.json', \ 
>>> headers={'Content-Type':'application/json'}, \ 
>>> proxies = {'http' : "http://proxy.net:80",'https':'http://proxy.net:80'}, \ 
>>> auth=('z', 'secret_key')) 

Inoltre, nella stessa console python posso usare urllib per fare una richiesta se ha successo.

>>> import urllib 
>>> urllib.urlopen("http://www.httpbin.org").read() 
---results--- 

Persino le richieste di prova su un indirizzo non-https non funzionano.

>>> requests.get('http://www.httpbin.org') 
Traceback (most recent call last): 
File "<stdin>", line 1, in <module> 
File "/Library/Python/2.6/site-packages/requests/api.py", line 79, in get 
    return request('get', url, **kwargs) 
File "/Library/Python/2.6/site-packages/requests/api.py", line 66, in request 
    prefetch=prefetch 
File "/Library/Python/2.6/site-packages/requests/sessions.py", line 191, in request 
    r.send(prefetch=prefetch) 
File "/Library/Python/2.6/site-packages/requests/models.py", line 454, in send 
    raise ConnectionError(e) 
requests.exceptions.ConnectionError: Max retries exceeded for url: 

Le richieste sono così eleganti e fantastiche ma come potrebbe non riuscire in questo caso?

Answer 1

Il problema si trova in realtà con le librerie di accesso url standard di python - urllib/urllib2/httplib. Non riesco a ricordare quale libreria sia il colpevole esatto, ma per semplicità, chiamiamola urllib. Sfortunatamente, urllib non implementa il metodo HTTP Connect che è necessario per accedere a un sito https tramite un proxy http (s). I miei sforzi per aggiungere la funzionalità usando urllib non hanno avuto successo (è passato un po 'di tempo da quando ho provato). Quindi, sfortunatamente, l'unica opzione che so funzionare è usare pycurl per questo caso.

Tuttavia, esiste una soluzione relativamente pulita che è quasi esattamente la stessa API delle richieste python, ma utilizza un backend pycurl invece delle librerie standard Python.

La libreria è denominata human_curl. L'ho usato io stesso e ho avuto ottimi risultati.

Answer 2

believeing ​​sopra risposta che abbiamo provato human_curl

human_curl ha dato errori, come errori sconosciuto, mentre urllib3 dato correggere gli errori come Richiesta scaduta, Max tentativi superato con l'URL.

Quindi, siamo tornati a urllib3, urllib3 è thread-safe. Siamo felici con urllib3

unico problema ora abbiamo capito "Max tentativi superato", non possiamo risolverlo, indovinando potrebbe essere a che fare con il server/proxy, ma non è sicuro.