Sto provando a scrivere un proxy Web in python. L'obiettivo è di visitare un URL come: http://proxyurl/http://anothersite.com/ e vedere il contenuto di http://anothersite.com proprio come faresti normalmente. Sono arrivato decentemente lontano abusando della libreria delle richieste, ma questo non è proprio l'uso previsto del framework delle richieste. Ho già scritto dei proxy con twisted, ma non sono sicuro di come collegarlo a ciò che sto cercando di fare. Ecco dove sono a finora ...Come scrivere un proxy Web in Python
import os
import urlparse
import requests
import tornado.ioloop
import tornado.web
from tornado import template
ROOT = os.path.dirname(os.path.abspath(__file__))
path = lambda *a: os.path.join(ROOT, *a)
loader = template.Loader(path(ROOT, 'templates'))
class ProxyHandler(tornado.web.RequestHandler):
def get(self, slug):
if slug.startswith("http://") or slug.startswith("https://"):
if self.get_argument("start", None) == "true":
parsed = urlparse.urlparse(slug)
self.set_cookie("scheme", value=parsed.scheme)
self.set_cookie("netloc", value=parsed.netloc)
self.set_cookie("urlpath", value=parsed.path)
#external resource
else:
response = requests.get(slug)
headers = response.headers
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
for block in response.iter_content(1024):
self.write(block)
self.finish()
return
else:
#absolute
if slug.startswith('/'):
slug = "{scheme}://{netloc}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
original_slug=slug,
)
#relative
else:
slug = "{scheme}://{netloc}{path}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
path=self.get_cookie('urlpath'),
original_slug=slug,
)
response = requests.get(slug)
#get the headers
headers = response.headers
#get doctype
doctype = None
if '<!doctype' in response.content.lower()[:9]:
doctype = response.content[:response.content.find('>')+1]
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
self.write(response.content)
application = tornado.web.Application([
(r"/(.+)", ProxyHandler),
])
if __name__ == "__main__":
application.listen(8888)
tornado.ioloop.IOLoop.instance().start()
Solo una nota, ho impostare un cookie per conservare lo schema, netloc, e URLPath se c'è start = true nella querystring. In questo modo, qualsiasi collegamento relativo o assoluto che colpisce il proxy utilizza quel cookie per risolvere l'url completo.
Con questo codice, se si passa a http://localhost:8888/http://espn.com/?start=true vedrete il contenuto di ESPN. Tuttavia, nel seguente sito non funziona affatto: http://www.bottegaveneta.com/us/shop/. La mia domanda è, qual è il modo migliore per farlo? È il modo attuale in cui sto implementando questo robusto o ci sono alcuni trabocchetti terribili a farlo in questo modo? Se è corretto, perché alcuni siti come quello che ho segnalato non funzionano affatto?
Grazie per qualsiasi aiuto.
Bottega Veneta non consente di accedere direttamente alle risorse. Ad esempio, prova a premere http://www.bottegaveneta.com/us/shop/css/bottegaveneta/form.css - Ricevo una pagina HTML 404. –
Immagino che abbia a che fare con il Referrer HTTP. Puoi provare a impostare anche quello. –
@Cole Oh, intendi il referente? (https://en.wikipedia.org/wiki/HTTP_referer#Origin_of_the_term_referer) – rakslice