Handling rss reindirizza con Python/urllib2

Question

Calling urrlib2.urlopen su un link a un articolo inverosimile da un feed RSS conduce alla seguente errore:

urllib2.HTTPError: HTTP Error 301: The HTTP server returned a redirect error tha t would lead to an infinite loop. The last 30x error message was: Moved Permanently

Secondo la documentazione, urllib2 supporta reindirizzamenti.

su Java il problema è stato risolto da solo chiamando

HttpURLConnection.setFollowRedirects(true);

Come posso risolverlo con Python?

UPDATE

Il link Sto avendo problemi con:

http://feeds.nytimes.com/click.phdo?i=8cd5af579b320b0bfd695ddcc344d96c

Answer 1

scopre che devi abilitare i cookie. La pagina si reindirizza a se stessa dopo aver impostato prima un cookie. Poiché urllib2 non gestisce i cookie per impostazione predefinita, devi farlo tu stesso.

import urllib2 
import urllib 
from cookielib import CookieJar 

cj = CookieJar() 
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) 
p = opener.open("http://feeds.nytimes.com/click.phdo?i=8cd5af579b320b0bfd695ddcc344d96c") 

print p.read() 

Answer 2

Niente di male con la soluzione @ di sleeplessnerd, ma questo è molto, molto leggermente più elegante:

import urllib2 
url = "http://stackoverflow.com/questions/9926023/handling-rss-redirects-with-python-urllib2" 
p = urllib2.build_opener(urllib2.HTTPCookieProcessor).open(url) 

print p.read() 

In realtà, se si guarda la documentazione in linea per la funzione CookieJar(), è più o -less vi dice di fare le cose in questo modo:

You may not need to know about this class: try urllib2.build_opener(HTTPCookieProcessor).open(url)