Feedparser - recupera i vecchi messaggi da Google Reader

Question

Sto usando la libreria feedparser in python per recuperare le notizie da un giornale locale (il mio intento è quello di eseguire Natural Language Processing su questo corpus) e vorrei poter recuperare molti passati voci dal feed RSS.

Non conosco molto bene i problemi tecnici dell'RSS, ma penso che questo dovrebbe essere possibile (vedo che Google Reader e Feedly possono fare questo "on demand" mentre sposto la barra di scorrimento).

Quando faccio la seguente:

import feedparser 

url = 'http://feeds.folha.uol.com.br/folha/emcimadahora/rss091.xml' 
feed = feedparser.parse(url) 
for post in feed.entries: 
    title = post.title 

ottengo solo una dozzina di voci o giù di lì. Stavo pensando a centinaia. Forse tutte le voci nell'ultimo mese, se possibile. È possibile farlo solo con feedparser?

Ho intenzione di ottenere dal feed rss solo il collegamento alla notizia e analizzare la pagina intera con BeautifulSoup per ottenere il testo che voglio. Una soluzione alternativa sarebbe un crawler che segue tutti i link locali nella pagina per ottenere molte notizie, ma per ora voglio evitarlo.

-

Una soluzione che è apparso è quello di utilizzare la cache di Google Reader RSS:

http://www.google.com/reader/atom/feed/http://feeds.folha.uol.com.br/folha/emcimadahora/rss091.xml?n=1000

Ma per accedere a questo devo essere loggato per Google Reader. Qualcuno sa come lo faccio da Python? (Io davvero non so nulla del web, di solito mi pasticcio solo con il calcolo numerico).

Answer 1

Stai ricevendo solo una dozzina di voci, perché è quello che contiene il feed. Se vuoi dati storici devi trovare un feed/database di tali dati.

Controlla questo ReadWriteWeb article per alcune risorse sulla ricerca di dati aperti sul Web.

Nota che Feedparser non ha nulla a che fare con questo come suggerisce il tuo titolo. Feedparser analizza ciò che gli dai. Non può trovare dati storici a meno che non li trovi e li trasmettano. È semplicemente un parser. Spero che chiarisca le cose! :)

Answer 2

Per espandere la risposta di Bartek: è anche possibile iniziare a memorizzare tutte le voci nel feed che hai già visto e creare il tuo archivio storico del contenuto del feed. Ciò ritarderebbe la tua capacità di iniziare ad usarlo come un corpus (perché dovresti farlo per un mese per costruire una raccolta di entrate di un mese), ma non dovresti dipendere da nessun altro per i dati .

Potrei sbagliarmi, ma sono abbastanza sicuro che è così che Google Reader può tornare indietro nel tempo: hanno le voci passate di ciascun feed memorizzate da qualche parte.