Beautiful Soup per analizzare l'url per ottenere altri dati URL

Question

Ho bisogno di analizzare un URL per ottenere un elenco di URL che si collegano a una pagina di dettaglio. Poi da quella pagina ho bisogno di ottenere tutti i dettagli da quella pagina. Ho bisogno di farlo in questo modo perché l'url della pagina di dettaglio non viene regolarmente incrementato e cambia, ma la pagina dell'elenco degli eventi rimane la stessa.

In sostanza:

example.com/events/ 
    <a href="http://example.com/events/1">Event 1</a> 
    <a href="http://example.com/events/2">Event 2</a> 

example.com/events/1 
    ...some detail stuff I need 

example.com/events/2 
    ...some detail stuff I need 

Answer 1

import urllib2 
from BeautifulSoup import BeautifulSoup 

page = urllib2.urlopen('http://yahoo.com').read() 
soup = BeautifulSoup(page) 
soup.prettify() 
for anchor in soup.findAll('a', href=True): 
    print anchor['href'] 

che vi darà l'elenco di URL. Ora è possibile scorrere su questi URL e analizzare i dati.

• inner_div = soup.findAll("div", {"id": "y-shade"}) Questo è un esempio. Puoi seguire i tutorial di BeautifulSoup.

Answer 2

Usa urllib2 per ottenere la pagina, quindi utilizzare bella zuppa per ottenere l'elenco di link, anche provare scraperwiki.com

Edit:

scoperta recente: Utilizzando BeautifulSoup attraverso lxml con

from lxml.html.soupparser import fromstring 

è miglia migliore di solo BeautifulSoup. Ti permette di fare dom.cssselect ('il tuo selettore') che è un risparmiatore di vita. Assicurati di avere una buona versione di BeautifulSoup installata. 3.2.1 funziona a meraviglia.

dom = fromstring('<html... ...') 
navigation_links = [a.get('href') for a in htm.cssselect('#navigation a')] 

Answer 3

Per il prossimo gruppo di persone che vengono in questo, BeautifulSoup è stato aggiornato a V4 come di questo post come v3 non viene più aggiornato ..

$ easy_install beautifulsoup4 

$ pip install beautifulsoup4 

Per utilizzare in Python ...

import bs4 as BeautifulSoup