Python BeautifulSoup Estrai URL specifici

Question

È possibile ottenere solo URL specifici?

come:

<a href="http://www.iwashere.com/washere.html">next</a> 
<span class="class">...</span> 
<a href="http://www.heelo.com/hello.html">next</a> 
<span class="class">...</span> 
<a href="http://www.iwashere.com/wasnot.html">next</a> 
<span class="class">...</span> 

uscita dovrebbe essere solo gli URL da http://www.iwashere.com/

come, gli URL di uscita:

http://www.iwashere.com/washere.html 
http://www.iwashere.com/wasnot.html 

l'ho fatto con la logica della stringa. Esiste un metodo diretto con BeautifulSoup?

Answer 1

È possibile abbinare molteplici aspetti, tra cui l'uso di un'espressione regolare per il valore di attributo:

import re 
soup.find_all('a', href=re.compile('http://www\.iwashere\.com/')) 

che corrisponde (per l'esempio):

[<a href="http://www.iwashere.com/washere.html">next</a>, <a href="http://www.iwashere.com/wasnot.html">next</a>] 

in modo che qualsiasi <a> tag con un attributo href che ha un valore che inizia con la stringa http://www.iwashere.com/.

È possibile effettuare il ciclo sui risultati e scegliere solo l'attributo href:

>>> for elem in soup.find_all('a', href=re.compile('http://www\.iwashere\.com/')): 
...  print elem['href'] 
... 
http://www.iwashere.com/washere.html 
http://www.iwashere.com/wasnot.html 

Per abbinare tutti i percorsi relativi, invece, utilizzare un negativo asserzione look-ahead che verifica se il valore non non inizio con uno schema (ad esempio http: o mailto:) o una doppia barra (//hostname/path); tale valore deve essere un percorso relativo, invece:

soup.find_all('a', href=re.compile(r'^(?!(?:[a-zA-Z][a-zA-Z0-9+.-]*:|//))')) 

Answer 2

Se stai usando BeautifulSoup 4.0.0 o superiore:

soup.select('a[href^="http://www.iwashere.com/"]')