Ottieni tutti i link sulla pagina html?

Question

Sto lavorando su un piccolo progetto per hobby. Ho già scritto il codice per ottenere un URL, scaricare l'intestazione e restituire il tipo MIME/tipo di contenuto.

Tuttavia, il passo prima di questo è quello im bloccato su - ho bisogno di recuperare il contenuto di tutti gli URL sulla pagina in base all'interno di un tag, e tra virgolette IE

... 
<link rel='shortcut icon' href="/static/favicon.ico" type="image/x-icon" /> 
... 

avrebbe trovato la favicon collegamento.

C'è qualcosa di utile nella libreria .net o si tratta di un caso per regex?

Answer 1

Guarderei usando lo Html Agility Pack.

Ecco un esempio direttamente dalla loro pagina esempi su come trovare tutti i link in una pagina:

HtmlWeb hw = new HtmlWeb(); 
HtmlDocument doc = hw.Load(/* url */); 
foreach(HtmlNode link in doc.DocumentNode.SelectNodes("//a[@href]")) 
{ 

} 

Answer 2

non c'è nulla integrato nel BCL, ma per fortuna è possibile utilizzare il HTML Agility Pack per raggiungere questo obiettivo compito abbastanza semplicemente.

quanto riguarda il tuo problema specifico, vedere Easily extracting links from a snippet of html with HtmlAgilityPack:

private List<string> ExtractAllAHrefTags(HtmlDocument htmlSnippet) 
{ 
    List<string> hrefTags = new List<string>(); 

    foreach (HtmlNode link in htmlSnippet.DocumentNode.SelectNodes("//a[@href]")) 
    { 
     HtmlAttribute att = link.Attributes["href"]; 
     hrefTags.Add(att.Value); 
    } 

    return hrefTags; 
} 

Answer 3

È necessario utilizzare il HTML Agility Pack.

Ad esempio:

var doc = new HtmlWeb().Load(url); 
var linkTags = doc.DocumentNode.Descendants("link"); 
var linkedPages = doc.DocumentNode.Descendants("a") 
            .Select(a => a.GetAttributeValue("href", null)) 
            .Where(u => !String.IsNullOrEmpty(u)); 

Answer 4

Come su Regex?

<(a|link).*?href=(\"|')(.+?)(\"|').*?> 

con bandiere IgnoreCase e SingleLine

Vedere demo su systemtextregularexpressions.com regex.matches