Analisi della pagina Web JavaScript in C# con AngleSharp

Question

La pagina Web utilizza javascript per creare il suo html, quindi ho bisogno di un parser html con supporto js.
Ho trovato anglesharp ma non riesco a farlo funzionare.

using AngleSharp; 
using System; 
using System.Collections.Generic; 
using System.Linq; 
using System.Net; 
using System.Text; 
using System.Threading.Tasks; 

namespace AngleSharpScraping 
{ 
    class Program 
    { 
     static void Main(string[] args) 
     { 
      GetMkvToolNix(); 
      Console.ReadKey(); 
     } 

     static async void GetMkvToolNix() 
     { 
      // Create a new configuration with javascript interpreter. 
      var config = new Configuration().WithJavaScript(); 

      // Parsing process. 
      var document = await BrowsingContext.New(config).OpenAsync(Url.Create("http://www.fosshub.com/MKVToolNix.html")); 
      var link = document.QuerySelector("body > div.container.page-content > div > div.col-sm-9 > article > div.main-dl-box > p:nth-child(2) > a.dwl-link.xlink").GetAttribute("data"); 

      Console.WriteLine(link); 
     } 
    } 
} 

Answer 1

AngleSharp è un parser di testo. Se si desidera analizzare le pagine Web dinamiche con JS, è necessario un browser headless.

This answer fornisce un paio di opzioni (almeno una versione gratuita e open source: WebKit.NET).

Answer 2

AngleSharp fornisce solo un parser HTML e CSS. Tuttavia, AngleSharp può essere esteso con funzionalità JavaScript. In questo momento il pacchetto che hai usato (AngleSharp.Scripting.JavaScript) è sperimentale e più o meno una prova di concetto.

I file JavaScript sulla pagina sono ancora troppo complessi per il supporto sperimentale. Il mio sforzo è quello di consentire il supporto per tali scenari il prima possibile, ma al momento dirò che WebKit.NET è probabilmente la soluzione migliore per risolvere il problema.

Un'altra possibile soluzione potrebbe essere l'utilizzo del driver C# per Selenium.

Non correlato all'intero argomento JavaScript: se si desidera caricare risorse esterne è necessario fornire un requester (http) appropriato. Il modo più semplice per farlo è quello di utilizzare quella di default:

var config = new Configuration().WithDefaultLoader(); 
var document = await BrowsingContext.New(config).OpenAsync("http://www.fosshub.com/MKVToolNix.html"); 
// ... 

In questa impostazione documenti esterni vengono caricati, ma altre risorse (ad esempio, le immagini, gli script, ...) non sono caricati.