È possibile analizzare un sito Web React (Instagram) con Cheerio?

Question

Sto provando ad analizzare Instagram (creato con React) con Node.js/Cheerio. Il debug del documento mostra un oggetto restituito, ma non assomiglia alla tipica risposta.

Immagino che questo abbia a che fare con React. C'è un modo per aggirare questo, e tirare il DOM reso per analizzare con Cheerio? O mi manca qualcosa del tutto?

Grazie in anticipo.

Answer 1

Nel caso generale, se il sito Web è SEO friendly, è possibile farlo spoofing della stringa dell'agente utente di un crawler web. Questo restituisce un DOM reso che può essere analizzato da Cheerio.

Nel caso specifico - Instagram restituisce un DOM renderizzato sui suoi siti Web mobili. Spoof della stringa dell'agente utente di un telefono cellulare e puoi analizzare i dati che vengono restituiti.

 var options = { 
     url: user.instagram_url, 
     headers: { 
      'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.3 (KHTML, like Gecko) Version/8.0 Mobile/12A4345d Safari/600.1.4' 
     } 
     }; 

     request(options, function(error, response, html) { 
     if (!error) { 

      console.log('Scraper running on Instagram user page.'); 

      // Use Cheerio to load the page. 
      var $ = cheerio.load(html); 

      // Code to parse the DOM here 

     } 
     }