Ritardo Jsoup dovuto allo streaming del sito Web

Question

Una domanda relativa a Jsoup: Sto creando uno strumento che recupera i prezzi da un sito Web. Tuttavia, questo sito ha contenuti in streaming. Se navigo manualmente, vedo i prezzi di 20 minuti fa e devo aspettare circa 3 secondi per ottenere il prezzo corrente. C'è un modo per fare qualche tipo di ritardo in Jsoup per poter ottenere i prezzi nella sezione streaming? Sto usando questo codice:

conn = Jsoup.connect(link).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36"); 

conn.timeout(5000); 

doc = conn.get(); 

Answer 1

Come accennato nei commenti, il sito è più probabile utilizzando qualche tipo di script che proprio non funziona con Jsoup. Poiché Jsoup riceve la risposta HTML iniziale e non esegue alcun javascript.

Volevo darvi un po 'più di sicurezza su dove andare ora. La soluzione migliore, in questi casi, è spostare su un'altra piattaforma per questi tipi di siti. Puoi eseguire la migrazione a HTMLUnit che è un browser senza testa o Selenium che può utilizzare HTMLUnit o un browser reale come Firefox o Chrome. Consiglierei il Selenium se pensi che avrai mai bisogno di superare HTMLUnit come HTMLUnit a volte può essere meno stabile di un browser rispetto ai browser consumer che Selenium può supportare. Puoi utilizzare Selenium con il driver HTMLUnit che ti offre la possibilità di spostarti in un altro browser in un secondo momento.

Answer 2

È possibile utilizzare un JavaFX WebView con javascript abilitato. Dopo aver atteso i due secondi, puoi estrarre i contenuti e passarli a JSoup.

 
(After loading your url into your WebView using the example above) 
String text=view.getEngine() executeScript("document.documentElement.outerHTML"); 
Document doc = Jsoup.parse(html);