Ao capturar a pagina e exibir a mesma no console, percebi que o HTML não estava completo. Durante a execução consigo perceber que ele me retorna muitos elementos, mas quando termina a execução o console não tem 1/10 do conteúdo que foi visto durante a execução.
O problema em questão, é que não consigo capturar um elemento existente na pagina (return = null), acredito eu, que esteja relacionado á situação citada acima.
Alguém sabe me falar algo que possa me ajudar a solucionar o problema?
Code:
public class WebCaptura {
public static void main(String[] args){
String url = "https://g1.globo.com/";
Document doc;
try{
doc = Jsoup.connect(url).userAgent("Mozilla").get();
Element body = doc.getElementsByTag("main").first();
System.out.println(""+doc.getAllElements());
System.out.println("----- END -----");
System.out.println(""+body);
Element news = doc.getElementsByClass("bstn-hl-wrapper").first();
System.out.println("--- Conteudo de interesse ---");
System.out.println(""+news);
}catch (Exception e) {
e.printStackTrace();
}
}
}
Console durante execução:
Console depois da execução:
Como o elemento que eu tenho interesse se encontra na pagina: