0

Ao capturar a pagina e exibir a mesma no console, percebi que o HTML não estava completo. Durante a execução consigo perceber que ele me retorna muitos elementos, mas quando termina a execução o console não tem 1/10 do conteúdo que foi visto durante a execução.

O problema em questão, é que não consigo capturar um elemento existente na pagina (return = null), acredito eu, que esteja relacionado á situação citada acima.

Alguém sabe me falar algo que possa me ajudar a solucionar o problema?

Code:

public class WebCaptura {

 public static void main(String[] args){

     String url = "https://g1.globo.com/";
     Document doc;      
    try{
        doc = Jsoup.connect(url).userAgent("Mozilla").get();
        Element body = doc.getElementsByTag("main").first();

        System.out.println(""+doc.getAllElements());
        System.out.println("----- END -----");
        System.out.println(""+body);

        Element news = doc.getElementsByClass("bstn-hl-wrapper").first();
        System.out.println("--- Conteudo de interesse ---");
        System.out.println(""+news);

    }catch (Exception e) {
        e.printStackTrace();
    }

}
}

Console durante execução:

inserir a descrição da imagem aqui

Console depois da execução:

inserir a descrição da imagem aqui

Como o elemento que eu tenho interesse se encontra na pagina:

inserir a descrição da imagem aqui

1 Resposta 1

1

Provavelmente isso está acontecendo devido a limitação do console da IDE em sí, você pode ajustar essa limitação da seguinte forma:

Opção do console -> Clique direito no console -> Preferências

Após abrir as configurações deve-se desabilitar a limitação de saída do console:

Exemplo de configuração -> Limitar saída do console

De qualquer forma, remover essa limitação é extremamente ruim, visto que vai sobrecarregando o buffer do console e deixando a IDE lenta.

A melhor forma de resolver seu problema seria jogar todo o conteúdo baixado para um arquivo. Com isso você iria sempre complementando o final do arquivo com o conteúdo, e no final das paginações teria o documento completo.

1
  • Retirei a limitação do console e achei o elemento, porém estava com valores diferentes nos identificadores, por isso não foi possível achar o mesmo pelo Jsoup.
    – Lucas
    Commented 20/04/2020 às 0:59

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .