1

Estou com um problema com blibioteca Jsoup, que quando eu tento fazer a conexão com uma certa página, ele simplesmente não me retorna nenhum valor a partir da conexão.

public static void main(String[] args) {

    try{

        Document doc = Jsoup.connect("http://pt.stackoverflow.com/").get();

        //Pegando elemento das perguntas
        Elements elements = doc.select("a.question-hyperlink");

        System.out.println("O  titulo da página é: "+doc.title());

        //exibindo titulo da pergunta
        for(int i = 0; i <elements.size(); i++){
            System.out.println(elements.get(i).text());
        }
    }catch(Exception e){
        System.out.println("Erro "+ e);
    }
}

Por coincidência eu testei com Stack Overflow e ele deu o mesmo problema.

Retorno do IDE Netbeans:

Erro: org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403, URL=http://pt.stackoverflow.com/

------------------------------------------------------------------------
BUILD SUCCESS
------------------------------------------------------------------------
Total time: 1.282s
Finished at: Sun May 15 13:26:41 BRT 2016
Final Memory: 5M/109M
------------------------------------------------------------------------

Não sei se isso influência em algo, mas o tipo de projeto é Maven.

@EDIT

Consegui resolver o problema, adicionando o seguinte método na conexão.

Document doc = Jsoup.connect("http://pt.stackoverflow.com/")
                .userAgent("Mozilla").get();
1
  • Alguma das resposta lhe foi útil? Não esqueça de escolher uma e marcar o ✅ para que possa ser utilizada caso alguém tenha uma dúvida similar!
    – Sorack
    Commented 20/03/2019 às 13:12

1 Resposta 1

0

Observação Importante: Ao acessar qualquer página ou serviço usando um Web Crawler é importante verificar antes se o fornecedor permite a leitura do conteúdo desta forma. Em alguns casos em é permitido, o próprio fornecedor disponibiliza uma API para que este acesso seja feito de forma correta.


O código 403 de status HTTP é referente ao erro Forbidden (Proibido). Isso acontece por vários motivos, mas o mais recorrente é o que a página percebeu que o acesso não está sendo feito por um navegador. Nestes casos basta usar o método Connection#userAgent para defini-lo de acordo com um navegador aceito pelo servidor. O do Chrome 55 no Windows 8 - 64 bits, por exemplo:

Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36

Adicionando entre a chamada do Jsoup#connect e do Connection#get da seguinte forma:

...
.userAgent("Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36")
...

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .