Estou com um problema com blibioteca Jsoup, que quando eu tento fazer a conexão com uma certa página, ele simplesmente não me retorna nenhum valor a partir da conexão.
public static void main(String[] args) {
try{
Document doc = Jsoup.connect("http://pt.stackoverflow.com/").get();
//Pegando elemento das perguntas
Elements elements = doc.select("a.question-hyperlink");
System.out.println("O titulo da página é: "+doc.title());
//exibindo titulo da pergunta
for(int i = 0; i <elements.size(); i++){
System.out.println(elements.get(i).text());
}
}catch(Exception e){
System.out.println("Erro "+ e);
}
}
Por coincidência eu testei com Stack Overflow e ele deu o mesmo problema.
Retorno do IDE Netbeans:
Erro: org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403, URL=http://pt.stackoverflow.com/
------------------------------------------------------------------------
BUILD SUCCESS
------------------------------------------------------------------------
Total time: 1.282s
Finished at: Sun May 15 13:26:41 BRT 2016
Final Memory: 5M/109M
------------------------------------------------------------------------
Não sei se isso influência em algo, mas o tipo de projeto é Maven.
@EDIT
Consegui resolver o problema, adicionando o seguinte método na conexão.
Document doc = Jsoup.connect("http://pt.stackoverflow.com/")
.userAgent("Mozilla").get();