Estou tentando pegar o HTML de uma página com o Jsoup.
Essa página tem o Cloudflare como proteção e, ao invés de obter o código HTML do site que tenho interesse, está me retornando o HTML da página do Cloudflare (ver imagem abaixo) que é exibida antes de fazer o redirecionamento para o site alvo. Eu preciso obter o HTML do site para qual o Cloudflare redirecionar depois dessa página.
Exemplo da página do Cloudflare (não é o site que estou buscando, mas serve para exemplificar).
Meu código está assim:
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
public class Main {
public static void main(String...args) throws IOException {
Document document = Jsoup.connect("http://site.com")
.userAgent("Mozilla/5.0")
.timeout(10000)
.get();
System.out.println(document.html());
}
}
O output é parecido com este:
<html>
<head>
<title>You are being redirected...</title>
<script> <!-- código JS enorme --> </script>
</head>
<body></body>
</html>
Pensei em definir setRedirects
para true
, mas lendo a documentação vi que esse é o valor default. Eu encontrei essa pergunta com mesmo título no StackOverflow mas o problema lá é outro.
Tentei também fazer duas requisições, a segunda usando os cookies da primeira e deu na mesma, caio na mesma página:
import java.io.IOException;
import java.util.Map;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
public class Main {
public static void main(String...args) throws IOException{
final String URL = "http://site.com/";
// Executando a primeira requisição.
Connection.Response response =
Jsoup.connect(URL)
.timeout(10000)
.method(Connection.Method.GET)
.execute();
// Pegando os cookies da resposta
Map<String, String> cookies = response.cookies();
Document doc = Jsoup.connect(URL)
.cookies(cookies) // Usando os cookies na 2ª chamada
.get();
System.out.println(doc.html()); // Fail! Cloudflare me bloqueia.
}
}
Aceito uma resposta que não faz uso do Jsoup também, contanto que resolva esse problema. Não preciso de nada complexo, somente que o retorno contendo o HTML seja uma String
.