-3

Estou tentando pegar o HTML de uma página com o Jsoup.

Essa página tem o Cloudflare como proteção e, ao invés de obter o código HTML do site que tenho interesse, está me retornando o HTML da página do Cloudflare (ver imagem abaixo) que é exibida antes de fazer o redirecionamento para o site alvo. Eu preciso obter o HTML do site para qual o Cloudflare redirecionar depois dessa página.

Página do cloudflare


Exemplo da página do Cloudflare (não é o site que estou buscando, mas serve para exemplificar).


Meu código está assim:

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class Main {

    public static void main(String...args) throws IOException {
        Document document = Jsoup.connect("http://site.com")
                                 .userAgent("Mozilla/5.0")
                                 .timeout(10000)
                                 .get();

        System.out.println(document.html());
    }
}

O output é parecido com este:

<html>
 <head>
  <title>You are being redirected...</title> 
  <script> <!-- código JS enorme --> </script>
 </head>
 <body></body>
</html>

Pensei em definir setRedirects para true, mas lendo a documentação vi que esse é o valor default. Eu encontrei essa pergunta com mesmo título no StackOverflow mas o problema lá é outro.

Tentei também fazer duas requisições, a segunda usando os cookies da primeira e deu na mesma, caio na mesma página:

import java.io.IOException;
import java.util.Map;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class Main {

    public static void main(String...args) throws IOException{

        final String URL = "http://site.com/";

        // Executando a primeira requisição.
        Connection.Response response =
            Jsoup.connect(URL)
                 .timeout(10000)
                 .method(Connection.Method.GET)
                 .execute();

        // Pegando os cookies da resposta    
        Map<String, String> cookies = response.cookies();

        Document doc = Jsoup.connect(URL)
                            .cookies(cookies) // Usando os cookies na 2ª chamada
                            .get();

        System.out.println(doc.html()); // Fail! Cloudflare me bloqueia.                                        
    }
}

Aceito uma resposta que não faz uso do Jsoup também, contanto que resolva esse problema. Não preciso de nada complexo, somente que o retorno contendo o HTML seja uma String.

1
  • passa o link do site Commented 18/03/2016 às 0:07

2 Respostas 2

1

Analisando o html da cloudflare, no caso da página http://lubbo-zone.nl, eu cheguei na seguinte conclusão: O javascript que você mencionou na pergunta é um algoritmo que usa alguns dados da página para efetuar um cálculo e enviar o resultado desse cálculo para validação. Caso o cálculo esteja correto, você é redirecionado para a página real, caso contrário, você fica em loop na cloudflare. O cálculo é feito usando jjencode, representado por algo parecido com:

+((!+[]+!![]+!![]+!![]+[])+(!+[]+!![]))

Como esse código jjencode muda a cada requisição, é impossível que você você passe pela couldflare sem decifrá-lo sempre. Acredito que é possível você passar por ele, mas não é algo trivial. Caso você ainda tenha interesse em fazer esse bypass na cloudflare, segue alguns links interessantes sobre o jjencode:

Ferramenta para encode: http://utf-8.jp/public/jjencode.html

Explicação do funcionamento do jjencode: https://blog.korelogic.com/blog/2015/01/12/javascript_deobfuscation

1
  • Ele faz isso no primeiro acesso e inclui um cookie contendo alguma informação sobre o meu acesso. Por isso que eu tentei fazer duas requisições e, usar na segunda os cookies da primeira. Commented 18/03/2016 às 4:17
1

Acabei abandonando o Jsoup e utilizei um webdriver. Escolhi o HtmlUnit para isto e o código que resolve o problema que eu estava encontrando é este:

import java.io.IOException;
import com.gargoylesoftware.htmlunit.*;

public class Main {
    public static void main(String...args) throws IOException {

        final String URL = "http://site.com/o/clouflare/bloqueando";

        Page page = new WebClient(BrowserVersion.BEST_SUPPORTED).getPage(URL);
        System.out.println(page.getWebResponse().getContentAsString()); // Feito!
    }
}

Uma observação sobre o HtmlUnit: ele printa todos os erros de validação em propriedades encontrados no documento (HTML, CSS e Javascript) por meio de um Logger. Para desabilitar isso, segui essa resposta e inclui uma linha no meu código:

Logger.getLogger("com.gargoylesoftware.htmlunit").setLevel(Level.OFF);

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .