Conforme o artigo Search Engine Scraping o Google vem utilizando uma variedade de métodos defensivos que tornam web scraping uma tarefa difícil:
- Google testa o "User-Agent" das requisições HTTP. Alguns "User-Agent" já são bloqueados por padrão, se você tentar usar um cURL o google rejeita a requisição e só mostra uma página em branco.
- Google está usando um sistema complexo de limitação de requisições, dependendo da linguagem, país, user-agent e das palavras buscadas.
- Os mecanismos de pesquisa não são enganados facilmente apenas pela mudança de endereço IP
- Google vem utilizando sistemas sofisticados de análise de comportamento do usuário, através de javascripts que verificam como o mouse anda pela tela e os cliques na tela, e utilizando técnicas de inteligência artificial "deep learning" detectam comportamentos suspeitos.
- Google vem utilizando técnicas de mudança no código do HTML em cada requisição para dificultar a utilização de scraping
- Segundo Matthew Lee, se você tentar acessar o Google usando o Tor você vai encontrar muitos Captchas para todas as páginas do Google, se tornando inviável sua utilização para scraping.
Também verifiquei realizando alguns testes que o código HTML de uma pesquisa no google é diferente dependendo do país de origem, quando a requisição vem do Brasil ele fornece um código HTML como resposta, quando requisição é de outro país vem um código HTML diferente, apesar do browser renderizar uma página muito parecida. Ou seja, seu programa de scraping que funciona enviando as requisições de um IP do Brasil para o Google não vai funcionar se utilizar um Proxy de outro país.
Quando é detectado um comportamento estranho, existem diversas reações possíveis:
- Primeira defesa é a página mostrar o 'CAPTCHA' onde o usuário deve verificar que não é um bot. Quando você resolve o CAPTCHA ele cria um cookie no seu browser permitindo o acesso. Depois de um dia o 'CAPTCHA' é removido e você pode voltar a acessar normalmente.
- Segunda defesa é apresentar uma página de erro, quando seu endereço IP entra para lista negra, para resolver isso ou você espera que seu IP seja desbloqueado ou muda seu endereço IP.
- Terceira defesa é um bloqueio permanente do segmento de rede. O Google já bloqueou diversos segmentos de redes inteiros por meses, isso só acontece quando uma ferramenta de scraping envia um grande número de requisições desta rede.
Técnicas para realizar Scraping do Google
Quanto mais palavras o usuário precisar buscar em um menor tempo mais difícil é o trabalho de scraping. Os scripts de scraping devem superar os seguintes desafios:
- Utilizar rotação de endereços IP usando Proxies (endereços que não estejam em listas negras, infelizmente a maioria dos proxies que testei aparece a página de CAPTCHA)
- Gerenciamento do tempo das requisições, requisições com o mesmo intervalo de tempo são detectadas facilmente, e muitas requisições em pouco intervalo de tempo levam seu IP a entrar para lista negra, o ideal é gerar um intervalo randômico de alguns segundos entre as requisições.
- Deve enviar os parâmetros URL, cookies e cabeçalhos HTTP corretamente, emulando um browser típico.
Soluções
A utilização de uma ferramenta para scraping que utiliza todas as técnicas mencionadas acima, como a GoogleScraper (biblioteca Python). Este framework controla um browser o que torna difícil para o Google detectar que o Browser está automatizado.
Também realizei alguns testes com a biblioteca do Python chamada googlesearch, funciona bem para realizar buscas no google, ela insere um tempo entre as pesquisas e mudança de páginas, mas não realiza pesquisas de imagens nem de notícias.
Exemplo do código:
# Pegar as primeiras 20 pesquisas para "Breaking Code" WordPress blog
from googlesearch import search
for url in search('"Breaking Code" WordPress blog', stop=20):
print(url)
Desculpe uma resposta tão longa, mas achei necessária a explicação. Espero ter ajudado.