10

Como posso proteger minhas páginas web para que elas não sejam acessadas de forma automatizada?

  • Pelos bots de Search engines como Googlebot (julgo que a forma básica fosse a metatag com noindex e nofollow).
  • Por Headless Browser (são browsers sem interface gráfica e que respondem a comandos via linha de comando e/ou scripts, podendo acessar em lote milhares de páginas).
  • Por scripts artesanais (são scripts (geralmente em PHP o qual detenho um pouco de conhecimento) que podem acessar em lote milhares de páginas usando funções comuns como file_get_html ou file_get_contents).

OBS: Os dois últimos tópicos é possivel configurar o campo HTTP user_agent para que o script/headless browser se passe por um comum como firefox.

OBS2: Pergunta relacionada: O que este código anti-robo em Javascript faz?

2
  • Complementando a primeira OBS: verificar o User Agent é ingênuo pois a prática de agent spoofing é muito comum. O mesmo se aplica a outras medidas de Browser sniffing que tentam verificar o navegador com JavaScript, pois o bot pode estar usando uma ferramenta que automatiza navegadores comuns (como o Selenium).
    – rodorgas
    Commented 21/05/2015 às 23:19
  • Não seria uma opção codificar algum trecho com eval entre outros, para evitar que o mesmo fique completamente visível? Você poderia usar mecanismos para sempre mudar o conteúdo criptografado afim de evitar uma decodificação no php, poderia usar código randômico por exemplo. Talvez ajudasse contra o file_get_contents.
    – Florida
    Commented 19/06/2015 às 1:10

1 Resposta 1

4

Bloquear acesso aos bots de mecanismos de buscas é muito diferente dos outros casos. O primeiro respeita as regras que você cria, já os outros tentam burlar quaisquer regras... é um jogo de gato e rato.

Como a restrição do acesso aos mecanismos oficiais de busca é trivial e possui documentação extensa, vou focar nos métodos que dificultam o acesso por esses outros webcrawlers não regulamentados.

Não use URLs sequenciais

Tome cuidado com a páginas que você obtém, por exemplo, no formato www.site.com/dados.php?id=100. Fazer um script que baixa um lote de dados desse site seria tão fácil quanto esse comando simples no terminal UNIX curl -O www.site.com/dados.php?id=[100-1000].

Carregue o conteúdo por AJAX

Isso evita que scripts simples (seja em Bash, PHP, Python, etc) acessem o conteúdo, pois eles não possuem um interpretador de JavaScript (alguns sequer possuem um interpretador de HTML). Eles apenas baixam a página por HTTP. Inclusive, faz parte das técnicas dos SEO evitar páginas que fazem alto uso de AJAX, pois é difícil até para o Google indexar elas corretamente.

Mas atenção: cuidado para não facilitar a ação deles ao implementar uma solução com AJAX que retorna um JSON prontinho pra ser parseado. Você deve implementar CSRF tokens para restringir o acesso ao JSON/XML apenas para aqueles que já carregaram a página principal, senão isso irá facilitar o trabalho deles ao invés de dificultar.

No entanto, nada impede que alguém minimamente empenhado use um headless browser como o PhantomJS, que é capaz de interpretar o JavaScript e carregar a página toda.

Captcha

A imagem com letras distorcidas e fundo psicodélico irá cortar muitos crawlers. Ainda assim, esse método mais popular pra identificar humanos não é infalível.

Existem OCRs capazes de ler captchas, mas é trabalhoso programá-los, além de serem específicos para cada mecanismo gerador de captcha. Leves alterações no algoritmo do captcha podem exigir muito trabalho pra atualizar o OCR, o que, dependendo da frequência com que você faz isso, pode tornar o procedimento inviável.

Existem também serviços especializados em ler captchas, como DBC e DeCaptcher. Eles cobram alguns trocados para resolver mil captchas. A vantagem é que são capazes de quebrar qualquer captcha, até o antigo modelo do reCAPTCHA do Google, tido como inquebrável por algum tempo. Isso porque não temos um robô tentando se passar por humano. Esses serviços empregam trabalhadores humanos em países com mão de obra barata que ficam digitando as letrinhas 24/7.

Bloqueio por IP

Esse mecanismo é fundamental. Trata-se de uma ciência à parte que visa separar o joio do trigo, isto é, o robô do humano, através de padrões de "comportamento". Recomendo o excelente artigo do Code Horror que trata da parte teórica do assunto com ótimas analogias.

A implementação no seu site pode ser feita através de middlewares se você estiver usando algum framework ou "na raça", usando o fail2ban.

Esse método pode ser burlado se o bot usar proxies. Mas nesse caso, o fator custo vai ser mais alto para o atacante, pois o seu mecanismo vai queimando os IPs que ele contratou para usar.


Com a combinação desses métodos, é possível evitar boa parte dos crawlers.

Mas como mostrei, é impossível saber com certeza se uma requisição foi feita por um robô ou por um humano. Mesmo se você implementar todas essas medidas, no final só vai depender da relação custo-benefício que o autor do bot calculou (custo no sentido monetário e de esforço). Por isso, quem não quer ser bisbilhotado por bots deve ter alguém que monitore os acessos, verificando abusos, reinventando as técnicas de bloqueio conforme os bots vão aprendendo a burlar as técnicas antigas. Um jogo de gato e rato.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .