Bloquear acesso aos bots de mecanismos de buscas é muito diferente dos outros casos. O primeiro respeita as regras que você cria, já os outros tentam burlar quaisquer regras... é um jogo de gato e rato.
Como a restrição do acesso aos mecanismos oficiais de busca é trivial e possui documentação extensa, vou focar nos métodos que dificultam o acesso por esses outros webcrawlers não regulamentados.
Não use URLs sequenciais
Tome cuidado com a páginas que você obtém, por exemplo, no formato www.site.com/dados.php?id=100
. Fazer um script que baixa um lote de dados desse site seria tão fácil quanto esse comando simples no terminal UNIX curl -O www.site.com/dados.php?id=[100-1000]
.
Carregue o conteúdo por AJAX
Isso evita que scripts simples (seja em Bash, PHP, Python, etc) acessem o conteúdo, pois eles não possuem um interpretador de JavaScript (alguns sequer possuem um interpretador de HTML). Eles apenas baixam a página por HTTP. Inclusive, faz parte das técnicas dos SEO evitar páginas que fazem alto uso de AJAX, pois é difícil até para o Google indexar elas corretamente.
Mas atenção: cuidado para não facilitar a ação deles ao implementar uma solução com AJAX que retorna um JSON prontinho pra ser parseado. Você deve implementar CSRF tokens para restringir o acesso ao JSON/XML apenas para aqueles que já carregaram a página principal, senão isso irá facilitar o trabalho deles ao invés de dificultar.
No entanto, nada impede que alguém minimamente empenhado use um headless browser como o PhantomJS, que é capaz de interpretar o JavaScript e carregar a página toda.
Captcha
A imagem com letras distorcidas e fundo psicodélico irá cortar muitos crawlers. Ainda assim, esse método mais popular pra identificar humanos não é infalível.
Existem OCRs capazes de ler captchas, mas é trabalhoso programá-los, além de serem específicos para cada mecanismo gerador de captcha. Leves alterações no algoritmo do captcha podem exigir muito trabalho pra atualizar o OCR, o que, dependendo da frequência com que você faz isso, pode tornar o procedimento inviável.
Existem também serviços especializados em ler captchas, como DBC e DeCaptcher. Eles cobram alguns trocados para resolver mil captchas. A vantagem é que são capazes de quebrar qualquer captcha, até o antigo modelo do reCAPTCHA do Google, tido como inquebrável por algum tempo. Isso porque não temos um robô tentando se passar por humano. Esses serviços empregam trabalhadores humanos em países com mão de obra barata que ficam digitando as letrinhas 24/7.
Bloqueio por IP
Esse mecanismo é fundamental. Trata-se de uma ciência à parte que visa separar o joio do trigo, isto é, o robô do humano, através de padrões de "comportamento". Recomendo o excelente artigo do Code Horror que trata da parte teórica do assunto com ótimas analogias.
A implementação no seu site pode ser feita através de middlewares se você estiver usando algum framework ou "na raça", usando o fail2ban.
Esse método pode ser burlado se o bot usar proxies. Mas nesse caso, o fator custo vai ser mais alto para o atacante, pois o seu mecanismo vai queimando os IPs que ele contratou para usar.
Com a combinação desses métodos, é possível evitar boa parte dos crawlers.
Mas como mostrei, é impossível saber com certeza se uma requisição foi feita por um robô ou por um humano. Mesmo se você implementar todas essas medidas, no final só vai depender da relação custo-benefício que o autor do bot calculou (custo no sentido monetário e de esforço). Por isso, quem não quer ser bisbilhotado por bots deve ter alguém que monitore os acessos, verificando abusos, reinventando as técnicas de bloqueio conforme os bots vão aprendendo a burlar as técnicas antigas. Um jogo de gato e rato.
file_get_contents
.