Uma maneira de fazer isso, é criando regras no .htaccess
, que impeçam alguns agentes conhecidos que são robôs, daí você teria que ter uma lista completa ou buscar uma lista complexa destes agentes:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} facebookexternalhit [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Twitterbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MetaURI [NC,OR]
RewriteCond %{HTTP_USER_AGENT} mediawords [NC,OR]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy [NC]
RewriteCond %{REQUEST_URI} !\/sem_crawler.htm
RewriteRule .* http://seusite.com.br/sem_crawler.htm [L]
Outra maneira é fazendo uso do PHP:
<?php
class CrawlerDetect
{
//lista de robôs
private $agentsInvalids = array(
'Google'=>'Google',
'MSN' => 'msnbot',
'Rambler'=>'Rambler',
'Yahoo'=> 'Yahoo',
'AbachoBOT'=> 'AbachoBOT',
'accoona'=> 'Accoona',
'AcoiRobot'=> 'AcoiRobot',
'ASPSeek'=> 'ASPSeek',
'CrocCrawler'=> 'CrocCrawler',
'Dumbot'=> 'Dumbot',
'FAST-WebCrawler'=> 'FAST-WebCrawler',
'GeonaBot'=> 'GeonaBot',
'Gigabot'=> 'Gigabot',
'Lycos spider'=> 'Lycos',
'MSRBOT'=> 'MSRBOT',
'Altavista robot'=> 'Scooter',
'AltaVista robot'=> 'Altavista',
'ID-Search Bot'=> 'IDBot',
'eStyle Bot'=> 'eStyle',
'Scrubby robot'=> 'Scrubby',
...
);
//lista de navegadores válidos
private $agentsValids = array(
'Mozilla' => 'Mozilla',
'Chrome' => 'Chrome',
'Safari' => 'Safari',
'Opera' => 'Opera',
...
);
public function __construct($USER_AGENT)
{
$invalids = implode('|',$this->agentsInvalids);
$valids = implode('|',$this->agentsValids);
/* aqui você escolhe como prefere,
acredito que basta testar uma única lista */
if (strpos($invalids, $USER_AGENT) !== false ||
strpos($valids, $USER_AGENT) === false) {
return true;
} else {
return false;
}
}
//verifica o navegador
$crawler = new CrawlerDetect($_SERVER['HTTP_USER_AGENT']);
//se for robô ele verifica
if ($crawler) {
echo "acesso inválido!";
} else {
echo "acesso válido!";
}
Neste site tem uma lista completa ou próxima disso, que mostra uma listas completa de brownsers e Crawlers.