Estou usando php e vi algo sobre a variável $_SERVER['HTTP_USER_AGENT'], mas não sei como detectar a visita de todos os motores de busca.
Gostaria de detectar qualquer bot de busca e enviar para esses bots as informações que eles precisam via http header. Ou seja, meu site não vai ter um arquivo robots.txt físico.
-
Os mecanismos de busca se encarregam sozinhos de olhar o robots.txt, se é esse o seu objetivo.– bfavaretto ♦22/10/2014 às 0:55
-
É bem isso mesmo. Usando stristr(), por exemplo, você busca pelo nome do bot googlebot para o Google, msnbot para o MSN e Slurp pro... Slurp, que é o bot do Yahoo!.– Bruno Augusto22/10/2014 às 0:56
-
Acontece q não vou ter um robots.txt real no meu site... Vou gerar um via http header.– Rodrigo Vieira22/10/2014 às 0:56
2 Respostas
A opção mais completa e válida que achei até agora foi esta:
function isBot(){
if( isSet($_SERVER['HTTP_USER_AGENT']) && preg_match('/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT']) ){
return TRUE;
}
else{
return FALSE;
}
}
Se você usa $_SERVER['HTTP_USER_AGENT'], isso significa que você quere colocar um test em cada paginas. Tipo:
$a = $_SERVER['HTTP_USER_AGENT'];
if ($a == motor de busca)
{
// Vamos sair daqui
}
// se chegamos aqui, e porque nao e um motor de busca, então podemos continuar
A dificuldade e o test. Tem 2 opçoes:
vocé quere autorisar somente um tipo de navegador. Por exemplo, vocé quere estar o unico a ter acceso. Neste caso, você vai fazer o test tipo: se o HTTP_USER_AGENT=meu navegador, tudo bem, se não bye bye! Facil porque você sabe o HTTP do seu navegador.
vocé quer proibir accesso para os motores. Mas, neste caso, precisa conhecer os HTTP_USER_AGENT dos motores... Acho imposivel, porque tem um monte e não tem norma sobre isso.
Por exemplo aqui os HTTP_USER_AGENT de 4 "bots" (motor de busca).
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)
msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)
TurnitinBot/3.0 (http://www.turnitin.com/robot/crawlerinfo.html)
São bem differente um dos outros, e para verificar em PHP que eles são motor de busca, acho bem complicado. Precisa achar outra opção.
Uma pergunta: qual e, de verdade, o objetivo? Segurança? Privatidade?