0

Estou usando php e vi algo sobre a variável $_SERVER['HTTP_USER_AGENT'], mas não sei como detectar a visita de todos os motores de busca.
Gostaria de detectar qualquer bot de busca e enviar para esses bots as informações que eles precisam via http header. Ou seja, meu site não vai ter um arquivo robots.txt físico.

3
  • Os mecanismos de busca se encarregam sozinhos de olhar o robots.txt, se é esse o seu objetivo.
    – bfavaretto
    22/10/2014 às 0:55
  • É bem isso mesmo. Usando stristr(), por exemplo, você busca pelo nome do bot googlebot para o Google, msnbot para o MSN e Slurp pro... Slurp, que é o bot do Yahoo!. 22/10/2014 às 0:56
  • Acontece q não vou ter um robots.txt real no meu site... Vou gerar um via http header. 22/10/2014 às 0:56

2 Respostas 2

2

A opção mais completa e válida que achei até agora foi esta:

function isBot(){
    if( isSet($_SERVER['HTTP_USER_AGENT']) && preg_match('/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT']) ){
        return TRUE;
    }
    else{
        return FALSE;
    }
}
1

Se você usa $_SERVER['HTTP_USER_AGENT'], isso significa que você quere colocar um test em cada paginas. Tipo:

 $a = $_SERVER['HTTP_USER_AGENT'];
 if ($a == motor de busca)
 {
    // Vamos sair daqui
 }
 // se chegamos aqui, e porque nao e um motor de busca, então podemos continuar

A dificuldade e o test. Tem 2 opçoes:

  1. vocé quere autorisar somente um tipo de navegador. Por exemplo, vocé quere estar o unico a ter acceso. Neste caso, você vai fazer o test tipo: se o HTTP_USER_AGENT=meu navegador, tudo bem, se não bye bye! Facil porque você sabe o HTTP do seu navegador.

  2. vocé quer proibir accesso para os motores. Mas, neste caso, precisa conhecer os HTTP_USER_AGENT dos motores... Acho imposivel, porque tem um monte e não tem norma sobre isso.

Por exemplo aqui os HTTP_USER_AGENT de 4 "bots" (motor de busca).

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)

msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)

TurnitinBot/3.0 (http://www.turnitin.com/robot/crawlerinfo.html)

São bem differente um dos outros, e para verificar em PHP que eles são motor de busca, acho bem complicado. Precisa achar outra opção.

Uma pergunta: qual e, de verdade, o objetivo? Segurança? Privatidade?

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .