4

Se tratando de sistemas WEB Qual seria e forma mais segura e mais utilizada para que ele se tornem invisíveis a motores de busca? sei que existe os "Metas" mais creio que deva haver forma mais confiaveis

1 Resposta 1

4

Antes de indexarem um site os motores de busca em geral procuram um arquivo chamado robots.txt e respeitam as diretrizes contidas nesse arquivo.

Exemplo: antes de visitar www.meusistema.com o crawler irá buscar www.meusistema.com/robots.txt

Você pode dizer que o site não deve ser indexado colocando o seguinte conteúdo no robots.txt:

User-agent: *
Disallow: /

Você também pode permitir que o site seja indexado com exceções:

User-agent: *
Disallow: /protegido/
Disallow: /secreto/

Um cuidado nesse ultimo caso: Ao mesmo tempo que você está impedindo que essas pastas sejam indexadas você também está tornando "publico" que elas existem.

Robôs mal intencionados não irão respeitar essas diretivas e provalvelmente enviarão uma string User-Agent como se fossem um navegador comum, nesse caso apenas CAPTCHAs poderão impedi-los, mas essa é uma solução mais intrusiva já que os usuários verdadeiros também são afetados.

1
  • +1 porque está tudo certo. Só como complemento eu acrescentaria que há na web os geradores de robots, que podem ajudar muito aqueles que não estão familiarizados com isso.
    – eightShirt
    Commented 30/10/2016 às 2:34

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .