Se tratando de sistemas WEB Qual seria e forma mais segura e mais utilizada para que ele se tornem invisíveis a motores de busca? sei que existe os "Metas" mais creio que deva haver forma mais confiaveis
1 Resposta
Antes de indexarem um site os motores de busca em geral procuram um arquivo chamado robots.txt e respeitam as diretrizes contidas nesse arquivo.
Exemplo: antes de visitar www.meusistema.com o crawler irá buscar www.meusistema.com/robots.txt
Você pode dizer que o site não deve ser indexado colocando o seguinte conteúdo no robots.txt:
User-agent: *
Disallow: /
Você também pode permitir que o site seja indexado com exceções:
User-agent: *
Disallow: /protegido/
Disallow: /secreto/
Um cuidado nesse ultimo caso: Ao mesmo tempo que você está impedindo que essas pastas sejam indexadas você também está tornando "publico" que elas existem.
Robôs mal intencionados não irão respeitar essas diretivas e provalvelmente enviarão uma string User-Agent como se fossem um navegador comum, nesse caso apenas CAPTCHAs poderão impedi-los, mas essa é uma solução mais intrusiva já que os usuários verdadeiros também são afetados.
-
+1 porque está tudo certo. Só como complemento eu acrescentaria que há na web os geradores de robots, que podem ajudar muito aqueles que não estão familiarizados com isso. Commented 30/10/2016 às 2:34