Esse dias coloquei o meu domínio no Google e ele buscou meu Web Site e meu Sistema.
Gostaria que meu Sistema fosse escondido do Google e de qualquer outra máquina de busca.
- Teria como fazer isso?
- E como tirar indexação já feita pelo Google?
Basta colocar um arquivo chamado robots.txt
(tem boa documentação neste site) na pasta que você não quer que seja indexado.
Alguns buscadores interpretam o que está escrito dentro para saber mais como devem seguir seu pedido.
O mecanismo de busca não é obrigado a ignorar mas normalmente eles os fazem. Evidentemente se ninguém deveria poder acessar você tem que tomar outras providências limitando o acesso a usuários autenticados, por isso é só uma convenção, é como você ter uma porta sem chave e uma placa dizendo "não entre".
Como é possível perceber dá para declarar quais URLs podem ser acessadas ou não. Pode-se diferenciar dependendo do tipo de cliente (user-agent) que está acessando o site.
Para proibir em todo o site:
User-agent: *
Disallow: /
Algum tempo após colocar este arquivo os mecanismos que respeitam este arquivo não mais mostrarão o conteúdo em suas páginas. Porém ela pode ter sido arquivada e até onde eu sei sem ordem judicial não é possível que seja retirado.
robots.txt
em si ou dependente do mecanismo de pesquisa "saber lê-lo"?
Commented
20/02/2015 às 15:38
Você pode usar um arquivo robots.txt na raiz do seu diretório web com o seguinte conteúdo:
User-agent: *
Disallow: /
Lembrando que o robots.txt é somente uma dica para que o crawler não indexe aquela página. Os principais motores de busca respeitam o que está indicado no arquivo, mas isso não quer dizer que o conteúdo vai estar invisível ou inacessível.
Através do Google Webmasters você pode remover seu site dos resultados de busca do Google.
Você deve configurar o comando disallow
no arquivo robots.txt do seu site.