1

Olá, encontrei um arquivo robots.txt com a seguintes diretivas dentro do arquivo


User-agent: Googlebot

Allow: *

User-agent: Bingbot

Allow: *

User-agent: facebot

Allow: *

User-agent: *

Disallow: /

Minha pergunta é, o último comando de disallow não vai cancelar todos os anteriores?

1 Resposta 1

3

Não vai bloquear, as regras não são necessariamente "em ordem", as regras com o "nome" citado tem "preferência" sobre um wildcard/curinga (*), como no próprio exemplo do suporte google:

Permitir acesso a um único rastreador

User-agent: Googlebot-news
Allow: /

User-agent: *
Disallow: /

Permitir acesso a todos os rastreadores, exceto um deles

User-agent: Unnecessarybot
Disallow: /

User-agent: *
Allow: /

Outra situação que deve notar, é que o uso de um asterisco (*), corresponderá a todos os rastreadores, exceto aos diversos rastreadores Google AdsBot, que precisam ser nomeados explicitamente

2
  • Eu achava que p Disallow: / negava o acesso a todos os diretórios internos, tipo publicHTML contina com acesso, mas publicHTML/configuration o bot não teria acesso. Tipo que o bot só enxergaria o que está na raiz, e não as pastas dentro do diretório... Mas acho que eu estava achando errado rss
    – hugocsl
    Commented 3/12/2019 às 19:49
  • 1
    @hugocsl isso sim, bloqueia todos, mas na "ordem", o "allow 'explicito'" aparentemente dá preferencia ao BOT "nomeado", mas depende de como vai escrever, no caso revisei a resposta é um wildcard e não o wildcard, logo talvez em breve eu precise reformular melhor a resposta para detalhar exemplos que sobreescreveriam, mas preciso ter certeza de tudo, pq só me tive a base os textos do suporte google, e talvez tenha "perdido" algo, além do que preciso complementar.
    – Syzoth
    Commented 3/12/2019 às 19:52

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .