2

Ao navegar pela internet lendo artigos e mais artigos, me deparei com alguns que só são exibidos pela metade, ou só o início, aqui vai um exemplo. Nesse caso, só quem é assinante tem acesso liberado.

Minha dúvida é?

O site é totalmente indexado pelos motores de busca? Ou a página é indexada pela metade? o arquivo robots.txt tem relação com o fato?

Como é possível esse tipo de delimitação sobre o conteúdo de um site, no que se refere o que o leitor pode ou não ler?

2 Respostas 2

3

A pergunta fala em duas coisas, indexação parcial do site e parcial da página.

Sim, você pode usar robots.txt ou o meta name="robots" para indicar o que não quer que indexe.

Na verdade se o conteúdo for protegido de alguma outra forma contra acesso nem precisa disso. Se a página só é devidamente acessível mediante senha o conteúdo não será indexado.

Na verdade essa é a única forma efetiva de impedir a indexação, já que dizer que não quer algo indexado é apenas uma convenção. Um indexador pode não respeitar isso. Hoje o Google respeita, mas ele pode não respeitar quando ele quiser. Existem indexadores maliciosos.

Obviamente que só o controle do acesso feito no servidor terá efetividade.

Tudo isso é fato bem conhecido. Acho que a dúvida maior é a indexação parcial da página.

Isso geralmente é feito identificando que o cliente pedindo a página é um indexador. Ele gera uma página diferente com conteúdo parcial quando for um indexador conhecido. Obviamente que é possível enganar o site dizendo que é o indexador. Então o indexador recebe a página toda e pode indexar todo o conteúdo, mas um cliente normal recebe a página capada. Isso pode trazer penalidades na classificação da indexação se o mecanismo identificar a manobra. E claro que sempre será possível acessar o conteúdo pelo cache do indexador ou site que faça o mesmo que o indexador (ex.: outline.com).

Obviamente que você pode enviar todo o conteúdo e limitar via JavaScript. Isso protege nada, só engana, já que o conteúdo está lá. Pode dificultar para o leigo, mas não tem proteção.

Aproveito para dizer sobre o mito de que os indexadores executam JavaScript. Sim alguns executam, mas não todos. E eles não podem simular ações de usuário como um usuário real faz, então não conte com a indexação se houver interação com o usuário ou outra forma que dependa de coisas que o indexador não é capaz de fazer, e sempre aparecem novas coisas que o indexador não é capaz de simular. O código programático existe na página justamente para definir fluxos que não são padronizados e isto, por definição, torna impossível na prática tentar simular tudo o que pode ocorrer.

Se quer proteger o conteúdo, só controlando no servidor. E obviamente que controlará a exibição, não impede da pessoa copiar e postar em outro lugar, até mesmo de forma automática. É bom deixar claro porque algumas pessoas acham que papai noel existe.

5
  • Então, o que acontece de fato é a indexação completa pelos motores de busca, e através da lógica de programação por parte do servidor que faz o controle do que pode ou não ser visto pelos usuários. nesse caso o controle pode ser feito via javascript (escondendo o conteúdo) ou via php (alguma lógica funcionando no lado servidor) é isso? 8/11/2017 às 14:22
  • É, mas como eu disse isso não protege de fato. Ou você protege ou você indexa, não tem como fazer os dois. Por isso eu coloquei a última frase..
    – Maniero
    8/11/2017 às 14:26
  • Entendi, mas me ocorreu uma hipótese agora, imagine que um post de um artigo esteja dividido pela metade, então a primeira metade é postada e publicada e a outra não. (nesse caso não tem como indexar ja que não existe (ainda)), então o usuário loga e rapidamente o servidor enviar aquele trecho que estava faltando (segunda parte do post) , nesse caso hipotético não ocorreu a proteção e indexação juntos? 8/11/2017 às 14:33
  • Não, só a proteção, a outra parte não está visível por ninguém, então não foi indexado. Se foi indexado pode ser visto pelo cache do indexador, então não está protegido.
    – Maniero
    8/11/2017 às 14:38
  • Fantástico, valeu. 8/11/2017 às 14:39
2

Tomando o Googlebot como exemplo...

Segundo este artigo no kissmetrics, o crawler do Google indexa toda a página, incluindo título, descrição, o atributo alt das imagens e todo o conteúdo.

Segundo este outro artigo, no Search Engine Land, o Googlebot é ainda capaz de processar JavaScript a fim de indexar conteúdo incluído no DOM dinamicamente. Este outro artigo mostra testes exaustivos de indexação de páginas que utilizam frameworks e bibliotecas JavaScript mais populares (spoiler: parece que ele ainda não processa AngularJS v2 muito bem. Justo o framework do próprio Google, vai entender...).

Como a indexação depende do crawler ser capaz de alcançar a página, o link para ela precisa existir em algum lugar na internet ou sua indexação deve ser explicitamente solicitada através das ferramentas de webmaster do Google.

Assim, se um web crawler for capaz de chegar a uma área de conteúdo restrito para indexá-la, então um ser humano também o é, e o conteúdo deixa de ser restrito. Para que uma área de conteúdo restrito seja eficiente, não deve haver links para ela que não sejam barrados por algum tipo de autenticação.

O arquivo robots.txt representa um mapa do que o webmaster deseja que seja ou não indexado por crawlers, como por exemplo:

User-agent: *
Disallow: /restrito/

Robôs das grandes empresas de busca tendem a obedecer tais diretrizes, mas deve-se lembrar que nem todo mundo respeita as regras e políticas de boa vizinhança. Se o conteúdo é restrito, exiba-o apenas sob autenticação.

Portanto, o Googlebot parece ser capaz de indexar todo o conteúdo de uma página, incluindo aquele "revelado" dinamicamente via JavaScript, mas não o que estiver atrás de uma checagem de autenticação, como seu exemplo de uma área de assinantes. Caso o webmaster desse artigo deseje que ele seja indexado sob termos que só estão no conteúdo restrito, deve copiá-los de alguma forma para a parte pública da página, como na forma de palavras-chave dentro da tag <description>.

Assim, finalmente respondendo a sua pergunta: sim, é possível que sites sejam indexados "pela metade", pois crawlers só são capazes de indexar aquilo que eles conseguem acessar. Áreas restritas não são indexadas.

6
  • 1
    Tá, talvez eu tenha confundido JS em geral com essa nota sobre Ajax, mas fica o aviso de qualquer sorte: webmasters.googleblog.com/2015/10/… 8/11/2017 às 3:39
  • Aparentemente o Googlebot processa JS sim, ao menos este outro artigo demonstra uns testes até quem bem completos em se tratando de frameworks e bibliotecas populares. Vou incluir um exemplo de robots sim, valeu!
    – nunks
    8/11/2017 às 3:50
  • De fato, confundi com o anúncio sobre Ajax... 8/11/2017 às 3:52
  • @nunks.lol se o arquivo robots.txt serve apenas como um aviso, não impedido de fato a indexação, (já que alguns rastradores podem não obdecer a política de boa vizinhança) então só é efetivo a restrição de conteúdo se houver uma lógica de programação no lado do servidor? 8/11/2017 às 14:28
  • @JonathasB.Cavalcante Isso. Para garantir que ninguém vá indexar a área restrita de seu site você tem que incluir isso na sua lógica. Não é aconselhável confiar que o programador do crawler vai respeitar o robots.txt. O Google e a Microsoft dizem que respeitam, mas existe uma infinidade de outros crawlers e web scrapers individuais que podem não respeitar. Pense em crawlers como visitantes humanos potencialmente mal-intencionados: caso você dê uma brecha para acessar conteúdo restrito sem verificar se eles têm autorização, eles vão acessar esse conteúdo.
    – nunks
    8/11/2017 às 14:56

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .