4
votos
Mostrar páginas do site no Google
Isto se chama sitelinks e eles são renderizados automaticamente pelo Google, para que isso possa funcionar corretamente é necessário acessar o painel Google Web Master Tools e fazer a integração do ...
4
votos
Aceito
Conceito de bloqueio dos diretórios no robots.txt
No contexto de WebCrawler, o rastreador é um programa que envia requisições aos domínios com o objetivo de verificar, indexar e organizar os recursos disponíveis para acesso futuro de forma otimizada....
4
votos
Conceito de bloqueio dos diretórios no robots.txt
O robot.txt apenas impede o acesso do buscador (do Google) ao conteúdo, não do navegador normal. E mesmo assim só se o buscador quiser fazer isto. Isto não é uma proteção universal, é um "acordo de ...
3
votos
Aceito
Indexação de sites pela metade é possível?
A pergunta fala em duas coisas, indexação parcial do site e parcial da página.
Sim, você pode usar robots.txt ou o meta name="robots" para indicar o que não quer que indexe.
Na verdade se o ...
2
votos
Indexação de sites pela metade é possível?
Tomando o Googlebot como exemplo...
Segundo este artigo no kissmetrics, o crawler do Google indexa toda a página, incluindo título, descrição, o atributo alt das imagens e todo o conteúdo.
Segundo ...
1
voto
scraping google
Conforme o artigo Search Engine Scraping o Google vem utilizando uma variedade de métodos defensivos que tornam web scraping uma tarefa difícil:
Google testa o "User-Agent" das requisições HTTP. ...
1
voto
Aceito
Resultados do Google Search + Delphi 10.2 Tokyo
Tal como já referiu o @David deveria dar uma leitura no developers.google, é uma ajuda bastante boa. Tem ainda uma segunda opção que é usar um componente, deixo ainda o exemplo de um Cloud Pack que ...
Only top scored, non community-wiki answers of a minimum length are eligible
Tags relacionadas
google-search × 12google × 5
javascript × 3
seo × 3
python × 2
api × 2
robots × 2
html × 1
html5 × 1
json × 1
css3 × 1
wordpress × 1
delphi × 1
lista × 1
aplicação-web × 1
loop × 1
web-scraping × 1
plugin-wordpress × 1
site × 1
cpanel × 1
append × 1