28

Venho deixar claro que não estou perguntando como fazer para meu site aparecer melhor no índice de buscas.

Hoje possuímos vários mecanismos de buscas. Alguns muito conhecidos como o Google e Bing e outros nem tanto, como o DuckDuckGo.

Esses sites realizam uma "varredura" na internet e listam os sites pelo conteúdo buscado, até onde todos sabemos.

Minha dúvida é: Como desenvolver um Mecanismo de Buscas?

Digamos que eu queira desenvolver o meu próprio mecanismo de busca para competir com o Google, como devo proceder? Onde acho os dados dos sites para buscar?

Utilizando o Google como exemplo, ao criar um site percebemos que ele não aparece na mesma hora nas pesquisas (não me refiro ao DNS e sim das pesquisas feitas no Google), e que precisamos aguardar um determinado tempo. Qual o motivo de existir esse tempo? Os dados são salvos em algum banco de dados?

1
  • 1
    SpiderWeb, é um robo que varre a internet lendo, coletando e filtrando os site ! São desenvolvidos em Perl, ou até C e C++, são criados sistemas que navega pela internet de uma forma metódica e automatizada. Commented 22/04/2016 às 16:47

4 Respostas 4

26

Crawling

Os mecanismos usam um sistema de crawling (informações detalhadas na Wikipedia). No fundo eles saem navegando como se fossem um usuário, só que é um robô, é um software que fica fazendo as requisições HTTP e armazenando o conteúdo achado em algum lugar.

Então tem basicamente duas formas de uma página entrar: uma é alguém manualmente colocar um endereço para ser buscado por esse pesquisador; a outra é ele avaliar um link encontrado em uma página HTML ou eventualmente algum outro tipo de recurso e usar esse endereço como base para iniciar outra busca.

Claro que é possível desenvolver técnicas para ter outras formas de descoberta, como analisar novos domínios registrados, por exemplo. Teria que ir muito na tentativa e erro do que poderia ter em algo novo. Duvido que seja uma técnica interessante. Curiosamente, em uma estratégia agressiva de concorrência, pode ser interessante pesquisar outro mecanismo de busca para ter uma referência :)

O tempo que demora para o conteúdo aparecer depende do que você deseja para seu buscador. Em tese é possível fazer isso praticamente real time, só que provavelmente haverá um desperdício de recursos. Esses mecanismos mais sofisticados devem ter uma forma para determinar se deve revisitar uma página com mais ou menos frequência baseado em estatísticas.

Além da política de revisita o robô costuma ter algumas políticas de seleção de conteúdo que interessa, que deve ser usado (respeitar a vontade do produtor do conteúdo de não indexar certas partes que são visíveis), e agressividade de requisições.

Parsing

Obviamente que o sistema precisa saber fazer um parsing de HTML, pelo menos para capturar os links e validá-los. Esta atividade pode ser usada para outras coisas úteis para o buscador.

Hoje é comum pesquisar além do HTML. Pesquisa-se PDF, TXT e outros tipos de documento, imagens e até chegam executar JavaScript.

Técnicas bem modernas e complexas de análise são necessárias para a forma como a web opera hoje em dia. Já é preciso fazer análise semântica do conteúdo para decidir o que fazer com ele.

Indexing

Com os dados coletados ele é armazenado em alguma forma que possa ser consultado. Em geral é feito uma indexação textual, ou inversa, como alguns gostam de chamar. Isso é semelhante ao que muitos bancos de dados possuem ou como ferramentas iguais ao Lucene funcionam.

Certamente será colocado em um banco de dados, mas provavelmente não um SQL. Será algum tipo de NoSQL, muito provavelmente feito para essa necessidade específica. Não é que o SQL não possa ser usado, mas ele não costuma ser o mais adequado.

Outro motivo para demorar para um conteúdo aparecer é esse banco de dados não ter que ficar sendo atualizado o tempo todo. Provavelmente há uma política de atualização dos índices, já que entra novas páginas o tempo todo e a reindexação pode ser custosa demais para ficar sendo realizada o tempo todo, então existe uma política de retardamento da atualização dos índices e fazer em lotes.

Searching

Aqui é a parte que dá acesso aos dados na forma que o usuário precisa.

A forma como ele achará, os critérios de relevância também dependem de como deseja trabalhar. É sabido que o Google coloca bastante peso na quantidade de links para aquela página.

Em geral a busca é distribuída. Costuma-se usar uma técnica de MapReduce (não confundir com as função de map() e reduce() que algumas bibliotecas possuem).

As buscas podem ficar em cache, o que pode atrasar um pouco a aparição de novos conteúdos, mas muito pouco e em casos bem específicos.

O conteúdo pode ser exposto de várias formas. As formas de filtrar e normalizar o conteúdo pode ser mais ou menos sofisticado. Por exemplo, na maior parte das vezes é mais fácil achar conteúdo na rede Stack Exchange pelo Google que na busca da SE. Mas há casos que a SE faz de forma mais especializada e acha melhor.

Conclusão

É possível usar ferramentas prontas para fazer estas tarefas, mas pelo volume não só será mais interessante fazer próprias mais adequadas, mas também deverá ter uma infraestrutura de distribuição da busca dos dados, indexação e acesso ao banco de dados para consumo. Se a indexação for bem mais restrita aí pode ser que compense algo pronto.

Como eu sei que o AP trabalha com .NET, existem ferramentas prontas para esta plataforma que fazem o grosso do trabalho (não o crawling, embora deve existir algo pronto menos conhecido, não é algo complicado). Os mais conhecidos usam o Solr. São o SolrNet e o SolrSharp. Tem para o Elastic Search também. (veja).

Parte do desafio é o trabalho de engenharia da busca em si (como ser relevante). Mas a maior parte do desafio é dar escala para tudo isto.

A Google ensina como funciona.

Técnicas que a Google usa.

Coloquei no GitHub para referência futura.

10

Entendo que há 3 partes envolvidas:

  • um crawler, que navega pelas páginas recuperando conteúdo e identificando referências a outras páginas;
  • um indexador, que avalia o conteúdo da página para identificar o conteúdo e sua relevância;
  • um motor de busca, que recupera as páginas que atendem ao conteúdo da busca e priorizam os de maior relevância;

O crawler tem de visitar regularmente as páginas para atualizar o conteúdo e descobrir novas páginas para recuperar. O atraso entre sua página ser publicada e ela aparecer em um site de buscas é dependente desse intervalo de refresh e da sua página ter aparecido em algum dos sites que o crawler já conhece.

1
  • 1
    Uma fora simples de entender, obrigado pela resposta.
    – Randrade
    Commented 20/05/2016 às 2:30
4

Randrade, para realizar este trabalho, você vai precisar de duas ferramentas, um Crawler (um robô que varre(rasteja) a internet em busca de informação) e um Indexer (é que vai organizar e catalogar a informação colhida pelo Crawler).

Possivelmente a ferramenta mais famosa que faça estes dois papeis é o Apache Lucene/SOLR, porém você pode usa-lo apenas para a função de Crawler e outra ferramentar para indexar, como por exemplo o SQLServer ou PostgreSQL (usando Full text search)

Você tambem pode usar outras opções para Crawler, acredito que em uma rapida busca na internet você achará os principais concorrentes do Lucene.

Por fim pode olhar o seguinte projeto demo da Microsoft

1
  • Eu não conhecia essas ferramentas, mas me interessaram bastante. Obrigado pela contribuição
    – Randrade
    Commented 20/05/2016 às 2:30
0

O web crawler é parte essencial do buscador no caso de aplicações web, claro. O https://nutch.apache.org/ é um exemplo de web crawler escalável, aliás, é um projeto derivado do Lucene, que deu início ao Hadoop há muitos, escrito pelo mesmo grupo de pessoas. O Nutch é integrado ao Solr, mas não tem mistério para integrá-lo a outras ferramentas.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .