0

Estou procurando por métodos/ideias que possam me ajudar na solução do meu problema. Eu tenho uma estrutura de pastas / arquivos que meu programa gera, até aí tudo bem. Mas o que acontece é que essa pasta já contém mais de 900 mil arquivos. Cada arquivo desse é bem pequeno, cerca de 1 KB, tem um cabeçalho e um texto.

Atualmente a pesquisa usada pelo software é básica: realmente abre arquivo por arquivo e procura pela palavra. Mas imagine a demora da pesquisa... num SSD, pesquisar pela palavra saude me gerou uma espera de mais de 8 minutos.

Fiz alguns testes para ver se reduzir o número de arquivos ajudaria, mas notei que ajudaria pouco, ainda sim, a pesquisa demoraria minutos.

A ideia atualmente é (não utilizando qualquer banco de dados) indexar de forma manual, com um processo externo responsável por isto, palavras de 3 ou mais caracteres por pasta, diminuindo a pesquisa de milhões pra algumas milhares mas ainda sim poderia demorar alguns segundos em alguns casos.

Fiquei pensando também em como funciona a indexação do Windows para conteúdo do arquivo:

[1]

Fiz alguns pequenos testes a respeito do "o que demora na pesquisa":

Tempo para abrir os arquivos + ler: 465.948. Encontrados: 2921

Tempo procurando : 264.318. Encontrados: 2921

Tempo para abrir os arquivos + ler: 788.992. Encontrados: 2921

Temp procurando : 599.093. Encontrados: 2921

Tempo para abrir os arquivos + ler: 834.300. Encontrados: 2921

Tempo procurando : 572.496. Encontrados: 2921

Tempo para abrir os arquivos + ler: 709.464. Encontrados: 2921

Tempo procurando : 539.053. Encontrados: 2921

Tempo para abrir os arquivos + ler: 857.443. Encontrados: 2921

Tempo procurando : 761,121. Encontrados: 2921

Tempo para abrir os arquivos + ler: 909.440. Encontrados: 2921

Tempo procurando : 602.000. Encontrados: 2921

Tempo para abrir os arquivos + ler: 865.306. Encontrados: 2921

Tempo procurando : 499.046. Encontrados: 2921

O teste foi feito em 1000 arquivos apenas. No primeiro resultado, leva em conta a abertura do arquivo, no segundo apenas o tempo em que ele está buscando algo (no meu teste usei strstr).

Existe algum método para deixar isto mais rápido sem usar banco de dados? Que não sei se resolveria o caso, já que em média teria 200 caracteres por arquivo onde seriam milhões de caracteres disponíveis para pesquisar. Se não for possível sem banco de dados, qual seria a ideia geral? Um banco de dados pode lidar bem com esse volume de dados?

6
  • onde está o código? Commented 19/12/2018 às 19:47
  • Já pensou em usar a API do Windows Search? Commented 20/12/2018 às 11:38
  • @LeandroAngelo bom, na verdade não, mas seria como ativar a opção de indexar conteúdos e fazer a procura por código na aplicação? Commented 20/12/2018 às 11:45
  • Isso, se não me falha a memória você abre uma conexão OleDB para o provider do search e faz a query como SQL mesmo Commented 20/12/2018 às 11:47
  • @LeandroAngelo. Vou ver isto, obrigado pela dica. Essa procura de minutos aí tá sendo um probleminha pra mim! Commented 20/12/2018 às 11:49

2 Respostas 2

0

@Kevin Kouketsu, a melhor técnica a ser utilizada para esse cenário é o mecanismo full-text search. Existe um banco de dados relacional que tem esse recurso: PostgreSQL. Existe também o Solr e ElasticSearch, que incluem pesquisa de texto completo e, principalmente, indexação em tempo real como você mencionou acima; todos os dois últimos é baseado no projeto Lucene.

2
  • Vou dar uma olhada a respeito desse mecanismo full text search. Vi que SQLite também tem e e SQLServer. SQL Server seria minha primeira opção porque na empresa já usamos softwares MS. Obrigado pela dica! Commented 20/12/2018 às 11:44
  • O Apache Solr (lucene.apache.org/solr/guide/7_5) é desenhado para sua solução man! Você terá boas surpresas com a utilização dessa ferramenta! Commented 20/12/2018 às 12:59
0

Minha solução, como sugerido pelo Leandro Angelo nos comentários, foi usar a API do Windows Search.
Fiz a implementação do IFilter numa DLL e registrei para o mesmo ser usado.

Com isto, pude abrir uma conexão OleDB, criar propriedades novas e executar queries. Ficou rápido e muito bom.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .