Estou procurando por métodos/ideias que possam me ajudar na solução do meu problema. Eu tenho uma estrutura de pastas / arquivos que meu programa gera, até aí tudo bem. Mas o que acontece é que essa pasta já contém mais de 900 mil arquivos. Cada arquivo desse é bem pequeno, cerca de 1 KB, tem um cabeçalho e um texto.
Atualmente a pesquisa usada pelo software é básica: realmente abre arquivo por arquivo e procura pela palavra. Mas imagine a demora da pesquisa... num SSD, pesquisar pela palavra saude
me gerou uma espera de mais de 8 minutos.
Fiz alguns testes para ver se reduzir o número de arquivos ajudaria, mas notei que ajudaria pouco, ainda sim, a pesquisa demoraria minutos.
A ideia atualmente é (não utilizando qualquer banco de dados) indexar de forma manual, com um processo externo responsável por isto, palavras de 3 ou mais caracteres por pasta, diminuindo a pesquisa de milhões pra algumas milhares mas ainda sim poderia demorar alguns segundos em alguns casos.
Fiquei pensando também em como funciona a indexação do Windows para conteúdo do arquivo:
[
Fiz alguns pequenos testes a respeito do "o que demora na pesquisa":
Tempo para abrir os arquivos + ler: 465.948. Encontrados: 2921
Tempo procurando : 264.318. Encontrados: 2921
Tempo para abrir os arquivos + ler: 788.992. Encontrados: 2921
Temp procurando : 599.093. Encontrados: 2921
Tempo para abrir os arquivos + ler: 834.300. Encontrados: 2921
Tempo procurando : 572.496. Encontrados: 2921
Tempo para abrir os arquivos + ler: 709.464. Encontrados: 2921
Tempo procurando : 539.053. Encontrados: 2921
Tempo para abrir os arquivos + ler: 857.443. Encontrados: 2921
Tempo procurando : 761,121. Encontrados: 2921
Tempo para abrir os arquivos + ler: 909.440. Encontrados: 2921
Tempo procurando : 602.000. Encontrados: 2921
Tempo para abrir os arquivos + ler: 865.306. Encontrados: 2921
Tempo procurando : 499.046. Encontrados: 2921
O teste foi feito em 1000 arquivos apenas. No primeiro resultado, leva em conta a abertura do arquivo, no segundo apenas o tempo em que ele está buscando algo (no meu teste usei strstr
).
Existe algum método para deixar isto mais rápido sem usar banco de dados? Que não sei se resolveria o caso, já que em média teria 200 caracteres por arquivo onde seriam milhões de caracteres disponíveis para pesquisar. Se não for possível sem banco de dados, qual seria a ideia geral? Um banco de dados pode lidar bem com esse volume de dados?