Tenho diversos arquivos .txt com matrículas e algumas se repetem em arquivos diferentes e eu gostaria de remover todas as repetidas.
A primeira solução que pensei foi fazer uma comparação entre todos os arquivos usando PHP ou NodeJS, mas fiquei meio com o pé atrás e não sei se isso seria a melhor solução.
Depois pensei em jogar tudo num DB apenas para tratar, pq preciso dessas matrículas em arquivos .txt, mas vi que o DB iria ficar enorme, com muitas matrículas e talvez não seja muito viável por se tratar de centenas de arquivos e milhares de matrículas.
Qual seria a melhor solução para esse problema? Alguma dessas duas acima podem resolver?