Preciso fazer um programa que encontre arquivos repetidos em meu computador, para que o usuário decida que ação tomar com estes arquivos (ex.: excluir as cópias). Por enquanto, só me preocupo com uma comparação binária entre arquivos (ou seja, o arquivo só é duplicado se for 100% igual a outro)
Sei que pesquisar apenas pelo nome do arquivo é insuficiente, já que o mesmo arquivo pode ter sido salvo com outro nome.
Existe algum algoritmo para comparar os arquivos?
Imagino que gerar o checksum de todos os arquivos e comparar todos contra todos seja improdutivo, pois não é normal ter tantos arquivos duplicados. Também imagino que não dê para usar apenas o tamanho do arquivo. E podem ter casos onde o arquivo é duplicado mais de uma vez.