4

Preciso fazer um programa que encontre arquivos repetidos em meu computador, para que o usuário decida que ação tomar com estes arquivos (ex.: excluir as cópias). Por enquanto, só me preocupo com uma comparação binária entre arquivos (ou seja, o arquivo só é duplicado se for 100% igual a outro)

Sei que pesquisar apenas pelo nome do arquivo é insuficiente, já que o mesmo arquivo pode ter sido salvo com outro nome.

Existe algum algoritmo para comparar os arquivos?

Imagino que gerar o checksum de todos os arquivos e comparar todos contra todos seja improdutivo, pois não é normal ter tantos arquivos duplicados. Também imagino que não dê para usar apenas o tamanho do arquivo. E podem ter casos onde o arquivo é duplicado mais de uma vez.

8
  • Sim esse algoritmo existe. O próprio Git trabalha com algo desse tipo, comparando arquivos para ver qual a versão mais recente por exemplo. Acredito que esse link possa lhe ajudar algorithms.openmymind.net/search/binarysearch.html Commented 30/01/2014 às 12:26
  • Comparar os tamanhos e caso esses sejam iguais, o cksum? Você quer o método de busca no filesystem ou o método de comparação? Ou ambos?
    – Vitor Py
    Commented 30/01/2014 às 12:27
  • @VitorBraga atualizei a pergunta, busco um método de comparação Commented 30/01/2014 às 12:31
  • o peso e conteudo tem que ser o mesmo, mas e o timestamp de quando foi criado e alterado, deve fazer parte da comparação de arquivos duplicados?
    – Syzoth
    Commented 30/01/2014 às 17:33
  • @GuilhermeNascimento os arquivos são identicos quando possuem o mesmo conteúdo (ou seja, os dois arquivos possuem os mesmos bytes) e, logo, o mesmo tamanho. Então não importa o nome, timestamp, data de acesso... estes são "metadados" dos arquivos. Commented 31/01/2014 às 10:51

4 Respostas 4

3

Por partes:

  1. listar tudo com informações básicas: local (no disco/diretório), nome, data e tamanho;
  2. separar arquivos que tenham o mesmo nome (exatamente iguais, inclusive maiúscula e minúscula);
  3. da mesma forma os arquivos que tem o mesmo tamanho (em Bytes);
  4. eliminar os "não repetidos" (sem nome ou tamanho iguais);
  5. selecionar os "repetidos nível 1" (nome, tamanho e data iguais), e aplicar em cada bloco separadamente um checksum, marcar os REALMENTE iguais;
  6. selecionar os "repetidos nível 2" (nome ou tamanho e data iguais), e aplicar em cada bloco separadamente um checksum, marcar os REALMENTE iguais;
  7. selecionar os "repetidos nível 3" (nome e tamanho iguais com data diversa), e aplicar em cada bloco separadamente um checksum, marcar os REALMENTE iguais;
  8. selecionar os "repetidos nível 4" (nome ou tamanho iguais com data diversa), e aplicar em cada bloco separadamente um checksum, marcar os REALMENTE iguais;
  9. com os REALMENTE iguais, apresentar cada bloco ao usuário para que este defina quais serão eliminados;

Sugiro que acrescente algumas opções: que o usuário possa acessar o local de cada arquivo; possa abrir no editor padrão para visualização do conteúdo; possa mover o arquivo "escolhido/repetido" para uma pasta específica.

Uma opção que acredito que seja muito útil, ao selecionar somente um arquivo (no ambiente windows, por exemplo), possa ser utilizado através do menu de contexto (clique direito do mouse), para que seja encontrado algum arquivo REPETIDO deste que foi selecionado.

Pense somente em ignorar o conteúdo de pastas compactadas, ou seja, se o arquivo repetido está dentro de um ZIP/RAR, nunca será avaliado e portanto nunca será considerado repetido (coloque isso nas instruções de uso do teu futuro aplicativo). E depois me manda uma cópia pra testar ;-)

1

Liste todos os arquivos;

Para cada arquivo, execute os passos abaixo:

  1. Gere um Hash a partir do conteúdo do arquivo e armazene em uma Hash Table;

  2. No caso de colisão de Hash, verifique se o arquivo é igual aos arquivos com mesmo Hash, byte a byte. Caso seja igual, você encontrou uma duplicata.

0
0

Não acredito que seja possível. Você teria que comparar todos os arquivos entre si, e o tempo de execução do programa cresceria exponencialmente em relação ao número de arquivos.

Dá pra fazer algo que comece enumerando os arquivos. Depois, cada arquivo teria que ser comparado com todos os outros. Uma otimização seria comparar o tamanho, depois quem sabe um checksum, e depois se ainda forem iguais comparar byte a byte.

Para poucos arquivos vai funcionar bem, mas conforme o número de arquivos aumenta o tempo de execução do algoritmo vai subir rapidamente para escalas impraticáveis.

0

Você utilizar função basename, PHP:

$inicio = "file:///C://";    // Você poder alterar o caminho atraves das pastas.
$arquivo = basename($inicio);    
$file = basename($inicio, "Nome");

function stribet($inputstr, $deliLeft, $deliRight) {
    $posLeft = stripos($inputstr, $deliLeft) + strlen($deliLeft);
    $posRight = stripos($inputstr, $deliRight, $posLeft);
    return substr($inputstr, $posLeft, $posRight - $posLeft);
}

Pegar o conteudo:

$res = file_get_contents($inicio);

Localizar:

$x = @$this->stribet($res,'$file','[1]');

Deve pegar arquivos com [1]:

$d = '$this->file($x)';

Função se o arquivo tiver [1]:

if ($file == "'.$d.'"){
}

Pode não ser preciso, ou não funcionar, caso não funcione é só falar. Está função só pode pegar arquivo com [1] no nome.

1
  • Suprimir erros com @ não é uma boa.
    – Syzoth
    Commented 31/01/2014 às 18:51

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .