8

Cenário

Estou necessitando implementar uma verificação de alteração de arquivos entre 2 pontos de minha aplicação.*¹

  • Ponto 1 - Servidor - Tenho uma pasta onde estão alguns imagens de produtos;
  • Ponto 2 - Dispositivo Móvel - Tenho um aplicativo de catalogo que baixa essas imagens do Servidor para uma pasta especifica no seu sdcard;

Problema

Gostaria de tempos em tempos, comparar as imagens do Dispositivo, com as imagens do Servidor, e verificar se ouve alguma modificação, e se houver baixar novamente a imagem;

Requisitos

  • A sincronização é aplicada via internet, então deve-se considerar o tamanho das informações trafegadas na rede;

Tecnologias

As tecnologia que estou utilizando, são as seguintes:

  • O Aplicativo do Dispositivo Móvel é em Android;
  • O WebService que verifica e retorna a imagem para o aplicativo é em C# (MVC Web API);

Pergunta

Uma das opções que encontrei para implementar isso é por comparação de hashs. Então gostaria de saber se geração de hash do arquivo no Dispositivo e compara-lo com o hash do arquivo no Servidor é eficiente para esse caso? Ou há alguma opção melhor e mais eficiente? (lembrando que o Servidor poderá haver varias requisições de geração de hash simultâneas, isso é uma operação leve para o Servidor?).

*¹ - as alterações que devem ser relevantes são as aplicadas na pasta do Servidor.

Obs: Quando cito "eficiência", quero dizer: melhor confiabilidade (aceito os 99.999% do hash como citado pelo @MiguelAngelo nos comentários) e performance (envolvendo aqui, tempo e recursos, sendo eles em processamento, ou em trafego de rede).

15
  • 2
    Algoritmos de hash são eficientes e, em geral, "leves" - entre aspas porque a definição de leve é algo subjetivo. Até onde sei, muitos aplicativos fazem isso. Existem algoritmos de hash mais sofisticados chamados de checksum que vão além disso, e que são rotineiramente aplicados a arquivos para ver se não houve alteração neles (dentre outras coisas). Commented 11/06/2014 às 14:04
  • 5
    Dois hashes iguais não garantem que os arquivos são iguais, e no caso todos os bytes teriam de ser comparados. Você poderia entretanto confiar na baixa probabilidade de colisões de alguns algoritmos de hash, tal como o MD5, e tomar como "certo" (99,999% de chance) que hashes iguais indicam arquivos iguais. Commented 11/06/2014 às 14:09
  • 1
    @MiguelAngelo, entendo o sua colocação, mas apesar da possibilidade, é uma forma leve, e a probabilidade que isso ocorre é realmente muito remota, para remover essa probabilidade, só comparando todos os bytes, hehe Commented 11/06/2014 às 14:21
  • 1
    @LeonardoBosquett, já até fiz alguns teste em relação a FileSystemWatcher e apresentei como opção aqui na empresa, mais como somos terceiros, a possibilidade de manter um serviço, caiu quando usuário, pode simplesmente finalizar o serviço, o todo o controle, vai de aguá a baixo, e talvez isso não se notaria facilmente, para ser iniciado antes de maiores problemas. (Usuários com privilégios é osso); Commented 11/06/2014 às 14:29
  • 2
    @Fernando atualmente eu uso CRC32, tamanho, data e hora de modificação do filesystem - é um sistema próprio de sincronização de arquivos entre maquinas. Importante notar que isso é para CONFIRMAR QUE SÃO DIFERENTES e já jogar na lista de sincronização. O que sobrar PODE ser igual, aí se bater o tamanho e o CRC, ainda vai ter que compar byte a byte de qualquer maneira para ter certeza.
    – Largato
    Commented 12/06/2014 às 3:42

2 Respostas 2

4

Hash funciona basicamente para confirmar a integridade de uma sequência de dados. Existem diversos algoritmos para HASH.

  • Colisão, arquivos diferentes e Hash iguais

    Acontece, normalmente com arquivos grande, raramente com arquivos pequenos. Mas depende exclusivamente do algoritmo hash que você irá utilizar.

  • Leve?

    Depende de qual algoritmo hash você vai usar. Você tem CRC32 que costuma ser bastante rápido, mas a colisão é mais frequente.

  • Solução

Se você vai trabalhar com arquivos grandes, recomendo que use SHA1 ou MD5, que não são tão pesados, porém não tão leves. Se vai trabalhar com arquivos pequenos, entre 1kB ~ 10MB, use CRC32, tem um desempenho considerável para um servidor.

Vale ressaltar que são apenas indicações e introduções à sua dúvida baseados nas minhas experiências. Recomendo que você mesmo teste, compare os resultados e escolha de fato qual o melhor para seu caso.

3
  • 2
    Sim. Um hash diferente significa conteúdo diferente mas um hash igual não significa um conteúdo igual. Commented 12/06/2014 às 0:17
  • Muito boa sua resposta @Metalus, mas não sei se pode me esclarecer isso também, mas agora fazendo alguns teste, não consegui perceber diferença de desempenho(tempo) entre gerar um hash em MD5, de uma string simples (uns 5 caracteres) e uma outra string de 10000 caracteres. Não há nenhuma diferença de desempenho na geração do hash em relação ao tamanho da entrada? Ou tenho que aumentar a proporção dos testes? Commented 12/06/2014 às 11:38
  • 10000 caracteres ainda é pequeno. Tente comparando um arquivo de 60 MB entre MD5 e o CRC32. Claro, o processador e o seu código também influenciam nisso. Use o Stopwatch do .NET para uma melhor comparação.
    – Metalus
    Commented 12/06/2014 às 16:43
0

Primeiro precisamos entender algumas coisas. A quantidade de imagem que vai ter nas pastas? Tamanhos dos arquivos? Pois o calculo de hash pode fazer com que o servidor ou dispositivo do usuário fique muito lento e acabe até ocasionando Timeout quando vários usuários estiverem usando e vários arquivos ao mesmo tempo estejam sendo calculados, dependo de onde o calculo for feito.

Não recomendo fazer isso em tempo real com webservice. O que podemos pensar pode ser o seguinte. Pode ser criado um arquivo (json, xml, txt... fica a seu critério) que sempre que for atualizado uma figura ele coloque o hash dela nessa lista ou atualize (lado servidor), e seu app possui a lista atualizada de tempos em tempos como mencionou, onde ele faz um merge entre elas e consegue saber qual arquivo deve baixar pois esta diferente da lista. Vejo como uma forma de diminuir o trafego na rede também e não onerar os dois lados da aplicação.

Quanto a comparação de hash entre MD5, SHA1, CRC32, SHA256 ... vai sentir diferença em arquivos grandes ou em grande quantidade de arquivos.

Espero ter ajudado.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .