13

Cenário

Há algum tempo, tentei usar o GIT para versionar alguns backups, em sua maioria arquivos pequenos, o git se comportou muito bem versionando-os quando não eram grandes as alterações de um commit para outro, porem em um servidor em específico, existiam grandes arquivos binários, os quais o GIT não conseguiu manusear, nem mesmo consegui fazer o commit inicial.


Problema

Se o git não se comportou bem com esses arquivos (erros eram relacionados com problemas de memória), fica em aberto as reais limitações ao manusear binários com GIT, é claro que manusear binários não é o proposito do GIT, mas não foram sufuciente claras as informações que obtive naquela época.


Pergunta

  1. Qual a relações entre o limite de um arquivo binário a ser verionado no GIT com capacidade de processamento e memória da máquina?
  2. É seguro mantermos binários no GIT, mesmo que pequenos versionados em muitos commits?
  3. Qual método podemos usar para otimizar o GIT de forma que ele se comporte melhor quando versionar binários não puder ser evitado?

Podem citar soluções como Git Annex ou Git Bup, porem apenas como auxilio a resposta, a mesma se refere ao comportamento do GIT puro, sem plugins ou Forks

3
  • Quando você fala em arquivos muito grandes você está falando do que? Megas, Gigas, dezenas de Gigas? Commented 22/01/2014 às 12:56
  • Muito grandes = Gigas ( ~ 15+)
    – hernandev
    Commented 22/01/2014 às 12:57
  • 1
    Você pode colar aqui a mensagem de falha de memória que você está tendo? O erro pode estar em várias partes do processo e a resolução é diferente para cada uma. Commented 22/01/2014 às 16:20

2 Respostas 2

13

A razão primária para o git não suportar arquivos muito grandes é que ele passa os arquivos pelo xdelta, o que geralmente significa que ele tenta carregar todo conteúdo do arquivo na memória de uma só vez.

Se ele não fizesse assim, você teria de armazenar todo conteúdo de cada revisão de cada arquivo, mesmo quando você mudou apenas alguns bytes daquele arquivo. Isso seria terrivelmnete ineficiente no aspecto do uso do disco, e git é conhecido por seu formato de repositório extremamente eficiente.

Você pode tentar mexer nesses parâmetros do servidor:

[core]
  packedGitLimit = 128m
  packedGitWindowSize = 128m

[pack]
  deltaCacheSize = 128m
  packSizeLimit = 128m
  windowMemory = 128m

Creio que o git-annex e este tipo de soluções realmente sejam as melhores devido à forma com que o git é construído. Tem como você contornar essas questões, mas você terá um git server extremamente customizado e isso não funcionaria "de cara" em outros ambientes se vocês precisarem migrar o servidor.

1
  • na época foi mais ou menos isso que notei mesmo, mesmo desabilitando totalmente a compressão, aparentemente, o limite do tamanho do arquivo estava diretamente relacionado com o tamanho da memoria disponivel
    – hernandev
    Commented 22/01/2014 às 18:33
8

O Git tem uma grande dificuldade com arquivos grandes (>50MB) e uma grande perda de recursos com repositórios grandes (>10GB).

1) Se você está rodando seu próprio git, vai ter que configurar nele um tamanho máximo pros arquivos do repositório. No github, o tamanho máximo de arquivo é 100MB. Mas com 50MB ele já te dá um warn.

2) Git não foi feito pra versionar arquivos binários. É melhor usar um rsync e copiar pra outro lugar.

3) Tem uma solução chamada git-annex para fazer a gestão de arquivos grandes. Dà uma olhada em http://git-annex.branchable.com/

1
  • Há quem defenda ter uma instalação do SVN além do git, só para colocar os binários. Se versionamento for importante, pode ser melhor que no sistema de arquivos.
    – elias
    Commented 22/01/2014 às 22:05

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .