20

Comecei há algum tempo a desenvolver uma página web, que está bem organizada, tem pastas para tudo, exemplo da raiz do repositório/projecto:

account/  
products/  
js/  
css/  
img/   
data/ *(pdfs e zips para download)*  
index.php   
etc...  

O problema é que inicialmente não fazia ideia do problema que os ficheiros binários representavam para o Git, e todos ficheiros para download (pdfs e zips) no site foram adicionados sucessivamente com vários commits à pasta data.

Neste momento o repositório tem 600 Mb, e sei que caso a pasta data não tivesse sido adicionada teria menos de 10 Mb!

Há alguma maneira de apagar permanentemente de todo o histórico do Git uma pasta ou por tipos de ficheiro, pdf, zip?

1

3 Respostas 3

19

As respostas todas estão corretas mas... o que está acontecendo afinal?

Os comandos o git as vezes podem não ser muito amigáveis, aí vai uma explicação mais humana.

Utilizando como base o script do link fornecido pelo @Guilherme:

git filter-branch --index-filter "git rm -rf --cached --ignore-unmatch $files" HEAD

git filter-branch --index-filter "[comando]" HEAD

Aqui estamos passando revisão por revisão instruindo o git a executar nosso comando (que no caso deleta os arquivos).

  • git filter-branch: Rescreve o histórico, revisão a revisão, conforme os filtros que você especificar.
  • --index-filter: Esse filtro instrui o git a aplicar o comando diretamente no repositório sem fazer uma cópia local, para que o git faça uma cópia local (isto é, realize um checkout dos arquivos) utilize --tree-filter. A vantagem do --index-filter é que sua execução é mais rápida; a desvantagem é que apenas comandos do git podem ser aplicados.
  • "[comando]": Aqui vai o comando que o git irá aplicar para cada revisão do repositório.
  • HEAD: Indica de onde o git deve começar a iterar aplicando o comando. Pode ser outro especificador, como um SHA1 ou uma tag. Basta utilizar git rev-list para ver quais as revisões o git utilizará (esse é o comando que ele utiliza internamente).

git rm -rf --cached --ignore-unmatch [arquivos]

Este é o comando da deleção dos arquivos em si, executado a cada revisão passada pelo filter-branch.

  • git rm: Remove os arquivos do index e da cópia de trabalho (no nosso caso, do index).
  • -rf: -r de recursive, remove os diretórios de forma recursiva. -f de force, força a remoção do arquivo mesmo se houver modificações locais; não fará diferença no nosso caso, mas também não machuca :-)
  • --cached: Faz com que o comando trabalhe só sobre o stage.
  • --ignore-unmatch: Não retorna erro (retorno do comando 0) mesmo se não encontrar os arquivos. Importante pois se o comando utilizado pelo filter-branch tiver um retorno diferente de zero o git entende que houve um erro e termina a execução.
  • [arquivos]: Caminho dos arquivos a serem removidos.

Pronto, após executado o comando o arquivo não aparece em nenhuma revisão do histórico do git (git log). Então o repositório diminuiu consideravelmente de tamanho? Não exatamente; pelo menos não na sua cópia local.

Ao repassar revisão por revisão excluindo os arquivos o git gerou novas revisões sem os arquivos, e trocando as referências das antigas pelas novas. O que acontece é que quando o git faz isso ele não deleta a revisão completamente do repositório, ele apenas dereferencia (nem existe essa palavra né :p) essas revisões: elas continuam existindo no repositório, mesmo orfãs. Você pode averiguar isso listando-as com git reflog ou até mesmo verificando o tamanho da pasta .git (que continuará ocupando um grande espaço no seu caso).

Para remover completamente essas revisões do git deve-se utilizar a última (e esquecida) linha do script que utilizamos de exemplo:

rm -rf .git/refs/original/ && git reflog expire --expire=now --all &&  git gc --aggressive --prune=now

Vamos lá.

rm -rf .git/ref/original/

Apagando o backup feito pelo filter-branch.

  • rm -rf: Comando do próprio shell. Novamente -r de recursive, para apagar subdiretórios; -f de force, ignora arquivos não existentes e não faz nenhum prompt com o usuário.
  • .git/refs/original/: Essa é a pasta com o backup das referências afetadas pelo comando filter-branch.

git reflog expire --expire=now --all

Dereferenciando de vez as revisões orfãs do git.

O reflog é, em minha opnião, um dos comandos mais mal documentados (e confusos) de todo o git.

  • git reflog: Similar ao comando git log (contração de reference log), só que abrangendo também revisões orfãs, stashes, etc.
  • expire: Expira as revisões (remove suas referências do reflog, desconhecendo-as pelo git).
  • --expire=now: Considerar revisões a partir de uma data; now para aplicar em todas independente do tempo.
  • --all: Faz com que o reflog seja mais abrangente, passando em outros branches e stashes.

git gc --aggressive --prune=now

E, finalmente, apagando-as.

  • git gc: git garbage collector. Remove arquivos e comprime objetos do git
  • --aggressive: Faz com que o git realize a otimização mesmo que o comando demore a ser executado.
  • --prune=now: Considera objetos a partir de uma data. now para aplicar em todos independente do tempo.

Lembre-se, você rescreveu seu histórico

Para aplicar seu histórico local, agora modificado, a seu remoto você terá que forçar seu push:

git push -f

Considere os efeitos dessa rescrita para quem também estiver trabalhando sobre o mesmo remoto que você.


p.s.

  • Há uma adaptação minha na última linha do script que limpa o histórico repositório. A diferença é a inclusão do paramêtro --expire=now e --prune=now. Se não utilizado estes paramêtros o git assume um tempo default de 90 dias e 2 semanas respectivamente, funcionando assim apenas em suas revisões mais antigas.
  • O GitHub também possui tutorial bem semelhante.
3
  • Funcionou perfeitamente para mim. Em resumo (pois a resposta é bem extensa), faça o comando: git filter-branch --index-filter "git rm -rf --cached --ignore-unmatch $files" HEAD e então: rm -rf .git/refs/original/ && git reflog expire --expire=now --all && git gc --aggressive --prune=now
    – Math
    11/07/2014 às 12:53
  • EXCELENTE resposta
    – Ricardo
    26/11/2015 às 16:18
  • Ótima explicação. Ainda estou receoso de executar por ter mais pessoas trabalhando no mesmo projeto
    – user5103
    6/04/2021 às 17:32
16

Carece de testes, mas, nesse link é mencionado o seguinte comando para remover arquivos permanentemente do histórico:

git filter-branch --index-filter "git rm -rf --cached --ignore-unmatch nome_do_arquivo" HEAD
4
  • depois de responder vi isso... o problema é mais complexo. Encontrei isso aqui. Mas precisaria testar pra ter certeza
    – Guilherme
    18/12/2013 às 13:06
  • O filter-branch é a forma de fazer isso sim. Eu acrescentaria o --prune-empty, que vai remover commits que fiquem "vazios" (pois os arquivos que eles alteravam não fazem mais parte do repositório). 18/12/2013 às 13:14
  • Alias, remova sua resposta original e deixe só o update. :) 18/12/2013 às 13:14
  • Fiz o teste e o repositório de facto ficou reduzido a 60% do tamanho original. Este não era o valor esperado, de qualquer modo já melhorou ... 18/12/2013 às 15:09
3

Adaptando o comando indicado no cap. 9.7 do livro Pro Git:

$ git filter-branch --index-filter 'git rm -r --cached --ignore-unmatch nome-do-arquivo-ou-diretorio'

Note que, como o comando reescreve o histórico, será preciso baixar (clonar) o repositório novamente em todos os computadores que já tinham uma cópia do repositório.

Explicação do livro:

A opção --index-filter é semelhante à opção --tree-filter utilizada no Capítulo 6, exceto que em vez de passar um comando que modifica os arquivos que você fez check-out no disco, você está modificando sua área de seleção (staging area) ou índice.

Em vez de remover um arquivo específico com algo como rm file, você tem que removê-lo com git rm --cached — você deve removê-lo do índice, não do disco. A razão para fazê-lo desta maneira é a velocidade — porque o Git não precisa fazer o check out de cada revisão no disco antes de executar o seu filtro, o processo pode ser muito mais rápido.

A opção --ignore-unmatch do git rm diz a ele para não mostrar erros se o padrão que você está tentando remover não estiver lá.

Seu histórico já não contém uma referência para o arquivo. No entanto, seu reflog e um novo conjunto de refs que o git adicionou quando você fez o filter-branch em .git/refs/original ainda não, então você tem que removê-los e, em seguida, fazer um repack do banco de dados. Você precisa se ​​livrar de qualquer coisa que tenha um ponteiro para aqueles commits antigos antes de fazer o repack:

$ rm -Rf .git/refs/original

$ rm -Rf .git/logs/

$ git gc

1
  • 1
    Para diretórios deve-se usar ... 'git rm -r ...'. Algumas flags adicionais seriam --prune-empty para remover qualquer commit que ficar em branco (se for desejável), --tag-name-filter cat para preservar qualquer tag que exista no repositório e terminar com -- --all para aplicar em todas as refs. 18/12/2013 às 13:38

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .