3

estou tentando concatenar arquivos que chegam a uma soma de 650MB, e está retornando erro de memória:

> MemoryError: Unable to allocate 70.3 MiB for an array with shape (3, 6143249) and data type object

linha que estou usando para concatenar:

li # lista dos arquivos
df = pd.concat(li,axis=0,ignore_index=True)

existe outra forma de concatenar arquivos grandes? obrigado

4
  • é uma tarefa que se repetirá várias vezes? se não, use o shell cp a.txt b.txt c.txt tudo_junto.txt ou sendo windows, use: "copy a.txt b.txt c.txt tudo_junto.txt" Commented 15/11/2020 às 1:33
  • 1
    @PauloMarques Na verdade, no Unix/Linux tem que usar cat (e não cp): cat a.txt b.txt c.txt > tudo_junto.txt - e no Windows é copy a.txt+b.txt+c.txt tudo_junto.txt (faltou o + entre os arquivos)
    – hkotsubo
    Commented 17/11/2020 às 10:38
  • @Saulo a solução para o seu caso é utilizar chunks. Ao que me parece, um problema nos seus arquivos é que tem muitas colunas, então os chunks devem ser aplicados às colunas, veja essa questão: stackoverflow.com/questions/37727671/…
    – Lucas
    Commented 17/11/2020 às 14:12
  • @hkotsubo, obrigado pela correção. Commented 17/11/2020 às 17:32

1 Resposta 1

3

Eu vou listar algumas coisas que eu sei que você pode tentar fazer ou até mesmo combinar várias delas e sei que existem muitas outras. Antes de tudo garanta que você tem a última versão do pandas.

Importando CSV - definindo dtype: A primeira coisa que você tem que ter em mente é que sempre que você carrega um arquivo pra um DataFrame do pandas ele vai tentar adivinhar o tipo de dado do seu CSV e isso é ruim porque enquanto ele faz isso ele precisa manter todos os dados do arquivo como objetos (strings) na memória. Se você informa pro pandas qual o tipo de dado de cada coluna ele não precisa fazer isso e você economiza muita memória. Para definir o tipo de dados do seu CSV use dtype={'coluna':tipo} como parâmetro do read_csv(). Só tenha em mente que se você tiver dados corrompidos (uma string em uma coluna que deveria conter apenas números) o read_csv() vai dar erro.

Se for concatenar vários arquivos, faça aos poucos: você não quer e nem precisa de vários DataFrames carregados simultaneamente, prefira fazer a concatenação de dois em dois livrando os que já foram concatenados na memória. Exemplo de como fazer isso:

df1 = pd.concat([df1,df2])
del df2
df1 = pd.concat([df1,df3])
del df3

Salvar os DataFrames em um único CSV é melhor do que concatenar: se a memória é um problema, use o seu HD. Abra cada arquivo de uma vez e salve em um csv usando `mode='a'. Veja um exemplo:

df1.to_csv('file.csv', index=False)
df2.to_csv('file.csv', mode='a', columns=False, index=False)
df3.to_csv('file.csv', mode='a', columns=False, index=False)

Não use o pandas se você não precisar: se você quer concatenar arquivos e não precisa mexer neles, não perca tempo importando os arquivos como DataFrames para depois concatenar. Use um comando bash ou faça no python:

def concat(file1, file2):
    with open(file2, 'r') as filename2:
        data = file2.read()
    with open(file1, 'a') as filename1:
        file.write(data)

concat('file.csv', 'file1.csv')
concat('file.csv', 'file2.csv')
concat('file.csv', 'file3.csv')

Não use CSV: essa talvez seja, de todas, a questão mais ousada, porém, muitas vezes é a solução salvadora. Arquivos CSV são de lenta manipulação porque fazem conversão de dados em modo de texto. Uma solução em HDF5 é muito mais eficiente porque faz a conversão de dados em modo binário.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .