Eu vou listar algumas coisas que eu sei que você pode tentar fazer ou até mesmo combinar várias delas e sei que existem muitas outras. Antes de tudo garanta que você tem a última versão do pandas.
Importando CSV - definindo dtype: A primeira coisa que você tem que ter em mente é que sempre que você carrega um arquivo pra um DataFrame
do pandas ele vai tentar adivinhar o tipo de dado do seu CSV e isso é ruim porque enquanto ele faz isso ele precisa manter todos os dados do arquivo como objetos (strings) na memória. Se você informa pro pandas qual o tipo de dado de cada coluna ele não precisa fazer isso e você economiza muita memória. Para definir o tipo de dados do seu CSV use dtype={'coluna':tipo}
como parâmetro do read_csv()
. Só tenha em mente que se você tiver dados corrompidos (uma string em uma coluna que deveria conter apenas números) o read_csv()
vai dar erro.
Se for concatenar vários arquivos, faça aos poucos: você não quer e nem precisa de vários DataFrames
carregados simultaneamente, prefira fazer a concatenação de dois em dois livrando os que já foram concatenados na memória. Exemplo de como fazer isso:
df1 = pd.concat([df1,df2])
del df2
df1 = pd.concat([df1,df3])
del df3
Salvar os DataFrames em um único CSV é melhor do que concatenar: se a memória é um problema, use o seu HD. Abra cada arquivo de uma vez e salve em um csv usando `mode='a'. Veja um exemplo:
df1.to_csv('file.csv', index=False)
df2.to_csv('file.csv', mode='a', columns=False, index=False)
df3.to_csv('file.csv', mode='a', columns=False, index=False)
Não use o pandas se você não precisar: se você quer concatenar arquivos e não precisa mexer neles, não perca tempo importando os arquivos como DataFrames
para depois concatenar. Use um comando bash ou faça no python:
def concat(file1, file2):
with open(file2, 'r') as filename2:
data = file2.read()
with open(file1, 'a') as filename1:
file.write(data)
concat('file.csv', 'file1.csv')
concat('file.csv', 'file2.csv')
concat('file.csv', 'file3.csv')
Não use CSV: essa talvez seja, de todas, a questão mais ousada, porém, muitas vezes é a solução salvadora. Arquivos CSV são de lenta manipulação porque fazem conversão de dados em modo de texto. Uma solução em HDF5 é muito mais eficiente porque faz a conversão de dados em modo binário.
cp a.txt b.txt c.txt tudo_junto.txt
ou sendo windows, use: "copy a.txt b.txt c.txt tudo_junto.txt"cat
(e nãocp
):cat a.txt b.txt c.txt > tudo_junto.txt
- e no Windows écopy a.txt+b.txt+c.txt tudo_junto.txt
(faltou o+
entre os arquivos)