2

Olá! Estou tentando trabalhar com um arquivo *.csv usando o Pandas no Python3 instado em uma VM do GoogleCloud. Esta VM tem 16GB de memoria e mesmo assim deu MemoryError. Para resolver esse problema usei o atributo chunksize:

df = pd.read_csv("/home/enem/DADOS/MICRODADOS_ENEM_2018.csv", sep = ";",encoding = "ISO-8859-1", chunksize = 10000, header = 1)

O comando deu certo, ao menos carregou. No entanto, não consigo fazer nada com data carregado, mesmo usando da função read_csv:

for data in df: data.describe()

as funções não retornam nada ou retornam um amontoado de resultados referentes a cada chunk, um simples describe() é algo nada agradável.

Alguém tem uma boa referência que fale sobre como trabalhar com chunks?

Obrigado

1 Resposta 1

3

A idéia do chunksize é que você consiga trabalhar em cima dos dados em 'blocos', usando algum dos sistemas de loop existentes.
Minha dica é você pré definir seus objetivos antes de ler os dados usando chunk, uma vez que ele 'distorce' os dados estatísticos observados no describe.


Exemplo

Descobrir o total de mulheres e homens que fizeram o enem.

array_df = []
for chunk in pd.read_csv('MICRODADOS_ENEM_2018.csv', encoding='Latin1', sep=';', chunksize = 10000):
    array_df.append(chunk['TP_SEXO'].value_counts())
df = pd.concat(array_df, ignore_index=False)
df.groupby(level=0).sum()

output:
F    145400
M     97904
Name: TP_SEXO, dtype: int64

Outra coisa que você pode fazer(e que eu mesmo fiz já que estou explorando os micro dados do enem também) é se o seu interesse for em dados relativos a apenas um estado, usar o chunk para selecionar eles, assim a dimensionalidade dos dados ficarão muito mais reduzidos, e possivelmente o comando describe irá funcionar sem problemas.
No meu caso eu estava interessado nos dados do Rio Grande do Sul, separei os dados da seguinte forma:

array_df = []
for chunk in pd.read_csv('MICRODADOS_ENEM_2018.csv', encoding='Latin1', sep=';', chunksize = 10000):
    temp_df = chunk.loc[chunk['SG_UF_PROVA'] == 'RS']
array_df.append(temp_df)

df = pd.concat(array_df, ignore_index=True)

Pronto, diminuí os dados de 3GB para 159 MB.
Claro que essa ultima dica só funcionará se você ter um grupo de interesse para fazer algum tipo de análise exploratória, se o que você deseja for a nível nacional, você terá que ter parâmetros bem definidos como demonstrei no primeiro exemplo.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .