A idéia do chunksize é que você consiga trabalhar em cima dos dados em 'blocos', usando algum dos sistemas de loop existentes.
Minha dica é você pré definir seus objetivos antes de ler os dados usando chunk, uma vez que ele 'distorce' os dados estatísticos observados no describe
.
Exemplo
Descobrir o total de mulheres e homens que fizeram o enem.
array_df = []
for chunk in pd.read_csv('MICRODADOS_ENEM_2018.csv', encoding='Latin1', sep=';', chunksize = 10000):
array_df.append(chunk['TP_SEXO'].value_counts())
df = pd.concat(array_df, ignore_index=False)
df.groupby(level=0).sum()
output:
F 145400
M 97904
Name: TP_SEXO, dtype: int64
Outra coisa que você pode fazer(e que eu mesmo fiz já que estou explorando os micro dados do enem também) é se o seu interesse for em dados relativos a apenas um estado, usar o chunk para selecionar eles, assim a dimensionalidade dos dados ficarão muito mais reduzidos, e possivelmente o comando describe
irá funcionar sem problemas.
No meu caso eu estava interessado nos dados do Rio Grande do Sul, separei os dados da seguinte forma:
array_df = []
for chunk in pd.read_csv('MICRODADOS_ENEM_2018.csv', encoding='Latin1', sep=';', chunksize = 10000):
temp_df = chunk.loc[chunk['SG_UF_PROVA'] == 'RS']
array_df.append(temp_df)
df = pd.concat(array_df, ignore_index=True)
Pronto, diminuí os dados de 3GB para 159 MB.
Claro que essa ultima dica só funcionará se você ter um grupo de interesse para fazer algum tipo de análise exploratória, se o que você deseja for a nível nacional, você terá que ter parâmetros bem definidos como demonstrei no primeiro exemplo.