0

No colab da um erro:

"A sessão falhou depois de usar toda a RAM disponível. Se você tiver interesse em acessar ambientes de execução com mais memória RAM, confira o Colab Pro."

Eu queria diminuir o arquivo csv para nao dar mais este problema ao importar, o que faço? Ele é muito grande 3 GB, devido a isto a RAM disponível no google Colab não é suficiente para importá-lo. O arquivo esta em https://download.inep.gov.br/microdados/microdados_enem_2019.zip , e so fazer o download se precisar. Este e o caminho ao baixar no drive para pegar o arquivo que estou me referindo /content/drive/MyDrive/Microdados_Enem_2019/DADOS/MICRODADOS_ENEM_2019.csv. Se poderem me ajudar a diminuir o arquivo csv para conseguir importa-lo no google colab, agradeceria muito, e simples e so me ajudar a diminuir a quantidade de linha no arquivo csv, neste arquivo possui 5 milhao, seria mais facil se tivesse meio milhao ou menos, para conseguir importar no colab.

from google.colab import drive
drive.mount('/content/drive')

import pandas as pd

#aqui que dá o erro, ao importar o arquivo csv, eu só queria diminuir ele para conseguir importar
microdados = pd.read_csv('/content/drive/MyDrive/Microdados_Enem_2019/DADOS/MICRODADOS_ENEM_2019.csv',sep=";", encoding="ISO-8859-1")
microdados.head()
4
  • 1
    A mensagem termina com confira o Colab Pro... Significa que você tem que pagar por um serviço para ter mais memória disponível. Minha sugestão caso você não tenha orçamento para isso é instala o Jupyter na sua máquina. Acredito que dividir o arquivo não seja a solução, pois vc terá que carregar todos do mesmo jeito, certo? 10/04/2021 às 19:27
  • Você tentou abrir o arquivo com um editor de texto, excluir algumas linhas e salvar? Não entendi o que sua dúvida tem a ver com programação. 10/04/2021 às 21:14
  • Se você procurar a documentação do Pandas também vai ver que a função read_csv pode receber um parâmentro nrows que especifica quantas linhas do arquivo você quer ler. 10/04/2021 às 21:16
  • isso mesmo que eu queria @fernandosavio , muito obrigado! nao sabia deste parametro do read_csv "nrows", obrigado mesmo!
    – wendller
    11/04/2021 às 4:22

1 Resposta 1

0

Sugiro que você faça o download de um aplicativo que tem o objetivo de dividir um arquivo CSV gigante em pequenos pedaços, ou seja, em vários arquivos CSVs menores que apresentarão uma quantidade de linhas definidas por você.

Sugiro o aplicativo Split CSV File. Com este aplicativo, você informa quantas linhas quer em cada arquivo menor. No seu caso, basta parametrizar o campo "Line Count" com a quantidade de linhas e clicar no botão "Split File".

Aplicativo simples Split CSV File

É um aplicativo simples, basta executar, não precisa instalar, já utilizei várias vezes. Caso queira ver outras opções de aplicativos, consulte este site sobre como dividir arquivo CSV

Caso particular

Para resolver seu caso em particular, baixei seu arquivo e o dividi em arquivos com 100 mil linhas. Como você disse que gostaria de trabalhar com 500 mil linhas ou menos, estou disponibilizando um arquivo zip com 5 CSVs de 100 mil linhas, basta clicar nesse link MICRODADOS_ENEM_2019_500_mil_Linhas.zip

1
  • Nossa, Muito Obrigado!
    – wendller
    11/04/2021 às 4:05

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .