1

Olá, amigos!

Atualmente faço uma pesquisa científica no ramo da IA, o Machine Learning - Classificação, usando a linguagem Python.

Em vista disso, eu tenho alguns dados para desenvolver um algoritmo, que será usado para treinar e testar a minha máquina. Porém são mais de 300.000 e, por estar alocando muito dado numa única variável, meu ambiente de desenvolvimento sofre erro de memória.

A minha estratégia é fracionar esse DataFrame e impor um limite, mas procurei e não encontro nada. O objetivo é pegar esses 300.000 dados e limitar para 5.000 ou 10.000. Assim consigo uma quantidade boa para treinar minha máquina sem sofrer erro de memória.

Vocês têm ideia de como eu faço isso?

6
  • Use o parâmetro nrows para limitar o números de linhas a serem lidas:read_csv(..., nrows=5000) Commented 26/01/2021 às 20:07
  • Augusto, achei isso bem interessante. Mas tem como eu setar esse limite isso dentro da variável? Ao invés só de ler? Porque eu preciso que concatene com esse limite que eu impus... Commented 26/01/2021 às 20:13
  • Parcialmente? Você quer pegar linhas aleatórias? Se for o caso vai ter que colocar uma amostra mínima de dados e um Exemplo Mínimo, Completo e Verificável pois dependendo do formato da tabela é um processo. Commented 26/01/2021 às 20:21
  • Não kkkkkk era pra eu criar outro parágrafo, mas acabei dando enter, me desculpe... eu editei, pode reconsiderar a pergunta, por favor? Commented 26/01/2021 às 20:24
  • 1
    Augusto, deu tudo certo! Eu tinha colocado o número errado. Muito obrigada por sua ajuda e tempo, me serviram e me salvaram demais! Commented 26/01/2021 às 21:24

1 Resposta 1

3

Você pode pode determinar um valor pro chunksize

import pandas as pd

# tamanho da fatia
tamanho = 5000

for fatia in pd.read_csv('./arquivo.csv', chunksize = tamanho):
    # seu código aqui
3
  • Também acho que é isso que ela quer, mas sem o MCVE eu não arrisquei. Toma meu +1 pela coragem de codificar as cegas. Commented 26/01/2021 às 22:18
  • 1
    @AugustoVasques kkkkk, fui só porque era 'pouco' trabalhoso. Agradecido pelo upvote! Commented 26/01/2021 às 22:30
  • 2
    É isso mesmo, gente! Na real essa alternativa do chunksize eu não conhecia, achei bem interessante... mas a ajuda do Augusto já me foi bem útil! Obrigada aos dois e perdão por não ter sido tão clara :) Commented 28/01/2021 às 16:17

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .