-1

Olá! Preciso ler um grande CSV, quebrá-lo em CSVs de 1000 linhas, armazená-los em memória e então zerar um zip com estes arquivos menores.

Este é o código até o momento:

import pandas as pd
from io import BytesIO, StringIO
import gzip

csvfile = pd.read_csv('file.csv')
buffer = BytesIO()
f = StringIO()

with gzip.open(buffer, 'wb') as zf:   
    for i in range(len(csvfile)):
        if i % 1000 == 0:
            data = csvfile[i:i+1000]
            arq = data.to_csv(f, index=False)            
            zf.write(arq)

E este é o retorno do erro:

TypeError: memoryview: a bytes-like object is required, not 'NoneType'

Por favor, alguém poderia me auxiliar?

3
  • o que é "quebrar em 1000 linhas"? O arquivo tem milhares de linhas e vc quer salvar de 1000 em 1000?
    – Lucas
    Commented 29/12/2020 às 18:44
  • Exatamente, Lucas.
    – marloswn
    Commented 29/12/2020 às 18:47
  • 1
    Use chunks: pt.stackoverflow.com/questions/392787/…
    – Lucas
    Commented 29/12/2020 às 19:50

1 Resposta 1

2

"Criar um CSV em memória" não faz muito sentido - Uma estrutura DataFrame do Pandas é uma tabela de dados em memória, mas já com muito mais facilidades que um CSV. Um CSV é um tipo de arquivo conveniente para portar dados de um lado para outro no disco - mas que tem um mínimo de praticidade direta.

Pela sua pergunta, você quer gerar um arquivo .zip dentro do qual estejam CSVs com seus dados. É possível sim, em Python, serializar os dados como se fossem um CSV em memória, e adicionar cada um a um arqivo zip - mas se os arquivos CSV fossem criados como arquivos temporários no disco, daria o mesmo trabalho - ou seja: podemos criar "em memória" - mas isso não tem importância para o seu problema.

O erro específico que você está tendo é por que a chamada to_csv do Pandas não retorna "o arquivo em memória". Ela retorna anda (None) - daí quando você tenta adicionar "arq" ao seu arquivo "gzip" acontece o erro que você postou.

Os dados do arquivo CSV vão ficar no próprio objeto StringIO - esse que está na sau variável "f". Há alguns erros de lógica no seu código: você cira um único objeto StringIO e nunca apaga seu conteúdo - se tudo o mais estivesse funcionando, você estaria repetindo todos os dados dos primeiros arquivos também nos últimos.

Isso é fácil arrumar.

Um outro problema é que arquivos do tipo "gzip" não tem uma estrutura interna, como um arquivo ZIP - eles são uma única sequência de dados comprimida - e são descomprimidos como um único arquivo. Tanto que é ácil ver que arquivos distruibuidos na internet como "gzip" em geral terminam em ".tar.gz" - indicando que dentro do gzip há um arquivo "tar" - esse sim, tem informações sobre arquivos contidos dentro dele.

Se quiser ter um arquivo ZIP que possa ser listado em qualquer programa que trabalhe com esse tipo de arquivo, e lá dentro ver os CSV's de linha 0 a 999, de 1000 a 1999, etc... tem reamente que usar o módulo zipfile da biblioteca padrão, e não o gzip;

o objeto "StringIO" não tem um nome de arquivo - não deve dar pra passar ele direto para o gzip.write - temos que ver a documentação dessa chamada ver um objeto gzip file aceita dados direto,e metadados como nome de arquivo - senão será necessária a criação de um arquivo temporário em disco, como mencionei acima.

Bom, na prática, vamos tentar algo assim:


import pandas as pd
from io import StringIO
import zipfile

csvfile = pd.read_csv('file.csv')

f = StringIO()

with zipfile.ZipFile('arquivos_csv_agrupados.zip', 
                     'w', compression=zipfile.ZIP_DEFLATED,
                      compresslevel=9) as zf:   
    for starting_line in range(0, len(csvfile) , 1000):  # a funçao range já permite especificiar o passo de 1000 em 1000 linhas
        data = csvfile[starting_line: starting_line + 1000] 
        f = StringIO()
        data.to_csv(f, index=False)
        # Inserir dados no arquivo ZIP, criando o nome do arquivo e recuperando os dados escritos em 'f':
        zf.writestr(f"file_{linha_inicio:04d}_{linha_inicio + 1000:04d}.csv", f.getvalue())
        

A maior diferença é realmente o uso do zipfile, em vez de gzip - mas o que estava errado mesmo eram (1) o conteúdo do CSV parcial gerado dentro do StringIO é recuperado com o método .getvalue, e não o valor retornado pelo write_csv.

Com o zipfile, temos o direito de criar os nomes dos arquivos que vão dentro do zip, com o método .writestr usado acima.

Você estava tentando criar um arquivo zippado em memória com o "bytesIO"

  • isso não faz muito sentido - o arquivo é gerado direto no disco com o nome de exemplo "arquivos_csv_agrupados.zip" - mas se realmente quiser criar o zip só em memória, usar o bytesIO poderia funcionar.

A outra correção é que você não precisa fazer o "i" avançar de 1 em 1 e usar um if para detectar as linhas múltiplas de 1000 - a função range faz isso sozinha.

6
  • Funcionou perfeitamente! Agradeço imensamente! Porém, preciso salvar em memória o zip, e não em disco, pois irei transmitir para um storage posteriormente. Como eu poderia usar o bytesIO nesse caso?
    – marloswn
    Commented 30/12/2020 às 20:10
  • em memória voce nao "salva" - mas é só fazer quase como você estava fazendo - crie objeto "bytesIO" numa variável antes do with, e passe ele como primeiro parâmetro para a chamada do ZipFile - deve funcionar. Aí você usa o .getvalue() desse objeto para obter os bytes do zip - se o objetivo for, por exemplo, enviar o conteúdo do zip para uma API ou colocar num corpo de mensagem HTTP.
    – jsbueno
    Commented 30/12/2020 às 21:27
  • Se entendi, faria algo assim: memory_zip = BytesIO() \n with zipfile.ZipFile(memory_zip, ...) \n zip_to_bucket = memory_zip.getvalue() \n upload()? Tentei aqui, e informou "File b'PK\x03\x04\x14\x00\x00\x00\x0...<um monte de caracter>' uploaded to file.zip". Porém, ao consultar o Storage (estou tentando subir para o Google Cloud), o arquivo não consta.
    – marloswn
    Commented 31/12/2020 às 12:50
  • ai precisa ver como você está chamando o update - não está no código dessa questão. De repente, abra uma outra. Pela mensagem, parece tudo ok - a questão é ver onde está sendo feito o upload e por que não aparece como você espera.
    – jsbueno
    Commented 1/01/2021 às 18:45
  • Outra: se esse update puder aceitar um arquivo aberto, talvez não seja preciso o .getvalue() - aí é o caso de chamar o método seek(0) para resetar o pontiero do objeto BytesIO - mas isso seria só cosmético - pela mensagem que você colocou acima, o upload já está funcionando.
    – jsbueno
    Commented 1/01/2021 às 18:46

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .