"Criar um CSV em memória" não faz muito sentido - Uma estrutura DataFrame do Pandas é uma tabela de dados em memória, mas já com muito mais facilidades que um CSV. Um CSV é um tipo de arquivo conveniente para portar dados de um lado para outro no disco - mas que tem um mínimo de praticidade direta.
Pela sua pergunta, você quer gerar um arquivo .zip dentro do qual estejam CSVs com seus dados. É possível sim, em Python, serializar os dados como se fossem um CSV em memória, e adicionar cada um a um arqivo zip - mas se os arquivos CSV fossem criados como arquivos temporários no disco, daria o mesmo trabalho - ou seja: podemos criar "em memória" - mas isso não tem importância para o seu problema.
O erro específico que você está tendo é por que a chamada to_csv
do Pandas não retorna "o arquivo em memória". Ela retorna anda (None) - daí quando você tenta adicionar "arq" ao seu arquivo "gzip" acontece o erro que você postou.
Os dados do arquivo CSV vão ficar no próprio objeto StringIO - esse que está na sau variável "f". Há alguns erros de lógica no seu código: você cira um único objeto StringIO e nunca apaga seu conteúdo - se tudo o mais estivesse funcionando, você estaria repetindo todos os dados dos primeiros arquivos também nos últimos.
Isso é fácil arrumar.
Um outro problema é que arquivos do tipo "gzip" não tem uma estrutura interna, como um arquivo ZIP - eles são uma única sequência de dados comprimida - e são descomprimidos como um único arquivo. Tanto que é ácil ver que arquivos distruibuidos na internet como "gzip" em geral terminam em ".tar.gz" - indicando que dentro do gzip há um arquivo "tar" - esse sim, tem informações sobre arquivos contidos dentro dele.
Se quiser ter um arquivo ZIP que possa ser listado em qualquer programa que trabalhe com esse tipo de arquivo, e lá dentro ver os CSV's de linha 0 a 999, de 1000 a 1999, etc... tem reamente que usar o módulo zipfile da biblioteca padrão, e não o gzip;
o objeto "StringIO" não tem um nome de arquivo - não deve dar pra passar ele direto para o gzip.write - temos que ver a documentação dessa chamada ver um objeto gzip file aceita dados direto,e metadados como nome de arquivo - senão será necessária a criação de um arquivo temporário em disco, como mencionei acima.
Bom, na prática, vamos tentar algo assim:
import pandas as pd
from io import StringIO
import zipfile
csvfile = pd.read_csv('file.csv')
f = StringIO()
with zipfile.ZipFile('arquivos_csv_agrupados.zip',
'w', compression=zipfile.ZIP_DEFLATED,
compresslevel=9) as zf:
for starting_line in range(0, len(csvfile) , 1000): # a funçao range já permite especificiar o passo de 1000 em 1000 linhas
data = csvfile[starting_line: starting_line + 1000]
f = StringIO()
data.to_csv(f, index=False)
# Inserir dados no arquivo ZIP, criando o nome do arquivo e recuperando os dados escritos em 'f':
zf.writestr(f"file_{linha_inicio:04d}_{linha_inicio + 1000:04d}.csv", f.getvalue())
A maior diferença é realmente o uso do zipfile, em vez de gzip - mas o que estava errado mesmo eram (1) o conteúdo do CSV parcial gerado dentro do StringIO é recuperado com o método .getvalue
, e não o valor retornado pelo write_csv
.
Com o zipfile, temos o direito de criar os nomes dos arquivos que vão dentro do zip, com o método .writestr
usado acima.
Você estava tentando criar um arquivo zippado em memória com o "bytesIO"
- isso não faz muito sentido - o arquivo é gerado direto no disco com o nome de exemplo "arquivos_csv_agrupados.zip" - mas se realmente quiser criar o zip só em memória, usar o bytesIO poderia funcionar.
A outra correção é que você não precisa fazer o "i" avançar de 1 em 1 e usar um if
para detectar as linhas múltiplas de 1000 - a função range faz isso sozinha.