0

Olá, eu estou utilizando um script que divide um arquivo em várias partes Como eu faço para realizar essa divisão a partir de uma palavra já definida? Ex: eu quero que ele divida em partes toda vez que a palavra ''id'' aparecer no arquivo

from math import ceil
from os import stat, mkdir
from os.path import exists, dirname, realpath

class Arquivo():
    def dividir (arquivo, partes):
        
        pasta_partes = dirname(realpath(__file__))+"\\partes\\"
        if not exists(pasta_partes):
            mkdir(pasta_partes)

        arquivo_primario = open(arquivo, "rb")
        parte = 0
        maximo = ceil(stat(arquivo).st_size / partes)

        while (parte < partes):
            parte += 1
            dados = arquivo_primario.read(maximo)
            arquivo_parte = open(pasta_partes + arquivo + ".parte" + str(parte), "wb")
            arquivo_parte.write(dados)

            arquivo_parte.close()
        arquivo_primario.close()

Arquivo.dividir ('results.json', 10) 

1
  • Por favor, esclareça seu problema ou forneça detalhes adicionais a fim de destacar exatamente o que você precisa. Da forma como está escrito atualmente é difícil dizer com exatidão o que você está perguntando.
    – Comunidade Bot
    Commented 5/05/2022 às 20:44

1 Resposta 1

1

Bom, primeiro de tudo não tem muito sentido usar uma classe se a única função do seu algoritmo for particionar arquivos. Além do mais, o certo é class Arquivo:, sem os parênteses. Outra questão é que se o seu objetivo é separar o arquivo de acordo com alguma palavra-chave (como "id"), não faz sentido pedir o número de partes no qual o arquivo será dividido como argumento.

Se os arquivos que você se refere são de texto, então eis aqui uma solução bem simples.

def particionar(diretorio):
    with open(diretorio, 'r') as arquivo_alvo:
        conteudo = arquivo_alvo.read()
        lista_de_partes = conteudo.split('\n')
        for n, parte in enumerate(lista_de_partes):
            with open('parte' + str(n + 1) + '.parte', 'w') as arquivo_parte:
                arquivo_parte.write(parte)

particionar('texto.txt')

Nesse exemplo, criei um arquivo texto.txt com o seguinte conteúdo:

Minha terra tem palmeiras
Onde canta o sabiá
As aves, que aqui goerjeiam,
Não gorjeiam como lá

O código consiste em ler todo o arquivo e guardar seu conteúdo numa string usando arquivo_alvo.read(); em seguida separar esta string numa lista de strings usando conteudo.split() (que, no meu caso, especifiquei como separador a quebra de linha \n, o que na prática quer dizer que terei uma lista de linhas do texto); e finalmente escrevendo cada uma das partes em arquivos separados. O resultado, como esperado, foram quatro arquivos, cada um contendo uma linha do texto original.

Fazer deste jeito implica em carregar o arquivo inteiro na memória. Não sei se o Python tem algum truque na manga, mas como você vai dividir o arquivo e guardá-lo em partes numa lista, acredito que ele acaba entrando duas vezes na memória. Isso é um problema grave se estivermos falando de arquivos muito grandes ou caso queiramos uma solução muito otimizada para rodar em algum servidor ou algo assim.

Dividir o arquivo em um número definido de partes é menos custoso nesse sentido, porque daí não é preciso carregá-lo por inteiro na memória (é mais rápido também).

2
  • Cara isso resolveu muito o meu problema! Mas saberia me dizer se tem como salvar isso em formato JSON? quando ele cria os novos arquivos? tipo converter para JSON quando ele divide os arquivos
    – Ana Julia
    Commented 6/05/2022 às 18:53
  • Sim, o Python tem um módulo da biblioteca padrão que se chama simplesmente json. Aí, geralmente você vai querer guardar os dados no formato de dicionário. Digamos que seja d o seu dicionário. json.dumps(d) vai retornar uma string com o formato JSON, que você pode simplesmente escrever no arquivo. Commented 7/05/2022 às 2:24

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .