1

Essa dúvida é uma continuação desta aqui.

Eu tenho um arquivo TXT bem grande (cerca de 6GB), sendo cada linha com 1.300 caracteres, e eu estou manipulando essas linhas, como exemplo, vou usar essas três linhas aqui (o site está comendo os espaços em branco, mas as linhas possuem o mesmo layout):

123456 BANANA 00 SP
123457 MACA   01 RJ
123458 PERA   02 MG

O que eu preciso é caso a linha contenha a palavra "BANANA" na posição 8:14, ele altere o "00" da posição 16:17 para "22".

Para isso, estou implementando algo como:

arquivo = open('testando.txt', 'r') #abre o arquivo
for linha in arquivo:
    codigo = str(linha[8:14])
    
    if codigo == 'BANANA':
       print("ACHOU, CODIGO: " + codigo)
       encontrado = True
    else:
       print("NÃO ACHOU, CÓDIGO: " + codigo)
       encontrado = False

    if encontrado:
        new_line = linha[:16] + "22" + linha[17:] #como python utiliza string imutáveis, estou apenas remontando ela
        print(new_line)
        linha = linha.replace(linha, new_line) #substituo a linha antiga pela nova, com a nova informacao
        arquivo = open('testando.txt','w')
        arquivo.write(linha) #adiciono minha nova linha no arquivo
        
    print(linha)
        
arquivo.close()

O problema que estou encontrando é que ele está salvando somente a linha que eu alterei e deletando todo o resto do arquivo. Imaginei que eu percorrendo linha a linha, ele fosse alterar somente a linha daquele index, porém ele está substituindo o arquivo completo.

PS: ja tentei colocar o método write depois do if e também já tentei o writelines.

Sabem de alguma forma de manter o arquivo intacto e alterar somente a parte desejada?

11
  • Coloque o arquivo.write(linha) fora do if. Creio que você não está tratando adequadamente a abertura e fechamento de seu arquivo. Estude um pouco mais.
    – anonimo
    Commented 8/07/2020 às 18:10
  • Você abre o arquivo em modo read no início e depois modifica a variável arquivo abrindo ele de novo em modo write a cada iteração do for? Commented 8/07/2020 às 18:13
  • se eu coloco o write fora do IF e se eu tiver +1 BANANA, ele deleta um e mantém o outro, vamos supor que eu altere o PERA para BANANA também... no final fica somente a PERA e a MAÇÃ no arquivo.... Commented 8/07/2020 às 18:15
  • 1
    Resposya aceita, e disucussões à parte, voce sabe que um arquivo texto é uma péssima opção pra manter um conjunto de dados que você precisa alterar, pior ainda desse tamanho, não é? Como as linhas tem tamanho fixo em bytes, isso é possível - senão nem seria - não quer dizer que seja desejável. dependendo da sua tarefa, pode valer muito (mas muito) a pena colocar seus dados numa base sqlite - e se tiver algum sistema legado que precise desse formato específico, gerar o arquivo final de saída quando for a hora.
    – jsbueno
    Commented 8/07/2020 às 19:46
  • 1
    Em Python é quase trivial criar uma classe que representa uma linha no seu arquivo - se estiver muito afim, um pouco mais de código poderia criar índices para alguns campos, e você poderia ter algo rápido de acesso randômico - mesmo nesse formato de arquivo aí
    – jsbueno
    Commented 8/07/2020 às 19:47

2 Respostas 2

4

Primeiramente, chamar str em str(linha[8:14]) é redundante e desnecessário, pois linha[8:14] já retorna uma string. Além disso, no arquivo de exemplo que você informou, este trecho corresponde a "ANANA " (mas vamos assumir que no arquivo original os índices sejam esses mesmo, é um pequeno ajuste que não interfere no restante).

Outro ponto é que você está lendo do arquivo ao mesmo tempo em que escreve nele. Se der algum erro no meio do caminho, o arquivo ficará corrompido, então o ideal é você primeiro escrever tudo em outro arquivo temporário, e só no final, se tudo der certo, mover o arquivo temporário para o original.

E como eu já disse em sua pergunta anterior, essa variável encontrado é desnecessária. Se quer fazer algo caso a string seja "BANANA", faça tudo dentro do primeiro if:

import shutil, tempfile

# lê do arquivo e escreve em outro arquivo temporário
with open('testando.txt', 'r') as arquivo, \
     tempfile.NamedTemporaryFile('w', delete=False) as out:
    for linha in arquivo:
        codigo = linha[8:14]
        
        if codigo == 'BANANA':
           print("ACHOU, CODIGO: " + codigo)
           linha = linha[:16] + "22" + linha[17:] # remontar a linha
        else:
           print("NÃO ACHOU, CÓDIGO: " + codigo)

        out.write(linha) # escreve no arquivo temporário

# move o arquivo temporário para o original
shutil.move(out.name, 'testando.txt')

Repare que o write fica fora do if, já que é algo que deve ser feito sempre. A única coisa que muda é que a linha é modificada caso caia no if. Se o código não for "BANANA", a linha é escrita sem modificação.

Usei with para abrir os arquivos, pois isso garante que eles serão fechados ao final (mesmo em caso de erro, o que não acontece quando você chama close() diretamente - a não ser que ele esteja um bloco finally).

Eu também uso o módulo tempfile para criar o arquivo temporário e shutil.move para renomear o arquivo ao final.

Veja também que o replace que você fazia não é necessário, dá para atribuir a remontagem na própria variável linha.

8
  • 1
    É isso. A diferença é que essa resposta endereçou tudo o que está errado no código e os meus comentários só trataram da pergunta principal. Commented 8/07/2020 às 18:34
  • 1
    não é por nada - mas gravar tudo em outro arquivo e renomear no final - é legal pra arquivo até 10, 20MB - com 6GB - uma operação que seria de sub-milisegundos pode levar horas. Como as linhas tem tamanho fixo, dá sim pra tratar cada linha como um registro de comprimento 1300 bytes, e trabalhar "inplace" - os sistemas operacionais ajudam.
    – jsbueno
    Commented 8/07/2020 às 19:50
  • 1
    Claro que não é a melhor opção - o melhor mesmo seria escrever uma class e algumas 4 ou 5 funções auxiliares para ter um "mini orm" e jogar esse cara num sqlite - ou já usar um sqlalchemy.
    – jsbueno
    Commented 8/07/2020 às 19:52
  • 1
    @jsbueno Concordo plenamente, e faço um mea culpa: eu ia editar a resposta falando sobre isso, mas no fim fiquei sem tempo. Só consegui voltar agora pra editá-la, mas como eu sei que não vou conseguir sugerir nada melhor que a sua resposta, acho que vou deixar assim mesmo :-) De qualquer forma, agradeço pelos comentários 👍🏻
    – hkotsubo
    Commented 8/07/2020 às 22:57
  • 1
    E se alguém mais chegar aqui - é importante ter em mente que se não forem todas_as_linhas do mesmo tamanho (essa estrutura de arquivos é um legado de como os sistemas trabalhavam em mainframes) - então, sim, o único jeito de fazer é esse aí: criar um outro arquivo e mudar só as linhas que interessam.
    – jsbueno
    Commented 8/07/2020 às 23:30
2

Como a resposta mais eficiente nesse caso é substancialmente diferente da resposta aceita, vou escrever um pouco. Já foi comentado nos comentários que essa não seria nem de longe a estrutua adequada para uma massa de dados desse tamanho - ainda mais uma que precise ser alterada.

Como as linhas tem tamanho fixo isso é possível. Mas você deve abrir o arquivo no modo especial "rb+" - se tentar abrir no modo "w", o sistema apaga o arquivo todo mesmo - e aí, tomar algum cuidado para gravar cada linha de volta no lugar em que está.

Acessando os registros de forma estruturada:

Primeiro, no entanto, vamos ver como acessar os dados dentro de cada linha de forma que seja possível manter o sistema, sem ter que, a cada modificação, ter que ficar contando nos dedos em qual coluna vai cada campo, e colocar isso num if.

Agora, querer pra fazer isso brincando de índices dentro de cada linha mbutidos em vários comandos "if" no caminho vai deixar a coisa mais difícil - esse é um caso típico em que pode se usar as capacidades do Python de customizar acesso a atributos em uma classe para criar algo bem legal: uma classe em que você acessa e modifica cada coluna pelo nome do campo, e internamente ela mantem os dados numa string única, que pode ser escrita no arquivo original ou impressa.

A resposta em Como extrair as informações de um arquivo 'cnab' usando python? cobre como criar ma classe dessas -as classes "Campo" e "Base" do jeito que estão lá criam um objeto que é um "descritor" (classe Campo): ele personaliza o acesso aos dados em atributos = e a classe "Base" tem o restante da maquinaria para permitir o acesso aos campos:


class Campo:
    def __init__(self, inicio, final):
        self.inicio = inicio
        self.final = final

    def __set_name__(self, owner, nome):
        self.nome = nome

    def __get__(self, instance, owner):
        if not instance:
            return self
        return instance.dados_brutos[self.inicio: self.final]

class Base:
    def __init__(self, dados):
        self.dados_brutos = dados

    def __repr__(self):
        campos = []
        for name, obj in self.__class__.__dict__.items():
            if isinstance(obj, Campo):
                campos.append((name, getattr(self, name)))
        return "\n".join(f"{campo}:{conteudo}" for campo, conteudo in campos)


com esse trecho de menos de 25 linhas, é possível agora representar as linhas no seu arquivo como uma classe específica:

class Frutas(Base):
    codigo = Campo(0, 6)
    nome = Campo(7, 13)
    valor = Campo(14, 16)
    uf = Campo(17, 19)
    

Olha só - eu colo exatamente o código acima, mais o trecho que você passou como exemplo, numa sessão interativa do Python e veja como isso funciona:

    ...: exemplo = """\ 
    ...: 123456 BANANA 00 SP 
    ...: 123457 MACA   01 RJ 
    ...: 123458 PERA   02 MG""" 
    ...:      
    ...: class Frutas(Base): 
    ...:     codigo = Campo(0, 6) 
    ...:     nome = Campo(7, 13) 
    ...:     valor = Campo(14, 16) 
    ...:     uf = Campo(17, 19) 
    ...:                                                                                                                                                                                                                       

In [34]: x = [Frutas(linha) for linha in exemplo.split("\n")]                                                                                                                                                                  

In [35]: x[0].nome                                                                                                                                                                                                             
Out[35]: 'BANANA'

In [36]: x[0].valor = "23"                                                                                                                                                                                                     

In [37]: x[0]                                                                                                                                                                                                                  
Out[37]: 
codigo:123456
nome:BANANA
valor:23
uf:SP

In [38]: x[0].dados_brutos                                                                                                                                                                                                     
Out[38]: '123456 BANANA 00 SP'

Manipulando as linhas do arquivo como registros, com acesso randômico

Agora, depois que uma linha for lida, já temos como trabalhar com ela - a ideia de ter uma classe pra representar um arquivo desses aberto, e poder aí usar essa classe pra ler ou escrever uma linha por vez, sem o código que faz isso precisar de preocupar com onde ou como os dados estão guardados pode ser a mais interessante. (Daí, se amanhã você troca o armazenamento dos dados para outro lugar, seja uma base SQL, NoSQL, etc... o código que usa os dados nem precisa saber disso )


from pathlib import Path

class MapeadorTxt:
    def __init__(self, caminho_arquivo, classe_dados, comprimento_linha, codificacao="ASCII"):
        self.caminho = Path(caminho_arquivo)
        self.classe = classe_dados
        self.comp = comprimento_linha
        self.codificacao = codificacao
        
    def __enter__(self):
        self.arquivo = open(self.caminho, "rb+")
    
    def __exit__(self, exc_type, exc_value, exc_tb):
        self.arquivo.close()
        self.arquivo = None
    
    def __getitem__(self, index):
        if index >= len(self):
            raise IndexError
        self.arquivo.seek(index * self.comp)
        return self.classe(self.arquivo.read(self.comp).decode(self.codificacao))
    
    def __setitem__(self, index, valor):
       self.arquivo.seek(index * self.comp)
       v = valor.dados_brutos.rstrip("\n").ljust(self.comp - 1) + "\n"
       self.arquivo.write(v.encode(self.codificacao))
       
    def __len__(self):
        return self.caminho.stat().st_size // self.comp
        
    def __repr__(self):
        return f"Mapeador do arquivo {self.caminho} para a classe {self.classe.__name__}, com {len(self)} registros"
    

E com essa classe é possível fazer o que você propõe na pergunta, usando a classe acima num bloco "with" -e usamos a função enumerate no for para ter, além do registro, o índice também - (fica na variáveli) e aí, se quiser acessar o registro na linha de cima, é só usar m[i - 1], por exemplo.

Aqui funcionando pra trocar o código da banana pra "42":

In [57]: m = MapeadorTxt("exemplo.txt", Frutas, 19)                                                                                                           

In [58]: with m: 
    ...:     for i, fruta in enumerate(m): 
    ...:         if fruta.nome.strip() == "BANANA": 
    ...:             fruta.valor = "42" 
    ...:             m[i] = fruta 
    ...:                                                                                                                                                      

In [59]: cat exemplo.txt                                                                                                                                      
123456 BANANA 42 SP
123457 MACA   01 RJ
123458 PERA   02 MG

Esse código acima não é perfeito - em particular, o "campo" deveria lidar com encoding e decoding de texto, e deixar os valores internos em bytes, ou em um "bytearray".

E, claro, isso não resolve o problema de tempo de acesso - você continua tendo 500 milhões de registros, que numa comparação dessas tem que ser lidos um a um - jogue numa base SQL, e pode fazer buscas por datas, etc...

2
  • Aprendi bastante com seu comentário, muito obrigado mesmo! Mas não vou aplicar essa solução, é para algo pontual da empresa que nunca mais vou utilizar! Mas na sua explicação tem diversos conceitos que me foi muito útil! Obrigado Eu vou fazer uma outra pergunta referente a como "voltar" um indice após verificar o indice de baixo... se puder ajudar também, agradeço :) Commented 8/07/2020 às 20:24
  • sim- a segund part da resposta mostra como fazer acesso randomico no arquivo - se forem dados valiosos - esse código todo tem menos de 100 linhas - mesmo pra um caso único, eu recomendaria - qual a chance de voce errar um limite de um campo em um "if" com com registros de 1300 bytes? 0? Qual o prejuizo de em alguma coluna de valor todos os valores aparecerem divididos por 10?
    – jsbueno
    Commented 8/07/2020 às 20:58

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .