1

Possuo um arquivo com as seguintes entradas:

Ana
Joao
Pedro
José
....

E preciso deletar a linha com o nome Pedro, seria fácil eu ler o arquivo todo, salvar em uma lista deletar o Pedro e reescrever o arquivo:

nomes = open('nomes.txt','r').readlines()
del_pedro(nomes)
open('nomes.txt','w').write(nomes)

Porém esse arquivo possui uma dimensão enorme, e velocidade é algo consideravelmente essencial nessa tarefa. Há alguma forma de ler o arquivo todo e quando achar a entrada que eu quero, deletar apenas a linha e continuar lendo o arquivo?:

nomes = open('nomes.txt','r')
for i in nomes:
    if(i == 'Pedro\n'):
        deleta(i)
7
  • 1
  • O problema desta solução é que eu tenho que ler o arquivo todo e depois escrever ele novamente, Meu caso eu tenho que apagar Pedro sem ter lido José. Commented 4/01/2018 às 14:08
  • Você precisa apenas excluir a linha?
    – Woss
    Commented 4/01/2018 às 14:39
  • Excluir a linha sem ter que carregar o arquivo todo e continuar lendo o arquivo normalmente. Commented 4/01/2018 às 14:42
  • Excluir e continuar lendo? Isso não fez sentido. Se você precisa salvar o arquivo sem a linha, você terá que lê-lo inteiro, mas se é só na leitura, basta você ignorar a linha. Lembre-se que para ler o arquivo você não precisa utilizar o readlines, que armazena todo o conteúdo em uma lista, a própria função open retorna um gerador que pode ser iterado linha a linha, sem pesar na memória.
    – Woss
    Commented 4/01/2018 às 14:48

1 Resposta 1

6

Sim - você precisa ler o arquivo todo, mudar o que quer na memória, e salva-lo de novo.

Essa é a prática recomendada.

O principal motivo é que é um arquivo de texto não estruturado: ou seja, cada linha tem um comprimento em bytes - e o uso de normal de arquivos permitido pelo próprio sistema operacional não prevê que você possa alterar o tamanho de um pequeno pedaço do arquivo - apenas prevê que você possa re-escrever alguns bytes, mas eles teriam que ter o mesmo tamanho.

Então, tecnicamente seria possível fazer seu programa para escrever um espaço ou "*" para cada letra que desejasse suprimir no arquivo original, mas a perfomance para isso não é a melhor possível, e o menor número de bytes que é possível ler ou escrever num arquivo em geral é 4096, de qualquer forma.

Ou seja: você faria um programa complexo, sujeito a erros, que vai causar a perda de seus dados se o programa for interrompido durante a execução (por um desligamento do sistema, ou outra falha), e mesmo que do lado do Python estivesse alterando apenas uns 10 ou 15 bytes, a IO para o disco seria de 4096 bytes de qualquer forma.

Você diz "arquivo muito grande" mas a não ser que seu arquivo tenha muito mais de 100.000 nomes nesse estilo (cerca de 1MB), e você esteja fazendo várias operações desse tipo por minuto esse impacto seria imperceptível em operação.

Por outro lado, é verdade que um arquivo de texto com milhares de nomes em sequência é uma estrutura de dados bem pouco eficiente: muito antes de chegar nesse ponto, você deveria estar usando um mecanismo adequado para manter os dados de forma eficiente - principalmente se os dados são críticos (e muito mais se a performance é importante).

A linguagem Python vem com o banco de dados sqlite já pronto para uso, e ele tem uma eficiência que é comparável aos grandes nomes de bancos de dados como PostgreSQL e Oracle para acesso a partir de um único processo - Gerenciar alguns dados como uma lista de nomes e outros dados associados com o sqlite pode te dar um ganho de perfomance de 1000 a 50 mil vezes se comparado com manter os dados num arquivo .txt simples.

Com as dicas que você deu nos comentários, e "adivinhando" o código que você tem aí, é possível fazer o seguinte:

def processa(arquivo_texto):
    with(open(arquivo_texto) as arquivo:
        nomes_para_remover = set()
        try:
             funcao_que_consulta_o_mongo(linha)
        except Exception as error:
             # use algum mecanismo de logging - pode ser um print mesmo
             nomes_pra_remover.add(linha)
    limpar_arquivo_texto(arquivo_texto, nomes_pra_remover)

def limpar_arquivo_texto(arquivo_texto, nomes_pra_remover):
     nome_novo =  arquivo_texto + "_novo"
     with open(arquivo_texto) as entrada, open(nome_novo, "wt") as saida:
         for linha in entrada:
              if linha not in nomes_pra_remover:
                   saida.write(linha)
     os.remove(arquivo_texto)
     os.rename(nome_novo, arquivo_texto)

Essa solução remove todos os nomes que não te servem e faz isso lendo e escrevendo o arquivo todo apenas uma vez, e não uma vez para cada nome. Num PC normal, mesmo com um arquvo na faixa de 10MB (~1000000 de nomes), deve realizar a tarefa em menos de 1 segundo - a jogadinha com os nomes dos arquivos na função específica para isso garante que mesmo que a execução seja interrompida você não perca os seus dados: em todos os momentos você tem o arquivo original, exceto quando ele é apagado e o novo arquivo renomeado para o nome original.

1
  • Eu entendi o que você fez, mas mesmo assim tive que recorrer a solução inicial minha de marcar a posição do arquivo, acho que é mais prático. Commented 5/01/2018 às 11:10

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .