Sim - você precisa ler o arquivo todo, mudar o que quer na memória, e salva-lo de novo.
Essa é a prática recomendada.
O principal motivo é que é um arquivo de texto não estruturado: ou seja, cada linha tem um comprimento em bytes - e o uso de normal de arquivos permitido pelo próprio sistema operacional não prevê que você possa alterar o tamanho de um pequeno pedaço do arquivo - apenas prevê que você possa re-escrever alguns bytes, mas eles teriam que ter o mesmo tamanho.
Então, tecnicamente seria possível fazer seu programa para escrever um espaço ou "*" para cada letra que desejasse suprimir no arquivo original, mas a perfomance para isso não é a melhor possível, e o menor número de bytes que é possível ler ou escrever num arquivo em geral é 4096, de qualquer forma.
Ou seja: você faria um programa complexo, sujeito a erros, que vai causar a perda de seus dados se o programa for interrompido durante a execução (por um desligamento do sistema, ou outra falha), e mesmo que do lado do Python estivesse alterando apenas uns 10 ou 15 bytes, a IO para o disco seria de 4096 bytes de qualquer forma.
Você diz "arquivo muito grande" mas a não ser que seu arquivo tenha muito mais de 100.000 nomes nesse estilo (cerca de 1MB), e você esteja fazendo várias operações desse tipo por minuto esse impacto seria imperceptível em operação.
Por outro lado, é verdade que um arquivo de texto com milhares de nomes em sequência é uma estrutura de dados bem pouco eficiente: muito antes de chegar nesse ponto, você deveria estar usando um mecanismo adequado para manter os dados de forma eficiente - principalmente se os dados são críticos (e muito mais se a performance é importante).
A linguagem Python vem com o banco de dados sqlite já pronto para uso, e ele tem uma eficiência que é comparável aos grandes nomes de bancos de dados como PostgreSQL e Oracle para acesso a partir de um único processo - Gerenciar alguns dados como uma lista de nomes e outros dados associados com o sqlite pode te dar um ganho de perfomance de 1000 a 50 mil vezes se comparado com manter os dados num arquivo .txt simples.
Com as dicas que você deu nos comentários, e "adivinhando" o código que você tem aí, é possível fazer o seguinte:
def processa(arquivo_texto):
with(open(arquivo_texto) as arquivo:
nomes_para_remover = set()
try:
funcao_que_consulta_o_mongo(linha)
except Exception as error:
# use algum mecanismo de logging - pode ser um print mesmo
nomes_pra_remover.add(linha)
limpar_arquivo_texto(arquivo_texto, nomes_pra_remover)
def limpar_arquivo_texto(arquivo_texto, nomes_pra_remover):
nome_novo = arquivo_texto + "_novo"
with open(arquivo_texto) as entrada, open(nome_novo, "wt") as saida:
for linha in entrada:
if linha not in nomes_pra_remover:
saida.write(linha)
os.remove(arquivo_texto)
os.rename(nome_novo, arquivo_texto)
Essa solução remove todos os nomes que não te servem e faz isso lendo e escrevendo o arquivo todo apenas uma vez, e não uma vez para cada nome. Num PC normal, mesmo com um arquvo na faixa de 10MB (~1000000 de nomes), deve realizar a tarefa em menos de 1 segundo - a jogadinha com os nomes dos arquivos na função específica para isso garante que mesmo que a execução seja interrompida você não perca os seus dados: em todos os momentos você tem o arquivo original, exceto quando ele é apagado e o novo arquivo renomeado para o nome original.
readlines
, que armazena todo o conteúdo em uma lista, a própria funçãoopen
retorna um gerador que pode ser iterado linha a linha, sem pesar na memória.