1

Tenho sempre muita dificuldade com o replace e o sub. Eu sei como funcionam, mas comigo nunca da certo. Eu tenho uma lista de palavras e estou tentando substituir estas palavras em um texto:

Texto:

Brasil, oficialmente República Federativa do Brasil é o maior país da América do Sul e da região da América Latina, sendo o quinto maior do mundo em área territorial (equivalente a 47% do território sul-americano) e sexto em população (com mais de 200 milhões de habitantes). É o único país na América onde se fala majoritariamente a língua portuguesa e o maior país lusófono do planeta, além de ser uma das nações mais multiculturais e etnicamente diversas, em decorrência da forte imigração oriunda de variados locais do mundo. A sua Constituição atual, formulada em 1988, define o Brasil como uma república federativa presidencialista, formada pela união do Distrito Federal, dos 26 estados e dos 5 570 municípios.

Lista:

é

o

da

e

do

em

na

se

de

Script:

import re
import csv
import itertools

with open('texto.txt', 'r') as file, open('lista.csv', 'r') as stop:
    fichier = file.read().split('\n')
    stopwords = csv.reader(stop)

    for palavras in fichier:
        palavras = palavras.lower()

        for word in stopwords:
            merged_stopwords = list(itertools.chain(*stopwords))
            stopwords_regex = re.compile('|'.join(map(re.escape, merged_stopwords)))
            replace_stopwords = stopwords_regex.sub('', palavras)

            print(replace_stopwords)

O problema é que o meu script começa a fazer replace em vogais dentro das palavras:

output:

brasil, ficialmnt rpública frativa brasil é mair país américa sul rgiã américa lati, n quint mair mun m ára trritrial (quivalnt a 47% trritóri sul-amrican) xt m ppulaçã (cm mais 200 milhõs habitants). é únic país américa n fala majritariamnt a língua prtugusa mair país lusófn planta, além r uma s çõs mais multiculturais tnicamnt divrsas, m crrência frt imigraçã riun varias lcais mun. a sua cnstituiçã atual, frmula m 1988, fin brasil cm uma rpública frativa prsincialista, frma pla uniã distrit fral, s 26 stas s 5 570 municípis.

EDITADO

Soluçao encontrada graças à ajuda do Isac e RickADT

Script:

import re
import csv
import itertools

with open('texto.txt', 'r') as file, open('lista.csv', 'r') as stop:
    fichier = file.read().split('\n')
    stopwords = csv.reader(stop)

    for palavras in fichier:
        palavras = palavras.lower()

        for word in stopwords:
            merged_stopwords = list(itertools.chain(*stopwords))
            # a soluçao esta aqui: para que cada palavra da variavel merged_stopwords seja utilizada, é preciso urilizar o word boundary
            stopwords_regex = re.compile(r'\b%s\b' % r'\b|\b'.join(map(re.escape, merged_stopwords)))
            replace_stopwords = stopwords_regex.sub('', palavras)

            print(replace_stopwords)
8
  • Mas o objetivo é tirar as preposições para ficar só com as palavras "normais"? Não consegui perceber exatamente o que você quer fazer com este código.
    – Isac
    Commented 17/07/2018 às 13:17
  • Exatamente, tirar as preposições e ficar só com as palavras "normais". Mas o script está tirando letras de dentro de palavras normais não sei porque...
    – marin
    Commented 17/07/2018 às 13:21
  • Isso dá para fazer com uma regex no texto inteiro, utilizando word boundary com \bPalavra\b que fica super simples. Tem aqui um exemplo simplificado do que estou a tentar dizer
    – Isac
    Commented 17/07/2018 às 13:24
  • da uma olhada aqui pt.stackoverflow.com/questions/310696/… Commented 17/07/2018 às 13:36
  • 2
    Ainda bem. Aproveite e coloque a sua resolução devidamente explicada, que assim acaba por finalizar a sua pergunta, e potencialmente ajudar outras pessoas que possam ter a mesma questão.
    – Isac
    Commented 17/07/2018 às 15:08

3 Respostas 3

3

Por uma questão de clareza, e até porque a solução que colocou não era bem como eu tinha sugerido, deixo aqui a minha sugestão.

A sugestão era aplicar uma regex a todo o texto, que substitua apenas palavras inteiras utilizando o \b da sintaxe de regexes para word boundary. Isso significa que não é preciso iterar nem as palavras do texto, nem as palavras a excluir.

Assumindo que lê o texto e as palavras a remover com:

with open('texto.txt', 'r') as file, open('lista.csv', 'r') as stop:
    fichier = file.read()
    csvstop = csv.reader(stop)
    stopwords = list(itertools.chain(*csvstop))

O aplicar da regex e restante código seriam apenas mais duas linhas:

    regex = re.compile(r'\b' + r'\b|\b'.join(stopwords) + r'\b')
    replacedtext = re.sub(regex, '', fichier, re.IGNORECASE)

A regex foi construida utilizando \bPalavra\b e com | entre cada uma. A flag de re.IGNORECASE faz com que apanhe quer seja maiúsculas ou minusculas evitando quaisquer tipos de lower(). Inspecionando a regex construída para as stopwords dadas tem o seguinte:

\bé\b|\bo\b|\bda\b|\be\b|\bdo\b|\bem\b|\bna\b|\bse\b|\bde\b

Cada uma das palavras estão a ser capturadas em alternativa com o | e o \b garante que apenas apanha palavras isoladas, e não no meio de outras.

Vale também lembrar que se retirar uma palavra inteira no meio de uma frase pode ficar com dois espaços seguidos. Dependendo do que vai fazer com o texto pode não querer estes espaços. Consegue remove-los facilmente com outra regex:

replacedtext= re.sub(r'\s{2,}', ' ', replacedtext)

Em que substitui qualquer cadeia de 2 ou mais espaços por 1 espaço.

3
  • 2
    cool! (+1). Eventualmente r'\b(?:' + r'|'.join(sw) + r')\b'
    – JJoao
    Commented 18/07/2018 às 7:47
  • @JJoao Isso é realmente uma alternativa interessante e diria mesmo melhor, pois a regex é mais simples e o non capturing group provavelmente garante o mesmo nível de eficiência.
    – Isac
    Commented 18/07/2018 às 9:16
  • Outra maneira: "|".join("\\b{0}\\b".format(x) for x in stopwords) que traz o mesmo output: \bé\b|\bo\b|\bda\b|\be\b|\bdo\b|\bem\b|\bna\b|\bse\b|\bde\b. Caso stopwords seja uma lista Commented 18/07/2018 às 11:33
3
import re

txt  = open('texto').read()
lista= open('lista').read() 
sw   = re.findall('\w+',lista)
print(re.sub('\w+', lambda x: '' if x[0].lower() in sw else x[0] ,txt))

Aqui vai uma variante Python3:

  • re.findall('\w+',lista) extrai as stopwords.
  • re.sub('\w+', ... , txt) para cada palavra do texto, substitui-la por
  • lambda x: '' if x[0].lower() in sw else x[0] ou seja
    • por '' se ela pertencer às sw
    • por ela própria se não pertencer
2

Acredito que o mais simples seja você quebrar cada linha em palavras, com o método split e olhar se essa palavra é ou não uma stopword.

import csv
import itertools

with open('texto.txt', 'r') as file, open('lista.csv', 'r') as stop:
    lines = file.read().split('\n')
    csvstop = csv.reader(stop)
    stopwords = list(itertools.chain(*csvstop))

    for line in lines:
        palavras = line.lower().split()
        # filtra as palavras q nao sao stopwords
        palavras = [palavra for palavras if palavra not in stopwords]

        print(" ".join(palavras))

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .