Tenho sempre muita dificuldade com o replace e o sub. Eu sei como funcionam, mas comigo nunca da certo. Eu tenho uma lista de palavras e estou tentando substituir estas palavras em um texto:
Texto:
Brasil, oficialmente República Federativa do Brasil é o maior país da América do Sul e da região da América Latina, sendo o quinto maior do mundo em área territorial (equivalente a 47% do território sul-americano) e sexto em população (com mais de 200 milhões de habitantes). É o único país na América onde se fala majoritariamente a língua portuguesa e o maior país lusófono do planeta, além de ser uma das nações mais multiculturais e etnicamente diversas, em decorrência da forte imigração oriunda de variados locais do mundo. A sua Constituição atual, formulada em 1988, define o Brasil como uma república federativa presidencialista, formada pela união do Distrito Federal, dos 26 estados e dos 5 570 municípios.
Lista:
é
o
da
e
do
em
na
se
de
Script:
import re
import csv
import itertools
with open('texto.txt', 'r') as file, open('lista.csv', 'r') as stop:
fichier = file.read().split('\n')
stopwords = csv.reader(stop)
for palavras in fichier:
palavras = palavras.lower()
for word in stopwords:
merged_stopwords = list(itertools.chain(*stopwords))
stopwords_regex = re.compile('|'.join(map(re.escape, merged_stopwords)))
replace_stopwords = stopwords_regex.sub('', palavras)
print(replace_stopwords)
O problema é que o meu script começa a fazer replace em vogais dentro das palavras:
output:
brasil, ficialmnt rpública frativa brasil é mair país américa sul rgiã américa lati, n quint mair mun m ára trritrial (quivalnt a 47% trritóri sul-amrican) xt m ppulaçã (cm mais 200 milhõs habitants). é únic país américa n fala majritariamnt a língua prtugusa mair país lusófn planta, além r uma s çõs mais multiculturais tnicamnt divrsas, m crrência frt imigraçã riun varias lcais mun. a sua cnstituiçã atual, frmula m 1988, fin brasil cm uma rpública frativa prsincialista, frma pla uniã distrit fral, s 26 stas s 5 570 municípis.
EDITADO
Soluçao encontrada graças à ajuda do Isac e RickADT
Script:
import re
import csv
import itertools
with open('texto.txt', 'r') as file, open('lista.csv', 'r') as stop:
fichier = file.read().split('\n')
stopwords = csv.reader(stop)
for palavras in fichier:
palavras = palavras.lower()
for word in stopwords:
merged_stopwords = list(itertools.chain(*stopwords))
# a soluçao esta aqui: para que cada palavra da variavel merged_stopwords seja utilizada, é preciso urilizar o word boundary
stopwords_regex = re.compile(r'\b%s\b' % r'\b|\b'.join(map(re.escape, merged_stopwords)))
replace_stopwords = stopwords_regex.sub('', palavras)
print(replace_stopwords)
\bPalavra\b
que fica super simples. Tem aqui um exemplo simplificado do que estou a tentar dizer