Uma ideia inicial é fazer o split não só por espaços, mas por qualquer caractere que não faça parte de uma palavra:
from collections import Counter
import re
r = re.compile(r'\W+')
c = Counter()
with open("1342-0.txt", encoding='utf8') as f:
for linha in f:
for word in r.split(linha):
c.update([word])
print(c)
O atalho \W
é "tudo que não for letra, número, ou o caractere _
" - e como no texto tem "palavras" como _she_
, isso é considerado uma palavra diferente de she
. Eu também considero que os números (como 1
) são "palavras", que também são contabilizadas.
Conforme encontro as palavras, vou atualizando o Counter
usando método update
(se a chave não existir, ela é criada com o valor 1, e caso ela exista, soma-se 1 ao seu valor - no final temos a contagem total de cada palavra).
Outro detalhe é que read()
carrega todo o conteúdo do arquivo para a memória, de uma vez. Dependendo do tamanho do arquivo, isso pode ser um problema. Já o código acima lê uma linha por vez (e estou assumindo que não existe um caso de uma palavra começar em uma linha e terminar em outra - se bem que neste caso, usar read
e split
também não iria considerar que é a mesma palavra).
Se você não quiser incluir o _
como parte de uma palavra, basta mudar a regex para:
r = re.compile(r'[\W_]+')
O problema é que também há palavras com hífen, como over-scrupulous
. O código acima considera que são duas palavras diferentes ("over" e "scrupulous"). Se quer que elas sejam uma palavra só, tem que mudar um pouco:
from collections import Counter
import re
r = re.compile(r'\b\w+(?:-\w+)*\b')
c = Counter()
with open("1342-0.txt", encoding='utf8') as f:
for linha in f:
for word in r.findall(linha):
c.update([word])
print(c)
Agora eu uso \w+
(um ou mais caracteres que formam uma palavra), e coloco um trecho contendo hífen e \w+
(e todo este trecho pode se repetir zero ou mais vezes). Assim pego palavras com um ou mais hífens também.
Se não quiser incluir o _
como parte de uma palavra, use:
r = re.compile(r'\b[^\W_]+(?:-[^\W_]+)*\b')
Vale lembrar que string.punctuation
só considera os caracteres !"#$%&'()*+,-./:;<=>?@[]^_{|}`
. Se tiver qualquer outro caractere no texto que não seja letra, número ou _
, ele não será removido.
Um exemplo é o caractere “
(presente no texto), que não é a mesma coisa que "
(são aspas diferentes, o primeiro é o "LEFT DOUBLE QUOTATION MARK" e o segundo é "QUOTATION MARK", e se você usar punctuation
, só removerá o segundo).
"the,"
. É a virgula? Se for é só remover toda pontuação antes de processar o texto.