3

Temos o livro "Pride and Prejudice by Jane Austen" do projeto Gutenberg:

http://www.gutenberg.org/ebooks/1342

O objetivo é extrair todas as palavras do texto, criando estatísticas como: frequência de cada palavra, total de caracteres no texto, tamanho médio da palavra, tamanho médio de frase e um "top 10" das palavras mais longas.

Observando o texto, verifiquei que muitas palavras contêm caracteres estranhos como:

"the,"

Exigindo que se removam inicialmente estes caracteres.

Como eu tentei fazer:

# -*- coding: UTF-8 -*-
from string import punctuation
from collections import Counter
with open("1342-0.txt",encoding='utf8') as f:
    texto = f.read()

words = texto.split()
n_words =[]
for word in words:
    for p in punctuation:
        if p in word:
            n_word = word.replace(p,"")
            n_words.append(n_word)
        n_words.append(word)

"1342-0.txt" é o livro em questão. O código acima tenta eliminar os caracteres indesejados mas não funciona. O que está errado? Alguma ideia melhor?

2
  • Não entendi o que tem de estranho em "the,". É a virgula? Se for é só remover toda pontuação antes de processar o texto. Commented 31/03/2020 às 13:01
  • @Augusto Vasques: isso q estou tentando! Remover pontuacao, acentos... mas nao funcionou – Commented 31/03/2020 às 13:24

2 Respostas 2

2

Uma ideia inicial é fazer o split não só por espaços, mas por qualquer caractere que não faça parte de uma palavra:

from collections import Counter
import re

r = re.compile(r'\W+')
c = Counter()
with open("1342-0.txt", encoding='utf8') as f:
    for linha in f:
        for word in r.split(linha):
            c.update([word])

print(c)

O atalho \W é "tudo que não for letra, número, ou o caractere _" - e como no texto tem "palavras" como _she_, isso é considerado uma palavra diferente de she. Eu também considero que os números (como 1) são "palavras", que também são contabilizadas.

Conforme encontro as palavras, vou atualizando o Counter usando método update (se a chave não existir, ela é criada com o valor 1, e caso ela exista, soma-se 1 ao seu valor - no final temos a contagem total de cada palavra).

Outro detalhe é que read() carrega todo o conteúdo do arquivo para a memória, de uma vez. Dependendo do tamanho do arquivo, isso pode ser um problema. Já o código acima lê uma linha por vez (e estou assumindo que não existe um caso de uma palavra começar em uma linha e terminar em outra - se bem que neste caso, usar read e split também não iria considerar que é a mesma palavra).

Se você não quiser incluir o _ como parte de uma palavra, basta mudar a regex para:

r = re.compile(r'[\W_]+')

O problema é que também há palavras com hífen, como over-scrupulous. O código acima considera que são duas palavras diferentes ("over" e "scrupulous"). Se quer que elas sejam uma palavra só, tem que mudar um pouco:

from collections import Counter
import re

r = re.compile(r'\b\w+(?:-\w+)*\b')
c = Counter()
with open("1342-0.txt", encoding='utf8') as f:
    for linha in f:
        for word in r.findall(linha):
            c.update([word])

print(c)

Agora eu uso \w+ (um ou mais caracteres que formam uma palavra), e coloco um trecho contendo hífen e \w+ (e todo este trecho pode se repetir zero ou mais vezes). Assim pego palavras com um ou mais hífens também.

Se não quiser incluir o _ como parte de uma palavra, use:

r = re.compile(r'\b[^\W_]+(?:-[^\W_]+)*\b')

Vale lembrar que string.punctuation só considera os caracteres !"#$%&'()*+,-./:;<=>?@[]^_{|}`. Se tiver qualquer outro caractere no texto que não seja letra, número ou _, ele não será removido.

Um exemplo é o caractere (presente no texto), que não é a mesma coisa que " (são aspas diferentes, o primeiro é o "LEFT DOUBLE QUOTATION MARK" e o segundo é "QUOTATION MARK", e se você usar punctuation, só removerá o segundo).

3
  • Obrigado! GOstaria de entender o que estou fazendo de errado na hora de tirar os caracteres indesejados das palavras. Alguma ideia? Commented 31/03/2020 às 13:39
  • @LaurindaSouza Não entendi bem sua lógica, mas parece ser porque vc faz n_word = word.replace(p,"") (ou seja, a palavra sem a pontuação fica em n_word, mas no final vc faz n_words.append(word) (ou seja, adiciona a palavra original, com as pontuações). Ficou um algoritmo meio confuso, e acho até que tem append a mais, uma versão mais simples do seu loop seria: ideone.com/LnJf3v
    – hkotsubo
    Commented 31/03/2020 às 13:48
  • se puder ajudar pt.stackoverflow.com/questions/443768/… Commented 31/03/2020 às 20:22
2

Para remover os caracteres de pontuação de um texto em python basta só uma linha:

from string import punctuation

texto = '''It is a truth universally acknowledged, that a single man in
      possession of a good fortune, must be in want of a wife.

      However little known the feelings or views of such a man may be
      on his first entering a neighbourhood, this truth is so well
      fixed in the minds of the surrounding families, that he is
      considered the rightful property of some one or other of their
      daughters.      
'''

#Remove os pontuadores
print(texto.translate(str.maketrans('', '', punctuation)))

Resultando:

  It is a truth universally acknowledged that a single man in
  possession of a good fortune must be in want of a wife

  However little known the feelings or views of such a man may be
  on his first entering a neighbourhood this truth is so well
  fixed in the minds of the surrounding families that he is
  considered the rightful property of some one or other of their
  daughters     

Funcionando no Repl.it: https://repl.it/repls/DarkcyanPointlessChord

Exemplo 2: https://repl.it/repls/ResponsibleVariableTheories

A lógica é a seguinte, o método str.translate() retorna uma cópia da string na qual cada caractere foi mapeado através da tabela de conversão especificada pelo método str.maketrans().

13
  • Não conhecia este translate! Commented 31/03/2020 às 13:51
  • Não queria deixar como resposta porque quase não dá conteúdo de tão simples. Eu ia deixar como comentário na sua pergunta. Commented 31/03/2020 às 13:52
  • @LaurindaSouza O problema é que punctuation só considera alguns caracteres ASCII, mas no texto tem por exemplo o caractere , que não é a mesma coisa que " (o primeiro não é removido se usar punctuation, somente o segundo é).
    – hkotsubo
    Commented 31/03/2020 às 14:00
  • @hkotsubo é só adicionar o caractere na tabela tradução. Não tem mistério. Commented 31/03/2020 às 14:02
  • Sim, Augusto, é que aí ela vai ter que saber todos os caracteres não-ASCII que tem no texto e incluí-los na lista. Dependendo do texto, pode ser mais trabalhoso...
    – hkotsubo
    Commented 31/03/2020 às 14:03

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .