3

É-me dada a seguinte frase:

texto = """
Em 2020 observamos, e catalogamos (com fotografias), os barcos que chegaram ao Porto! 
Até breve.
"""
for p in gerarPalavras(texto):
 print(p)

Criei o seguinte código para separar as palavras e colocar cada uma numa linha diferente:

import re

def gerarPalavras(texto):
    fraseFinal=[]
    frase = re.split("[ ,2020().!]" ,texto)

    for i in frase:
        if i != ' ':
            fraseFinal.append(i)
            
    return fraseFinal

O output desejável é que apareça uma palavra por linha, livrando-me da pontuação e números.

No meu output isto acontece, no entanto, inadvertidamente estou a criar espaços sem saber como:

Em





observamos

e
catalogamos

com
fotografias


os
barcos
que
chegaram
ao
Porto


Até
breve

2 Respostas 2

4

Em regex, os colchetes definem uma classe de caracteres (ou seja, o que tem dentro deles é uma lista dos caracteres possíveis). Portanto [ ,2020().!] significa "um espaço, ou uma vírgula, ou o dígito 2, ou o dígito 0, ou o dígito 2 (de novo, então é redundante tê-lo aqui novamente), etc...". O detalhe é que toda esta expressão corresponde a apenas um único caractere (qualquer um que esteja indicado dentro dos colchetes).

Isso quer dizer que qualquer um desses caracteres é tratado como um separador. Se tiver só um espaço, ele separa e cria um elemento no resultado final. Se depois tiver um 2, é feito outra separação, depois, se tiver um ponto, outra separação, e assim por diante.

Então o resultado do split está bem diferente do que você precisa, pois no caso de ter 2020, ele vê que tem um 2 e depois um zero, e faz o split entre eles (e como entre eles não tem nada, a lista fica cheia de strings vazias). Ou seja, se você fizer isso:

print(re.split("[ ,2020().!]", texto))

Verá que a lista resultante é:

['\nEm', '', '', '', '', '', 'observamos', '', 'e', 'catalogamos', '', 'com', 'fotografias', '', '', 'os', 'barcos', 'que', 'chegaram', 'ao', 'Porto', '', '\nAté', 'breve', '\n']

E como na sua função você só elimina os espaços (as strings que são ' ', que é diferente de uma string vazia, como os vários '' vistos acima), então sua lista tem várias strings vazias, além de quebras de linha (o \n que você vê em alguns lugares acima). Por isso a saída acaba tendo tantas linhas em branco.


Se a ideia é pegar somente palavras (considerando que "palavra" é uma sequência de letras), pode fazer assim:

import re

def gerarPalavras(texto):
    return [ s for s in re.split(r'[\W\d]+', texto) if s != '' ]

texto = """
Em 2020 observamos, e catalogamos (com fotografias), os barcos que chegaram ao Porto! 
Até breve.
"""
for p in gerarPalavras(texto):
    print(p)

A saída é:

Em
observamos
e
catalogamos
com
fotografias
os
barcos
que
chegaram
ao
Porto
Até
breve

A expressão [\W\d]+ pega uma ou mais ocorrências (indicado pelo quantificador +) de [\W\d]. O atalho \W é "qualquer caractere não-alfanumérico" (ou seja, qualquer coisa que não seja letra, dígito ou _) e o \d indica "um dígito". Assim, o split faz a quebra em qualquer sequência de caracteres que não sejam letras. Com isso ele já elimina também as quebras de linha.

Só tive que eliminar algumas strings vazias que são colocadas no início e fim.


Match em vez de split

Outra opção é fazer o contrário: em vez de dizer o que você não quer (caracteres que não são letras) e fazer o split, você pode dizer o que quer (ou seja, eu digo o que quero que a regex encontre em cada match) e usar findall:

def gerarPalavras(texto):
    return re.findall(r'[^\W\d]+', texto)

Agora eu uso uma classe de caracteres negados: o [^ indica que o que está nos colchetes são coisas que eu não quero. No caso, é \W (qualquer coisa que não seja alfanumérico) ou \d (um dígito). Se eu não pego esses caracteres, tudo que sobra são as letras. O resultado é o mesmo do código anterior, afinal, split e match são dois lados da mesma moeda: no split eu digo o que não quero, e no match/find/search eu digo o que quero.


Se os textos se restringem ao nosso alfabeto, outra opção é:

re.findall('[a-záéíóúãõâêîôûç]+', texto, re.I)

Assim, eu coloco todas as letras possíveis, e a flag re.I diz para considerar tanto maiúsculas quanto minúsculas.


Claro que aqui usamos uma definição de "palavra" mais simples, já que não leva em conta palavras compostas (como "beija-flor" e "olho-d'água"), mas se quiser complicar mais, pode dar uma olhada aqui, aqui e aqui.

1
  • 1
    Muito cool! (como habitualmente...)
    – JJoao
    Commented 22/12/2020 às 12:41
3

Para processamento de lingua, é habitual começar pela tokenização (dividir o texto nos seus elementos básicos: palavras, pontuações, etc) -- problema mais abrangente que o pedido.

No exemplo abaixo segue uma versão simplificada do tokenizador que normalmente uso, para apresentar o modo re.X que permite exp.reg. de mais fácies de ler, ajustar e documentar.

import re;
    
texto = """Em 2020 observamos, e catalogamos (com fotografias), os barcos ... ao Porto!
Até breve."""

print(re.findall(r'''
     \b\w[\w\-.]*\w\b      # palavras: 2020 barcos  ver-se dir-se-ia  file.txt
   | \w                    #
   | \.\.\.                # ...
   | [,.:;?!()[\]]         # pontuação
   | \S
       ''',texto,re.X))

Como era de esperar, a saída é:

['Em', '2020', 'observamos', ',', 'e', 'catalogamos', '(', 'com', 'fotografias', ')', 
',', 'os', 'barcos', '...', 'ao', 'Porto', '!', 'Até', 'breve', '.']

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .