Em regex, os colchetes definem uma classe de caracteres (ou seja, o que tem dentro deles é uma lista dos caracteres possíveis). Portanto [ ,2020().!]
significa "um espaço, ou uma vírgula, ou o dígito 2
, ou o dígito 0
, ou o dígito 2
(de novo, então é redundante tê-lo aqui novamente), etc...". O detalhe é que toda esta expressão corresponde a apenas um único caractere (qualquer um que esteja indicado dentro dos colchetes).
Isso quer dizer que qualquer um desses caracteres é tratado como um separador. Se tiver só um espaço, ele separa e cria um elemento no resultado final. Se depois tiver um 2
, é feito outra separação, depois, se tiver um ponto, outra separação, e assim por diante.
Então o resultado do split
está bem diferente do que você precisa, pois no caso de ter 2020
, ele vê que tem um 2 e depois um zero, e faz o split
entre eles (e como entre eles não tem nada, a lista fica cheia de strings vazias). Ou seja, se você fizer isso:
print(re.split("[ ,2020().!]", texto))
Verá que a lista resultante é:
['\nEm', '', '', '', '', '', 'observamos', '', 'e', 'catalogamos', '', 'com', 'fotografias', '', '', 'os', 'barcos', 'que', 'chegaram', 'ao', 'Porto', '', '\nAté', 'breve', '\n']
E como na sua função você só elimina os espaços (as strings que são ' '
, que é diferente de uma string vazia, como os vários ''
vistos acima), então sua lista tem várias strings vazias, além de quebras de linha (o \n
que você vê em alguns lugares acima). Por isso a saída acaba tendo tantas linhas em branco.
Se a ideia é pegar somente palavras (considerando que "palavra" é uma sequência de letras), pode fazer assim:
import re
def gerarPalavras(texto):
return [ s for s in re.split(r'[\W\d]+', texto) if s != '' ]
texto = """
Em 2020 observamos, e catalogamos (com fotografias), os barcos que chegaram ao Porto!
Até breve.
"""
for p in gerarPalavras(texto):
print(p)
A saída é:
Em
observamos
e
catalogamos
com
fotografias
os
barcos
que
chegaram
ao
Porto
Até
breve
A expressão [\W\d]+
pega uma ou mais ocorrências (indicado pelo quantificador +
) de [\W\d]
. O atalho \W
é "qualquer caractere não-alfanumérico" (ou seja, qualquer coisa que não seja letra, dígito ou _
) e o \d
indica "um dígito". Assim, o split
faz a quebra em qualquer sequência de caracteres que não sejam letras. Com isso ele já elimina também as quebras de linha.
Só tive que eliminar algumas strings vazias que são colocadas no início e fim.
Match em vez de split
Outra opção é fazer o contrário: em vez de dizer o que você não quer (caracteres que não são letras) e fazer o split
, você pode dizer o que quer (ou seja, eu digo o que quero que a regex encontre em cada match) e usar findall
:
def gerarPalavras(texto):
return re.findall(r'[^\W\d]+', texto)
Agora eu uso uma classe de caracteres negados: o [^
indica que o que está nos colchetes são coisas que eu não quero. No caso, é \W
(qualquer coisa que não seja alfanumérico) ou \d
(um dígito). Se eu não pego esses caracteres, tudo que sobra são as letras. O resultado é o mesmo do código anterior, afinal, split
e match
são dois lados da mesma moeda: no split
eu digo o que não quero, e no match
/find
/search
eu digo o que quero.
Se os textos se restringem ao nosso alfabeto, outra opção é:
re.findall('[a-záéíóúãõâêîôûç]+', texto, re.I)
Assim, eu coloco todas as letras possíveis, e a flag re.I
diz para considerar tanto maiúsculas quanto minúsculas.
Claro que aqui usamos uma definição de "palavra" mais simples, já que não leva em conta palavras compostas (como "beija-flor" e "olho-d'água"), mas se quiser complicar mais, pode dar uma olhada aqui, aqui e aqui.