Você caiu na "pegadinha do Unicode"! Mas vamos por partes.
Primeiro, eu copiei e colei a palavra Olá
do seu código e fiz o seguinte:
from unicodedata import name
for s in 'Olá': # para cada caractere da string
print(f'{s} {ord(s):4X} {name(s)}')
Ou seja, para cada caractere da string, imprimo o próprio caractere, o seu code point e o seu Unicode name. O resultado foi:
O 4F LATIN CAPITAL LETTER O
l 6C LATIN SMALL LETTER L
a 61 LATIN SMALL LETTER A
́ 301 COMBINING ACUTE ACCENT
Sim, 4 caracteres, e o último é o acento agudo.
O que acontece é que esta string está na forma NFD (uma das formas de normalização definidas pelo Unicode). Para entender em detalhes, sugiro que leia aqui, aqui e aqui, mas resumindo, o caractere á
(letra "a" com acento agudo) pode ser representado de duas formas:
A primeira forma é conhecida como NFC, e a segunda, como NFD (leia os links já sugeridos acima para saber mais).
O problema é que ambas as formas, quando renderizadas, são mostradas na tela - na grande maioria das fontes, senão em "todas" - do mesmo jeito, e você só percebe a diferença se "escovar os bits" e verificar o que de fato tem na string. Sendo assim, a regex não vai dar match nesta string porque o acento não foi incluído na lista de caracteres válidos.
Uma alternativa para resolver é converter a string para NFC, usando unicodedata.normalize
. Assim a letra "a" e o acento são combinados no caractere á
:
from unicodedata import name, normalize
for s in normalize('NFC', 'Olá'):
print(f'{s} {ord(s):4X} {name(s)}')
Veja a diferença:
O 4F LATIN CAPITAL LETTER O
l 6C LATIN SMALL LETTER L
á E1 LATIN SMALL LETTER A WITH ACUTE
Outro detalhe é que dentro de colchetes, vários caracteres não precisam ser escapados com \
. E como você usou a flag re.IGNORECASE
, não precisa colocar maiúsculas e minúsculas na expressão, pois a flag já irá considerar ambas (ou seja, pode deixar a regex somente com as minúsculas - ou somente com as maiúsculas).
E a expressão compilada (retornada por re.compile
) também possui o método match
, que você pode usar diretamente (em vez de re.match(good_chars_regexp, etc)
, pode fazer somente good_chars_regexp.match(etc)
):
import re
lista = ['Olá amigos da Internet!', 'Dúvida sobre Python', '@StackOverFlow']
good_chars_regexp = re.compile(r"^[a-záéíóúâêîôãõç0-9,.\-?\"'’!“\s;:“”\–‘’’/\\]+$", re.IGNORECASE)
from unicodedata import normalize
for l in lista:
print(good_chars_regexp.match(normalize('NFC', l)) is not None)
A saída é:
True
True
False
Se quiser instalar um módulo externo, uma alternativa é o módulo regex
, que tem algumas funcionalidades a mais do que o módulo re
. Um que pode ajudar neste caso é o suporte a Unicode properties:
import regex
good_chars_regexp = regex.compile(r"^([0-9,.\-?\"'’!“\s;:“”\–‘’’/\\]|\p{Script=Latin}\p{M}?)+$", regex.IGNORECASE)
for l in lista: # não precisa mais normalizar
print(good_chars_regexp.match(l) is not None)
Assim, a regex considera números e demais caracteres (ponto, vírgula, hífen, aspas, etc), ou \p{Script=Latin}\p{M}?
.
No caso \p{Script=Latin}
são todos os caracteres desta lista (que talvez seja abrangente demais caso só queira textos em português) e \p{M}
inclui as categorias "Mark" (todas que começam com "M" desta lista), na qual o acento agudo se inclui. O ?
logo depois indica que é opcional (ou seja, podemos ter apenas a letra, ou letra seguida do acento, no caso da string estar em NFD).
Obs: Vale lembrar também que esta regex não verifica se tem palavras de fato. Por exemplo, se a string for !!!,,," "
, ela considera válida. Claro que aí já foge um pouco do escopo da pergunta, mas se a ideia for, por exemplo, verificar que tem pelo menos uma letra ou algo assim, talvez ajude dar uma olhada aqui, aqui e aqui.
Por fim, uma opção - um pouco mais complicada - que funciona independente da string estar em NFC ou NFD, e que não exige normalização, seria:
good_chars_regexp = re.compile(r"^([a-záéíóúâêîôãõç0-9,.\-?\"'’!“\s;:“”\–‘’’/\\]|[aeiou]\u0301|[aeio]\u0302|[ao]\u0303|c\u0327)+$", re.IGNORECASE)
No caso, eu considero as letras acentuadas (áéí...
), ou as letras seguidas do respectivo acento - e para isso eu usei os escapes unicode (\u
seguido do código hexadecimal de cada caractere), usando os códigos do acento agudo, circunflexo, til e cedilha (cada um precedido das respectivas letras que podem tê-los). Assim, a regex pega tanto os casos em NFC quanto em NFD.