3

Possuo a seguinte regex em Python para filtrar a entrada de texto da minha aplicação:

import re
good_chars_regexp = re.compile(r"^[A-Za-záéíóúÁÉÍÓÚâêîôÂÊÎÔãõÃÕçÇ00-9\,\.\-\?\"\'\’\!\“\s\;\:\“\”\–\‘\’\’\/\\]+$", re.IGNORECASE)

Portanto, frases como: 'Olá amigos da Internet!' e 'Dúvida sobre Python' devem passar.

Quando realizo a seguinte verificação:

lista = ['Olá amigos da Internet!', 'Dúvida sobre Python', '@StackOverFlow']
for l in lista:
    print(re.match(good_chars_regexp, l) is not None)

Tenho como retorno: False, True, False. A primeira frase: 'Olá amigos da Internet!' deveria retornar True.

A intenção da minha regex é permitir palavras com acento, números e os caracteres especiais que especifiquei, como !, ?, etc.

1 Resposta 1

8

Você caiu na "pegadinha do Unicode"! Mas vamos por partes.


Primeiro, eu copiei e colei a palavra Olá do seu código e fiz o seguinte:

from unicodedata import name
for s in 'Olá': # para cada caractere da string
    print(f'{s} {ord(s):4X} {name(s)}')

Ou seja, para cada caractere da string, imprimo o próprio caractere, o seu code point e o seu Unicode name. O resultado foi:

O   4F LATIN CAPITAL LETTER O
l   6C LATIN SMALL LETTER L
a   61 LATIN SMALL LETTER A
́  301 COMBINING ACUTE ACCENT

Sim, 4 caracteres, e o último é o acento agudo.

O que acontece é que esta string está na forma NFD (uma das formas de normalização definidas pelo Unicode). Para entender em detalhes, sugiro que leia aqui, aqui e aqui, mas resumindo, o caractere á (letra "a" com acento agudo) pode ser representado de duas formas:

A primeira forma é conhecida como NFC, e a segunda, como NFD (leia os links já sugeridos acima para saber mais).

O problema é que ambas as formas, quando renderizadas, são mostradas na tela - na grande maioria das fontes, senão em "todas" - do mesmo jeito, e você só percebe a diferença se "escovar os bits" e verificar o que de fato tem na string. Sendo assim, a regex não vai dar match nesta string porque o acento não foi incluído na lista de caracteres válidos.

Uma alternativa para resolver é converter a string para NFC, usando unicodedata.normalize. Assim a letra "a" e o acento são combinados no caractere á:

from unicodedata import name, normalize
for s in normalize('NFC', 'Olá'):
    print(f'{s} {ord(s):4X} {name(s)}')

Veja a diferença:

O   4F LATIN CAPITAL LETTER O
l   6C LATIN SMALL LETTER L
á   E1 LATIN SMALL LETTER A WITH ACUTE

Outro detalhe é que dentro de colchetes, vários caracteres não precisam ser escapados com \. E como você usou a flag re.IGNORECASE, não precisa colocar maiúsculas e minúsculas na expressão, pois a flag já irá considerar ambas (ou seja, pode deixar a regex somente com as minúsculas - ou somente com as maiúsculas).

E a expressão compilada (retornada por re.compile) também possui o método match, que você pode usar diretamente (em vez de re.match(good_chars_regexp, etc), pode fazer somente good_chars_regexp.match(etc)):

import re

lista = ['Olá amigos da Internet!', 'Dúvida sobre Python', '@StackOverFlow']
good_chars_regexp = re.compile(r"^[a-záéíóúâêîôãõç0-9,.\-?\"'’!“\s;:“”\–‘’’/\\]+$", re.IGNORECASE)

from unicodedata import normalize

for l in lista:
    print(good_chars_regexp.match(normalize('NFC', l)) is not None)

A saída é:

True
True
False

Se quiser instalar um módulo externo, uma alternativa é o módulo regex, que tem algumas funcionalidades a mais do que o módulo re. Um que pode ajudar neste caso é o suporte a Unicode properties:

import regex
good_chars_regexp = regex.compile(r"^([0-9,.\-?\"'’!“\s;:“”\–‘’’/\\]|\p{Script=Latin}\p{M}?)+$", regex.IGNORECASE)
for l in lista: # não precisa mais normalizar
    print(good_chars_regexp.match(l) is not None)

Assim, a regex considera números e demais caracteres (ponto, vírgula, hífen, aspas, etc), ou \p{Script=Latin}\p{M}?.

No caso \p{Script=Latin} são todos os caracteres desta lista (que talvez seja abrangente demais caso só queira textos em português) e \p{M} inclui as categorias "Mark" (todas que começam com "M" desta lista), na qual o acento agudo se inclui. O ? logo depois indica que é opcional (ou seja, podemos ter apenas a letra, ou letra seguida do acento, no caso da string estar em NFD).


Obs: Vale lembrar também que esta regex não verifica se tem palavras de fato. Por exemplo, se a string for !!!,,," ", ela considera válida. Claro que aí já foge um pouco do escopo da pergunta, mas se a ideia for, por exemplo, verificar que tem pelo menos uma letra ou algo assim, talvez ajude dar uma olhada aqui, aqui e aqui.


Por fim, uma opção - um pouco mais complicada - que funciona independente da string estar em NFC ou NFD, e que não exige normalização, seria:

good_chars_regexp = re.compile(r"^([a-záéíóúâêîôãõç0-9,.\-?\"'’!“\s;:“”\–‘’’/\\]|[aeiou]\u0301|[aeio]\u0302|[ao]\u0303|c\u0327)+$", re.IGNORECASE)

No caso, eu considero as letras acentuadas (áéí...), ou as letras seguidas do respectivo acento - e para isso eu usei os escapes unicode (\u seguido do código hexadecimal de cada caractere), usando os códigos do acento agudo, circunflexo, til e cedilha (cada um precedido das respectivas letras que podem tê-los). Assim, a regex pega tanto os casos em NFC quanto em NFD.

1
  • 1
    Obrigado pela resposta! Muito completa e cheia de referências! Commented 14/08/2020 às 18:26

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .