6

Alguem poderia me explicar o código abaixo?

returnStr = Normalizer.normalize(returnStr, Normalizer.Form.NFD)
    .replaceAll("[^\\p{ASCII}]", "");

returnStr tem como valor inicial uma url.

3
  • O \p possui um ancora negada \P, desta forma a regex poderia ser simplesmente "\\P{ASCII}", não necessitando do [^ ] Commented 23/06/2016 às 20:31
  • mas porque "\\p" e não só "\p"? não entendi essa parte do regex
    – Pilati
    Commented 23/06/2016 às 20:50
  • Pois se trata de um string, em string o caractere de \ é um atalho para literal, desta forma p resultado final da conversão da string para REGEX é [^\p{ASCII}], que a torna correta, se tive-se so um \ ficaria [^p{ASCII}] e geraria um erro. Commented 23/06/2016 às 21:51

3 Respostas 3

3

Analisando a sentença [^\\p{ASCII}]

  • Ela esta em um String que sera convertida em REGEX, e o \ em String é um caractere de escape, que torna próximo literal, assim apos a conversão o resultado sera [^\p{ASCII}].
  • [] significa uma cadeia que sera capturada, [^ ] é uma cadeia negada, ou seja em vez de capturar apenas o que se enquadra na cadeia, ele vai capturar tudo que não se enquadra.
  • \p*, assim como \w, \d, \x é uma ancora, serve para se escrever menos, em vez de fazer [A-Za-z0-9_] basta um \w
  • {ASCII} é uma condição para o \p, isso vai depender a biblioteca REGEX da linguagem/compilador que esta usando.

Nota

Usando o REGEX101, em Quick reference>Meta sequences temos o \p.

Corresponde a um caractere unicode que foi passado como parametro.

Nesta pagina temos alguns controladores suportados, contudo comparando com a tabela ASCII, nem todas as sentenças batem, isso porque a tabela ASCII só é padrão do 0-127, apos isso ela não segue um padrão absoluto então vai depender a linguagem que esta usando, por exemplo a pcre pelo que vi, não tem suporte ao {ASCII} do \p.

Adendo

O \p possui uma ancora negada \P, desta forma você poderia converte a String simplesmente para \\P{ASCII}, não necessitando da cadeia negada [^ ].

1

Analisando a expressão regular, trata-se de uma lista negada. Ele substituirá qualquer ocorrência de caractere não ASCII por vazio (removerá).

  1. Pegue a URL
  2. Remova qualquer caractere não ASCII.

ASCII é uma tabela de caracteres, contendo letras números e símbolos e código computacional correspodente a ele.

1
  • A resposta esta certa, mas creio que ficaria melhor se explica-se o porque dele considerar caracteres ASCII, explicando que o \p se trata de uma "ancora/atalho" assim como \x, na qual creio que seja a real duvida do AP. Commented 23/06/2016 às 20:29
1

As outras respostas focaram em explicar a regex, mas faltou explicar a parte do Normalizer, e como ambos funcionam juntos.


Regex

Apenas para complementar/reafirmar, pois já foi coberto em detalhes pelas outras respostas, o atalho \\p{ASCII} está definido na documentação desta forma:

\p{ASCII}   All ASCII:[\x00-\x7F]

Ou seja, ele é equivalente a todos os caracteres da tabela ASCII (code points entre zero e 127, que acima estão escritos em hexadecimal: \x00 e \x7F). Para entender o que é um code point, leia aqui

Lembrando que a barra invertida é escrita como \\ por causa das regras de escape da linguagem.

Já o [^ ] é uma classe de caracteres negada (qualquer coisa que não seja o que está dentro dos colchetes). Por isso a expressão está pegando qualquer caractere que não seja ASCII (e como já dito em outra resposta, a expressão [^\\p{ASCII}] poderia ser trocada por \\P{ASCII} - com "P" maiúsculo).


Normalizer

Já o Normalizer serve para aplicar as normalizações Unicode em uma string. Para entender em detalhes, sugiro ler aqui, aqui e aqui (e para se aprofundar no assunto, pode ler todas as perguntas relacionadas).

Mas de maneira bem resumida, o Unicode define que alguns caracteres possuem mais de uma forma de serem representados. Por exemplo, o á (letra "a" com acento agudo) pode ser representado de duas formas:

  1. composta - como o code point U+00E1 (LATIN SMALL LETTER A WITH ACUTE) (á)
  2. decomposta - como uma combinação de dois code points (nesta ordem):

A primeira forma é chamada NFC (Canonical Composition), e a segunda, NFD (Canonical Decomposition). As duas formas acima são consideradas "canonicamente equivalentes", quando se trata de representar a letra a com acento agudo. Ou seja, são duas formas de se representar a mesma coisa.

Portanto, Normalizer.normalize(returnStr, Normalizer.Form.NFD) está convertendo a string para a forma NFD. Se ela tiver caracteres acentuados, eles serão decompostos de acordo com a descrição acima: o á é decomposto em a e o acento agudo, õ é decomposto em o e o til, ç é decomposto em c e a cedilha, etc.

E como os caracteres que representam os acentos/cedilha não estão na faixa de valores do ASCII, o replaceAll acaba removendo-os, sobrando apenas as letras sem acentos/cedilha.

Portanto, o que esse código faz é remover os acentos e a cedilha (á, â, ã e á se tornam a, ç se torna c, etc). Ex:

String str = "opção";

// imprime "opcao"
System.out.println(Normalizer.normalize(str, Normalizer.Form.NFD).replaceAll("[^\\p{ASCII}]", ""));

Vale lembrar que a regex remove qualquer caractere que não seja ASCII, o que quer dizer que letras de outros idiomas, entre outros caracteres, como emojis, também serão removidos:

String str = "時💩opção";

// além dos acentos, também remove o caractere japonês e o emoji, e imprime "opcao"
System.out.println(Normalizer.normalize(str, Normalizer.Form.NFD).replaceAll("[^\\p{ASCII}]", ""));

Sem contar os milhares de caracteres "especiais" que o Unicode define, como os vários tipos diferentes de espaços, hífens, aspas, etc, muitos deles - a maioria, na verdade - fora da tabela ASCII, e portanto seriam removidos também.


Mas aí é claro que depende das strings que você tem. Se só tiver textos em português, por exemplo, não seria tão problemático assim. Mas se tiver outros caracteres não-ASCII que não deveriam ser removidos, aí teria que mudar a regex de acordo com cada caso. Um exemplo seria remover apenas os acentos, usando a categoria Unicode a qual eles pertencem, por exemplo:

Normalizer.normalize(str, Normalizer.Form.NFD).replaceAll("\\p{M}", "")

No caso, \\p{M} pega apenas as categorias Mark, Spacing Combining, Mark, Enclosing e Mark, Nonspacing, que possuem os caracteres de acentuação e a cedilha (não só os usados no português, clique nos links para ver a lista completa). Assim, emojis e letras de outros alfabetos são preservadas. Mas enfim, aí já foge um pouco do escopo da pergunta, é só para mostrar que regex não é algo mágico e depende muito de ajustes que variam conforme o contexto (ainda mais quando envolve essas propriedades Unicode).

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .