Alguem poderia me explicar o código abaixo?
returnStr = Normalizer.normalize(returnStr, Normalizer.Form.NFD)
.replaceAll("[^\\p{ASCII}]", "");
returnStr tem como valor inicial uma url.
[^\\p{ASCII}]
[^\p{ASCII}]
.[]
significa uma cadeia que sera capturada, [^ ]
é uma cadeia negada, ou seja em vez de capturar apenas o que se enquadra na cadeia, ele vai capturar tudo que não se enquadra.\p
*, assim como \w
, \d
, \x
é uma ancora, serve para se escrever menos, em vez de fazer [A-Za-z0-9_]
basta um \w
{ASCII}
é uma condição para o \p
, isso vai depender a biblioteca REGEX da linguagem/compilador que esta usando.Usando o REGEX101, em Quick reference>Meta sequences temos o \p
.
Corresponde a um caractere unicode que foi passado como parametro.
Nesta pagina temos alguns controladores suportados, contudo comparando com a tabela ASCII, nem todas as sentenças batem, isso porque a tabela ASCII só é padrão do 0-127, apos isso ela não segue um padrão absoluto então vai depender a linguagem que esta usando, por exemplo a pcre pelo que vi, não tem suporte ao {ASCII}
do \p
.
O \p
possui uma ancora negada \P
, desta forma você poderia converte a String simplesmente para \\P{ASCII}
, não necessitando da cadeia negada [^ ]
.
Analisando a expressão regular, trata-se de uma lista negada. Ele substituirá qualquer ocorrência de caractere não ASCII por vazio (removerá).
ASCII é uma tabela de caracteres, contendo letras números e símbolos e código computacional correspodente a ele.
\p
se trata de uma "ancora/atalho" assim como \x
, na qual creio que seja a real duvida do AP.
Commented
23/06/2016 às 20:29
As outras respostas focaram em explicar a regex, mas faltou explicar a parte do Normalizer
, e como ambos funcionam juntos.
Apenas para complementar/reafirmar, pois já foi coberto em detalhes pelas outras respostas, o atalho \\p{ASCII}
está definido na documentação desta forma:
\p{ASCII} All ASCII:[\x00-\x7F]
Ou seja, ele é equivalente a todos os caracteres da tabela ASCII (code points entre zero e 127, que acima estão escritos em hexadecimal: \x00
e \x7F
). Para entender o que é um code point, leia aqui
Lembrando que a barra invertida é escrita como
\\
por causa das regras de escape da linguagem.
Já o [^ ]
é uma classe de caracteres negada (qualquer coisa que não seja o que está dentro dos colchetes). Por isso a expressão está pegando qualquer caractere que não seja ASCII (e como já dito em outra resposta, a expressão [^\\p{ASCII}]
poderia ser trocada por \\P{ASCII}
- com "P" maiúsculo).
Normalizer
Já o Normalizer
serve para aplicar as normalizações Unicode em uma string. Para entender em detalhes, sugiro ler aqui, aqui e aqui (e para se aprofundar no assunto, pode ler todas as perguntas relacionadas).
Mas de maneira bem resumida, o Unicode define que alguns caracteres possuem mais de uma forma de serem representados. Por exemplo, o á
(letra "a" com acento agudo) pode ser representado de duas formas:
A primeira forma é chamada NFC (Canonical Composition), e a segunda, NFD (Canonical Decomposition). As duas formas acima são consideradas "canonicamente equivalentes", quando se trata de representar a letra a
com acento agudo. Ou seja, são duas formas de se representar a mesma coisa.
Portanto, Normalizer.normalize(returnStr, Normalizer.Form.NFD)
está convertendo a string para a forma NFD. Se ela tiver caracteres acentuados, eles serão decompostos de acordo com a descrição acima: o á
é decomposto em a
e o acento agudo, õ
é decomposto em o
e o til, ç
é decomposto em c
e a cedilha, etc.
E como os caracteres que representam os acentos/cedilha não estão na faixa de valores do ASCII, o replaceAll
acaba removendo-os, sobrando apenas as letras sem acentos/cedilha.
Portanto, o que esse código faz é remover os acentos e a cedilha (á
, â
, ã
e á
se tornam a
, ç
se torna c
, etc). Ex:
String str = "opção";
// imprime "opcao"
System.out.println(Normalizer.normalize(str, Normalizer.Form.NFD).replaceAll("[^\\p{ASCII}]", ""));
Vale lembrar que a regex remove qualquer caractere que não seja ASCII, o que quer dizer que letras de outros idiomas, entre outros caracteres, como emojis, também serão removidos:
String str = "時💩opção";
// além dos acentos, também remove o caractere japonês e o emoji, e imprime "opcao"
System.out.println(Normalizer.normalize(str, Normalizer.Form.NFD).replaceAll("[^\\p{ASCII}]", ""));
Sem contar os milhares de caracteres "especiais" que o Unicode define, como os vários tipos diferentes de espaços, hífens, aspas, etc, muitos deles - a maioria, na verdade - fora da tabela ASCII, e portanto seriam removidos também.
Mas aí é claro que depende das strings que você tem. Se só tiver textos em português, por exemplo, não seria tão problemático assim. Mas se tiver outros caracteres não-ASCII que não deveriam ser removidos, aí teria que mudar a regex de acordo com cada caso. Um exemplo seria remover apenas os acentos, usando a categoria Unicode a qual eles pertencem, por exemplo:
Normalizer.normalize(str, Normalizer.Form.NFD).replaceAll("\\p{M}", "")
No caso, \\p{M}
pega apenas as categorias Mark, Spacing Combining, Mark, Enclosing e Mark, Nonspacing, que possuem os caracteres de acentuação e a cedilha (não só os usados no português, clique nos links para ver a lista completa). Assim, emojis e letras de outros alfabetos são preservadas. Mas enfim, aí já foge um pouco do escopo da pergunta, é só para mostrar que regex não é algo mágico e depende muito de ajustes que variam conforme o contexto (ainda mais quando envolve essas propriedades Unicode).
\p
possui um ancora negada\P
, desta forma a regex poderia ser simplesmente"\\P{ASCII}"
, não necessitando do[^ ]
\
é um atalho para literal, desta forma p resultado final da conversão da string para REGEX é[^\p{ASCII}]
, que a torna correta, se tive-se so um\
ficaria[^p{ASCII}]
e geraria um erro.