4

Criei um código em Java para remover os acentos como o seguinte:

private String removerAcentos(String texto) {
  texto = Normalizer.normalize(texto, Normalizer.Form.NFD);
  texto = texto.replaceAll("[\\p{InCombiningDiacriticalMarks}]", "");

  return texto;
}

Gostaria de saber a diferença entre o [\\p{InCombiningDiacriticalMarks}] e [^\\p{ASCII}].

2 Respostas 2

5

Ao contrário do que a outra resposta dá a entender, ambas as expressões consideram "caracteres Unicode". O que muda é quais caracteres são considerados em cada uma.

Além disso, a descrição de lá está errada. \\p{InCombiningDiacriticalMarks} não é "somente caracteres Unicode", e sim "somente Combining Diacritical Marks", que é uma faixa bem específica do Unicode.


Para explicar melhor da diferença: de forma bem resumida, alguns caracteres acentuados como o á podem ser representados de duas formas:

  1. composta - como o code point U+00E1 (LATIN SMALL LETTER A WITH ACUTE) ("á")
  2. decomposta - como uma combinação de dois code points (nesta ordem):

A primeira forma é chamada de NFC, e a segunda, NFD. Para entender em mais detalhes, sugiro ler aqui, aqui e aqui (e este também está relacionado ao assunto).

Enfim, no código da pergunta é feita a normalização para NFD (Normalizer.normalize(texto, Normalizer.Form.NFD)), o que quer dizer que caracteres acentuados estarão na segunda forma descrita acima. E é aí que entra o \\p{InCombiningDiacriticalMarks}, pois esta expressão considera somente o COMBINING ACUTE ACCENT, pois este caractere pertence ao bloco "Combining Diacritical Marks" <- veja neste link que ele possui vários acentos, incluindo os usados na língua portuguesa.

Portanto o replace pega somente os acentos e os troca por "nada" (a string vazia). No final sobram apenas as letras, sem os respectivos acentos.

O ponto é: esta expressão pega somente os Combining Diacritical Marks, ignorando quaisquer outros caracteres. Ou seja, dizer que ela é para "somente caracteres Unicode" está errado. Ela serve para pegar apenas um bloco específico do Unicode.

Vale lembrar que mesmo caracteres ASCII como "a" e "b" também fazem parte do Unicode (podemos dizer que Unicode é "retro-compatível" com ASCII de certa forma), então "somente caracteres Unicode" não é uma boa descrição para o que a expressão [\\p{InCombiningDiacriticalMarks}] faz. Existem milhares de caracteres Unicode que esta expressão não considera.

Outro detalhe é que em vez de usar [\\p{InCombiningDiacriticalMarks}], você poderia ter usado apenas \\p{InCombiningDiacriticalMarks}. Quando existe apenas um elemento dentro dos colchetes, eles não são necessários (apesar de ser uma expressão bem comprida, ainda é "uma coisa só" e portanto não precisa dos colchetes).


Já a expressão [^\\p{ASCII}] é diferente. Repare que agora ela começa com [^, o que indica uma classe de caracteres negados. Ou seja, é qualquer coisa que não seja \\p{ASCII}. Só que, ao contrário do que afirma a outra resposta, isso não é para caracteres "não latinos", é somente para caracteres que não sejam ASCII (ou seja, cujos code points estejam entre 0 e 127).

Só para explicar a diferença, o Unicode define vários caracteres latinos que não são ASCII (aqui, aqui e aqui, e há também uma lista consolidada aqui).

Por exemplo, o caractere ß (LATIN SMALL LETTER SHARP S) não é ASCII, mas segundo o Unicode ele é "latino" (pois está no bloco "Latin-1 Supplement"). Isso quer dizer que se uma string tivesse este caractere, usar \\p{InCombiningDiacriticalMarks} não o removeria (pois ele não é um Combining Diacritical Mark), mas [^\\p{ASCII}] o removeria, pois ele não é ASCII. Veja a diferença:

String texto = Normalizer.normalize("áß", Normalizer.Form.NFD);
System.out.println(texto.replaceAll("\\p{InCombiningDiacriticalMarks}", "")); // aß
System.out.println(texto.replaceAll("[^\\p{ASCII}]", "")); // a

Aliás, vale mencionar que [^\\p{ASCII}] pode ser trocado por \\P{ASCII} (o "P" maiúsculo é a negação, ou seja, neste caso é "tudo que não é ASCII").

Enfim, vale avaliar se para os seus casos faz diferença. Se só tiver textos em português, por exemplo, tanto faz usar um ou outro.

Mas se tiver qualquer coisa que não seja ASCII (como os caracteres já citados, além de letras de outros alfabetos (japonês, árabe, cirílico, etc), emojis, etc), aí faz diferença: com \\p{InCombiningDiacriticalMarks} todos eles serão mantidos, mas com [^\\p{ASCII}] eles também serão removidos.


Outra opção seria usar replaceAll("\\P{IsLatin}", "") para remover tudo que não é um caractere latino. Com isso o ß será mantido, mas ainda serão removidos os demais (emojis, letras de outros alfabetos, etc). Veja a diferença:

String texto = Normalizer.normalize("áß" + new String(new int[] { 0x1f4a9}, 0, 1), Normalizer.Form.NFD);
System.out.println("Texto original: " + texto);
System.out.println(texto.replaceAll("\\p{InCombiningDiacriticalMarks}", "")); // mantém o ß e o emoji
System.out.println(texto.replaceAll("[^\\p{ASCII}]", ""));  // remove o ß e o emoji
System.out.println(texto.replaceAll("\\P{IsLatin}", ""));  // mantém o ß, remove o emoji

A saída do código acima é:

Texto original: áß💩
aß💩
a
aß

Mas novamente, tem que ver seu contexto. Se as strings envolvidas não têm esses caracteres que fazem diferença, tanto faz qual usar.

2

[\\p{InCombiningDiacriticalMarks}] = Somente caracteres Unicode
[^\\p{ASCII}] = Não latinos

0

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .