4

Pessoal estou com o seguinte problema, preciso comparar duas strings ignorando a acentuação, por exemplo:

                                 Étnico | Brasil

Usando uma função normal de comparação é retornado que "Étnico" vem primeiro que "Brasil" tendo em vista a ordem lexicografica das palavras.

Espero que tenha dado para entender minha dúvida.

Alguém tem ideia de como tratar esse problema?

3

2 Respostas 2

4

A ordem lexicográfica ou Collation é muito relativo a lingua e alfabeto que você está utilizando, e digamos é um problema distinto a questão do escolha adequada de um Charset, por esse já foi resolvido pelo UNICODE.

Pela sua duvida eu recomendo uma leitura essencial:

The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)

Abordagem do problema no C
Recomendação é sempre utilizar uma representação UNICODE ao invés de usar caracteres literais expressos em char principalmente por exemplo a representação estendida de caracteres latinos acentuados são multi-byte, ou seja, não serão representadas corretamente em um char(-128 a 127) ou mesmo usando unsigned char (0 a 255).

Usando como referencia :

É = LATIN CAPITAL LETTER E WITH ACUTE

Seria o unicode-codepoint U+00C9 sendo o hexa c3 89 ocupando 2 bytes em UTF-8.
Esse teria de ser representado por um wchar_t multibyte-character type.

Suponhamos que a questão gira em torno de receber um input, converte-lo e testa-lo como você expos:

preciso comparar duas strings ignorando a acentuação


Uma abordagem seria como esse exemplo, usando as funções Wide-Character I/O para substituir todos os É:

//constante unicode representado por um type wide char
const wchar_t E_GRANDE_ACENTO L'\u00C9';

int main()
{
    //obtem o locale default do ambiente, linux padrão normalmente UTF-8
    setlocale(LC_ALL, "");
    //fputs para wide char type
    fputws(L"Informe a String: ", stdout);

    wchar_t wbuff[128];
    //fgets para wide char type
    fgetws(wbuff, 128, stdin);

    int len = wcslen(wbuff);
    for (int n = 0; n < len ;++n)
    {
        if (buff[n] == E_GRANDE_ACENTO)
            buff[n] = L'E';
    }

    wprintf(L" %ls\n", buff);

    return 0;
}


Esse é um exemplo de referencia no caso de abordagem mais ampla para esse tipo de problema a API (UNAC) informada pelo @Intruso seria mais recomendada.

E quanto ao Collation de um stream UNICODE?
Talvez essa seria abordagem que você esperava, eu recomendo a utilização da API ICU - International Components for Unicode, ela resolve a questão das ordenações usando padrões existentes ou até com ruleset especifico declarado durante a sua instancia.

Exemplo Collator usando API da ICU para ordenação de array unicode.

UChar *s [] = { /* lista de strings unicode */ };
uint32_t listSize = sizeof(s)/sizeof(s[0]); 
UErrorCode status = U_ZERO_ERROR; 
UCollator *coll = ucol_open("en_US", &status); 
uint32_t i, j; 
if(U_SUCCESS(status)) {
  for(i=listSize-1; i>=1; i--) {
    for(j=0; j<i; j++) {
      if(ucol_strcoll(s[j], -1, s[j+1], -1) == UCOL_LESS) {
        swap(s[j], s[j+1]);
     }
   }
} 
ucol_close(coll); 
}
3

A resposta para esse dilema vai depender do foco da aplicação, assim como todo aplicativo que precisa lidar com particularidades de algum tipo de cultura (data, hora, idioma, fuso, etc...).

No caso mais específico da sua dúvida, o idioma e o enconde usado. Pois são os fatores que vão orientar você no conjunto de caracteres que você quer tratar. Isso fica claro quando você compara uma aplicação que tem que lidar com Inglês e com português do Brasil. O conjunto de acentuação de um para o outro é muito diferente e no inglês a tarefa ficaria relativamente muito mais fácil.

O próximo passo é analisar o enconde usado e garantir que os dados (se não vierem da mesma fonte) estejam ao menos num unico formato (encode).

Se você está programando um engine para busca na Web, por exemplo, o conteudo vai variar muito e o trabalho para fazer o que você quer vai virar um projeto a parte dentro do software. Mas, se o projeto for um para analisar um conjunto particular de documentos de fonte única, então, tanto a linguagem quanto o encode vão ser bem específicos e você pode resolver mais facilmente.

Minha sugestão é começar analisando as possíveis fontes de dados e depois verificar o mais adequado a longo prazo e a primeira vista, duas soluções são respostas mais diretas:

1) Criar uma função de mapeamento caractere a caractere, que recebe a string e retorna o valor sem os acentos.

2)Usar algo pronto como a Unac (http://www.makelinux.net/man/3/U/unac)

unac is a C library that removes accents from characters, regardless of the character set (ISO-8859-15, ISO-CELTIC, KOI8-RU...) as long as iconv(3) is able to convert it into UTF-16 (Unicode).

Um bom material sobre isso: http://www.gnu.org/software/libc/manual/html_node/Extended-Char-Intro.html

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .