40

Como há uma obsessão por perguntas com acentos, aqui vai a minha :)

O SQLite permite fazer comparações diretas ou através do like com qualquer encoding/charset desde que seja feito byte a byte. Ele só permite fazer a comparação desconsiderando a sensibilidade de caixa (case insensitive) com caracteres ASCII.

Eu tenho algumas situações que preciso usar o SQLite com case insensitive e consequentemente accent insensitive também para caracteres latinos (ISO 8859-1 ou Latin1). Não preciso e não uso encoding UTF-8 ou UTF-16, até porque, e não só, falta implementação dos devidos tratamentos desses encodings no SQLite.

A resposta padrão dos desenvolvedores do SQLite, que é english centric, é que se você precisa de tratamento extra ao ASCII, você deve providenciar isso. Eles afirmam que você já terá isso disponível na sua aplicação. O que não é verdade no meu caso.

Muitas vezes uso o SQLite em linguagens que não têm o tratamento adequado para normalizar a caixa dos caracteres levando em consideração caracteres latinos, pelo menos não de uma forma que podem ser chamadas pelo SQLite.

Se usasse UTF8 ainda não usaria a ICU(en) pelo seu peso em memória e processamento. É canhão para matar passarinho e em alguns casos me traria complicações indesejáveis.

Precisaria ser em C para se comunicar diretamente com a API do SQLite sem overhead e para ser portável para qualquer linguagem usada na aplicação e também para o sistema operacional, que é outro requisito.

Os principais requisitos:

  • normalizar o case tratando caracteres principais (desconsiderando acentos) do ISO-8859-1
  • leveza (memória e processamento)
  • simplicidade (que permite fácil implantação e manutenção)
  • portabilidade (de linguagem e sistema operacional)
  • evitar duplicação de dados nas tabelas (criar coluna normalizada)
  • inexistência de dependência externa ou de licença que me permita compilar junto com minha aplicação/SQLite.

Pode ser uma biblioteca simples ou uma função para inscrever na API do SQLite. Preferencialmente que também funcione com o LIKE e FTS, UPPER e LOWER, etc.

Já pesquisei e não resolve meu problema:

Referência: API SQLite

7
  • Você já considerou criar uma coluna adicional normalizada?
    – utluiz
    Commented 9/01/2014 às 13:29
  • 4
    @utluiz Já! É mais overhead ainda. Em alguma situação específica até pode ser uma solução (deselegante), mas na maioria dos casos, seria um absurdo fazer isso.
    – Maniero
    Commented 9/01/2014 às 13:32
  • Criar uma coluna adicional é um overhead que pode ser válido em alguns casos onde a eficiência da busca é crucial e a comparação não se resolve apenas com encoding. Uma aplicação é em permitir a pesquisa de palavras com pequenas variações de escrita com o algoritmo [Soundex] (en.wikipedia.org/wiki/Soundex).
    – utluiz
    Commented 9/01/2014 às 13:45
  • 1
    Ah, e seja qual for a solução, para que ela seja eficiente, não basta aplicar uma cláusula de comparação na consulta, ela deve atuar sobre os índices do banco para não causar um Full Table Scan.
    – utluiz
    Commented 9/01/2014 às 13:48
  • @utluiz Concordo com sua última afirmação e que a coluna adicional pode válida em alguns casos.
    – Maniero
    Commented 9/01/2014 às 13:55

3 Respostas 3

25
+50

O Sqlite possui case insensitive apenas para ASCII nativamente, pois um dos objetivos da base de dados é justamente ser Lite :) e há o entendimento de que qualquer aplicação que dependa de comparação de linguagem específica já vai ter uma função pra isso, visto que a base de dados é apenas mais um dos pontos onde ela será usada.

Para ter uma ordem na forma que desejar, usando seus próprios critérios, basta implementar uma nova collation, utilizando a família de funções sqlite3_create_collation( )(en), que permite você apontar uma função própria sua em C, que faz a comparação entre strings da forma que você achar mais conveniente.

Após ter essa collation implementada, basta a incluir na query desejada:

SELECT nome, endereco FROM cadastro ORDER BY nome COLLATE CollationExemploPtBr

Detalhes da função a ser implementada vão da necessidade de cada um, o importante é saber que sua função vai receber as duas strings a serem comparadas, e deve retornar 0 para strings consideradas iguais (ação e acao, em português, deveriam retornar 0), algum positivo para string1 maior que string2, e um negativo para string1 menor que string2.

Uma das vantagens de ter sua própria collation é que você pode não se limitar a comparar caracteres apenas pela acentuação, mas também fazer com que & e E tenham o mesmo "peso" na hora de ordenar uma string, ou qualquer outra coisa que seja conveniente para o resultado desejado.

Desde que você chame a função create_collation antes de começar a usar as funções de base de dados propriamente ditas, pode usar sua collation (ou várias diferentes ao mesmo tempo, conforme desejar) normalmente como index. Isso é especialmente importante para manter a performance do DB sem perder a liberdade de ordenar como quiser. Estas funções funcionam tão eficientemente ou até melhor do que as nativas do SQLite, dependendo apenas da qualidade do código implementado.

Lembre-se de que a collation é apenas uma parte do processo, pois na hora de localizar uma string com LIKE, por exemplo, você também deve implementar uma função compatível, podendo usar a família de funções create_function()(en) que usa o mesmo princípio, apontar uma função do seu código que processe o resultado da forma que desejar.

Segue um exemplo simplificado, adaptado de uma função que uso em alguns aplicativos:

// Atencao: esta implementacao esta muito simplificada,
// e foi postada como mero exemplo. Por ter sido rapidamente
// adaptada e simplificada de um codigo de uso interno para
// ser postada no SO, pode conter erros de tipagem e alguma
// condicao nao tratada (como utf mal formado) ou bugs.
//
// Esta implementacao somente esta considerando os caracteres
// acentuados entre u+0000 e u+00ff, para fins de exemplo, e
// considerando as equivalencias basicas em pt_BR
//
// -- Bacco

sqlite3 *db;
if (SQLITE_OK==sqlite3_open( "databasename.db", &db)
{

   sqlite3_create_collation( db,
                             "CollationExemploPtBr",
                              SQLITE_UTF8,  /* Nota [1] */
                              &example_table_ptbr, /* Nota [2] */
                              &example_collation ); 

// [1] A pergunta original menciona 8859-1. Notar que este codigo
// trata de UTF, mas basta ajustar os "ifs" pra ignorar UTF e
// usar a tabela com 256 caracteres "puros".
//
// [2] Notar que estou usando um cargo pra nao referenciar o
// example_table_ptbr direto no example_collation.
// O SQLite repassa esse pointer ao chamar a funcao indicada. 
// Este e um otimo jeito de usar a mesma funcao com tabelas diferentes.
// Se sua funcao ja tiver a tabela embutida,
// basta usar null neste parametro.

// ... seu codigo aqui ...

}

static const char example_table_ptbr[] = {
    /* u+0000 .. U+007F */
   0x00,0x01,0x02,0x03,0x04,0x05,0x06,0x07,  0x08,0x09,0x0A,0x0B,0x0C,0x0D,0x0E,0x0F,
   0x10,0x11,0x12,0x13,0x14,0x15,0x16,0x17,  0x18,0x19,0x1A,0x1B,0x1C,0x1D,0x1E,0x1F,
   0x20,0x21,0x22,0x23,0x24,0x25,'E' ,0x27,  0x28,0x29,0x2A,0x2B,0x2C,0x2D,0x2E,0x2F,
   0x30,0x31,0x32,0x33,0x34,0x35,0x36,0x37,  0x38,0x39,0x3A,0x3B,0x3C,0x3D,0x3E,0x3F,
   0x40,0x41,0x42,0x43,0x44,0x45,0x46,0x47,  0x48,0x49,0x4A,0x4B,0x4C,0x4D,0x4E,0x4F,
   0x50,0x51,0x52,0x53,0x54,0x55,0x56,0x57,  0x58,0x59,0x5A,0x5B,0x5C,0x5D,0x5E,0x5F,
   0x60,'A' ,'B' ,'C' ,'D' ,'E' ,'F' ,'G' ,  'H' ,'I' ,'J' ,'K' ,'L' ,'M' ,'N' ,'O' ,
   'P' ,'Q' ,'R' ,'S' ,'T' ,'U' ,'V' ,'W' ,  'X' ,'Y' ,'Z' ,0x7B,0x7C,0x7D,0x7E,0x7F,
   /* u+0080 .. U+00FF */
   0x20,0x20,0x20,0x20,0x20,0x20,0x20,0x20,  0x20,0x20,0x20,0x20,0x20,0x20,0x20,0x20,
   0x20,0x20,0x20,0x20,0x20,0x20,0x20,0x20,  0x20,0x20,0x20,0x20,0x20,0x20,0x20,0x20,
   0x20,'!' ,'C' ,'L' ,0x20,'Y' ,0x20,0x20,  0x20,'C' ,'A' ,'<' ,0x20,0x20,'R' ,0x20,
   'O' ,0x20,'2' ,'3' ,0x20,'U' ,0x20,0x20,  0x20,'1' ,'O' ,'>' ,0x20,0x20,0x20,'?' ,
   'A' ,'A' ,'A' ,'A' ,'A' ,'A' ,0x20,'C' ,  'E' ,'E' ,'E' ,'E' ,'I' ,'I' ,'I' ,'I' ,
   'D' ,'N' ,'O' ,'O' ,'O' ,'O' ,'O' ,'X' ,  'O' ,'U' ,'U' ,'U' ,'U' ,'Y' ,0x20,'S' ,
   'A' ,'A' ,'A' ,'A' ,'A' ,'A' ,0x20,'C' ,  'E' ,'E' ,'E' ,'E' ,'I' ,'I' ,'I' ,'I' ,
   'D' ,'N' ,'O' ,'O' ,'O' ,'O' ,'O' ,'/' ,  'O' ,'U' ,'U' ,'U' ,'U' ,'Y' ,0x20,'Y' };

int example_collation(void* pArg,int n1,const void* s1,int n2,const void* s2)
{
   int v = 0;
   unsigned char b1;
   unsigned char b2;
   unsigned char *t = (unsigned char *)pArg;
   unsigned char *p1 = (unsigned char *)s1;
   unsigned char *p2 = (unsigned char *)s2;
   unsigned char *c1 = p1 + n1;
   unsigned char *c2 = p2 + n2;

   while( ( p1 < c1 || p2 < c2 ) && v == 0) {
      b1 = *(p1++);
      b2 = *(p2++);

      if ( p1 > c1 )
         b1 = 0x20;

      else if ( b1 < 0x80 )
         b1 = t[ b1 ];

      else if( ( b1 & 0xFE ) == 0xC2 )
         b1 = t[ 0x80 | ( ( b1 << 6 ) & 0x40 ) | ( *(p1++) & 0x3F ) ];

      if ( p2 > c2 )
         b2 = 0x20;

      else if ( b2 < 0x80 )
         b2 = t[ b2 ];

      else if( ( b2 & 0xFE ) == 0xC2 )
         b2 = t[ 0x80 | ( ( b2 << 6 ) & 0x40 ) | ( *(p2++) & 0x3F ) ];

      v = b1 - b2 ;
   }
   return v;
}
2
  • +1, sua solução parece ser a mais profissional de todas que já pesquisei. Poderia me informar se seria possível usar ela com um app em flutter. Estou tendo dificuldades em criar uma collation básica a partir da doc oficial do sqlite (sqlite3_create_collation). Os apps em flutter rodam por trás do Java no android e Swift/ObC no iOS, não tenho certeza se o contexto para fazer isso ficaria exposto ao flutter que roda em dart, porém acredito que por ser tratar de comandos SQL deveria funcionar. Commented 9/02/2021 às 2:49
  • 2
    @CassioSeffrin infelizmente não conheço detalhes da implementação low-level do flutter para poder ajudar. Alternativamente, você pode fazer isso na camada do SQLite pondo sua collation na lib, em vez de colocar no lado da aplicação, mas só avaliando o cenário específico mesmo.
    – Largato
    Commented 9/02/2021 às 12:35
4

Para alternar entre comparações case insensitive e case sensitive existe uma chave de configuração:

PRAGMA case_sensitive_like=OFF;

Sobre remover acentuações, encontrei essa referência com uma function que parece promissora:

SELECT spellfix1_translit('água'); -- agua 
SELECT * FROM table WHERE spellfix1_translit(column) LIKE 'a%'; 

A implementação em questão, parte de uma tabela virtual para encontrar palavras "próximas", usa uma mega tabela de traduções para obter a contrapartida ASCII de caracteres acentuados (ou seja, faz a substituição de caracteres romanos na unha). Para mais detalhes veja a estrutura de dados translit[] e a função transliterate que omiti por questões de espaço e simplicidade (a mensagem de "copyright" do cabeçalho é bem interessante hehehe).

/*
**    spellfix1_translit(X)
**
** Convert a string that contains non-ASCII Roman characters into 
** pure ASCII.
*/
static void transliterateSqlFunc(
  sqlite3_context *context,
  int argc,
  sqlite3_value **argv
){
  const unsigned char *zIn = sqlite3_value_text(argv[0]);
  int nIn = sqlite3_value_bytes(argv[0]);
  unsigned char *zOut = transliterate(zIn, nIn);
  if( zOut==0 ){
    sqlite3_result_error_nomem(context);
  }else{
    sqlite3_result_text(context, (char*)zOut, -1, sqlite3_free);
  }
}

Quanto a implementação da função, se você quiser algo mais "robusto", uma vez que ICU está fora de questão, existem outras opções como unac. Basta utilizar a função acima como template e substituir a chamada à transliterate pela função de normalização que você preferir.

3
  • O PRAGMA só funciona para ASCII. Vou analisar melhor o resto, depois dou um retorno. Parece ser, pelo menos, um bom começo. Só não deu para perceber ainda se resolve tudo, porque não basta tirar os acentos para a comparação funcionar bem. Já vi soluções até simples de normalizar a string, mas que gerava processamento desnecessário aos montes. Não sei se é o caso. Achei a tabela muito grande p/ minha necessidade, mas isso dá p/ customizar. Vou analisar o unac também.
    – Maniero
    Commented 9/01/2014 às 16:10
  • Se for para personalizar (não acho que hoje essa tabela é tão grande em termos de consumo de memória, mesmo para devices embarcados), veja que já é possível tratar o case diretamente na tabela também (eu por outro lado deixaria o case sensitive off para like e comporia funções UPPER e LOWER). Em relação à overhead e processamento, sempre vai valer o trade-off de espaço vs processamento, sem colunas extras ou algum tipo de estrutura de dados auxiliar você vai ter que executar a normalização a cada consulta, e isso vai ser caro (pode ser mais caro ou menos caro, mas será caro). Commented 9/01/2014 às 16:23
  • Claro, o problema é ser caro sem ser necessário. E já vi várias soluções assim. Dependendo de como usar UPPER e LOWER, acontece justamente isso.
    – Maniero
    Commented 9/01/2014 às 16:28
1

Apesar da pergunta já ter sido respondida e @Maniero ter deixado claro

evitar duplicação de dados nas tabelas

Em algumas situações não é possível criar um collate sqlite3_create_collation. E, usar duplicação de dados pode cumprir com os outros requisitos como:

leveza e simplicidade

E caso você também tenha interesse em accent insensitive você pode ter a alternativa com duplicação de campo com o uso de slug.

CREATE TABLE 'posts' (
    'id' INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, 
    'name' TEXT, 
    'name_slug' TEXT);

Ao inserir, será necessário inserir a informação duas vezes. A primeira de forma crua e a segunda, slug. No exemplo seria name e name_slug. Slugify em C++

INSERT INTO items ( name, name_slug )
    VALUES ( "O nome do POST é comprido", "o-nome-do-post-e-comprido" );

E ao realizar comparação ou like, usar o mesmo procedimento de slugify do termo de busca.

# Post é
SELECT * FROM items WHERE status = 1 AND name_slug like "%post-e%"

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .