2

Estou tentando fazer uma ordenação com Elastic Search, porem alguns campos possui acentuação, como nome de cidades, ja tentei utilizar campos com index not_analyzed e com ptbr da segunte forma:

    {
   "settings": {
      "analysis": {
         "analyzer": {
            "folding": {
               "tokenizer": "standard",
               "filter": [
                  "lowercase",
                  "asciifolding"
               ]
            },
            "analyzer_ptbr": {
               "tokenizer": "standard",
               "filter": [
                  "lowercase",
                  "stemmer_plural_portugues",
                  "asciifolding"
               ]
            }
         },
         "filter": {
            "stemmer_plural_portugues": {
               "type": "stemmer",
               "name": "minimal_portuguese"
            }
         }
      }
   },
   "mappings": {
      "post": {
         "properties": {
            "title": {
               "type": "multi_field",
               "fields": {
                  "title": {
                     "type": "string",
                     "analyzer": "standard"
                  },
                  "folded": {
                     "type": "string",
                     "analyzer": "folding"
                  },
                  "raw": {
                     "type": "string",
                     "index": "not_analyzed"
                  },
                  "ptbr": {
                     "type": "string",
                     "analyzer": "analyzer_ptbr"
                  }
               }
            }
         }
      }
   }

Ao tentar ordenar com:

{
   "query": {
      "match_all": {}
   },
   "sort": [
      {
         "title.ptbr": {
            "order": "asc"
         }
      }
   ]
}

É retornado:

Abacate
Versão de Acentuação
Ângelo
Banana
Dois Vizinhos

Se mudo para o campo raw (não analizado):

{
   "query": {
      "match_all": {}
   },
   "sort": [
      {
         "title.raw": {
            "order": "desc"
         }
      }
   ]
}

Retorna:

Ângelo
Versão de Acentuação
Dois Vizinhos
Banana
Abacate

Ou Seja, ignorando a acentuação não consigo ordenar pela primeira palavra da sentença, se mantenho o campo como não analisado os caracteres especiais são considerados os primeiros na ordenação decrescente, alguém ja passou por este problema?

Obrigado

1 Resposta 1

3

Amigo, já tive esse problema e consegui resolver removendo toda a acentuação e espaços das palavras com um filtro e criando uma versão do campo multi_field, assim suas sentenças ficam:

Ângelo => angelo
Versão de Acentuação => versaodeacentuacao
Dois Vizinhos => doisvizinhos
Banana => banana
Abacate => abacate

Assim pode aplicar o sort nesta versão do campo, veja o código:

{
   "settings": {
      "analysis": {
         "analyzer": {
            "without_space": {
               "filter": [
                  "lowercase",
                  "whitespace_remove",
                  "asciifolding"
               ],
               "type": "custom",
               "tokenizer": "keyword"
            }
         },
         "filter": {
            "whitespace_remove": {
               "type": "pattern_replace",
               "pattern": " ",
               "replacement": ""
            }
         }
      }
   },
   "mappings": {
      "my_type": {
         "properties": {
            "title": {
               "type": "multi_field",
               "fields": {
                  "title": {
                     "type": "string",
                     "analyzer": "standard"
                  },
                  "raw": {
                     "type": "string",
                     "index": "not_analyzed"
                  },
                  "sorting": {
                     "type": "string",
                     "analyzer": "without_space"
                  }
               }
            }
         }
      }
   }
}

Na query:

{
    "query": {
        "match_all": {

        }
    },
    "sort": [
       {
          "title.sorting": {
             "order": "desc"
          }
       }
    ]
}

Foi a solução mais simples que achei pra conseguir tratar acentuação e "relevância" da primeira letra da sentença.

Espero que ajude.

1
  • Acredito ter dado certo, obrigado 21/07/2016 às 16:27

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .