1

Acho que meu problema é de classificação de texto, onde eu recebo uma string como entrada, então eu preciso combinar essa string com a escolha certa. Eu preciso de uma acurácia maior que 98,3%. Que tipo de algoritmo eu preciso estudar para resolver esse problema apresentado? Eu dei uma olhada no Bag of Words e no Word embedding mas eu não estou certo se eles resolvem o problema

Exemplo 1:
    Entrada: 
    onix 1.4 mpfi ltz 8v
    
    Possíveis combinações:
    onix hatch ltz 1.4 8v flexpower 5p mec. (combinação correta)
    onix hatch lt 1.4 8v flexpower 5p mec.
    onix hatch effect 1.4 8v f.power 5p mec.
    onix hatch activ 1.4 8v flex 5p mec.

Exemplo 2:
    Entrada: 
    gol 1.0 i 8v
    
    Possíveis combinações:
    gol city (trend)/titan 1.0 t. flex 8v 4p
    gol (novo) 1.0 mi total flex 8v 4p (combinação correta)

Exemplo 3:
    Entrada: 
    aircross 1.6 shine 16v
    
    Possíveis combinações:
    aircross shine 1.6 flex 16v 5p aut. (combinação correta)
    aircross live 1.6 flex 16v 5p aut.
    aircross feel 1.6 flex 16v 5p aut.

Estou tentando combinar nomes de modelos de carros de um site com nomes de modelos de carros de outro site.

2
  • Lendo a pergunta é só uma busca léxica, pois entendi o problema assim : Há um arquivo de texto que descreve modelos de veículos por seus atributos, separados por espaço, sendo um modelo de veículo em cada linha, o usuário digitaria um texto de pesquisa e a engine de pesquisa deve encontrar a linha ou linhas cujo a distancia de edição seja mais próximo do texto a ser pesquisado. Se for esse o problema e se apresentar uma amostra de dados faço um exemplo. 20/01/2021 às 6:45
  • O algorítmo Naive Bayes deve te atender 20/01/2021 às 12:13

1 Resposta 1

1

Você pode trabalhar com uma biblioteca que faça um fuzzy de string. Fuzzy de string serve para achar similaridades nas strings mesmo se houver algum erro de digitação. Fuzzywuzzy trabalha com a distancia de Levenshtein para calcular as diferenças entre as sequências.

instalando os pacotes necessários

!pip install python-Levenshtein
!pip install fuzzywuzzy

importando as libs

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

Exemplo 1

opcoes = ["onix hatch ltz 1.4 8v flexpower 5p mec.", 
          "onix hatch lt 1.4 8v flexpower 5p mec.", 
          "onix hatch effect 1.4 8v f.power 5p mec.", 
          "onix hatch activ 1.4 8v flex 5p mec."]


process.extractOne("onix 1.4 mpfi ltz 8v", opcoes, scorer = fuzz.token_sort_ratio)

Saída

('onix hatch ltz 1.4 8v flexpower 5p mec.', 59)

Exemplo 2

opcoes = ["gol city (trend)/titan 1.0 t. flex 8v 4p", 
          "gol (novo) 1.0 mi total flex 8v 4p"]

process.extractOne("gol 1.0 i 8v", opcoes,  scorer = fuzz.token_sort_ratio)

Saída

('gol (novo) 1.0 mi total flex 8v 4p', 55)

Exemplo 3

opcoes = ["aircross shine 1.6 flex 16v 5p aut.", 
          "aircross live 1.6 flex 16v 5p aut.",
          "aircross feel 1.6 flex 16v 5p aut."]

process.extractOne("aircross 1.6 shine 16v", opcoes ,scorer = fuzz.token_sort_ratio)

Saída

('aircross shine 1.6 flex 16v 5p aut.', 79)

Vale notar que no exemplo 2 gol 1.0 i 8v a informação pode ser extraída para as duas strings, pois essa é uma ocorrência muito genérica.

Consulte a lib para saber mais.


Outra abordagem

Utilizando o CountVectorizer e a similaridade do cosseno

Exemplo 1

Importando as libs

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics.pairwise import cosine_similarity

Definindo as opções, nesse caso aqui vamos comparar o primeiro elemento da lista com o restante. O token_pattern eu coloquei para ele inserir na tokenização também os números 1, 1.4 e etc.

opcoes = [
          "gol 1.0 i 8v",
          "gol city (trend)/titan 1.0 t. flex 8v 4p", 
          "gol (novo) 1.0 mi total flex 8v 4p"
]

count_vectorizer_gol = CountVectorizer(token_pattern=r'(?u)\b[a-zA-Z0-9_.]+')
count_matrix_gol = count_vectorizer_gol.fit_transform(opcoes)

Verificando o primeiro elemento contra os outros elementos

cosine_similarity(count_matrix_gol[0:1], count_matrix_gol[1:]) 

Saída

array([[0.5       , 0.53033009]])

Quanto maior este número, melhor. Neste caso o "gol (novo) 1.0 mi total flex 8v 4p" foi o que teve maior pontuação.

Exemplo 2

opcoes = [
          "aircross 1.6 shine 16v",
          "aircross shine 1.6 flex 16v 5p aut.", 
          "aircross live 1.6 flex 16v 5p aut.",
          "aircross feel 1.6 flex 16v 5p aut."
]

count_vectorizer_aircross = CountVectorizer(token_pattern=r'(?u)\b[a-zA-Z0-9_.]+')
count_matrix_aircross = count_vectorizer_aircross.fit_transform(opcoes)

cosine_similarity(count_matrix_aircross[0:1], count_matrix_aircross[1:])

Saída

array([[0.75592895, 0.56694671, 0.56694671]])

aircross shine 1.6 flex 16v 5p aut. obteve maior pontuação

Exemplo 3

opcoes = [
          "onix 1.4 mpfi ltz 8v",
          "onix hatch ltz 1.4 8v flexpower 5p mec.", 
          "onix hatch lt 1.4 8v flexpower 5p mec.", 
          "onix hatch effect 1.4 8v f.power 5p mec.", 
          "onix hatch activ 1.4 8v flex 5p mec.",
          "onix hatch ltz 1.2 8v flex 5p mec."
]

count_vectorizer_onix = CountVectorizer(token_pattern=r'(?u)\b[a-zA-Z0-9_.]+')
count_matrix_onix = count_vectorizer_onix.fit_transform(opcoes)

cosine_similarity(count_matrix_onix[0:1], count_matrix_onix[1:])

Saída

array([[0.63245553, 0.47434165, 0.47434165, 0.47434165, 0.47434165]])

onix hatch ltz 1.4 8v flexpower 5p mec. obteve maior pontuação

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .