Olá, colegas, estou buscando orientação e ficaria extremamente grato por qualquer ajuda que possam oferecer.
Para contextualizar: estou trabalhando em um sistema cujo objetivo principal é categorizar produtos vendidos em supermercados. Atualmente, recebo somente o código de barras e a descrição do produto. Com base nesses dados, preciso determinar a qual categoria o produto pertence. Eis um exemplo:
Entrada:
{
"Código": "7896035700021",
"Descrição": "CAPSULA MELITTA INTENS.9 MARCATO C/10"
}
Saída:
{
"Código": "7896035700021",
"Descrição": "CAPSULA MELITTA INTENS.9 MARCATO C/10",
"Categoria": "Café Em Cápsulas"
}
O desafio é que a categorização é feita manualmente, tornando-se uma tarefa árdua. Até o momento, já categorizei aproximadamente 2 milhões de itens. Estes estão distribuídos em 520 categorias distintas.
Meu plano é desenvolver um modelo de classificação semântica. Pretendo representar as descrições dos produtos como vetores. Assim, para cada novo produto, converteria sua descrição em um vetor e determinaria sua categoria usando similaridade de cosseno, comparando-o com os produtos já categorizados.
Dada esta abordagem, gostaria de saber: É uma boa estratégia para esse tipo de desafio? Existem métodos mais eficientes ou recomendados para essa situação? Como sou relativamente novo na área de Ciência de Dados, agradeço qualquer insight ou recomendação que possam oferecer.
Desde já, muito obrigado.