0

Bom dia, eu irei aplicar o K-means em um determinado dataset, já executei normal para dataset totalmente numérico, ex: Iris( vesicolor, setosa, virginica), porém me deparei com um dataset com dados categoricos (nomes e numeros), e preciso fazer a execução do k-means, alguem sabe como é colocado a função de clusters para atributos categoricos?

obs: O assunto é de privacidade de dados, então vai ter dados que serão suprimidos, mas nessa pergunto, espora mais saber sobre como fazer os clusters com dados categoricos

1
  • Não entendi muito bem a pergunta. Poderia adicionar exemplos do que tem como entrada/saída e do que é esperado? As entradas não numéricas são categóricas (como azul ou vermelho) ou texto (como nomes, descrições)?
    – AlexCiuffa
    25/04/2019 às 17:13

2 Respostas 2

1

A maioria de algoritmos de ML não aceitam dados categóricos como entrada, assim é necessário aplicar transformações nos dados para torná-los aptos a serem utilizados, algumas das técnicas mais comuns utilizadas são:

  • label encoding - essa técnica atribui números às variáveis categóricas onde, por exemplo, os dados A,B e C se tornarão 1, 2 e 3. Deve-se usar essa técnica com cuidado, pois os algoritmos podem interpretar que há uma relação ordinal entre as categorias

  • one hot encoding - essa técnica converte cada valor categórico para uma coluna no dataset, contendo os valores 1 para quando ela estava presente na coluna de origem e 0 quando ausente. Neste caso deve-se observar a cardinalidade da coluna de origem, para não aumentar demais a dimensionalidade do dataset

  • Word embedding - Técnica utilizada para converter em números o valor semântico de cada palavra, muito utilizada em NLP.

Cabe verificar qual transformação melhor se aplica nos dados categóricos, e aplicar nos dados, após isso, eles podem ser utilizados como entrada em modelos de clustering ou classificação.

0

TL;DR

Baseado na simplicidade da pergunta: Converta os dados para númerico ou crie uma nova variável do tipo numérica baseada na categórica que vc tem, não sei o que vc está usando para o "tratamento" do dataset, abaixo deixo um exemplo bem simplório usando pandas.DataFrame que é muito comum no mundo python:

import pandas as pd

dataset = {'aluno': [1, 1, 1, 2, 2], 
           'periodo': [1, 2, 1, 1, 1],
           'nota': ['A', 'D', 'C', 'D', 'A']}

df = pd.DataFrame(dataset, columns = ['aluno', 'periodo', 'nota'])
print('','DataFrame Original:', df, sep='\n')

No exemplo o dataset original tem as duas colunas aluno e periodo do tipo numérica e a nota do tipo categorica, a saída para o codigo acima é:

DataFrame Original:
   aluno  periodo nota
0      1        1    A
1      1        2    D
2      1        1    C
3      2        1    D
4      2        1    A

Agora, no código abaixo, criamos uma nova coluna do tipo númerico (nota_numerica) baseado na coluna nota

notas = {'A': 100, 'B': 80, 'C': 60, 'D': 40}
df['nota_numerica'] = df['nota'].apply(notas.get)
print('','DataFrame Modificado:', df, sep='\n')

A saida para esse novo codigo seria:

DataFrame Modificado:
   aluno  periodo nota  nota_numerica
0      1        1    A            100
1      1        2    D             40
2      1        1    C             60
3      2        1    D             40
4      2        1    A            100

Como eu disse antes, assim como a pergunta, é um exemplo bem simplório, claro que dependendo da complexidade do problema real vc pode elaborar uma solução mais rebuscada com o próprio pandas.

Veja funcionando no repl.it

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .