1

Estou rodando uma regressão onde tenho 3 parametros e uma coluna com categorias.

Como sklearn não reconhece categorias eu as transformo em dummies ( crio uma coluna para cada categoria e preencho com 1 caso pertença a categoria da coluna e zero caso contrario )

from sklearn import preprocessing
myEncoder = preprocessing.OneHotEncoder()
myEncoder.fit(df_c_f[['segment_id']])
dummies = myEncoder.transform(df_c_f[['segment_id']]).toarray()

Então minha matriz que inicialmente tem n linhas e 4 colunas agora tem 3 colunas + c colunas de categorias.

A Dúvida está em como eu posso iterar minhas 3 primeiras colunas com todas as dummies para que eu termine com n linhas e 3 * c colunas.

Rodei o seguinte código para fazer isso, mas ele só funciona para pequenas matrizes, qualquer número um pouco grande o código trava

matrix = []
def itera_parametros_e_dummies(matrix1,matrix2):
    print(len(matrix1))
    if len(matrix1) != len(matrix2):
        print("matrizes de tamanhos diferentes")
    else:
        for i in range(len(matrix1)):
            matrix.append(np.dot(matrix1[i:i+1],(matrix2[i:i+1]))[0])
    return(matrix)

itera_parametros_e_dummies(log_orgc_traf,df_dummies)
1
  • não entendi muito bem o que você quer fazer, como ficaria a estrutura do data_frame pronto? Commented 20/06/2017 às 13:32

1 Resposta 1

2

Então, a primeira coisa é sobre a criação das dummies. Sempre quando você cria as dummies, você deve dropar uma coluna delas. Se existem n categorias devem existir n-1 colunas de dummies. Isso é o que é chamado de Dummy Variable Trap.

O processo do OneHotEncoder deveria, por natureza, sempre criar a coluna com o mesmo número de linhas do dataset todo. Ao invés de myEncoder.fit(df_c_f[['segment_id']]) usa dummies = myEncoder.fit_transform(df_c_f[['segment_id']]). Economiza uma linha.

Também não entendi muito bem qual o motivo da multiplicação e o que você espera de resultado.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .