3

Preciso normalizar dados que possuo para que fiquem entre -1 e 1.

Utilizei o StandardScaler, mas o intervalo ficou maior.

Qual outra biblioteca do sklearn poderia usar? Tem várias no sklearn, mas não consegui, deveria facilitar a vida, mas acredito que não estou sabendo usar.

O que tentei foi:

df = pd.read_fwf('traco_treino.txt', header=None)
plt.plot(df)

Dados no intervalo -4 e 4

Dados no intervalo -4 e 4

Após a tentativa de normalização:

from sklearn.preprocessing import StandardScaler  
scaler = StandardScaler()  
scaler.fit(df)
dftrans = scaler.transform(df)
plt.plot(dftrans)

Dado não foi normalizado com sucesso

O dado fica entre -10 e 10.

1 Resposta 1

4

O StandardScaler padroniza os dados para uma unidade de variância (var=1) e não para um range, por isso os resultados diferem do esperado.

Para padronizar os dados no intervalo (-1, 1), utilize o MaxAbsScaler:

import numpy as np
from sklearn.preprocessing import MaxAbsScaler

# Define os dados
dados = np.array([[0, 0], [300, -4], [400, 3.8], [1000, 0.5], [3000, 0]], dtype=np.float64)

dados
=> array([[  0.00000000e+00,   0.00000000e+00],
       [  3.00000000e+02,  -4.00000000e+00],
       [  4.00000000e+02,   3.80000000e+00],
       [  1.00000000e+03,   5.00000000e-01],
       [  3.00000000e+03,   0.00000000e+00]])

# Instancia o MaxAbsScaler
p=MaxAbsScaler()

# Analisa os dados e prepara o padronizador
p.fit(dados)
=> MaxAbsScaler(copy=True)

# Transforma os dados
print(p.transform(dados))
=> [[ 0.          0.        ]
 [ 0.1        -1.        ]
 [ 0.13333333  0.95      ]
 [ 0.33333333  0.125     ]
 [ 1.          0.        ]]

Maiores informações na documentação ou Wikipedia: Feature scaling

5
  • Olá Gomiero, obrigado pela ajuda. Entretanto, não está funcionando. Meu dado é uma coluna de valores. Assim, transformei em um dataframe com o pandas, para que tivesse duas colunas. Será esse o problema? Só funciona num array 2D?
    – Klel
    Commented 22/05/2018 às 23:15
  • As colunas do DataFrame são arrays, portanto, deveria funcionar sem problemas. Verifique se a forma como você está criando o DataFrame está correta e se os tipos de dados estão ok
    – Gomiero
    Commented 22/05/2018 às 23:38
  • Olá Gomiero, meus dados são .txt, como poderia fazer? Quando crio o DataFrame, crio uma coluna com índices de 0 a 2999 (tamanho do dado é 3000), além dos valores do txt.
    – Klel
    Commented 29/05/2018 às 4:52
  • Supondo que os dados estão em uma coluna 'a' do DataFrame, tente transformar os valores em um np.array do tipo coluna (ex: dd = dados['a'].values.reshape(-1,1)). Após o reshape, execute o p.fit(dd) e o print(p.transform(dd). Acredito que o problema seja o reshape para que o Scaler funcione
    – Gomiero
    Commented 29/05/2018 às 5:15
  • Array 1D não dá, dá erro, mas deu 2D. Devo ter feito algo errado da outra vez, agora deu certo. Obrigado!
    – Klel
    Commented 29/05/2018 às 22:15

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .