Devo escalonar minhas entradas? A reposta é: depende.
A verdade é que escalonar seus dados não irá piorar o resultado, então, na dúvida, escalone.
Casos em que se deve escalonar
- Se o modelo se baseia na distância entre os pontos, como algoritmos de clusterização (k-meas) ou redução de dimensionalidade (PCA), então é necessário escalonar/normalizar suas entradas. Veja o exemplo:
Partindo dos dados:
Ano Preco
0 2000 2000
1 2010 3000
2 1970 2500
A matriz de distância euclidiana é:
0 1 2
0 [[ 0. 1000.05 500.9 ]
1 [1000.05 0. 501.6 ]
2 [ 500.9 501.6 0. ]]
Observamos que a distância absoluta do preco
dita qual será a distância, pois seu valor absoluto é muito maior que o ano
. Porém, quando normalizamos entre [0, 1], o resultado muda drasticamente:
Ano_norm Preco_norm
0 0.75 0.0
1 1.00 1.0
2 0.00 0.5
A nova matriz de distância euclidiana é:
0 1 2
0 [[0. 1.03 0.9 ]
1 [1.03 0. 1.12]
2 [0.9 1.12 0. ]]
Outro exemplo, referente ao PCA, é este aqui.
- Para algoritmos como Redes Neurais (veja esta referência), que utilizam o gradiente descendente e funções de ativação, escalonar as entradas permite:
- Que features só positivas possuam uma parte negativa e outra positiva, o que facilita o treinamento.
- Evita que alguma conta retorne valores como
Not a Number
durante o treinamento.
- Se as entradas estiverem em escalas diferentes, os pesos conectados aos inputs serão atualizados em ritmos diferentes (alguns mais rápidos que outros). Isto prejudica o aprendizado.
E ainda normalizar as saídas é importante por conta da função de ativação da última camada.
Neste caso, para voltar a escala original da saída, basta guardar os valores utilizados para normalizar e fazer a conta inversa. Ex:
Para normalizar:
X_norm = (X - X_min)/(X_max - X_min)
Para voltar a escala original:
X = X_norm * (X_max - X_min) + X_min
Casos em que não é necessário escalonar
- Algoritmos de corte, como Árvore de decisão e Random Forest.
Outros casos
Para alguns algoritmos como regressão linear, escalonar não é obrigatório e não melhora a acurácia. Escalonar ou não as entradas mudará apenas os coeficientes encontrados. Porém, como as entradas possuem magnitudes diferentes (como no exemplo acima de ano
e preço
), os coeficientes encontrados só poderão ser comparados se as entradas forem escalonadas. Ou seja, se quiser interpretabilidade, escalone as entradas.