Utilizando apenas o statsmodels
:
Com o statsmodels
é possível escrever a fórmula desejada, como por exemplo:
target ~ np.power(X1, 2) + X2
Neste exemplo, significa que estamos buscando os parâmetros a1
e a2
que melhor aproximam:
target = a1 * X1^2 + a2 * X2
Um exemplo prático no seu caso seria escrever a fórmula e passar o houses.to_dict('list')
como data
:
import statsmodels.formula.api as sm
import numpy as np
model = sm.ols(formula = 'AdjSalePrice ~ np.power(SqFtTotLiving, 2) + SqFtLot + Bathrooms + Bedrooms + BldgGrade', data = houses.to_dict('list')).fit()
Depois para utilizar o modelo treinado, basta fazer:
model.predict({
"SqFtTotLiving":[20],
"SqFtLot":[10],
"Bathrooms":[2],
"Bedrooms":[4],
"BldgGrade":[10]
})
Acho válido ressaltar que utilizar o bias, uma coluna com "1", pode ajudar a melhorar o resultado.
Referências:
Utilizando apenas o sklearn
:
É possível gerar uma entrada polinomial com o preprocessamento PolynomialFeatures
e depois aplicar uma regressão linear. Esta função transforma um vetor, como [x1, x2]
em [1, x1, x2, x1^2, x1*x2, x2^2]
.
from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model
# Entradas exemplo
X = [[0.99, 0.65, 0.35, 0.01], [0.6, 0.01, 0.5, 0.2]]
# [[ X1, X2, X3, X4]
target = [1, 0]
poly = PolynomialFeatures(degree=2, include_bias=True)
X_polinomial = poly.fit_transform(X)
>>> print(np.round(X_polinomial[0], decimals=3))
[ 1, 0.99, 0.65, 0.35, 0.01, 0.98, 0.644, 0.346, 0.01, 0.423, 0.227, 0.007, 0.122, 0.003, 0.]
#[bias, X1, X2, X3, X4, X1*X1, X1*X2, X1*X3, X1*X4, X2*X2, X2*X3, X2*X4, X3*X3, X3*X4, X4*X4]
#[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14]
clf = linear_model.LinearRegression()
clf.fit(X_polinomial, target)
Para escolher quais colunas deseja como entrada, como por exemplo, utilizar somente o bias, X1, X2 e X1^2, basta fazer:
features_to_use = [0, 1, 2, 5]
clf = linear_model.LinearRegression()
clf.fit(X_polinomial[:, features_to_use], target)
Referências: