1

Estou tentando aprender a ajustar um modelo de regressão quadrática. O dataset pode ser baixado em: https://filebin.net/ztr9har5nio7x78v

Seja AdjSalePrice a variável alvo e "SqFtTotLiving","SqFtLot","Bathrooms","Bedrooms","BldgGrade" as varáveis preditoras.

Imagine que SqFtTotLiving será a variável que terá o grau 2. Seja o código python:

import pandas as pd
import numpy as np
import statsmodels.api as sm
import sklearn


houses = pd.read_csv("house_sales.csv", sep = '\t')#separador é tab

colunas = ["AdjSalePrice","SqFtTotLiving","SqFtLot","Bathrooms","Bedrooms","BldgGrade"]

houses1 = houses[colunas]


X = houses1.iloc[:,1:] ## 
y =  houses1.iloc[:,0] ##

Como ajustar um modelo de regressão quadrática usando sklearn e o statsmodels ? Eu só consigo utilizar a regressão linear...

0

1 Resposta 1

2
+25

Utilizando apenas o statsmodels:

Com o statsmodels é possível escrever a fórmula desejada, como por exemplo:

target ~ np.power(X1, 2) + X2

Neste exemplo, significa que estamos buscando os parâmetros a1 e a2 que melhor aproximam:

target = a1 * X1^2 + a2 * X2

Um exemplo prático no seu caso seria escrever a fórmula e passar o houses.to_dict('list') como data:

import statsmodels.formula.api as sm
import numpy as np

model = sm.ols(formula = 'AdjSalePrice ~ np.power(SqFtTotLiving, 2) + SqFtLot + Bathrooms + Bedrooms + BldgGrade', data = houses.to_dict('list')).fit()

Depois para utilizar o modelo treinado, basta fazer:

model.predict({
    "SqFtTotLiving":[20],
    "SqFtLot":[10],
    "Bathrooms":[2],
    "Bedrooms":[4],
    "BldgGrade":[10]
})

Acho válido ressaltar que utilizar o bias, uma coluna com "1", pode ajudar a melhorar o resultado.

Referências:


Utilizando apenas o sklearn:

É possível gerar uma entrada polinomial com o preprocessamento PolynomialFeatures e depois aplicar uma regressão linear. Esta função transforma um vetor, como [x1, x2] em [1, x1, x2, x1^2, x1*x2, x2^2].

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

# Entradas exemplo
X = [[0.99, 0.65, 0.35, 0.01], [0.6, 0.01, 0.5, 0.2]]
#   [[  X1,   X2,   X3,   X4]
target = [1, 0]

poly = PolynomialFeatures(degree=2, include_bias=True)
X_polinomial = poly.fit_transform(X)

>>> print(np.round(X_polinomial[0], decimals=3))
 [   1, 0.99, 0.65, 0.35, 0.01,  0.98, 0.644, 0.346,  0.01, 0.423, 0.227, 0.007, 0.122, 0.003,    0.]
#[bias,   X1,   X2,   X3,   X4, X1*X1, X1*X2, X1*X3, X1*X4, X2*X2, X2*X3, X2*X4, X3*X3, X3*X4, X4*X4]
#[   0,    1,    2,    3,    4,     5,     6,     7,      8,    9,    10,    11,    12,    13,    14]

clf = linear_model.LinearRegression()
clf.fit(X_polinomial, target)

Para escolher quais colunas deseja como entrada, como por exemplo, utilizar somente o bias, X1, X2 e X1^2, basta fazer:

features_to_use = [0, 1, 2, 5]

clf = linear_model.LinearRegression()
clf.fit(X_polinomial[:, features_to_use], target)

Referências:

1
  • poderia explicar um pouco mais a parte com o statsmodels?
    – Ed S
    Commented 18/11/2019 às 13:49

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .