Como você não forneceu dados de exemplo do seu domínio de problema (apesar de eu ter pedido duas vezes), eu tive que usar alguma fonte de dados publicamente disponível na Internet. Optei por usar os dados da população de coelhos no deserto de Chihuahuan (na fronteira entre os EUA e o México) entre os anos de 1989 e 1994. Esses dados estão publicamente disponíveis aqui, e sua documentação pode ser acessada aqui.
Observação: Essa fonte de dados na verdade contém os valores
populacionais de diferentes animais (pássaros, coelhos, lagartos,
etc) coletados em diferentes dias. Para construir o exemplo eu tive que
importar o arquivo DAT no Excel e filtrar dele apenas os dados de coelhos. Fiz
também a soma das contagens por ano, para ter como resultado a tabela a seguir:
Ano Número de Coelhos
1989 32
1990 98
1991 90
1992 91
1993 105
1994 134
Então, preparei o exemplo de código em Matlab a seguir para ilustrar as explicações.
% Exemplo de dados de treinamento
x = [1989 1990 1991 1992 1993 1994] % Ano de medição
y = [32 98 90 91 105 134] % Número de coelhos no ano
% Plota o gráfico de dispersão (em uma janela com 80% do tamanho da tela)
screen = get(groot,'ScreenSize');
w = 0.8 * screen(3)
h = 0.8 * screen(4)
figure('OuterPosition', [screen(3)/2-w/2 screen(4)/2-h/2 w h], 'Name', 'Gráfico Ilustrativo - SOPT', 'NumberTitle', 'off')
hold on
scatter(x, y, 240, 'k', 's', 'filled')
axis([1988 1996 0 180])
title('\fontsize{25}Crescimento Populacional de Coelhos no Deserto de Chihuahuan (EUA/México)')
xlabel('\fontsize{16}Ano')
ylabel('\fontsize{16}Número de Coelhos')
% Adiciona ao gráfico as curvas de tendência linear (vermelho) e quadrática (verde)
fit_linear = polyfit(x, y, 1);
x2 = 1989:1994
y2 = polyval(fit_linear, x2)
fit_quad = polyfit(x(2:end), y(2:end), 2); % NOTA: Primeira medida intencionalmente ignorada (possível outlier?)
x3 = 1990:1994 % Aqui também!
y3 = polyval(fit_quad, x3)
plot(x2, y2, 'b--o', 'MarkerFaceColor', 'b')
plot(x3, y3, 'r--o', 'MarkerFaceColor', 'r')
% Faz previsões para o ano 1995 e plota no gráfico
ano = 1995
prev_linear = polyval(fit_linear, ano)
prev_quad = polyval(fit_quad, ano)
plot(ano, prev_linear, 'b*', 'MarkerSize', 22)
plot(ano, prev_quad, 'r+', 'MarkerSize', 22)
legend('Dados Originais', 'Tendência Linear', 'Tendência Quadrática (ignorando primeira medição/possível outlier)', 'Previsão (Linear) para 2000', 'Previsão (Quadrática) para 2000', 'Location', 'northwest')
Esse código gera o seguinte gráfico:
Perceba no código o seguinte trecho:
fit_linear = polyfit(x, y, 1);
x2 = 1989:1994
y2 = polyval(fit_linear, x2)
fit_quad = polyfit(x(2:end), y(2:end), 2); % NOTA: Primeira medida intencionalmente ignorada (possível outlier?)
x3 = 1990:1994 % Aqui também!
y3 = polyval(fit_quad, x3)
O que ocorre ali são justamente duas regressões, uma linear e uma não-linear (usando uma função quadrática como base). A função polyfit
cria um modelo para os dados de treinamento (valores de x
e y
) usando um polinômio com o grau dado no terceiro parâmetro (1 para linear, 2 para quadrático, 3 para cúbico, etc). E a função polyval
usa esse modelo para estimar um ou mais novos valores. Nesse trecho do código, o segundo parâmetro nas duas chamadas (x2
ou x3
) são vetores, então ele vai estimar um resultado para cada valor desse vetor, por isso resultando também em um vetor (de estimativas). Mais pra baixo eu adiciono no gráfico uma estimativa para o ano de 1995, e você verá que o valor passado é um escalar (um único valor, ao invés de um vetor). Nesse caso, a função também retorna um único escalar.
O tal "modelo" nada mais é do que uma função "extraída" a partir dos dados de treinamento. Considere o exemplo da regressão linear. A ideia é tentar "inferir" uma função que, dado as variáveis que caracterizam o "problema" (nesse exemplo ilustrativo, apenas o ano - valor x
), calcula o resultado com base nessa variável (nesse exemplo, o número de coelhos - valor y
). Não vou entrar em detalhes da matemática porque esse não é o foco do SOPT, mas uma forma de fazer isso é como você mencionou: os fatores a
e b
da equação liniear na forma ax+b
são estimados a partir da redução do erro quadrático entre o ponto original (nos dados de treinamento) e o ponto calculado pela função (o valor "estimado"). Assim, a melhor equação é aquela em que a distância entre os pontos (no gráfico mesmo - é só comparar os pontos originais em preto com os pontos da função, em azul na linear e vermelho na quadrática), acumulada, é a menor possível.
Se você testar os dados da tabela acima em um site de regressão linear online como este, por exemplo, vai perceber que o resultado (o tal "modelo") nada mais é do que uma função. Nesse exemplo, a função linear resultante é:
y = 15.2 x - 30179.133333333
Onde x
é o ano (a variável, característica ou feature de um exemplo no domínio de problema) e y
é o número de coelhos (o valor estimado desejado).
Note que na segunda regressão, não linear, o valor da primeira medição (número de coelhos no ano 1989) foi intencionalmente ignorado porque olhando o gráfico ele parece ser um "ponto fora da curva" literalmente (um outlier). Talvez seja um erro de medição... ou talvez não. Eu não sei porque não conheço em detalhes o domínio do problema e porque o número de dados (6 exemplos) é muito pequeno para uma decisão mais acertada. Esse é o tipo de análise que você precisa fazer ao desenvolver a sua solução. Plotar os dados em um gráfico e analisar as tendências é uma ótima forma de fazê-lo.
Isso é muito importante porque a escolha muda completamente o resultado da estimação, como você vai perceber nos valores do gráfico estimados para o ano de 1995 (que variam bastante conforme a escolha pelo modelo linear ou pelo modelo quadrático ignorando o primeiro exemplo).
Para encerrar, há outros detalhes importantes. Primeiramente, esse é um exemplo meramente ilustrativo. Dificilmente há alguma correlação entre o ano e o número de coelhos no deserto. É natural que o número deles cresça ao longo do tempo (e por isso, o modelo linear pode parecer o mais correto). Mas, as vezes o número desses animais tem baixas devido a escassez de alimento (o que pode ter ocorrido ali entre 1991 e 1992, justificando esses dados casarem melhor com um modelo quadrático) e isso provavelmente seja mais bem explicado por outras variáveis. De fato, talvez o problema seja realmente linear com uma variável mais apropriada.
Além disso, pra facilitar a minha vida (e pra tornar mais didático) eu usei apenas uma variável nesse modelo (o valor de x
como sendo o ano). O seu problema pode ser mais complexo do que isso, e requerer mais do que uma variável (isto é, precisar ser representado por uma equação do tipo g = x^2 + y^2 + z^2
, com três variáveis x
, y
, e z
). Se você tiver um problema com duas variáveis, o seu gráfico já passa a ser tridimensional (porque vai ter um eixo para cada variável e um para o resultado), e a "curva" deixa de ser uma linha para ser um plano. Com mais variáveis, essa dimensão cresce e já nem dá pra visualizar facilmente (você vai precisar construir visualizações para cada par de variáveis - como ilustrado no Iris Dataset, na Wikipedia). Mas o princípio da coisa é o mesmo: só no código o seu vetor de entrada (o x
) vai deixar de ser um vetor para ser uma matriz, como você mesmo menciona, com uma coluna para cada variável de interesse.
A classe que você está usando (LinearModel
) é mais apropriada para a regressão multivariável, e provavelmente é por isso que você a está utilizando. A função fit
faz a construção do modelo (isto é, "aprende" a função a partir dos dados) e a função predict
usa esse modelo para estimar um novo resultado a partir de novas entradas. É por isso que você não pode confundir os dados (y_train
tem os resultados para os dados que você tem, e que vai usar para construir o modelo).
Sobre usar outros algoritmos, tome alguns cuidados. O SVR é uma regressão construída a partir do algoritmo SVM (se ainda não viu, veja esta minha outra resposta). Só que esse algoritmo foi originalmente construído com a intenção de servir como um classificador (ou seja, ao invés de prever um valor como resultado de uma função para a aplicação de novos dados de exemplo, ele indica a qual classe dentre duas possíveis pertence o exemplo caracterizado por aqueles dados). Como eu explico lá na outra resposta, o SVR usa múltiplos testes para estimar, por meio de probabilidades, um valor de regressão. Nesse caso, é mais prático (e tem melhor desempenho) se você usar algoritmos de regressão diretamente.