4

-- Pergunta reformulada --

Eu tenho o seguinte código

mdl = LinearModel.fit(X_train,y_train);
pred = predict(mdl,X_test);

em que X_train é uma matriz [m x n] com m exemplos e n features (valores passados da time series). y_train é um vector coluna com a resposta (valores no instante seguinte). De notar que a minha time series é do tipo univariate, ou seja, só tenho o registo de uma variável ao longo do tempo.

Questões:

  1. Isto está correcto? Pela resposta do Luiz, está.
  2. O y_train pode conter o valor do sinal P passos à frente? Ex: f(t+p)
  3. Podem-me explicar o output do modelo?
  4. A função linear é aproximada com recurso ao método dos mínimos quadrados, certo?
  5. Existirá alguma razão para que este método dê melhores resultados quando comparado com o algoritmo SVR tanto com o kernel linear como o RBF?

EDIT1:

clc; close all;
clear all;

T = 20;


% Pode inicial aqui fazendo RV = SuaVariavel
RV = 1:T;
RV = RV';

%plot(RV)

%# Construindo as variaveis com 3 defasagens

N = 3;
first = 1;
for i=N:-1:1
    if first == 1
        X = RV(i:end+(i-1)-N);
        first = 0;
    else
        X = horzcat(X,RV(i:end+(i-1)-N) );
    end
end

HP = 1; % <-----------------------------------------------------

X = horzcat(ones(length(X),1),X);
y = RV(N+HP:end,end);

lim = length(X);

X_train = X(round(1:lim*0.7),:);
y_train = y(round(1:lim*0.7));

X_test = X(round(lim*0.7+0.5):end-(HP-1),:);
y_test = y(round(lim*0.7+0.5):end);


%# MQO
mdl = regress(y_train, X_train);
mdl


% Prever
for i=1:length(X_test)

    pred(i)=sum(mdl'.*X_test(i,:)); 

end


figure()
hold on;
plot(pred,'r*-')
plot(y_test,'go-')
hold off

EDIT 2: Neste link está uma imagem com o gráfico de autocorrelacção (cima) e o PACF (baixo). As minhas conclusões são que ele evidência que um modelo AR funciona dado que o valor de autocorrelacção vai baixando lentamente à medida que o valor do lag aumenta. Para além disso, o máximo de lag que se poderá considerar é 6. O que acontece se considerar-mos mais? Simplesmente as previsões no futuro não serão tão certas (poderão conter mais ruído devido à inclusão de mais instantes passados) ?

13
  • 1
    Olá, bem vindo(a) ao SOPT. Sem querer parecer grosseiro, mas você já olhou a documentação do Matlab? Lá tem um bom número de exemplos. A sua pergunta tem mais chances de ser respondida se você torná-la mais focada e objetiva. Procure postar o que já tentou (inclusive o código de um exemplo mínimo, se o tiver) e foque na sua dificuldade específica, incluindo particularmente detalhes do domínio de problema que deseja solucionar. Commented 1/06/2015 às 20:46
  • Olá. Eu já ainda a ler algumas coisas mas dado que para ser honesto não percebo nada de regressão ainda não consegui escrever nenhum código pelo que qualquer ajuda será bem vinda.
    – user25847
    Commented 1/06/2015 às 20:54
  • Entendo. Mas a questão é que o SOPT não é um fórum, e sim um site de perguntas e respostas objetivas (já fez o tour?). Se você tem dificuldades com a matemática, eu sugiro estudá-la antes de iniciar o aprendizado com o Matlab. Dá uma olhada nos exemplos, tenta resolver algo simples e ir aumentando a complexidade. E quando você tiver alguma dúvida específica (exemplo: o que faz tal comando? por que a resposta desse código é essa?, etc), venha aqui e poste a pergunta (você pode postar mais de uma pergunta). Do jeito que a pergunta está hoje, está ampla demais para ter respostas objetivas. Commented 1/06/2015 às 21:00
  • 1
    @LuizVieira, desde já obrigado pela sua ajuda. Já editei a pergunta e acrescentei mais umas dúvidas :)
    – user25847
    Commented 2/06/2015 às 14:13
  • 1
    O que esta tentando fazer é um modelo autorregressivo, onde defasagens da própria variável são utilizadas como explicativas dos valores futuros. Não tenho matlab instalado neste pc, mas olhe no manual mathworks.com/help/econ/…
    – Robert
    Commented 3/06/2015 às 14:14

2 Respostas 2

2

Como você não forneceu dados de exemplo do seu domínio de problema (apesar de eu ter pedido duas vezes), eu tive que usar alguma fonte de dados publicamente disponível na Internet. Optei por usar os dados da população de coelhos no deserto de Chihuahuan (na fronteira entre os EUA e o México) entre os anos de 1989 e 1994. Esses dados estão publicamente disponíveis aqui, e sua documentação pode ser acessada aqui.

Observação: Essa fonte de dados na verdade contém os valores populacionais de diferentes animais (pássaros, coelhos, lagartos, etc) coletados em diferentes dias. Para construir o exemplo eu tive que importar o arquivo DAT no Excel e filtrar dele apenas os dados de coelhos. Fiz também a soma das contagens por ano, para ter como resultado a tabela a seguir:

Ano   Número de Coelhos
1989  32
1990  98
1991  90
1992  91
1993  105
1994  134

Então, preparei o exemplo de código em Matlab a seguir para ilustrar as explicações.

% Exemplo de dados de treinamento
x = [1989 1990 1991 1992 1993 1994] % Ano de medição
y = [32 98 90 91 105 134]           % Número de coelhos no ano

% Plota o gráfico de dispersão (em uma janela com 80% do tamanho da tela)
screen = get(groot,'ScreenSize');
w = 0.8 * screen(3)
h = 0.8 * screen(4)
figure('OuterPosition', [screen(3)/2-w/2 screen(4)/2-h/2 w h], 'Name', 'Gráfico Ilustrativo - SOPT', 'NumberTitle', 'off')

hold on
scatter(x, y, 240, 'k', 's', 'filled')
axis([1988 1996 0 180])

title('\fontsize{25}Crescimento Populacional de Coelhos no Deserto de Chihuahuan (EUA/México)')
xlabel('\fontsize{16}Ano')
ylabel('\fontsize{16}Número de Coelhos')

% Adiciona ao gráfico as curvas de tendência linear (vermelho) e quadrática (verde)
fit_linear = polyfit(x, y, 1);
x2 = 1989:1994
y2 = polyval(fit_linear, x2)

fit_quad = polyfit(x(2:end), y(2:end), 2); % NOTA: Primeira medida intencionalmente ignorada (possível outlier?)
x3 = 1990:1994                             % Aqui também!
y3 = polyval(fit_quad, x3)

plot(x2, y2, 'b--o', 'MarkerFaceColor', 'b')
plot(x3, y3, 'r--o', 'MarkerFaceColor', 'r')

% Faz previsões para o ano 1995 e plota no gráfico
ano = 1995
prev_linear = polyval(fit_linear, ano)
prev_quad = polyval(fit_quad, ano)

plot(ano, prev_linear, 'b*', 'MarkerSize', 22)
plot(ano, prev_quad, 'r+', 'MarkerSize', 22)

legend('Dados Originais', 'Tendência Linear', 'Tendência Quadrática (ignorando primeira medição/possível outlier)', 'Previsão (Linear) para 2000', 'Previsão (Quadrática) para 2000', 'Location', 'northwest')

Esse código gera o seguinte gráfico:

inserir a descrição da imagem aqui

Perceba no código o seguinte trecho:

fit_linear = polyfit(x, y, 1);
x2 = 1989:1994
y2 = polyval(fit_linear, x2)

fit_quad = polyfit(x(2:end), y(2:end), 2); % NOTA: Primeira medida intencionalmente ignorada (possível outlier?)
x3 = 1990:1994                             % Aqui também!
y3 = polyval(fit_quad, x3)

O que ocorre ali são justamente duas regressões, uma linear e uma não-linear (usando uma função quadrática como base). A função polyfit cria um modelo para os dados de treinamento (valores de x e y) usando um polinômio com o grau dado no terceiro parâmetro (1 para linear, 2 para quadrático, 3 para cúbico, etc). E a função polyval usa esse modelo para estimar um ou mais novos valores. Nesse trecho do código, o segundo parâmetro nas duas chamadas (x2 ou x3) são vetores, então ele vai estimar um resultado para cada valor desse vetor, por isso resultando também em um vetor (de estimativas). Mais pra baixo eu adiciono no gráfico uma estimativa para o ano de 1995, e você verá que o valor passado é um escalar (um único valor, ao invés de um vetor). Nesse caso, a função também retorna um único escalar.

O tal "modelo" nada mais é do que uma função "extraída" a partir dos dados de treinamento. Considere o exemplo da regressão linear. A ideia é tentar "inferir" uma função que, dado as variáveis que caracterizam o "problema" (nesse exemplo ilustrativo, apenas o ano - valor x), calcula o resultado com base nessa variável (nesse exemplo, o número de coelhos - valor y). Não vou entrar em detalhes da matemática porque esse não é o foco do SOPT, mas uma forma de fazer isso é como você mencionou: os fatores a e b da equação liniear na forma ax+b são estimados a partir da redução do erro quadrático entre o ponto original (nos dados de treinamento) e o ponto calculado pela função (o valor "estimado"). Assim, a melhor equação é aquela em que a distância entre os pontos (no gráfico mesmo - é só comparar os pontos originais em preto com os pontos da função, em azul na linear e vermelho na quadrática), acumulada, é a menor possível.

Se você testar os dados da tabela acima em um site de regressão linear online como este, por exemplo, vai perceber que o resultado (o tal "modelo") nada mais é do que uma função. Nesse exemplo, a função linear resultante é:

y = 15.2 x - 30179.133333333

inserir a descrição da imagem aqui

Onde x é o ano (a variável, característica ou feature de um exemplo no domínio de problema) e y é o número de coelhos (o valor estimado desejado).

Note que na segunda regressão, não linear, o valor da primeira medição (número de coelhos no ano 1989) foi intencionalmente ignorado porque olhando o gráfico ele parece ser um "ponto fora da curva" literalmente (um outlier). Talvez seja um erro de medição... ou talvez não. Eu não sei porque não conheço em detalhes o domínio do problema e porque o número de dados (6 exemplos) é muito pequeno para uma decisão mais acertada. Esse é o tipo de análise que você precisa fazer ao desenvolver a sua solução. Plotar os dados em um gráfico e analisar as tendências é uma ótima forma de fazê-lo.

Isso é muito importante porque a escolha muda completamente o resultado da estimação, como você vai perceber nos valores do gráfico estimados para o ano de 1995 (que variam bastante conforme a escolha pelo modelo linear ou pelo modelo quadrático ignorando o primeiro exemplo).

Para encerrar, há outros detalhes importantes. Primeiramente, esse é um exemplo meramente ilustrativo. Dificilmente há alguma correlação entre o ano e o número de coelhos no deserto. É natural que o número deles cresça ao longo do tempo (e por isso, o modelo linear pode parecer o mais correto). Mas, as vezes o número desses animais tem baixas devido a escassez de alimento (o que pode ter ocorrido ali entre 1991 e 1992, justificando esses dados casarem melhor com um modelo quadrático) e isso provavelmente seja mais bem explicado por outras variáveis. De fato, talvez o problema seja realmente linear com uma variável mais apropriada.

Além disso, pra facilitar a minha vida (e pra tornar mais didático) eu usei apenas uma variável nesse modelo (o valor de x como sendo o ano). O seu problema pode ser mais complexo do que isso, e requerer mais do que uma variável (isto é, precisar ser representado por uma equação do tipo g = x^2 + y^2 + z^2, com três variáveis x, y, e z). Se você tiver um problema com duas variáveis, o seu gráfico já passa a ser tridimensional (porque vai ter um eixo para cada variável e um para o resultado), e a "curva" deixa de ser uma linha para ser um plano. Com mais variáveis, essa dimensão cresce e já nem dá pra visualizar facilmente (você vai precisar construir visualizações para cada par de variáveis - como ilustrado no Iris Dataset, na Wikipedia). Mas o princípio da coisa é o mesmo: só no código o seu vetor de entrada (o x) vai deixar de ser um vetor para ser uma matriz, como você mesmo menciona, com uma coluna para cada variável de interesse.

A classe que você está usando (LinearModel) é mais apropriada para a regressão multivariável, e provavelmente é por isso que você a está utilizando. A função fit faz a construção do modelo (isto é, "aprende" a função a partir dos dados) e a função predict usa esse modelo para estimar um novo resultado a partir de novas entradas. É por isso que você não pode confundir os dados (y_train tem os resultados para os dados que você tem, e que vai usar para construir o modelo).

Sobre usar outros algoritmos, tome alguns cuidados. O SVR é uma regressão construída a partir do algoritmo SVM (se ainda não viu, veja esta minha outra resposta). Só que esse algoritmo foi originalmente construído com a intenção de servir como um classificador (ou seja, ao invés de prever um valor como resultado de uma função para a aplicação de novos dados de exemplo, ele indica a qual classe dentre duas possíveis pertence o exemplo caracterizado por aqueles dados). Como eu explico lá na outra resposta, o SVR usa múltiplos testes para estimar, por meio de probabilidades, um valor de regressão. Nesse caso, é mais prático (e tem melhor desempenho) se você usar algoritmos de regressão diretamente.

7
  • Obrigado desde já pela sua resposta bastante completa. No entanto, como disse os meus dados são de uma time series univariável, ou seja, tenho valores com um intervalo fixo. Usei a classe LinearModel pois construí o meu dataset de forma a que cada exemplo tivesse N valores passados e ainda o valor actual. Ex: N=3 1 | 2 | 3 | 4 -> 5 (valor de saída) X = [1,2,3,4] y = [5] Agora as questões que ainda não consegui perceber: 1. O valor de y pode ser por exemplo 6 (ou seja, seria a saída 2 instantes depois do actual e quando prevemos X obtemos uma previsão para esse instante) ?
    – user25847
    Commented 2/06/2015 às 22:00
  • A questão é que no seu exemplo você tenta prever a população de coelhos em função do ano e o meu problema é do género prever a população de coelhos tendo em conta o historial da população de coelhos.
    – user25847
    Commented 2/06/2015 às 22:06
  • Por univariável vc quer dizer que tem só uma variável? Qual é ela? Quando eu mencionei que você não explicou o seu domínio é porque você não explicou mesmo. O que esses números representam? Se eu soubesse o que são talvez ficasse mais fácil de ajudar. O valor de y não pode ser 6, porque não é a resposta correta para os dados [1, 2, 3, 4] (supondo que se tratam de 4 variáveis diferentes de um exemplo/medida no tempo). Commented 3/06/2015 às 1:59
  • Enfim, ainda está confuso e eu não sei se entendi direito o que você precisa. Mas mesmo assim, estamos entrando em um domínio (time series) em que eu tenho pouquíssima experiência, não sei se consigo ajudar mais. Mas dá uma olhada neste artigo da documentação do Matlab, pode lhe ser útil: mathworks.com/help/econ/examples/… Commented 3/06/2015 às 2:05
  • P.S.: Me ocorreu agora que talvez você esteja chamando de "features" os valores da mesma variável ao longo do tempo. Se for isso, está errado. Você tem apenas uma feature, mas com vários valores ao longo do tempo (como no meu exemplo). Assim, seu x não deveria ser uma matriz, e sim um vetor (novamente, como no meu exemplo) e não faz sentido usar o valor atual como y porque ele não é uma "resposta", e sim mais um valor da sua massa de dados (ao menos no meu entendimento). Mas, enfim, novamente, não entendo muito de time series. Sugiro tentar perguntar lá no Math (que sugeri antes). Commented 3/06/2015 às 2:34
1

Vou gerar uma variável aleatória RV para mostrar o procedimento. Para determinar o numero de defasagens tem que fazer alguns testes, pode procurar algum texto ou aqui no SO. Por exemplo este

%# Gerar uma variável aleatória autocorrelacionada em 3 períodos.
T = 1000;
%
RV = zeros(T, 1); RV(1)=10+randn(1); RV(2)=1.5+.8*RV(1)+randn(1);
RV(3)=1.5+.8*RV(1)-.3*RV(1)+randn(1);
for c = 4:T ; RV(c)=1.5+.8*RV(c-1)-.3*RV(c-2)+.25*RV(c-3)+randn(1); end

% Pode inicial aqui fazendo RV = SuaVariavel

plot(RV)

%# Construindo as variaveis com 3 defasagens
yout = RV(4:end); %# dependente
X1 = RV(3:end-1); %# defasagens da dependente (1er regressor)
X2 = RV(2:end-2);
X3 = RV(1:end-3);
%# matriz de regressores incluindo constante
X_train = [ones(length(X1), 1), X1, X2, X3];

%# MQO
mdl = regress(yout, X_train);
mdl

# Prever
X_test = [1, RV(T-1), RV(T-2), RV(T-3)];
%pred = predict(mdl,X_test);
sum(mdl'.*X_test) ; % Y em T+1
1
  • Obrigado desde já pelo exemplo. Eu fiz umas pequenas modificações ao código e gostaria de saber se a variável HP pode assumir valores maiores que 1 (ver EDIT1). Pelas experiências que fiz sim mas gostaria de ter a certeza.
    – user25847
    Commented 5/06/2015 às 14:08

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .