2

Tenho um conjunto de dados, com 4 colunas:

Produto - Preço Site 1 - Preço Site Concorrente - Quantidades Vendidas

Onde Produto é um produto em especifico (Geladeira 1, geladeira 2, etc); Preço Site 1 é o preço praticado pelo meu site; Preço Site Concorrente é o menor preço para o mesmo produto de um concorrente; e Quantidades Vendidas é o numero de produtos vendidos para o meu site. Cada linha é um cenário diferente, combinando essas variáveis. Há diversos registros para cada produto, uma vez que eu pratiquei diferentes preços, assim como meu concorrente.

Quero fazer um modelo de regressão linear múltiplo, correlacionando essas variáveis para cada produto. Ex: A Geladeira 1, quando eu pratiquei o preço x1, e meu concorrente praticou o preço x2, vendeu y Produtos.

O problema é que desejo fazer isso em massa, para diversos produtos. Como faço um código em R para isso?

1
  • Você tentou criar seu código? 17/08/2017 às 0:50

1 Resposta 1

2

Uma maneira de resolver este problema é através dos pacotes dplyr e broom:

library(dplyr)
library(broom)

iris.regressao <- iris %>%
  group_by(Species) %>%
  do(regressao = 
    lm(Sepal.Length ~ Sepal.Width + Petal.Length + Petal.Width, data=.))

tidy(iris.regressao, regressao)

# A tibble: 12 x 6
# Groups:   Species [3]
      Species         term   estimate  std.error  statistic      p.value
       <fctr>        <chr>      <dbl>      <dbl>      <dbl>        <dbl>
 1     setosa  (Intercept)  2.3518898 0.39286751  5.9864707 3.034183e-07
 2     setosa  Sepal.Width  0.6548350 0.09244742  7.0833236 6.834434e-09
 3     setosa Petal.Length  0.2375602 0.20801921  1.1420107 2.593594e-01
 4     setosa  Petal.Width  0.2521257 0.34686362  0.7268727 4.709870e-01
 5 versicolor  (Intercept)  1.8955395 0.50705524  3.7383295 5.112246e-04
 6 versicolor  Sepal.Width  0.3868576 0.20454490  1.8913091 6.488965e-02
 7 versicolor Petal.Length  0.9083370 0.16543248  5.4906811 1.666695e-06
 8 versicolor  Petal.Width -0.6792238 0.43538206 -1.5600639 1.255990e-01
 9  virginica  (Intercept)  0.6998830 0.53360089  1.3116227 1.961563e-01
10  virginica  Sepal.Width  0.3303370 0.17432873  1.8949086 6.439972e-02
11  virginica Petal.Length  0.9455356 0.09072204 10.4223360 1.074269e-13
12  virginica  Petal.Width -0.1697527 0.19807243 -0.8570233 3.958750e-01

Eu peguei o conjunto de dados iris e considerei a coluna Species como sendo produto do teu problema. Esta foi a minha variável de agrupamento.

Fiz uma regressão utilizando a variável Sepal.Length como resposta e as outras como preditoras. A função do aplicou esta regressão a todos os níveis da variável Species. Ou seja, fiz três regressões simultâneas.

Organizei o resultado final utilizando a função tidy, para deixar tudo mais apresentável.


Edição realizada após o conjunto de dados ser disponibilizado nos comentários.

Eu utilizei o conjunto de dados original e não consegui chegar no erro relatado.

library(dplyr)
library(broom)
dados <- read.csv(file="arquivo.csv", sep=";", dec=",")

Só para descargo de consciência, eu quis ver quantas vezes cada produto aparece no banco de dados:

produtos.contagem <- dados %>% 
  select(Produto) %>%
  group_by(Produto) %>%
  count() %>%
  arrange(n)

# A tibble: 2,418 x 2
# Groups:   Produto [2,418]
        Produto     n
         <fctr> <int>
 1    Produto 1     1
 2  Produto 100     1
 3 Produto 1000     1
 4 Produto 1006     1
 5 Produto 1011     1
 6 Produto 1012     1
 7 Produto 1013     1
 8 Produto 1021     1
 9 Produto 1022     1
10 Produto 1023     1
# ... with 2,408 more rows

Podemos ver que há muitos produtos que aparecem apenas uma vez, o que vai gerar problemas com a regressão. Afinal, geometricamente falando, são necessários aos menos 3 pontos no espaço para ajusta uma equação do tipo y = x_1 + x_2, que é o caso aqui. E, mesmo assim, uma equação deste tipo estará unicamente definida, não dando chance para estimarmos variabilidade.

Mas deixando de lado os pressupostos teóricos da regressão linear, mesmo assim é possível ajustar a regressão desejada:

dados.regressao <- dados %>%
  group_by(Produto) %>%
  do(regressao = 
       lm(Vendas.Diarias ~ Menor.Preco.Concorrente + Preco.Meu.Site, data=.))

tidy(dados.regressao, regressao)

# A tibble: 3,725 x 6
# Groups:   Produto [2,418]
        Produto                    term   estimate  std.error  statistic   p.value
         <fctr>                   <chr>      <dbl>      <dbl>      <dbl>     <dbl>
 1    Produto 1             (Intercept)   2.000000        NaN        NaN       NaN
 2   Produto 10             (Intercept) -73.045872 75.5475262 -0.9668863 0.4356077
 3   Produto 10          Preco.Meu.Site   1.834862  1.8348624  1.0000000 0.4226497
 4  Produto 100             (Intercept)   1.000000        NaN        NaN       NaN
 5 Produto 1000             (Intercept)   2.000000        NaN        NaN       NaN
 6 Produto 1001             (Intercept)   3.500000  1.5000000  2.3333333 0.2577621
 7 Produto 1002             (Intercept)  38.970000 21.3485433  1.8254173 0.3190534
 8 Produto 1002 Menor.Preco.Concorrente  -0.300000  0.1732051 -1.7320508 0.3333333
 9 Produto 1003             (Intercept) 110.760000        NaN        NaN       NaN
10 Produto 1003 Menor.Preco.Concorrente  -0.800000        NaN        NaN       NaN
# ... with 3,715 more rows

Os NaN aparecem justamente nos casos em que é impossível ajustar o modelo desejado. Por exemplo, tome o Produto 1. Ele ocorreu apenas uma vez no banco de dados. É impossível ajustar um plano único que passe por este ponto, pois há infinitos planos com esta característica.

O que recomendo é remover do banco de dados os produtos com poucas observações. No exemplo abaixo eu mantenho no banco de dados apenas os produtos com 5 ou mais observações:

produtos.definitivos <- produtos.contagem %>% 
  filter(n >= 5)

dados.limpos <- dados %>%
  filter(dados$Produto %in% produtos.definitivos$Produto)

dados.regressao <- dados.limpos %>%
  group_by(Produto) %>%
  do(regressao = 
       lm(Vendas.Diarias ~ Menor.Preco.Concorrente + Preco.Meu.Site, data=.))

tidy(dados.regressao, regressao)

# A tibble: 1,153 x 6
# Groups:   Produto [526]
        Produto                    term      estimate   std.error   statistic
         <fctr>                   <chr>         <dbl>       <dbl>       <dbl>
 1 Produto 1004             (Intercept)   3.626591760 55.74608778  0.06505554
 2 Produto 1004 Menor.Preco.Concorrente   0.048689139  0.06657824  0.73130714
 3 Produto 1004          Preco.Meu.Site  -0.087390762  0.84020377 -0.10401139
 4 Produto 1005             (Intercept)  22.974217287 68.67298304  0.33454521
 5 Produto 1005 Menor.Preco.Concorrente   0.008938733  0.09727655  0.09188990
 6 Produto 1005          Preco.Meu.Site  -0.117537498  0.34017868 -0.34551694
 7 Produto 1007             (Intercept)  38.987889938 77.15185884  0.50533961
 8 Produto 1007 Menor.Preco.Concorrente  -0.015792461  0.03091735 -0.51079615
 9 Produto 1007          Preco.Meu.Site  -0.175931611  0.39215747 -0.44862492
10  Produto 101             (Intercept) -45.326666667 23.83058282 -1.90203769
# ... with 1,143 more rows, and 1 more variables: p.value <dbl>

Note que os NaN sumiram, justamente porque agora temos, em cada produto, mais do que o número mínimo necessário de observações para ajustar o modelo desejado.

7
  • Olá Marcus, tudo bem? Obrigado pela ajuda! Só teve um problema: quando fui usar o comando "tidy(dados.regressao, regressao)", ele dá esse erro: Column dados$SKU.MKP must be length 2333 (the number of rows) or one, not 11726. Acredito que isso aconteça por causa da quantidade de linhas dessa coluna, SKU.MKP(Que são os Produtos que mencionei na pergunta). Alguma ideia pra solucionar isso? Eu preciso dos coeficientes de cada variavel por produto, pois vou fazer uma planilha para calcular os cenários em massa. 23/08/2017 às 13:16
  • Infelizmente, sem ter o conjunto de dados, fica muito difícil para eu te dar uma resposta definitiva sobre esta pergunta. Eu não sei quantas linhas o teu conjunto de dados possui, nem quantos produtos diferentes estão cadastrados. 23/08/2017 às 17:08
  • Pesquisando pelo erro descobri que está acontecendo devido ao numero de observações x numero de produtos diferentes. Eu tenho 2333 produtos diferentes, totalizando 11726 observações diferentes. Ou seja, para o Produto 1 eu tenho 5 observações, para o Produto 2, 7 observações, e assim por diante. É isso que está dando erro 25/08/2017 às 13:44
  • O desbalanceamento entre os grupos não é um problema para este código que passei. Veja o seguinte conjunto de dados: iris2 <- iris[c(1:10, 51:70, 101:150), ]. Ele é o iris original, mas com 10 plantas do primeiro tipo, 20 do segundo e 50 do terceiro. Os 3 grupos estão desbalanceados, mas o código funciona da mesma forma. 26/08/2017 às 16:01
  • Eu tentei de tudo, mas fica dando esse erro. Estou anexando um link para download dos dados:drive.google.com/file/d/0B0RV-qxx0Y51T1Fhc0t0Zk96TUU/… Meu codigo foi esse: dados.regressao <- dados %>% group_by(dados$SKU.MKP) %>% do(regressao = lm(dados$Vendas.Diarias ~ dados$Menor.Preço.Concorrente + dados$Preço.Meu.Site, data=.)) tidy(dados.regressao, regressao) Muito obrigado pela ajuda! 29/08/2017 às 0:17

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .