2

Tenho o data.frame:

library(tidyverse)
library(broom)

set.seed(1)

dataset<-as_tibble(matrix(runif(6*30,20,100),ncol=6))
cluster<-kmeans(dataset,3)
dataset$kmeans<-as.factor(cluster[['cluster']])

E faço esta análise:

res1<-dataset%>%
  group_by(kmeans)%>%
  do(reg=
   lm(V1~V2+V3+V4+V5+V6,data=.))%>%
   tidy(.,reg)

E tudo dá certo. Mas, quando tento inserir o teste de Shapiro-Wilk, o resultado não é produzido pela função broom::tidy:

shap<-function(x){
  lapply(x,shapiro.test)
} # função criada para aplicar o teste nas colunas de um data.frame

res2<-dataset%>%
  group_by(kmeans)%>%
  do(shapiro=
         shap(.[c(1:6)]))%>%
  tidy(.,shapiro)

Error: No tidy method recognized for this list.

Qual o problema?

2 Respostas 2

3

A função tidy do pacote broom é uma função genérica que implementa um método para cada tipo de teste/modelo. Por isso, ela espera um input com a classe htest para tornar tidy um teste de shapiro. Quando você criou o resultado com a sua função, você eliminou a classe do resultado.

Uma maneira de resolver isso é deixar os resultados dos testes dentro de uma coluna-lista e depois aplicar as funções para cada teste.

dataset %>% 
  group_by(kmeans) %>% 
  nest() %>% 
  mutate(shap = map(data, ~map(.x, shapiro.test)),
         tidy = map(shap, ~map_df(.x, tidy))) %>% 
  unnest(tidy)

# A tibble: 18 x 4
   kmeans statistic p.value method                     
   <fct>      <dbl>   <dbl> <chr>                      
 1 3          0.956  0.731  Shapiro-Wilk normality test
 2 3          0.943  0.534  Shapiro-Wilk normality test
 3 3          0.807  0.0113 Shapiro-Wilk normality test
 4 3          0.931  0.389  Shapiro-Wilk normality test
 5 3          0.964  0.844  Shapiro-Wilk normality test
 6 3          0.945  0.561  Shapiro-Wilk normality test
 7 2          0.903  0.198  Shapiro-Wilk normality test
 8 2          0.905  0.211  Shapiro-Wilk normality test
 9 2          0.838  0.0298 Shapiro-Wilk normality test
10 2          0.954  0.689  Shapiro-Wilk normality test
11 2          0.923  0.341  Shapiro-Wilk normality test
12 2          0.951  0.653  Shapiro-Wilk normality test
13 1          0.777  0.0240 Shapiro-Wilk normality test
14 1          0.888  0.264  Shapiro-Wilk normality test
15 1          0.942  0.659  Shapiro-Wilk normality test
16 1          0.868  0.178  Shapiro-Wilk normality test
17 1          0.914  0.424  Shapiro-Wilk normality test
18 1          0.854  0.135  Shapiro-Wilk normality test

A questão acabou ficando um pouco mais complexa porque exigia separar em grupos e aplicar o teste para cada variável dado o grupo. Por isso precisamos lançar mão de nest() e depois unnest()

1
1

O problema é que shap retorna uma lista através de lapply. "Deslite" o output de shap:

shap <- function(x){
  lapply(x,shapiro.test) %>% unlist
  }

Produzindo:

res2<-dataset%>%
  group_by(kmeans)%>%
  do(shapiro=
       shap(.[c(1:6)]))%>%
  tidy(.,shapiro)

> res2
# A tibble: 72 x 3
# Groups:   kmeans [3]
   kmeans names          x                          
   <fct>  <chr>          <chr>                      
 1 1      V1.statistic.W 0.776846950517062          
 2 1      V1.p.value     0.0239963439526711         
 3 1      V1.method      Shapiro-Wilk normality test
 4 1      V1.data.name   X[[i]]                     
 5 1      V2.statistic.W 0.887908776882885          
 6 1      V2.p.value     0.263931722353138          
 7 1      V2.method      Shapiro-Wilk normality test
 8 1      V2.data.name   X[[i]]                     
 9 1      V3.statistic.W 0.942285213321747          
10 1      V3.p.value     0.659382055356446          
# ... with 62 more rows

Todo o código:

library(tidyverse)
library(broom)

set.seed(1)

dataset<-as_tibble(matrix(runif(6*30,20,100),ncol=6))
cluster<-kmeans(dataset,3)
dataset$kmeans<-as.factor(cluster[['cluster']])

shap <- function(x){
  lapply(x,shapiro.test) %>% unlist
  }

res2<-dataset%>%
  group_by(kmeans)%>%
  do(shapiro=
       shap(.[c(1:6)]))%>%
  tidy(.,shapiro)
4
  • Não há uma forma de simplificar o output usando broom::tidy? Digo isso porque tenho que usar várias funções para arrumar os dados. Na análise de regressão, eles saem perfeitos.
    – neves
    Commented 14/01/2019 às 15:48
  • O que seria simplificar o output nesse caso?
    – JdeMello
    Commented 14/01/2019 às 15:52
  • Por exemplo, o nome Shapiro-Wilk normality test sai adjunto das variáveis, o que automaticamente a transforma em character. Na análise de regressão, os dados saem limpos.
    – neves
    Commented 14/01/2019 às 15:54
  • 1
    Se você não quer que "method" e "data.name" não retornem no output de shap(), então você pode retirá-los dentro de shap(): shap <- function(x){ foo <- lapply(x,shapiro.test) %>% unlist foo <- foo[-grep(x = names(foo), pattern = "method|data\\.name")] return(foo) }. Em res2, o tipo do vetor x ainda vai ser character mas é só transformá-lo em numérico com mutate().
    – JdeMello
    Commented 14/01/2019 às 16:07

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .