-1

Estou a trabalhar com dados em painel e necessitava identificar os potenciais outliers em cada grupo, exemplo:

df <- data.frame(
    ID_group = c("1","1","2","1","3","2","2","3"),
    Case = c("A","B","C","D","E","F","G","H"),
    Var_X = c("1","2","1","2","3","5","6","10"),
    Var_Y = c("10,02","5","7","5,5","2,5","7","600,23","2,8"))

Gostaria de conseguir identificar possíveis outlier existentes na variável Var_X em cada ID_group criando uma coluna onde seja marcado se o caso identificado em Case é considerado um outlier na var_X e no ID_group ao qual pertence.

2
  • 1
    Qual o método de detecção que utilizará? Commented 23/08/2021 às 12:45
  • vou usar z-score
    – user250908
    Commented 23/08/2021 às 18:00

2 Respostas 2

1

Identificar outliers

Existem vários procedimentos para identificar outliers, a escolha do método e dos critérios de corte dependem dos seus dados e o objetivo da análise. Os mais usados são intervalo interquartil (IQR) e z-score.

z-score

Faz-se a normatização por média e desvio e considera-se outliers valores acima de x vezes o desvio padrão (usualmente 3):

is.outlier <- function(x, sd = 3) abs(scale(x)) > sd

IQR

Calcula-se a diferença entre o 1º e 3º quartis (25% e 75%) e multiplica-se por um coeficiente (usualmente 1,5). Considera-se outliers valores abaixo ou acima dessa distância dos interquartis:

is.outlier <- function(x, coef = 1.5, ...) {
  q <- quantile(x, c(.25, .75), na.rm = TRUE, ...)
  iqr <- diff(q)
  x < q[1] - coef*iqr | x > q[2] + coef*iqr
}

Alternativamente, pode usar a função boxplot.stats (usada internamente pela boxplot):

is.outlier <- function(x) x %in% boxplot.stats(x)$out

Identificar por grupo

Criei um exemplo mais indicativo e vou usar a última função de exemplo (identificar por z-score só é adequado para n alto).

df <- data.frame(
  grupo = rep(LETTERS[1:2], each = 5),
  Y = c(1:4, 100:104, 1000))

Com R base

Usando split e apply. Apenas garanta primeiro que os dados estão ordenados por grupo, para o resultado ser anexado corretamente.

df <- df[order(df$grupo), ]
df$outlier <- unlist(lapply(split(df$Y, df$grupo), is.outlier))

df
#>    grupo    Y outlier
#> 1      A    1   FALSE
#> 2      A    2   FALSE
#> 3      A    3   FALSE
#> 4      A    4   FALSE
#> 5      A  100    TRUE
#> 6      B  101   FALSE
#> 7      B  102   FALSE
#> 8      B  103   FALSE
#> 9      B  104   FALSE
#> 10     B 1000    TRUE

Com dplyr

library(dplyr)

df %<>% group_by(grupo) %>% mutate(outlier = is.outlier(Y))

Com data.table

library(data.table)

setDT(df)

df[, outlier := is.outlier(Y), grupo]
1
  • Obg pela resposta, muito didatica. Ia usar z-score mas, como tenho grupos com 5 a 10 observações, talvez tenha de usar IQR
    – user250908
    Commented 28/08/2021 às 18:06
0

Eu peguei seu exemplo, primeiro criei um data.frame, transformando as variáveis em numérico.

library(tidyverse)

df <- data.frame(
  id_group = c("1","1","2","1","3","2","2","3"),
  Case = c("A","B","C","D","E","F","G","H"),
  var_x = c("1","2","1","2","3","5","6","10"),
  var_y = c("10.02","5","7","5.5","2.5","7","600.23","2.8")
  ) %>% 
  mutate(across(starts_with("var_"), as.numeric))

Depois eu agrupei pela variável id_group e apliquei a função mutate para criar uma nova variável (out_var_x) que indica o outlier, no caso usei uma condição qualquer, sendo ela se o valor de var_x for maior que o quantil 90% do seu grupo, porém pode adicionar outro critério.

df %>% 
  group_by(id_group) %>% 
  mutate(out_var_x = if_else(var_x > quantile(var_x,.9),TRUE,FALSE))

# A tibble: 8 x 5
# Groups:   ID_group [3]
  id_group case  var_x var_y out_var_x
  <chr>    <chr> <dbl> <dbl> <lgl>    
1 1        A         1  10.0 FALSE    
2 1        B         2   5   FALSE    
3 2        C         1   7   FALSE    
4 1        D         2   5.5 FALSE    
5 3        E         3   2.5 FALSE    
6 2        F         5   7   FALSE    
7 2        G         6 600.  TRUE     
8 3        H        10   2.8 TRUE 
2
  • Estar acima ou abaixo de um quantil não é critério para ser considerado outlier Commented 25/08/2021 às 4:27
  • Carlos, o exemplo do quantil foi só um demonstrativo de como fazer no R, o critério em si é arbitrário. Existem várias técnicas de como identificar outliers, inclusive isso vai depender muito do fenômeno e do objetivo. Tanto que comento acima que usei uma condição qualquer só para exemplificar a lógica de aplicação. Commented 25/08/2021 às 13:50

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .