Identificar outliers
Existem vários procedimentos para identificar outliers, a escolha do método e dos critérios de corte dependem dos seus dados e o objetivo da análise. Os mais usados são intervalo interquartil (IQR) e z-score.
z-score
Faz-se a normatização por média e desvio e considera-se outliers valores acima de x vezes o desvio padrão (usualmente 3):
is.outlier <- function(x, sd = 3) abs(scale(x)) > sd
IQR
Calcula-se a diferença entre o 1º e 3º quartis (25% e 75%) e multiplica-se por um coeficiente (usualmente 1,5). Considera-se outliers valores abaixo ou acima dessa distância dos interquartis:
is.outlier <- function(x, coef = 1.5, ...) {
q <- quantile(x, c(.25, .75), na.rm = TRUE, ...)
iqr <- diff(q)
x < q[1] - coef*iqr | x > q[2] + coef*iqr
}
Alternativamente, pode usar a função boxplot.stats
(usada internamente pela boxplot
):
is.outlier <- function(x) x %in% boxplot.stats(x)$out
Identificar por grupo
Criei um exemplo mais indicativo e vou usar a última função de exemplo (identificar por z-score só é adequado para n alto).
df <- data.frame(
grupo = rep(LETTERS[1:2], each = 5),
Y = c(1:4, 100:104, 1000))
Com R base
Usando split
e apply
. Apenas garanta primeiro que os dados estão ordenados por grupo, para o resultado ser anexado corretamente.
df <- df[order(df$grupo), ]
df$outlier <- unlist(lapply(split(df$Y, df$grupo), is.outlier))
df
#> grupo Y outlier
#> 1 A 1 FALSE
#> 2 A 2 FALSE
#> 3 A 3 FALSE
#> 4 A 4 FALSE
#> 5 A 100 TRUE
#> 6 B 101 FALSE
#> 7 B 102 FALSE
#> 8 B 103 FALSE
#> 9 B 104 FALSE
#> 10 B 1000 TRUE
Com dplyr
library(dplyr)
df %<>% group_by(grupo) %>% mutate(outlier = is.outlier(Y))
Com data.table
library(data.table)
setDT(df)
df[, outlier := is.outlier(Y), grupo]