7

Estou estudando eficiência computacional no R, gerando matrizes através de diferentes métodos.

Primeiro gero uma matriz de forma vetorial e calculo as variâncias para as suas colunas:

matriz <- matrix(rep(NA, 1000*200), nrow = 1000, ncol=200)

a = system.time(

for(i in 1:200){
  matriz[,i] <- rnorm(1000, i)
  print(var(matriz[,i]))
}
)

Refaço o exercício usando a função apply

for(i in 1:200){
  matriz[,i] <- rnorm(1000, i)
}

apply(matriz, 2, var)
}
)

Refaço mais uma vez usando a função mapply

matriz <- matrix(rep(NA, 1000*200), nrow = 1000, ncol=200)

matriz <- mapply(rnorm, n = 1000, mean = 1:200)
v <- apply(matriz, 2 , var)}
)

Depois, em contraste ao método vetorial, eu uso listas e calculo médias para as suas linhas.

Primeiramente de forma vetorial:

lista <- list()

for(i in 1:10){
  matriz <- matrix(rep(NA, 20*100),nrow=20, ncol = 100)
  for(k in 1:20){
    matriz[k,] <- rnorm(20, mean = k) 
  }
  lista[[i]] <- matriz
  print(mean(lista[[i]]))
}

Por fim uso listas com a função lapply:

for(i in 1:20){
  matriz <- matrix(rep(NA, 20*200), nrow = 20, ncol = 200)
  for(k in 1:20){
    matriz[k,] <- rnorm(20, mean = k) 
  }
  lista[[i]] <- matriz
}

  lapply(lista, mean)

})

A tabela abaixo mostra os tempos de cálculo de cada método:

|   | user.self| sys.self| elapsed| user.child| sys.child|
|:--|---------:|--------:|-------:|----------:|---------:|
|a  |     0.028|    0.004|   0.030|          0|         0|
|b  |     0.024|    0.000|   0.023|          0|         0|
|c  |     0.020|    0.000|   0.021|          0|         0|
|d  |     0.006|    0.000|   0.006|          0|         0|
|e  |     0.007|    0.000|   0.006|          0|         0|

É claro que os últimos dois tempos serão menores, uma vez que calculei uma matriz muito menor. Contudo, podem me explicar as vantanges e desvantagens de cada método e o porquê que isso ocorre?

1 Resposta 1

9

Para avaliar velocidade de código, é muito importante isolar totalmente os problemas. No seu caso, você está medindo o tempo de duas operações:

  1. Criar a matriz com valores aleatórios com 1000 linhas e 200 colunas
  2. Calcular a variância de cada coluna

Eu organizaria o problema da seguinte forma.

Criar matrizes no R

gerar_for <- function() {

  matriz <- matrix(rep(NA, 1000*200), nrow = 1000, ncol=200)

  for(i in 1:200){
    matriz[,i] <- rnorm(1000, i)
  }

  matriz
}

gerar_mapply <- function() {
  mapply(rnorm, n = 1000, mean = 1:200)
}


gerar_for_slow <- function() {
  matriz <- NULL
  for(i in 1:200){
    matriz <- cbind(matriz, rnorm(1000, i))
  }
  matriz
}

microbenchmark::microbenchmark(
  "for" = gerar_for(),
  "mapply" = gerar_mapply(),
  "for-slow" = gerar_for_slow()
)

Unit: milliseconds
     expr      min        lq     mean    median        uq      max neval cld
      for  15.6097  16.76431  20.0785  18.26528  20.10932 163.0261   100  a 
   mapply  15.5994  17.43291  22.1635  18.68548  21.00221 153.6971   100  a 
 for-slow 148.6910 169.03706 217.5798 178.62365 295.26370 373.7119   100   b

A função microbenchmark é muito boa para comparar velocidade das funções, pois, ela roda cada função mais de uma vez, garantindo que a diferença de tempo não é somente por causa de alguma trava que pode ter dado no seu computador.

Pela tabela acima, vemos que não há muita diferença entre as duas primeiras formas de fazer, já o for que cresce alocando memória dinamicamente é muito lento.

Calcular a variância

var_for <- function(matriz) {
  variancias <- numeric(200)
  for(i in 1:200) {
    variancias[i] <- var(matriz[,i])
  }
  variancias
}

var_apply <- function(matriz) {
  apply(matriz, 2, var)
}

var_for_slow <- function(matriz) {
  variancias <- NULL
  for(i in 1:200) {
    variancias <- c(variancias, var(matriz[,i]))
  }
  variancias
}

matriz <- gerar_for()

microbenchmark::microbenchmark(
  "for" = var_for(matriz),
  "apply" = var_apply(matriz),
  "for-slow" = var_for_slow(matriz)
)

Unit: milliseconds
     expr      min       lq     mean   median       uq       max neval cld
      for 5.187810 5.506842 6.672243 5.834702 7.041265  24.80995   100   a
    apply 6.053562 6.822156 9.412554 7.345083 8.566811 152.58045   100   a
 for-slow 5.304672 5.587136 6.798713 6.063436 7.600376  13.52065   100   a

Na tabela acima vemos que neste caso Não faz muito diferença entre nenhuma das três abordagens.

Comparação:

Pelo que entendi, você está basicamente comparando o uso de apply e for.

As vantagens de usar for é a facilidade de fazer códigos em que a uma iteração depende do resultado da iteração anterior. Isso não é tão simples com apply. As desvantagens do for é que é fácil de fazer código que é lento, por exemplo a função gerar_for_slow (acima). Outra desvantagem, é que geralmente você tem que escrever mais linhas de código.

O apply é mais ou menos o oposto do for, é difícil fazer código que depende da iteração anterior. Mas é mais fácil fazer código que não fica lento.

Para mim a maior vantagem de usar apply é que você se acostuma em pensar que o R é uma linguagem funcional, e assim vai ficar muito mais fácil de aprender e se aprofundar na linguagem.

Sobre vetorização

apply não deve ser considerado como vetorização em R. apply é simplesmente uma maneira alternativa de escrever o for.

Para ser considerado vetorizado, o seu loop tem que estar escrito em uma linguagem de programação de mais baixo nível (C, Fortran, C++, etc) e isso é o que acontece com muitas funções do R. Por exemplo:

soma_for <- function(vetor) {
  soma <- 0
  for(i in 1:length(vetor)){
    soma <- soma + vetor[i]
  }
  soma
}

soma_vetorizada <- function(vetor) {
  sum(vetor)
}

vetor <- rnorm(1000)
microbenchmark::microbenchmark(
  "for" = soma_for(vetor),
  "vetorizada" = soma_vetorizada(vetor)
)

Unit: microseconds
       expr    min     lq     mean  median     uq      max neval cld
        for 45.723 45.909 75.11931 46.0165 46.294 2773.788   100   b
 vetorizada  1.575  1.607 10.93954  1.6575  1.727  913.892   100  a 

Assim vemos bem a diferença de velocidade entre as duas implementações.

2
  • Quando você dosse setorização, você quis dizer vetorização?
    – Arduin
    11/03/2018 às 4:38
  • 1
    corrigido! deve ter sido o autocorretor :P 12/03/2018 às 20:33

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .