`[[ ]]` só retorna valores individuais, normalmente se usando um inteiro ou uma matrix com ele. 

Se você passar um vetor ele procura recursivamente. `X[[1:2]]` é o mesmo que `X[[1]][[2]]`. Por isso ele deu seu erro de recursão.

No R você pode fazer a sua operação com um `for` ou uma função do tipo `apply`:

<!-- language-all: lang-r -->

    teste <- list(
      a1 = list("a", "b"),
      a2 = list("a", "c"),
      a3 = list("a", "d"),
      a4 = list("a", "e")
    )


    novo_teste <- list()
    for(i in 1:length(teste)){
      novo_teste[[i]] <- teste[[i]][[2]]
    }
    novo_teste
    #> [[1]]
    #> [1] "b"
    #> 
    #> [[2]]
    #> [1] "c"
    #> 
    #> [[3]]
    #> [1] "d"
    #> 
    #> [[4]]
    #> [1] "e"

    lapply(teste, function(x) x[[2]])
    #> $a1
    #> [1] "b"
    #> 
    #> $a2
    #> [1] "c"
    #> 
    #> $a3
    #> [1] "d"
    #> 
    #> $a4
    #> [1] "e"

<sup>Created on 2020-06-12 by the [reprex package](https://reprex.tidyverse.org) (v0.3.0)</sup>