Por que motivo você "precisa" colocar numa variável ?
Eu acho isso questionável, mas enfim...
Parece que o melhor jeito é seguir esta sugestão de https://stackoverflow.com/questions/962255/how-to-store-standard-error-in-a-variable-in-a-bash-script:
Rodar tudo num sub-shell e redirecionar a saída de erros para a saída padrão, que é capturada pela variável ERRORS. No sub-shell, a saída padrão é ignorada (redirecionada para /dev/null). É interessante.
ERRORS=$( (tar -zcf teste.tar.gz teste > /dev/null) 2>&1 )
PS 1: assim como no SO em inglês, não testei a solução...
PS 2: no original são usadas chaves {} para rodar o sub-shell, mas acho que o mais comum é usar parênteses mesmo
PS 3: no original tem um ';' antes do parêntese interno, assim ...teste ; )
, não sei se precisa mesmo