Acredito que tenha duas abordagens aqui:
Copiar as chaves ssh para dentro do container (como sugerido pelo Caio Augusto Papai) ainda no Dockerfile fazendo algo como
COPY path/local path/no/container
Por exemplo, tomando como base uma imagem de Ubuntu, ficaria algo como
COPY ~/.ssh/SUA-CHAVE ~/.ssh/CHAVE-NO-CONTAINER
O problema que vejo com essa abordagem é que essa camada ficará para sempre no history da imagem, ou seja, todos poderão ter acesso à sua chave ssh executando algo como:
sudo docker history [sua-imagem:versão]
- Usar o docker secrets que foi feito para passar esse tipo de informação de forma que não fique na camada do history. Para adotar essa abordagem, será necessário habilitar o docker build experimental. Os dois processos são bem tranquilos de se fazer apenas seguindo a documentação.
Nesse caso, você fará uma linha do Dockerfile com o comando "RUN --mount" antes de copiar o repositório do gitlab e, no comando do "docker build", vai passar a chave com a flag "--secret".
Espero ter ajudado.