Descobri uma forma de fazer no SOen que resolveu o meu problema, não é bem uma resposta ao que eu perguntei, mas é a solução do problema, que é basicamente usar as linhas que me foram sugeridas nos comentários num ficheiro de configuração da amazon como podemos ver [nesta resposta][1].

Em resumo da resposta basta colocar um ficheiro [`.config` na diretoria `.ebextensions` do projeto][2] o seguinte:  

    files:
        "/etc/httpd/conf.d/ssl_rewrite.conf":
            mode: "000644"
            owner: root
            group: root
            content: |
                RewriteEngine On
                <If "-n '%{HTTP:X-Forwarded-Proto}' && %{HTTP:X-Forwarded-Proto} != 'https'">
                RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R,L]
                </If>

Que ao fazer deploy da aplicação adiciona essa regra ao Apache do Elastic Beanstalk.


  [1]: https://stackoverflow.com/a/38751749/1817673
  [2]: http://docs.aws.amazon.com/elasticbeanstalk/latest/dg/ebextensions.html