...seria correto deixar que a camada de apresentação crie o container e realize o registro das dependências necessárias?
Não.
A Camada de Apresentação é responsável pela exibição de informações do sistema ao usuário.
A Camada de Infra-estrutura é responsável por fornecer recursos técnicos que darão suporte às camadas superiores. Ou seja, essa última sim deve ter esse tipo de preocupação.
Alguns problemas que você pode ter ao registrar o container e suas dependências na camada de apresentação:
Como você está utilizando uma arquitetura seguindo Domain Driven Design (DDD), você provavelmente terá uma Camada de Negócios, onde "serviços" irão depender de consultas a repositórios.
Nesse cenário, dependendo de sua implementação, seu projeto de negócio (chamado Domínio no DDD) dependeria diretamente do seu projeto da Camada de Apresentação, o que é incoerente a abordagem DDD.
Outro cenário que você pode ter problema: Se a Camada de Apresentação do seu projeto mudar no futuro para Asp.Net MVC, Web Form, etc.. você terá que ficar alterando/movendo esse código que resolve/registra as dependências, ou seja, você terá maior manutenção e mexendo nesse código de novo :-(.
Registre as dependências na Camada de Infraestrura.
...Ou TODAS estas dependências devem ser registradas na camada de Infraestrutura?
Sim, no que diz respeito a dependências comuns aos projetos/camadas, principalmente Repositórios e Serviços.
...Ou ainda, as duas coisas? Por exemplo: a camada de apresentação registra coisas como Views e a camada de Infraestrutura realiza o registro das dependências que são comuns a todas as camadas?
Como registrar/resolver dependências não é responsabilidade da Camada de Apresentação, te aconselho a fazer o registro das dependências na Camada de Infraestrutura, assim você tem um ponto único e não precisa ficar dando manutenção em dois lugares.