O que o usuário ganha ou perde quando se escolhe um deles?
Consequentemente o que proprietário do site tem algum ganho em função
da melhor experiência do usuário.
Do ponto de vista do usuário: na paginação ele tem mais controle (ou, ao menos, sensação de controle) sobre o conteúdo, enquanto que na rolagem infinita o usuário tem menos esforço.
Imagine um cenário de um site tipo o Flickr, que contém apenas imagens, e em que o usuário está fazendo uma busca por uma imagem de algo desejado. Em certo momento ele encontra uma de que gosta, mas decide continuar procurando um pouco mais. Na paginação ele tem facilidade de memorizar onde está o item que gostou. Pode ser pela posição de uma barra de rolagem, pode ser pelo número da página, pode até mesmo ser pela posição relativa (número de cliques ou pagedowns dados). Isso já não é tão fácil na rolagem infinita.
Imagine que nesse mesmo cenário, as fotos exibem informações quando o mouse está posicionado sobre elas, que são importantes na decisão do usuário pelo item procurado. Nesse caso, ter de mover o mouse ou mesmo a mão do mouse para o teclado para controlar a rolagem gera mais esforço. Pode parecer pouco, mas dependendo do contexto (se for um profissional que passa o dia usando esse site) pode ser bastante cansativo ou reduzir a produtividade. Nesse sentido a rolagem infinita pode ajudar a reduzir o esforço.
Do ponto de vista do proprietário do site: na paginação ele dá o controle para o usuário, na rolagem infinita o proprietário conduz a experiência. O usuário deve ser sempre o foco de atenção ao se projetar a interação de qualquer produto, mas ainda assim essa decisão pode decorrer da experiência intencionada. Citaram em outras respostas a ideia de aumentar o tempo que a pessoa passa no site, por exemplo. A rolagem infinita gera essa sensação de que há muito mais por se ver, e por isso estimula o usuário permanecer mais tempo. Além disso, se por qualquer motivo não se deseja estimular o usuário a "voltar" (isto é, se deseja dar preferência para que ele veja conteúdo novo ao invés de conteúdo já visto), a rolagem infinita pode ser mais apropriada. Pode ser o caso de sites ou aplicações de notícias, como alternativa ao famoso serviço do tipo Push.
Uma solução híbrida é difícil porque dificulta a percepção de estado do usuário (mesmo que você use uma barra de rolagem, ela vai mudar de proporção conforme mais dados são exibidos) e requer muito mais memória do sistema porque essencialmente você vai ter que manter tudo em memória.
Quando optar por cada um? Existe um tipo de site ou aplicação web que
se adéqua melhor?
No sentido do que foi discutido, a rolagem infinita talvez seja mais apropriada para sites em que o conteúdo é fugaz, existe em enorme quantidade, ou é gerado por diversas fontes distintas. Nas redes sociais, por exemplo, o conteúdo é produzido por outros usuários, comumente contém imagens, vídeos curtos ou links que são abertos ou "processados" imediatamente (o usuário lê, ri, se ofende ou curte, e passa para o próximo; links são abertos e lidos imediatamente ou guardados em outra aba, independente da paginação).
Caso contrário, provavelmente é melhor utilizar a paginação mesmo. :)
Entre as desvantagens tem algo que pode dar errado?
Na rolagem infinita, do ponto de vista técnico tem a possibilidade do sistema simplesmente não conseguir exibir tudo o que o usuário quer ver. Isso pode ser contornado ao descartar os itens muito antigos lá do começo da rolagem, e é o que geralmente se faz ao meu ver. Na paginação, o problema potencial é desestimular o usuário. Se o resultado de uma busca for muito grande, ele pode não se interessar por usar. O Google é uma situação atípica porque apesar de ele mostrar um bestilhão de resultados o usuário sabe que os primeiros são os mais relevantes (por convenção e por costume, já que essa informação não é necessariamente explícita - isto é, não há um número com a relevância na frente de cada resposta).
Eu sei que o ideal é conduzir estudos com o público alvo. Mas queria
saber o que já se concluiu de forma geral sobre o tema.
Essa é uma boa pergunta. Mas é difícil ter uma única resposta pra ela, porque depende do domínio de problema. Como vc mesmo aponta, o ideal é conduzir estudos com o público alvo, mas esse público muda dependendo da área. Na área de e-commerce, por exemplo, parece ser condizente com o que eu apontei anteriormente. Há esse estudo muito bem feito e que inclui também uma distinção entre a paginação e o uso de botões "Carregar Mais" (carregamento em partes). O resumo é dado lá no texto mesmo, e é o seguinte (em tradução livre):
"Paginação ainda é a forma mais popular de carregar novos itens em um website porque já existe por padrão em quase todas as plataformas de e-commerce. Entretanto, nossos testes de usabilidade indicaram que botões “Carregar Mais” combinados com lazy-loading (carregamento preguiçoso) tendem a ser uma implementação superior, resultando em uma experiência mais contínua (sem costuras). Nós descobrimos que a rolagem infinita pode ser bastante prejudicial à usabilidade — em particular, na busca por resultados e em dispositivos móveis. Ainda assim, isso não é preto e branco, porque o desempenho de cada método varia de acordo com o contexto da página."