Sua conclusão final é a melhor explicação para o VB.NET existir. Não vou achar nada facilmente, mas há algumas informações espalhadas que mostram que é isto. Ao contrário de algumas linguagens que são melhores em algum tipo de problema, quando se compara estas duas fica difícil apontar com clareza porque uma é melhor que outra se você não tiver um background anterior.
Nas versões atuais existem menos diferenças ainda e são quase integralmente intercambiáveis.
Performance
Em termos de performance não há nada nas linguagens que mudam profundamente o resultado obtido, principalmente porque a maior parte do tempo será gasto na execução de funções que são a mesma coisa em ambas (quase sempre escritas em C# e transformadas em código CIL). Faz mais diferença a plataforma onde ela roda que a linguagem em si. Nem vou falar da questão de que algoritmos costumam dar mais diferença.
Claro que algumas características da linguagem podem eventualmente fazer uma pequena diferença, mas provavelmente você está comparando coisas diferentes. Então a comparação passa ser injusta. Para obter resultados iguais precisa escrever códigos diferentes. Mas note que a diferença será muito pequena e não dá para dizer claramente qual é mais vantajosa.
Em alguns casos o mesmo código pode produzir resultado melhor em uma do que a outra, mas com pouca modificação pode equiparar ambas ou até inverter o resultado. Comparar performance de linguagens é algo muito complicado, na prática não dá. Não existe linguagem mais rápida que a outra em termos gerais, principalmente quando elas possuem filosofias básicas tão semelhantes.
Estilos
Não acho que uma lista das pequenas diferenças ajudaria definir alguma coisa relevante para escolher uma ou outra. O que é certo é que VB.NET tem um pouco menos cerimônia do que C#, mas muito pouco. Há mais conveniência em uma ou outra dependendo de como se olha o problema.
De uma maneira geral, os tipos, o gerenciamento de memória, quase todas as construções básicas de algoritmos e estrutura de dados funcionam iguais, a diferença é essencialmente sintática.
Legado do VB
VB.NET pode usar um estilo um pouco mais próximo do VB original mas não é recomendado usá-lo em código novo. Pode parecer um pouco mais fácil usar esse estilo mas no fundo ele traz mais problemas no longo prazo. Como há esta recomendação, na prática a vantagem da familiaridade não é relevante.
É uma ilusão achar que você fará uma transição mais fácil do VB para o VB.NET. Código legado não se converte tão simplesmente e as diferenças do VB para o VB.NET são tão grandes que o trabalho de aprender VB.NET pode muito bem ser aproveitado para aprender C#. A sintaxe diferente entre as linguagens é a parte fácil do que tem que aprender.
Diferença no suporte à linguagem
Há um pouco mais de exemplos e material disponível para C# do que VB.NET, mas nada significativo que faça muita diferença (isso tem mudado aos poucos e cada vez mais tem força no C# e não no VB.NET.
C# tem um feeling de ser a linguagem oficial e VB.NET está aí por causa do legado. Mas isto não se comprova se a análise for bem objetiva.
Conclusão
Qualquer critério que pode ser observado parece ser subjetivo demais. Duvido que alguém consiga dar outro motivo para escolher uma ou outra a não ser gosto.
E recentemente a Microsoft deu demonstrações que não trabalhará mais no VB.NET. Ele continuará suportado, mas não não terá evolução. Isso é importante.
Coloquei no GitHub para referência futura.