De fato, o .NET Framework é uma plataforma interessante que tem seu mérito, mas não serve para tudo. Acredito eu que o advento dos containers, microsserviços, IoT, internet always on e a ascensão do mobile fizeram a Microsoft rever a estratégia e perceberam que o .NET não atendia os novos requisitos.
Na verdade, dois produtos foram criados para atender as novas demandas, o .NET Native e o .NET Core. O primeiro torna os executáveis totalmente independentes, como se tivesse escrito em C/C++, por exemplo, claro que existem algumas limitações do que o .NET pode fazer, mas poucas. O segundo precisa de um runtime, mas não precisa ser uma plataforma completa como é o .NET "full", é muito mais enxuto.
Muita coisa mudou desde o texto original escrito aqui então leia também O .NET Framework está morto?.
Com isso fica mais fácil funcionar nesses modelos novos citados acima. O .NET Framework ainda é o mais adequado para desenvolvimento desktop. Mas quase sempre, o .NET Core é mais adequado para rodar em pequenos dispositivos com diversos propósitos, servidores, não importando o modelo, e algumas aplicações que rodam em desktop, mas que não são típicas. O desenvolvimento de jogos pode se beneficiar também.
Claro que a Microsoft não domina as plataformas desses ambientes novos (ela até está tentando em alguns novos). Muito da utilidade do .NET fora do desktop é em plataformas onde ela não atua e um novo .NET que funcionasse bem nelas era necessário, não poderia ter as vinculações com Windows existentes no .NET original.
Um ponto que eu acho bem interessante é a concorrência do Node.js (na verdade o que fez ele ter essa fama foi a libuv). Ele possui um servidor baseado em eventos que é muito melhor que aplicações web tradicionais (já tem versões mais novas todo novo que é muito melhor, não a toa que se dá tão bem em benchmarks como o TechEmpower). O modelo antigo do .NET não favorece isso, o .NET/ASP.NET Core está mais preparado para atender esta demanda, e deixa o Node.js comer poeira em performance (e obviamente o .NET antigo). Hoje web se dá muito por troca intensiva de pequenas mensagens, o modelo anterior não funcionava bem mais.
Claro que só isto não foi suficiente. Eles compraram a Xamarin para atender o mobile e acho que a tendência é o .NET Core ir sendo incorporado nele cada vez mais. Hoje tem o MAUI.
Também perceberam que abrir o código e o projeto não era só atender as expectativas dos desenvolvedores, mas também fundamental para conseguir alcançar rapidamente melhorias que só uma comunidade pode dar. Está lá no GitHub, todo mundo pode participar.
Claro que o .NET estava um pouco bloated também, foi a oportunidade para dar um jeito nisso.
Ela não parou por aí. Também começou fornecer outras ferramentas para ajudar o desenvolvimento em outras plataformas, como o Visual Studio Code, Visual Studio for Mac e até o SQL Server for Linux para complementar a stack.
O projeto do .NET Core é amplamente financiado pela Microsoft, mas é de propriedade da .NET Foundation e o projeto é muito aberto, não é algo que só a Microsoft manda. Claro que ela tem peso, como ocorre em todo projeto aberto, a não ser os fracassados. Mas é impressionante a quantidade de commits de terceiros que o projeto está recebendo. O projeto será o que a comunidade quer, na medida que ela seja coerente. E a licença é MIT que é a verdadeira licença que dá liberdade.
Muitas funcionalidades desenvolvidas no .NET Core estão sendo transpostas para o .NET Framework, mas não todas, algumas por não fazer sentido, outras porque não há tanto interesse ali. A impressão que dá é que o .NET full entrou em estado de produto terminado e continuará recebendo pequenas melhorias, longe de ser um produto abandonado, mas a atenção é no .NET Core. Agora é suportado, mas não evoluído mais.
E ele vem melhorando muito a compatibilidade com o .NET Framework:
Partindo do 3.0 tem "tudo" o que precisa para substituir o .NET Framework por completo. E no .NET 5 que perde o nome Core, está ainda melhor. O que não tem é porque não faz mais sentido ou era ruim e é melhor não usar mais.
Para organizar todas essas implementações existe o .NET Standard na versões acima. Que agora não faz muito sentido mais.
Em resumo, a Microsoft está sendo oposta a tudo o que as pessoas que a odeiam acham que ela sempre faz. Claro que atende seus interesses, mas isso é normal, ocorre com todo mundo que não vive de poesia :) Ela fez porque havia essa demanda no mercado, por isso o mercado competitivo é sempre bom.
Coloquei no GitHub para referência futura.