Esta pergunta passa fazer pouco sentido agora porque o .NET Framework morreu, só sobrou o .NET Core, que passa ser chamado apenas de .NET. Principalmente a conclusão desta resposta já não importa mais.
Há uma página indicando o que é a nova proposta de .NET Platform Standard. Isso talvez seja o mais importante. Se quer algo portável entre as variadas implementações que conformem com isso tem que se ater a isto. Qualquer coisa que use e não está nesta lista, não há garantias que funcionará em outras implementações.
Comparar com ASP.NET 1.0 não é prudente.
As duas principais vantagens do .NET Core é rodar em diversas plataformas (não só sistemas operacionais, realmente é uma tecnologia mais aberta) e não precisar de nada previamente instalado, inclusive permitindo uma instalação modular das dependências (pra mim a principal). Disto surgem diversas outras pequenas vantagens. Além de ter novas funcionalidades, mais modernas, e mais bem pensadas.
Seria complicado fazer uma lista completa do que não existe no .NET Core porque essa lista é bem extensa se for em todos detalhes e ela vai encurtando a cada dia.
Nem falarei das diferenças para o desenvolver. Isso dá-se um jeito.
Quase tudo o que tiraram foi por uma boa razão.
Longe de dizer que o .NET Core terá tudo o que o .NET Framework (esse antigo que sempre usamos). Explicitamente isso não ocorrerá. Mas muito do que não existe hoje deverá ter em algum momento.
O que dá para dizer é que a muita coisa ligada ao Windows não terá. Como o Core foi feito para ser portável, essas coisas foram deixadas de fora. Mas algumas nem no Windows fazia sentido mais.
Então não tem Windows Forms e WPF. Mas tem UWP, que obviamente não poderá ser usado fora do Windows. Isto não é mais verdade, embora esses 3 ainda só funcionem no Windows. E existem opções de terceiros para GUI.
System.Drawing
ainda não está disponível. Isto não é mais verdade.
Muitas coisas que só fazem sentido no Windows, como Enterprise.Services. Qualquer coisa que dependa de P/Invoke está fora, mas algumas poderão ter substitutos, provavelmente mais modernos. COM também tem limitações.
ASP.NET tradicional (WebForms) não é suportado. Mas mesmo o MVC antigo não pode funcionar porque depende do tradicional (isto mudou um pouco). Não sei se há algum esforço para mudar isso, mas duvido. O ASP.NET Core é parecido com o ASP.NET MVC, mas não idêntico e compatível. O Blazor tem modelo parecido mas é melhor
A integração com servidores HTTP é bem diferença e ainda tem limitações. Apesar de agora ter uma base para ser melhor.
Assim como o Entity Framework antigo também não funciona. O novo é melhor, mas demora um pouco para estar completo (sem o legado do antigo). Isto não é mais verdade no Windows.
O WCF tem bastante limitação. Tem soluções melhores que ele agora.
Reflexão tem alguma limitação também, mas nada importante.
Serialização binária não está disponível por padrão, mas tem opções melhores.
Não há domínio de aplicação (AppDomain). Ainda bem.
A segurança da aplicação é bem simplificada (isso não quer dizer que é inseguro). Não há (CAS). Já não é mais importante como era.
Não dá e nem faz sentido ter click once. Não faz sentido mais usar isto, e tem o MSIX ou soluções de terceiros muito melhores e tem o executável standalone que acaba sendo mais interessante.
Tiraram boa parte do que era considerado obsoleto. Há uma lista oficial de obsolescência.
Tem várias outras coisas, esta lista não está completa, mas agora já é uma lista bem menor e nada importante.
Enfim, pense no .NET Core como uma nova tecnologia. Existem casos para continuar usando o framework tradicional. Em geral não vale a pena converter aplicações antigas para o .NET Core, a não ser que tenha um bom motivo. Mas na maioria dos casos é interessante usar o .NET Core. Ele é game changing para o .NET.
Responder qual é o melhor para cada projeto seu não é nossa função. Cabe perguntas mais específicas sobre recursos que vai precisar.
Muita gente acha que vale a pena investir nele, de fato nunca vi uma tecnologia nova ter adoção tão rápida como esta, mas você deve formar sua própria opinião. Certamente tem gente que pensa o contrário.
Só começando fazer para saber. Lembre-se que tudo é diferente. Você ainda não sabe como usá-lo. Terá dificuldades iniciais. Ele tem filosofia diferente e é um pouco mais bruto. Acho que está pensando certo. Dê uma passo de cada vez.
O .NET Framework continuará suportado e terá alguma evolução, mas o foco está no .NET Core.
Coloquei no GitHub para referência futura.