O que seria esse ASP.NET Core Blazor?
Hoje só chamado de Blazor, é o engine que pega seu código em C# e gera um WebAssemply. Ele permite você usar código C# no seu navegador, desde que seja nas versões mais novas que já suportam WebAssembly (rodará em versões antigas com limitações e baixa performance).
Pelo menos é a forma mais utilizada. Na verdade, ele foi evoluindo e existe um modo que ele faz sem o WebAssembly, pedindo para o servidor entregar certas ações, tudo de forma transparente. E tem experimentos que ele nem precisa rodar em um navegador e usar bindings não web. Mas não vou entrar em todos esses detalhes.
Não é que o C# vá rodar no navegador, haverá uma compilação que gerará um código que o navegador entende e executa. De certa forma substitui o JavaScript como linguagem única dos browsers, ainda que alguns ainda não tenham entendido que é isso que ocorra na prática (a descrição do projeto diz que ele não substitui o JS, mas não é o que acontece na prática, claro que não mata o JS, é uma alternativa para substituir se a pessoa preferir).
Na verdade, não é só o C#, já que o Blazor pega o IL para gerar o WebAssembly, então pode ser outras linguagens que compilam para o IL.
Só quero deixar claro que você não pode pegar qualquer código C# e rodará no Chrome, FF, Edge, etc. O código precisa ser escrito pensando em ser rodado lá. A API é quase toda diferente e tem que trabalhar com mais ou menos as mesmas coisas que você trabalha no JS. Mas boa parte do runtime está lá para usar, então também não muda tanto assim, mas tem as limitações da plataforma.
Existe uma forma de execução que nem precisa converter o IL para WebAssembly. Apesar de ser menos eficiente tem a vantagem de rodar direto. Isso é possível porque o .NET estará rodando no navegador igual roda em qualquer sistema operacional. Mas acho que não vale a pena detalhar isso nessa pergunta mais geral.
Pode ser especialmente interessante para facilitar o DRY de validações e outros códigos que devem rodar tanto no servidor quanto no cliente. Ou será útil para quem não quer aprender mais de uma linguagem de programação e já usa C#.
Podemos dizer que é um Angular killer :) E React, Vue e outros... Não só ele, mas "todas" as linguagens estão embarcando nos navegadores para competir com JS. Digo isso porque o Blazor envolve o mecanismo que transforma C# em WebAssembly e o sistema de rotas e navegação, controle do DOM e tudo isso que esses frameworks possuem. Claro que no início ele não é tão maduro, mas está evoluindo rápido e já tem até algumas inovações, além de ter aprendido com os erros do que já existe.
Tem alguma relação com o Razor ou ASP.NET Core Razor Pages?
Não diretamente, mas indiretamente claro que tem. O Razor é para montar a página no servidor, então só o HTML é criado, nada da página desenhado ou executado. O Blazor é para o frontend, ele executa no navegador, falando grosso modo. Ele usa o mesmo mecanismo para renderizar a página no frontend.
Importante que Blazor existe também no lado do servidor então funciona basicamente o mesmo engine mas que não gera WebAssembly e é usado para os casos onde o cliente não tem essa capacidade, pra SEO e algum outro motivo que gerar a página no servidor é melhor, usando basicamente o mesmo código.
Segurança
Não foi perguntado, mas muita gente tem dúvida. A segurança é a mesma do JS, ele não é capaz de fazer nada a mais no navegador padrão que o JS pode. Ele só faz mais rápido e tem bibliotecas mais poderosas, mas não sair criando processos, apagar arquivos ou qualquer coisa que o JS não pode, sem autorização.
Agora não tem mais o Core no nome.
Versões recentes
Com o tempo o Blazor evoluiu e se consolidou. Algumas pessoas ainda torcem o nariz, e ele não teve uma adesão maciça, mas está com algum mercado.
Em versões recentes resolveram alguns problemas, por exemplo a questão do tempo de carga do wasm. Agora ele pode carregar a versão server que tem o front extremamente pequeno, mas tem mais latência, não tem a melhor velocidade e produz carga no servidor, mas funciona onde não aceita wasm e é melhor para SEO. Depois, se puder ele vai carregando o wasm, resolvendo esses problemas sem fazer a pessoa esperar a carga total do runtime.
Também estão começando explorar as novas funcionalidades que estão sendo disponibilizadas pelos navegadores, por exemplo o garbage collector e threads.
Ele ainda não é uma panaceia, mas tem casos de uso.
Coloquei no GitHub para referência futura.