O que seria esse ASP.NET Core Blazor?
Hoje só chamado de Blazor, é o engine que pega seu código em C# e gera um WebAssemply. Ele permite você usar código C# no seu navegador, desde que seja nas versões mais novas que já suportam WebAssembly (rodará em versões antigas com limitações e baixa performance).
Pelo menos é a forma mais utilizada. Na verdade, ele foi evoluindo e existe um modo que ele faz sem o WebAssembly, pedindo para o servidor entregar certas ações, tudo de forma transparente. E tem experimentos que ele nem precisa rodar em um navegador e usar bindings não web. Mas não vou entrar em todos esses detalhes.
Não é que o C# vá rodar no navegador, haverá uma compilação que gerará um código que o navegador entende e executa. De certa forma substitui o JavaScript como linguagem única dos browsers, ainda que alguns ainda não tenham entendido que é isso que ocorra na prática (a descrição do projeto diz que ele não substitui o JS, mas não é o que acontece na prática, claro que não mata o JS, é uma alternativa para substituir se a pessoa preferir).
Na verdade, não é só o C#, já que o Blazor pega o IL para gerar o WebAssembly, então pode ser outras linguagens que compilam para o IL.
Só quero deixar claro que você não pode pegar qualquer código C# e rodará no Chrome, FF, Edge, etc. O código precisa ser escrito pensando em ser rodado lá. A API é quase toda diferente e tem que trabalhar com mais ou menos as mesmas coisas que você trabalha no JS. Mas boa parte do runtime está lá para usar, então também não muda tanto assim, mas tem as limitações da plataforma.
Existe uma forma de execução que nem precisa converter o IL para WebAssembly. Apesar de ser menos eficiente tem a vantagem de rodar direto. Isso é possível porque o .NET estará rodando no navegador igual roda em qualquer sistema operacional. Mas acho que não vale a pena detalhar isso nessa pergunta mais geral.
Pode ser especialmente interessante para facilitar o DRY de validações e outros códigos que devem rodar tanto no servidor quanto no cliente. Ou será útil para quem não quer aprender mais de uma linguagem de programação e já usa C#.
Podemos dizer que é um Angular killer :) E React, Vue e outros... Não só ele, mas "todas" as linguagens estão embarcando nos navegadores para competir com JS. Digo isso porque o Blazor envolve o mecanismo que transforma C# em WebAssembly e o sistema de rotas e navegação, controle do DOM e tudo isso que esses frameworks possuem. Claro que no início ele não é tão maduro, mas está evoluindo rápido e já tem até algumas inovações, além de ter aprendido com os erros do que já existe.
Tem alguma relação com o Razor ou ASP.NET Core Razor Pages?
Não diretamente, mas indiretamente claro que tem. O Razor é para montar a página no servidor, então só o HTML é criado, nada da página desenhado ou executado. O Blazor é para o frontend, ele executa no navegador, falando grosso modo. Ele usa o mesmo mecanismo para renderizar a página no frontend.
Importante que Blazor existe também no lado do servidor então funciona basicamente o mesmo engine mas que não gera WebAssembly e é usado para os casos onde o cliente não tem essa capacidade, pra SEO e algum outro motivo que gerar a página no servidor é melhor, usando basicamente o mesmo código.
Segurança
Não foi perguntado, mas muita gente tem dúvida. A segurança é a mesma do JS, ele não é capaz de fazer nada a mais no navegador padrão que o JS pode. Ele só faz mais rápido e tem bibliotecas mais poderosas, mas não sair criando processos, apagar arquivos ou qualquer coisa que o JS não pode, sem autorização.
Agora não tem mais o Core no nome.
Coloquei no GitHub para referência futura.