SQL Server Compact você poderá desfrutar de benefícios que talvez o Isolated Storage não consiga te proporcionar, como a utilização de PLinq (Parallel Linq, veja: http://msdn.microsoft.com/en-us/library/dd460688(v=vs.110).aspx)
Confesso, que não cheguei a testar PLinq em App para Windows Phone, mas em relação a desktop a performance realmente melhor, quando utilizado corretamente.
Outro ponto, o SQL server foi feito para isso, armazenar grandes massas de dados, enquanto o Isolated Storage, serve para guardar dados para rápido acesso, como configurações. Entretanto, o que eu acho que será realmente o ponto chave, não será onde você irá guardar os dados e sim como você irá fazer para manuseá-los e nesse ponto, acredito que o SQL mais uma vez chame atenção pelo suporte ao paralelismo.