Você não pode fazer isto:

        HasRequired(x => x.Correspondente)
            .WithMany(x => x.Enderecos)
            .HasForeignKey(x => x.ReferenceId);

        HasRequired(x => x.Cliente)
            .WithMany(x => x.Enderecos)
            .HasForeignKey(x => x.ReferenceId);

        HasRequired(x => x.Loja)
            .WithMany(x => x.Enderecos)
            .HasForeignKey(x => x.ReferenceId);

Isso exige que `Endereco` tenha um `Correspondente` **e** uma `Loja` **e** um `Cliente`, o que não é o que você quer.

O correto é você fazer o seguinte:

    public class Endereco
    {
        [Key]
        public Guid EnderecoId { get; set; }
        public int? CorrespondenteId { get; set; }
        public int? LojaId { get; set; }
        public int? ClienteId { get; set; }

        ...

        public virtual Correspondente Correspondente { get; set; }
        public virtual Loja Loja { get; set; }
        public virtual Cliente Cliente { get; set; }
    }

Agora, se a ideia é ter uma só chave estrangeira, você terá que fazer `Correspondente`, `Loja` e `Cliente` herdarem do mesmo ancestral:

    public class Reference
    {
        [Key]
        public Guid ReferenceId { get; set; }

        ...
    }

    public class Cliente: Reference
    {
        ...
    }

    public class Correspondente: Reference
    {
        ...
    }

    public class Loja: Reference
    {
        ...
    }

E:

    public class Endereco
    {
        [Key]
        public Guid EnderecoId { get; set; }
        public int ReferenceId { get; set; }

        ...

        public virtual Reference Reference { get; set; }
    }

O problema é que as três entidades ficarão numa tabela chamada `References`, com um campo a mais chamado `Discriminator`. 

Esta é uma limitação do SQL Server (e de bancos de dados relacionais, em geral): não do Entity Framework. Para que haja a devida integridade referencial (com a conferência de chaves), `Endereco` precisa referenciar uma tabela só. Chaves estrangeiras não podem ser destinadas a três tabelas diferentes.