Você não pode fazer isto:

        HasRequired(x => x.Correspondente)
            .WithMany(x => x.Enderecos)
            .HasForeignKey(x => x.ReferenceId);

        HasRequired(x => x.Cliente)
            .WithMany(x => x.Enderecos)
            .HasForeignKey(x => x.ReferenceId);

        HasRequired(x => x.Loja)
            .WithMany(x => x.Enderecos)
            .HasForeignKey(x => x.ReferenceId);

Isso exige que `Endereco` tenha um `Correspondente` **e** uma `Loja` **e** um `Cliente`, o que não é o que você quer.

O correto é você fazer o seguinte:

    public class Endereco
    {
        [Key]
        public Guid EnderecoId { get; set; }
        public int? CorrespondenteId { get; set; }
        public int? LojaId { get; set; }
        public int? ClienteId { get; set; }

        ...

        public virtual Correspondente Correspondente { get; set; }
        public virtual Loja Loja { get; set; }
        public virtual Cliente Cliente { get; set; }
    }

Agora, se a ideia é ter uma só chave estrangeira, você terá que fazer `Correspondente`, `Loja` e `Cliente` herdarem do mesmo ancestral:

    public class Reference
    {
        [Key]
        public Guid ReferenceId { get; set; }

        ...
        public virtual ICollection<Endereco> Enderecos { get; set; }
    }

    public class Cliente: Reference
    {
        ...
    }

    public class Correspondente: Reference
    {
        ...
    }

    public class Loja: Reference
    {
        ...
    }

E:

    public class Endereco
    {
        [Key]
        public Guid EnderecoId { get; set; }
        public Guid ReferenceId { get; set; }

        ...

        public virtual Reference Reference { get; set; }
    }

O problema é que as três entidades ficarão numa tabela chamada `References`, com um campo a mais chamado `Discriminator`. 

Esta é uma limitação do SQL Server (e de bancos de dados relacionais, em geral): não do Entity Framework. Para que haja a devida integridade referencial (com a conferência de chaves), `Endereco` precisa referenciar uma tabela só. Chaves estrangeiras não podem ser destinadas a três tabelas diferentes.


----------
Conforme solicitado por comentário, outra coisa que você pode fazer é derivar `Endereco` em mais três entidades diferentes:

    public class Endereco
    {
        [Key]
        public Guid EnderecoId { get; set; }

        ...
    }

    public class EnderecoCorrespondente : Endereco
    {
        public int? CorrespondenteId { get; set; }

        ...
        public virtual Correspondente Correspondente { get; set; }
    }

    public class EnderecoLoja : Endereco
    {
        public int? LojaId { get; set; }

        ...
        public virtual Loja Loja { get; set; }
    }

    public class EnderecoCliente : Endereco
    {
        public int? ClienteId { get; set; }

        ...
        public virtual Cliente Cliente { get; set; }
    }

E a relação inversa:

    public class Cliente
    {
        ...
        public virtual ICollection<EnderecoCliente> EnderecosCliente { get; set; }
    }

    public class Correspondente
    {
        ...
        public virtual ICollection<EnderecoCorrespondente> EnderecosCorrespondente { get; set; }
    }

    public class Loja
    {
        ...
        public virtual ICollection<EnderecoLoja> EnderecosLoja { get; set; }
    }

Isso torna a tabela de endereços unificada. Dois pontos aqui:

 1. `Endereco` não pode ser `abstract` e precisa ter o próprio `DbSet`:

        public DbSet<Endereco> Enderecos { get; set; }

 2. Mesmo com isso, endereços não têm como ser reaproveitados. Para reaprovietá-los, seria necessário algum esquema associativo.