### No caso, como eu faria para mapear corretamente o campo `IList<long> Tempos` , já que não é um campo simples, é uma lista de long, ou teria que criar uma class (`Tempo`, por exemplo) e tratar como uma relacionamento 1 x N?

Exatamente. 

Qualquer lista ou estrutura de dados que sugira cardinalidade N precisa ser declarada como outra entidade, relacionada com a entidade em questão.

### E como eu trataria essa cardinalidade? Qual a anotação eu utilizaria?

Mais ou menos assim:

<!-- language-all: c# -->

    public class Entidade
    {
        [Key]
        public int EntidadeId { get; set; }

        public virtual ICollection<Tempo> Tempos { get; set; }
    }