Uma classe abstrata, em C#, é uma classe que define um comportamento básico, mas não auto-suficiente. Por não ser suficiente, você precisa criar uma classe que herde dela para poder usá-la.
Não conheço nenhum exemplo de classe abstrata em C#. De fato, elas são bem raras no framework .NET.
Já uma interface não define comportamento. Uma interface é como se fosse um protocolo. Ela define a quais ações uma classe que a implementa deve responder, mas não diz como.
Exemplos comuns de interface são IEnumerableIEnumerable
(que diz que uma classe deve ser enumerável) e INotifyPropertyChangedINotifyPropertyChanged
(que diz que uma classe deve enviar uma notificação quando suas propriedades são alteradas).
Note que, no C#, é convenção iniciar nomes de interfaces com um I
maiúsculo.