Boa parte disso está mais ou menos respondido em Qual a diferença entre uma expressão lambda, um closure e um delegate?.
Grosso modo é um ponteiro para uma função, é uma indireção, assim você pode colocar a função em uma variável e tornar o código flexível ao que executará, pode parametrizar o que será executado fazendo um callback. Mas ele pode ter algo mais, pode ter o mecanismo necessário para enclausurar variáveis, ou servir de multicast. Tem várias maneiras de implementar.
Entenda O que é Design Pattern?. Tudo o que usa é um padrão de projeto. Alguns são receitas de bolo outros são mecanismos prontos, até variável é padrão de projeto. Ele é um design pattern.
É usado onde for preciso, embora nem todas as linguagens possuem um mecanismo pronto, e algumas usam outro nome. Em C#. E em JavaScript. Agora tem em Java, mas quando não tinha era possível fazer também, só que tinha que escrever um código enorme.
É uma técnica básica para criar eventos e onde se usa eventos como base da programação pode ser orientado a evento, mas um delegado não é um evento. Só note que este paradigma é secundário e sozinho ele não serve pra muita coisa, nada real.
Coloquei no GitHub para referência futura.
*
para uma funçãofun()
, ele guarda uma referência para que ela possa ser invocada futuramente.