A resposta do mgibsonbr é excelente e eu não poderia ter feito melhor. Vou apenas colocar algo um pouco diferente:
Claro que aí está alguns pontos que ajudam entender as diferenças entre elas. Não vou entrar em detalhes sobre cada ponto, daria um livro. O assunto é um pouco mais complexo que isso e há algumas imprecisões para simplificar a exposição.
Um dos pontos mais importantes é que linguagens puras em um paradigma costumam ser menos úteis na maioria das aplicações do mundo real e não alcançam grande sucesso. Por razões técnicas ou por cultura, linguagens mais próximas do paradigma imperativo são mais populares.
Na verdade em OOP as únicas linguagens populares são essencialmente imperativas com características de orientação a objetos e implementam vários conceitos de programação funcional. O principal conceito do paradigma que é a herança é frequentemente desencorajado.
Linguagens funcionais que não permitem nenhum tipo de estado ou efeitos colaterais (mesmo que controlados) têm utilidade extremamente prejudicada.
Não se deixe enganar quando tentam vender pureza de paradigma. Isso é ótimo na academia. E nenhum paradigma é panacéia para qualquer coisa.
Ambos paradigmas fornecem abstrações, portanto ineficiências estarão presentes, cada um com sua característica. Para reduzir as ineficiências a pureza (de paradigma) deve ser deixada de lado e quanto mais se aproximam do imperativo, mais próximos estão do processamento concreto.