Antes de tudo, o algoritmo de Viola-Jones foi explicado nesta outra resposta. Aliás, essa resposta trata especialmente da diferença entre detecção e classificação (o segundo termo tem relação com os demais conceitos que vc elenca na sua pergunta).
Detecção vs Reconhecimento
Estes termos são comumente confundidos, principalmente quando se trata dos domínios de problema da Visão Computacional envolvendo imagens de faces. Detecção trata de encontrar (localizar, saber se tem ou não, etc) um objeto em uma imagem. No caso desse domínio de problema, estamos falando de encontrar/localizar faces (humanas) em imagens. Reconhecimento trata de saber a quem uma face pertence, ou seja, reconhecer quem é o indivíduo após ter feito a detecção (isto é, localizado a região da face na imagem toda). Os termos são facilmente confundidos porque "reconhecer" poderia ser entendido como "perceber que ali há uma face", mas na literatura ele é utilizado no sentido de identificação.
PCA
PCA (de Principal Component Analysis) é uma técnica estatística que busca encontrar os padrões (de alteração) mais fortes em uma massa de dados.
Em uma analogia bastante simples, o PCA faz para uma massa de dados mais ou menos o que a derivada faz para uma função: fornece uma (ou mais) medida(s) de variação. Imagine a parábola que descreve o movimento de um projétil lançado pra cima. Se esse movimento é descrito por uma função quadrática da velocidade do projétil, isto é, o espaço no tempo (em km por hora, por exemplo), a sua derivada é a aceleração porque ela é a variação da velocidade. Lá no ponto mais alto do traçado a velocidade do projétil é zero, mas a aceleração é a mesma (aceleração da gravidade) pois o projétil desacelera na subida, pára e acelera na descida. Um satélite lançado ao espaço tem aceleração apenas enquanto sai da órbita terrestre, pois depois a aceleração se torna nula e a velocidade constante.
Pois então, a grosso modo o PCA encontra/calcula os vetores (direção e sentido) que denotam os principais eixos de variação dos dados produzidos por uma função com muitas variáveis (duas ou mais). O primeiro componente sempre indicará o eixo com maior variação, o segundo componente o segundo eixo com maior variação, e assim por diante (até no máximo a quantidade de variáveis).
A figura a seguir, retirada do artigo da Wikipedia sobre o método, ilustra exatamente isso. Nesse exemplo, os dados são caracterizados por duas variáveis (ou features) e por isso são plotados em um gráfico bidimensional. Como é possível perceber, há um padrão observável na distribuição desses pontos, pois muito embora ele não seja realmente linear há um espalhamento diagonal de baixo pra cima e da esquerda para a direita. Esse é o principal eixo. O segundo eixo é o espalhamento na diagonal oposta (de baixo pra cima, mas da direita para a esquerda), muito menor conforme se percebe pela magnitude do vetor desse componente PCA.
E pra que isso serve? Bom, pra começar esses dois vetores representam muito bem (e com dois únicos "valores" - lembre-se que cada vetor tem três propriedades: direção, sentido e magnitude, ou módulo) como os dados se comportam. Por isso, eles poderiam por si só ser usados para representar um conjunto de dados e compará-lo a outro conjunto de dados diferente. Mas, no caso do reconhecimento de faces, o PCA é usado com o intuito mais comum dessa técnica: reduzir as dimensões do problema.
No exemplo anterior da Wikipedia, o problema tinha duas dimensões (dois eixos para os dados). Processar esses pontos não é tão custoso porque o número de dimensões é baixo. Mas ainda assim, usando PCA poderia-se jogar fora o segundo componente e utilizar apenas o primeiro para projetar os pontos originais nesse novo "eixo", reduzindo as dimensões do problema de 2 para apenas 1. Sim, nesse exemplo ilustrativo isso poderia ser desnecessário, mas imagine em um problema com centenas ou milhares de dimensões. O processamento de imagens é um problema complexo porque mesmo uma pequena imagem de 10x10 tem 100 pixels, cada um deles com 3 valores em uma imagem colorida (RGB)! Utilizando-se PCA é possível reduzir as dimensões do problema de forma considerável apenas mantendo-se os componentes mais relevantes para representar uma face.
O algoritmo Eigenface faz justamente isso: aplica PCA em um conjunto de imagens de treinamento e as reduz às suas principais variações de cor para cada indivíduo, para então identificar/classificar uma nova imagem com base em comparação de distância (euclidiana mesmo) nesse "espaço de eigenfaces" (o "ponto" mais próximo nesse espaço é a face/indivíduo desejado). A figura a seguir ilustra algumas Eigenfaces da página da Wikipidia do link anterior.
LDA
O PCA apenas encontra os principais eixos de variação de uma massa de dados em qualquer dimensão. Ele não discrimina se esses dados pertencem a uma mesma classe ou não, logo esse método é muito útil para redução de dimensão do problema mas não para a classificação (leia mais sobre classificação nesta outra pergunta).
O LDA (de Linear Discriminant Analysis) faz uma abordagem diferente que considera a existência de classes para os dados. Ele projeta a distribuição de probabilidade dos dados nos eixos, conforme ilustra a figura a seguir (reproduzida deste artigo), e por isso não somente mantém como destaca uma separação linear dos dados se ela existir.
Nesse sentido, esse método pode ser utilizado diretamente para produzir um classificador (um sistema treinado a partir de dados de exemplo que é capaz de predizer a qual classe - no caso de faces, a qual indivíduo - um novo dado de entrada pertence). É muito comum, aliás, utilizar PCA para fazer uma redução de dimensão do problema (e torná-lo mais fácil de processar computacionalmente) e então utilizar LDA para classificar os dados.
Conclusão
Eu realmente não sou especialista nesses métodos (usei PCA no doutorado algumas vezes, mas nunca usei LDA), então a minha resposta pode conter algum pequeno erro. Eu também tentei tornar palatável o assunto com base no que eu conheço dele, mas lembre-se que eu fiz simplificações para isso (e quando for estudar pra valer, leia direitinho a respeito de conceitos como autovetores/eigenvectors, matrizes de covariância), e distribuição de probabilidade.
Tem muito material bacana que vc pode utilizar para aprender tudo isso muito bem. Sobre PCA eu sugiro esse tutorial bastante visual, e também esse tutorial no próprio site do OpenCV (que é focado no uso de PCA em imagens de forma geral, não necessariamente em faces - observe como é possível calcular a orientação principal dos objetos na imagem). Sobre LDA eu sugiro esse vídeo bacana (além do artigo já referenciado na imagem anteriormente).
Como você vai perceber eu não falei sobre ICA, e o motivo é que eu realmente não conheço absolutamente nada desse método. Eu suponho que seja alguma alternativa ou complemento aos outros dois, mas posso estar enganado. Talvez alguém complemente com uma nova resposta.
E na sua pergunta final ("Em uma imagem, eu preciso executar o algoritmo de Viola Jones e depois as análises de componentes ou é ao contrário?"), você precisa sim primeiro executar o algoritmo de Viola-Jones e depois PCA e/ou LDA. A ideia é que primeiramente você detecte (encontre) a região com a face, recorte (crop) a imagem para utilizar somente essa área e então aplique os demais algoritmos. Dessa forma vc economiza processamento e facilita os demais algoritmos (a imagem usada é menor e só tem o que realmente importa).