Isso se chama bootstrapping.
Compiladores
Linguagens são apenas especificações. Ainda que relacionadas, linguagens e compiladores são coisas diferentes.
Compiladores e bibliotecas formam o que a especificação manda. É óbvio que a primeira implementação da linguagem precisa ser escrita em outra linguagem. Depois é possível usar a própria linguagem para criar uma nova implementação escrita nela mesmo.
Compiladores são algoritmos relativamente básicos, cheio de complexidades específicas, claro. Entra dados de texto, processa, e aí está a complexidade, e gera um dado, possivelmente binário que uma máquina virtual ou física sabe como executar. É só um algoritmo de transformação seguindo regras específicas. Então eles geram um programa que pode ser executado e isso pode ser um compilador, uma máquina virtual, um sistema operacional, qualquer coisa.
Eu até entendo a curiosidade, mas acho estranho que pareça algo muito difícil de alcançar. Acho que o único "segredo" é saber que o primeiro compilador deve ser feito em outra linguagem.
Na verdade algumas linguagens são feitas incrementalmente. Faz-se um compilador que trate o mínimo, e vai adicionando funcionalidade depois. Assim você quase tem um compilador inicial na própria linguagem. Claro que as primeiras interações desse desenvolvimento a linguagem será um pouco diferente do desejado no final, e um pouco limitada.
Linguagens de programação podem produzir qualquer coisa, então não tem segredo algum uma linguagem produzir um compilador para si próprio, desde que exista uma primeira implementação.
Claro que algumas linguagens não são as mais adequadas para produzir compiladores.
As melhores implementações de Java são realmente escritas em C++. Java, hoje, não parece muito adequada para produzir compiladores. Já foi pior. Java é compilada e não interpretada em sua base. É possível ter um interpretador.
Interpretadores
Um interpretador nada mais é que um compilador que no final em vez de gerar um executável, ele já executa o que foi analisado. Um interpretador é um programa executável como outro qualquer. Mas neste caso o compilador gera um bytecode e este é que será "interpretado" pela máquina virtual.
Claro que no caso do interpretador executar a si próprio ele precisa ser reentrante, o que não é simples.
O que eu posso garantir é que tem um trecho de código em outra linguagem, um trecho que justamente faz o bootstrap da máquina virtual. Lendo o artigo na Wikipedia, fala disto:
A small C loader is responsible for loading the boot image at runtime
O compilador, do interpretador, é separado da máquina virtual, mesmo que esteja no mesmo executável. A máquina virtual não interpreta Java, ele interpreta um bytecode, e pelo que entendi esse Jikes nem usa o bytecode padrão.
Obviamente eu não tenho detalhes desse projeto e não posso afirmar sobre cada especificidade de como ele funciona.
Mais informações
Compiladores C e C++ são escritos em C++ há bastante tempo. Alguns ainda possuem uma boa parte escrita em C. Alguém pode fazer em Assembly (Assembler não é o nome correto), mas há anos que ninguém seriamente faz isso.
C# hoje tem seu compilador escrito em C# e funciona melhor do que o original escrito em C++. O runtime é escrito basicamente em C++, mas há experimentos em C# com resultados melhorando, mas aquém do desejado.
Já falei sobre isso em A primeira linguagem de programação.
Coloquei no GitHub para referência futura.