O que é uma linguagem de programação, afinal?
Para entender todo esse assunto, é preciso entender o conceito de linguagem de programação. Seja BASIC, FORTRAN, Java, Ruby, C# ou Crystal, uma linguagem de programação é uma notação para expressar um algorítimo.
É como uma língua falada, cada uma tem suas especificidades, porém todas dividem uma característica: comunicação. Pode-se mudar a gramática, o alfabeto, a origem, a ferramenta usada para falar (como por exemplo a voz ou as próprias mãos), mas mantem-se a comunicação como objetivo.
Veja que uma linguagem de programação é somente a notação, e não a execução. E é por isso que não existem linguagens compiladas e linguagens interpretadas. O que existe são implementações de linguagens de forma compilada e outras interpretadas.
Tá, mas o que é a implementação da linguagem?
Toda essa confusão é porque toda linguagem de programação vem com uma implementação (ou pelo menos deveria, para ser útil). Quando falamos: "eu rodo Ruby em minha máquina", na verdade, provavelmente, queremos dizer: "eu escrevo código Ruby, porém rodo CRuby em minha máquina".
A implementação padrão do Ruby é o CRuby/MRI, que é um interpretador. Essa implementação padrão é chamada de reference implementation. A mesma coisa acontence em Python, que na verdade, tem sua reference implementation chamada CPython (não confunda com Cython).
Isso fica um pouco mais claro de se ver no mundo Java. O nome de uma das versões da linguagem é Java SE 12, e sua reference implementation é o OpenJDK 12. Existem outras implementações da linguagem Java SE 12, como o GNU Compiler for Java.
E mais claro ainda no JavaScript. Aliás, o que é JavaScript? Não passa de um monte de documentos de texto que definem sua especificação. A partir dessa especificação, são escritas engines como o V8 do Chrome e o SpiderMonkey do Firefox.
Como o @LINQ mencionou nos comentários, toda linguagem é implementada em outra linguagem. Gostaria de adicionar que toda linguagem é implementada em um (outro) sistema de execução. Seja um compilador ou interpretador. Seja GCC ou a JVM.
E qual é a vantagem dessas implementações alternativas?
Aí varia de reference implementation pra reference implementation. O CRuby e o CPython, por exemplo, não têm suporte a concorrência de verdade. Eles tem suporte a código multi-thread, mas essas threads não rodam ao mesmo tempo, por conta do GIL (Global Interpreter Lock). Ao implementar essas linguagens na JVM, como Jython e JRuby, você pode obter concorrência de verdade, mantendo a notação da linguagem.
Se você precisa, por algum motivo, interoperar código Python e Java, talvez valha a pena utilizar uma implementação de Python na JVM, já que executaria código Java de forma nativa.
Também dá pra fazer umas coisas que ainda me quebram a cabeça só de pensar:

E pra quebrar mais ainda a cabeça, rodei esse script escrito em Ruby, rodando em JRuby, compilado ou interpretado na JVM, no Ubuntu com o kernel do Windows (WSL).
E como tudo isso funciona?
É uma baita reescrita. No caso do JRuby, todo o código que antes era C, foi portado para Java. O CRuby também tem código Ruby, e no caso, esse código pode ser preservado, já que vai agora chamar dependências Java. É por isso que gems escritas e testadas em CRuby tem grandes chances de serem 100% compatíveis com JRuby.
E como disse, é reescrita (ou melhor, reimplementação). Aqui está o método String#upcase!
em JRuby:
private IRubyObject upcase_bang(ThreadContext context, int flags) {
modifyAndKeepCodeRange();
Encoding enc = checkDummyEncoding();
if (((flags & Config.CASE_ASCII_ONLY) != 0 && (enc.isUTF8() || enc.maxLength() == 1)) ||
(flags & Config.CASE_FOLD_TURKISH_AZERI) == 0 && getCodeRange() == CR_7BIT) {
int s = value.getBegin();
int end = s + value.getRealSize();
byte[]bytes = value.getUnsafeBytes();
while (s < end) {
int c = bytes[s] & 0xff;
if (Encoding.isAscii(c) && 'a' <= c && c <= 'z') {
bytes[s] = (byte)('A' + (c - 'a'));
flags |= Config.CASE_MODIFIED;
}
s++;
}
} else {
flags = caseMap(context.runtime, flags, enc);
if ((flags & Config.CASE_MODIFIED) != 0) clearCodeRange();
}
return ((flags & Config.CASE_MODIFIED) != 0) ? this : context.nil;
}
E já no CRuby:
rb_str_upcase_bang(int argc, VALUE *argv, VALUE str)
{
rb_encoding *enc;
OnigCaseFoldType flags = ONIGENC_CASE_UPCASE;
flags = check_case_options(argc, argv, flags);
str_modify_keep_cr(str);
enc = STR_ENC_GET(str);
rb_str_check_dummy_enc(enc);
if (((flags&ONIGENC_CASE_ASCII_ONLY) && (enc==rb_utf8_encoding() || rb_enc_mbmaxlen(enc)==1))
|| (!(flags&ONIGENC_CASE_FOLD_TURKISH_AZERI) && ENC_CODERANGE(str)==ENC_CODERANGE_7BIT)) {
char *s = RSTRING_PTR(str), *send = RSTRING_END(str);
while (s < send) {
unsigned int c = *(unsigned char*)s;
if (rb_enc_isascii(c, enc) && 'a' <= c && c <= 'z') {
*s = 'A' + (c - 'a');
flags |= ONIGENC_CASE_MODIFIED;
}
s++;
}
}
else if (flags&ONIGENC_CASE_ASCII_ONLY)
rb_str_ascii_casemap(str, &flags, enc);
else
str_shared_replace(str, rb_str_casemap(str, &flags, enc));
if (ONIGENC_CASE_MODIFIED&flags) return str;
return Qnil;
}