Isso é uma técnica para executar a função escrita em código de máquina ou outra forma onde não se sabe o nome da função, mas se sabe onde ela está.
Note que code
é uma variável com o código de máquina montado a partir daquele código Assembly nos comentários. Como chamar isso através de C? As chamadas só podem ser através de funções. Então temos que interpretar esse array de bytes como se fosse uma função. C possui uma forma de se referenciar à funções de forma anônima.
Nesse caso terá uma variável chamada ret
que é do tipo "função que retorna um inteiro". Os parenteses finais no nome da variável e o ponteiro (afinal toda função é um ponteiro para um código) é o que indica que no fundo é uma função.
O (int(*)())
é um cast para fazer com que esse array de bytes seja convertido para uma função. Não que seja feita uma conversão mesmo, apenas será interpretado assim pelo compilador. Isso é feito para compatibilizar com o que se espera na variável.
Assim você consegue executar um código arbitrário. Ele poderia vir até de fontes externas, o que pode ser um perigo. Em alguns casos o sistema operacional pode impedir a execução de códigos arbitrários.
Coloquei no GitHub para referência futura.