A pergunta não dá muitos detalhes, mas isto é a assinatura de uma função que será recebida pelo parâmetro da função dllInsertAfterSpec()
.
Isto é uma função anônima. Ou seja, é um ponteiro para um código em algum lugar. Este ponteiro é armazenado em alguma variável (ou pode passar direto como argumento). Pode passar uma função qualquer, escrita em qualquer linguagem, desde que ela tenha a assinatura de retornar um inteiro e passar como argumento para ela dois ponteiros genéricos. Obviamente que espera-se que o código use estes argumentos em uma comparação e retorne um número que indique como ela resultou. Só vendo a documentação para saber exatamente como escrever esta função. Um exemplo hipotético:
int FuncaoASerUsada(void *lhs, void *rhs) {
unsigned int a = *((unsigned int*)lhs);
unsigned int b = *((unsigned int*)rhs);
return (b - a);
}
dllInsertAfterSpec(l, data, key, FuncaoASerUsada);
Coloquei no GitHub para referência futura.
Um exemplo de uso de ponteiros para funções pode ser encontrado nessa pergunta. Tem mais exemplo nessa outra.