A pergunta não dá muitos detalhes, mas isto é a assinatura de uma função que será recebida pelo parâmetro da função `dllInsertAfterSpec()`.

Isto é uma função anônima. Ou seja, é um ponteiro para um código em algum lugar. Este ponteiro é armazenado em alguma variável (ou pode passar direto como argumento). Pode passar uma função qualquer, escrita em qualquer linguagem, desde que ela tenha a assinatura de retornar um inteiro e passar como argumento para ela dois ponteiros genéricos. Obviamente que espera-se que o código use estes argumentos em uma comparação e retorne um número que indique como ela resultou. Só vendo a documentação para saber exatamente como escrever esta função. Um exemplo hipotético:

    int FuncaoASerUsada(void *lhs, void *rhs) {
	    unsigned int a = *((unsigned int*)lhs);
	    unsigned int b = *((unsigned int*)rhs);
	    return (b - a);
	}
    dllInsertAfterSpec(l, data, key, FuncaoASerUsada);

Um [exemplo de uso de ponteiros para funções pode ser encontrado nessa pergunta][1]. Tem [mais exemplo nessa outra][2].

[Pergunta útil para entender melhor][3].


  [1]: https://pt.stackoverflow.com/q/88304/101
  [2]: https://pt.stackoverflow.com/q/53108/101
  [3]: https://pt.stackoverflow.com/q/136361/101