Você está colocando o resultado do valor de suas operações em num1
.
O que você está fazendo é semelhante a:
int num1 = 0;
int num2 = 5;
num1 += num2;
Agora o valor de num1
é o resultado da operação: 5.
O que você deseja é return num1 + num2
ou em dereferenciação de ponteiros: return *a + *b
. O que retorna a soma dos valores e não adiciona a variável num1
o resultado.
É só retirar o =
das operações.
Note também que apesar da função retornar float você deve converter explicitamente os valores para float em sua divisão.
float div(int *a, int *b)
{
return (float)*a / (float)*b;
}