O tipo de retorno da função deve ser float. O cast em `media = (float) soma / tam` é desnecessário, pois o valor da operação já é um float. 

    #include <stdio.h>

    float mediaVetor(float vet[], int tam) {
        float media, soma = 0;
        int i;
    
        for(i = 0; i < tam; i++){
            soma += vet[i];
        }
    
        media = soma / tam;
    
        return media;
    }

    int main(){
        float vetor[6] = {3.0, 4.3, 5.6, 2.8, 7.9, 3.4};
        float resultado;

        resultado = mediaVetor(vetor, 6);
        printf("A media dos vetores e de %.2f\n", resultado);
    }