Fazer as correções que eu apontei, além de testar em um exemplo mais simples (talvez só com uma variável categórica) - assim fica mais fácil entender o [não-]funcionamento da função, além de conferir o valor resultante.
O primeiro parâmetro do tapply() é repassado para a função homo(). O problema é que tu está especificando um vetor (dados$valor, ao invés de dados), e a função está esperando um data.frame (a primeira linha da tua função tenta ordenar as linhas de a, além de chamar a coluna valor através do a$valor). E acabei de testar aqui, a minha função funciona dentro do tapply dado no enunciado - mas, como disse, o resultado provavelmente não é o que tu esperava, uma vez que não foi dito o que a função homo() devia fazer - o que eu fiz foi arrumar para ela não dar erro.