SELECT AVG( valor ) , HOUR( `timestamp` )
    FROM tabela
    WHERE DATE_SUB(  `timestamp` , INTERVAL 1 HOUR )
    GROUP BY HOUR( `timestamp` )

Resultado

[![inserir a descrição da imagem aqui][1]][1]


  [1]: https://i.sstatic.net/iJmSq.png