Se eu fosse você, abriria mão do `@OrderBy`, pois ele seria aplicado nos pedidos para qualquer consulta da entidade Cliente. Eu recomendo usar JPQL para fazer esta consulta:

    public Cliente clientePorEmail(String email) {
        Query query = manager.createQuery("SELECT cliente FROM Cliente cliente
            JOIN cliente.pedidos pedido 
            WHERE cliente.email = :email ORDER BY pedido.id");
        query.setParameter("email", email);
        return (Cliente) query.getSingleResult();
    }

Se realmente deseja usar a anotação, você pode usar ele da seguinte forma se o objetivo é ordernar pelo ID de pedidos:

    @OrderBy("id ASC")
    List <Pedido> pedidos;