Um vetor não foi feito para se comportar como uma matriz. Claro que existem algumas soluções.
Achei uma solução que parece se aproximar do que você deseja, veja se ajuda.
Existe uma classe para isto mas ela foi considerada obsoleta e até onde eu sei nada foi criado para substituí-la. Tem uma classe mais moderna.
Outra opção óbvia é procurar uma classe que te atenda em outra biblioteca. Pode não ser tão simples integrar com a Qt.
Ainda existe a possibilidade de criar uma classe sua que funcione como matriz. Isto pode trazer algumas vantagens de integração com a Qt dependendo de como você faça.
Achei uma gambiarra nessa resposta no SO:
int index(int x, int y) {
return x + width * y;
}
Assim você simula uma matriz dentro do vetor:
QVector<...> vector(width * height);
vector[index(5, 3)] = ...;