Depende.
Se alocar no stack então não precisa, está é uma memória automática e o compilador gera código próprio que desalocará o que for preciso.
Se a alocação for no heap precisa saber se a classe faz isso por você, se ela fizer, não é necessário fazer algo a mais.
Se você escreveu a classe então precisa analisar se não é o caso de incluir dentro dela o gerenciamento da memória. O destrutor pode indicar que faça a liberação da memória, mas isto não é garantido, precisa ver a documentação. Se ela faz então você não deve liberar a memória manualmente.
Ainda se for no heap pode usar um ponteiro inteligente, aí ele se encarrega de desalocar pra você. É o mais adequado sempre que a classe deixar para o programador cuidar do gerenciamento de memória.
Se nada disso for feito, sim, precisa desalocar a memória sob pena de provocar um vazamento de memória. Não é fácil fazer certo em muitos casos, e mesmo nos triviais é fácil cometer algum deslize.