O código apresentado embora bastante próximo de responder correctamente, tem 3 problemas:

-  `j < sizeof(exp)` ou seja `j < 3000000` vai levar a que `*p` esteja a aceder
a valores potencialmente não inicializados e até fora da área ==> possiveis segmentation faults. Sugeria: `j < strlen(exp[i])`

- dentro do segundo `for` falta reinicializar `vector[]` a zeros. 
- o algoritmo embora quase perfeito, vai deixar passar entradas como `([)]`

(mas a minha outra resposta é mais interessante que esta ☺)