Como é uma sub pasta do seu diretorio raiz, não a necessidade de sair, mas eu em particular prefiro sempre usar o comando com um path absoluto para maior segurança.
del C:\comando\batch\diretorio\teste\*.txt /s
del C:\comando\batch\diretorio\teste\*.mp4 /s
O '/s' é pra inibir o pedido de confirmaçãoapaga recursivamente.
ex.: dentro da pasta tiver outra pasta(teste/videos)com arquivos mp4, eles tambem seram apagados.
Dai você pode continuar com suas rotinas!