Não sei se há alguma outra questão implícita, mas se é só isto, não há problema algum com o `yield return`. Ele não deixa de ser um `return`. De uma maneira geral, não há maneira da rotina deixar de passar pelo `finally` implícito. Se quiser saber sobre os raros casos realmente catastróficos onde o `finally` não será executado, veja [nessa resposta][1]. Mas nada relacionado ao `yield return`.

Pelo menos nunca vi nada dizendo que isto fosse possível. Pelo contrário, apesar de não ter lido nada neste sentido, tudo que já vi indica claramente que em condições normais não há meio de burlar o `finally`.

  [1]: http://pt.stackoverflow.com/questions/16065/como-e-quando-usar-o-finally-apos-um-try/16074#16074