Sei que faz tempo que a pergunta foi feita mas achei que interessante o tópico.
Creio que o erro deve ser por causa do Selenium Web Driver (+ NUnit). Fiz uma implementação simples de um console que tem um método que retorna uma exceção.
Se ocorresse o erro que menciona o meu arquivo de texto deveria ficar assim:
1
1
2
1
2
3
Mas ficou como esperado:
1
2
3
Segue print da minha implementação:
PS: Não consegui comentar na pergunta por não ter reputação no SO.