Escrevi um artigo que descreve como fazer isto: http://epx.com.br/artigos/arqtrans.php e inclusive um cidadão fez uma implementação em Python baseado no artigo: https://pypi.python.org/pypi/acidfile/1.2.0

A técnica básica é escrever dois arquivos no mínimo, primeiro um, depois o outro, em modo síncrono, conforme foi descrito em outras respostas.

O "tempero" do esquema é adicionar timestamp e um somatório (hash) nos dois arquivos, porque assim você sabe qual é o arquivo mais recente (pelo timestamp), e pode verificar se o arquivo está íntegro (pelo hash).

O sistema de arquivos deve implementar journaling pelo menos dos meta-dados  (geralmente é o caso, journaling dos dados custa performance). Isto garante que pelo menos a pasta e o arquivo sejam legíveis. Se os dados estiverem corrompidos você detecta pelo hash.