Preciso usar o Python para fazer diversos comandos em um sistema, e ao mesmo tempo ir salvando em um dataframe tudo o que está sendo feito. Serão centenas de comandos por minuto, durante várias horas, diariamente.
Nessa situação, como fariam para lidar com o risco de problemas durante a execução que encerrem a aplicação abruptamente? (por exemplo: queda na energia, travamento do computador, bugs diversos, etc.)
Favor, corrijam-me se eu estiver errado, mas creio que quando adiciono dados em um dataframe da biblioteca Pandas, por maior que seja o dataframe, ele ainda é apenas uma variável durante a execução, e se houver um problema a variável é totalmente perdida, junto com seus dados? Ou ela é armazenada em um outro local?
Eu pensei em salvar em excel... mas nessa situação, com esse volume de dados e velocidade de processamento, adicionar cada comando executado imediatamente em um arquivo do Excel, e salva-lo a cada nova informação adicionada, seria viável?
Ou salvar em banco de dados SQL Server seria mais adequado? Penso que esse volume de dados iria sobrecarregar a rede diariamente, e pode haver alternativas melhor.
E ai, alguém conhece uma alternativa melhor?