1

Preciso usar o Python para fazer diversos comandos em um sistema, e ao mesmo tempo ir salvando em um dataframe tudo o que está sendo feito. Serão centenas de comandos por minuto, durante várias horas, diariamente.

Nessa situação, como fariam para lidar com o risco de problemas durante a execução que encerrem a aplicação abruptamente? (por exemplo: queda na energia, travamento do computador, bugs diversos, etc.)

Favor, corrijam-me se eu estiver errado, mas creio que quando adiciono dados em um dataframe da biblioteca Pandas, por maior que seja o dataframe, ele ainda é apenas uma variável durante a execução, e se houver um problema a variável é totalmente perdida, junto com seus dados? Ou ela é armazenada em um outro local?

Eu pensei em salvar em excel... mas nessa situação, com esse volume de dados e velocidade de processamento, adicionar cada comando executado imediatamente em um arquivo do Excel, e salva-lo a cada nova informação adicionada, seria viável?

Ou salvar em banco de dados SQL Server seria mais adequado? Penso que esse volume de dados iria sobrecarregar a rede diariamente, e pode haver alternativas melhor.

E ai, alguém conhece uma alternativa melhor?

2
  • O que seriam esses comandos à serem salvos? Uma string que foi digitada em um cmd? Commented 2/07/2019 às 12:11
  • Leandro, exatamente. Strings de um sistema parecido com cmd, tanto as capturadas quanto as enviadas seriam salvas.
    – GDVP
    Commented 2/07/2019 às 20:56

1 Resposta 1

1

Sim - você está correto - o dataframe é apenas um objeto na memória - e se o programa parar por qualquer motivo, todos os dados são perdidos. Mais ainda, o tamanho do dataframe é limitado ao tamanho da memória - apesar de computadores hoje terem tipicamente vários GB de memória e isso poder acomodar um banco de dados de bom tamanho, dependendo da quantidade de dados que você precisa salvar em cada transação, isso pode se esgotar.

Esse é um caso típico em que um banco de dados é uma boa solução - você não precisa nem se preocupar em configurar um banco, ou ter uma máquina específica pra isso - o próprio SQLite, que vem embutido no Python pode ser usado muito bem numa situação dessas - sem precisar configurar nada.

E aí, você pode garantir que cada transação é salva no DB de forma independente -se acontecer algo, ao reiniciar a aplicação, todos os dados estarão lá.

Se precisar ler os dados para um dataframe para operar sobre eles (desde que caibam na memória), isso é algo relativamente fácil também.

Se quiser ter uma aplicação independente, que te permita análisar os dados já salvos enquanto que outra aplicação vai gravando os "comandos" no banco de dados, aí pode ser melhor usar um MySQL ou um POstgresql - uma das limitações do SQLite é justamente só ter um programa usando o DB de cada vez.

Como você não colocou um exemplo dos dados que quer salvar e que análises quer fazer depois, não tenho como dar exemplo - mas simplesmente, no ponto do seu código em que você criaria uma nova linha no dataframe, você faz um comando de db.execute("""INSERT INTO nome_da_tabela VALUES (?, ?, ?, ?)""", (dado1, dado2, dado3, dado4) - e pronto, os valores ficam persistidos (só é necessario darum comando pra criar a tabela com a estrutura adequada antes, claro).

Bancos SQLite ainda tem a vantagem de ficarem contidos num único arquivo - então, se quiser copiar o banco para outra máquina para análise é só mandar esse arquivo.

Só leia algum tutorial/vídeo sobre uso do SQLite em Python antes de começar - o que você quer é na verdade, bem simples.

2
  • Muito obrigado pelas explicações e sugestões, Lá onde vou usar, eles usam o Microsoft SQL Server nos bancos de dados, é possível fazer isso nele também? Posso salvar este banco de dados SQL no próprio computador, não precisando necessariamente ser um banco de dados que esteja em um servidor? (assim diminuo problemas com a queda na conexão e lentidão da rede) Me desculpa a pergunta leiga, mas se for salvar no computador, seria mais viável/rápido em formato do banco de dados ou em formato de .xls (excel) ou .csv ?
    – GDVP
    Commented 2/07/2019 às 20:43
  • 1
    è possivel usar o SQL Server da microsoft - e é possível salvar no próprio computador -nesse caso, use o sqlite como sugerido. O fomrato excel é muito impróprio para isso, já que vai exigir que o arquivo todo seja recriado a cada nova linha de dados. CSV poderia servir, mas não tem vantagem alguma em relação a um banco, mesmo em relação ao SQLite.
    – jsbueno
    Commented 2/07/2019 às 22:22

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .