1

Tenho o seguinte código:

__author__ = 'Jones_Santos'
# !/usr/bin/python3
import os
from __init__ import mycursor, connection
import csv
import os
from datetime import datetime, date, timedelta, datetime

# Caminho do arquivo a ser importado
caminho_arquivo = './arquivos/analitico_carga_aedu_FC_17122017.csv'
nome_arquivo = os.path.basename('./arquivos/analitico_carga_aedu_FC_17122017.csv')


# ----------- Insere o nome do arquivo que está sendo importado no banco de dados
def inserir_nome_arquivo():
    data_importacao = datetime.now().date()
    query_inserir_nome_arquivo = ("INSERT IGNORE INTO arquivo "
                                  "(nome_arquivo, data_import) "
                                  "VALUES (%(nome_arquivo)s, %(data_import)s)")
    dados_nome_arquivo = {
        'nome_arquivo': nome_arquivo,
        'data_import': data_importacao,
    }
    mycursor.execute(query_inserir_nome_arquivo, dados_nome_arquivo)
    connection.commit()


query = 'SELECT id_arquivo FROM arquivo WHERE nome_arquivo = %(nome_arquivo)s'
criterios = {
    'nome_arquivo': nome_arquivo,
}
mycursor.execute(query, criterios)
for id_arquivo in mycursor:
    id_arquivos = int(("{}".format(id_arquivo).replace(',', '').replace('(', '').replace(')', '')))


def ler_e_inserir_arquivo_batimento():
    with open(caminho_arquivo, newline='', encoding="latin-1") as arquivo:
        conteudo = csv.reader(arquivo, delimiter=';')
        next(conteudo, None)
        for linha in conteudo:
            vr_parc = linha[8].replace(',', '.')
            menor_vcto = linha[2]
            query_sql_batimento = (
                "INSERT INTO batimento(id_arquivo,operacao,fase,menor_vcto,cpfcgc_pes,parcelado_tit,contrato_tit,"
                "compl_parc,numero_parc,vr_parc,vcto_parc,cod_unidade,pep)" "VALUES (%(id_arquivo)s,%(operacao)s, "
                "%(fase)s,%(menor_vcto)s,%(cpfcgc_pes)s, %(parcelado_tit)s, %(contrato_tit)s,%(compl_parc)s,"
                "%(numero_parc)s,%(vr_parc)s,%(vcto_parc)s,%(cod_unidade)s,%(pep)s) "
            )
            dados_sql_batimento = {
                'id_arquivo': id_arquivos,
                'operacao': linha[0],
                'fase': linha[1],
                'menor_vcto': datetime.strptime(menor_vcto[0:10], "%d/%m/%Y").strftime("%Y-%m-%d"),
                'cpfcgc_pes': linha[3],
                'parcelado_tit': linha[4],
                'contrato_tit': linha[5],
                'compl_parc': linha[6],
                'numero_parc': linha[7],
                'vr_parc': float(vr_parc),
                'vcto_parc': datetime.strptime(linha[9], "%d/%m/%Y").strftime("%Y-%m-%d"),
                'cod_unidade': linha[10],
                'pep': linha[11],
            }
            print(dados_sql_batimento)
            mycursor.execute(query_sql_batimento, dados_sql_batimento)
            connection.commit()


inserir_nome_arquivo()
ler_e_inserir_arquivo_batimento()
connection.close()

Como podem ver, faço a leitura dos arquivos e insiro no meu banco de dados Mysql, mas sempre eu tenho que ficar mudando o nome do arquivo a cada nova importação. Desejo saber como fazer para importar os arquivos assim que sejam salvos na pasta. Exemplo:

arquivo1.csv

se arquivo1.csv já foi importado:

não faça nada

se não: importe o arquivo

Já armazeno os nomes de arquivos que são importados no banco:

# ----------- Insere o nome do arquivo que está sendo importado no banco de dados
def inserir_nome_arquivo():
    data_importacao = datetime.now().date()
    query_inserir_nome_arquivo = ("INSERT IGNORE INTO arquivo "
                                  "(nome_arquivo, data_import) "
                                  "VALUES (%(nome_arquivo)s, %(data_import)s)")
    dados_nome_arquivo = {
        'nome_arquivo': nome_arquivo,
        'data_import': data_importacao,
    }
    mycursor.execute(query_inserir_nome_arquivo, dados_nome_arquivo)
    connection.commit()

Por enquanto estou enroscado nesta parte. Verificar se eu já importei o arquivo, se não importei, realizo a importação.

Duvida: Tem como deixar o python "varrendo" a pasta em busca de um novo arquivo?

5
  • Dê uma olhada aqui stackoverflow.com/questions/373335/… Vai depender do ambiente que você roda mas a idéia é que rode uma tarefa agendada pra que ela verifique, de tempos em tempos, se há arquivos novos a serem importados Commented 28/12/2017 às 12:50
  • Aqui também code.tutsplus.com/tutorials/… Commented 28/12/2017 às 12:52
  • Obrigado, vou ler as referencias Commented 28/12/2017 às 13:02
  • @LeonardoPessoa entrei nas duas publicações que você deixou como referencia e consegui montar uma leitura do nome de todos os arquivos na pasta, mas não consegui fazer o seguinte: Já importei o arquivo? Sim, então não faço nada Já importei o arquivo? Não, então importe este arquivo Commented 2/01/2018 às 11:49
  • Atualize sua resposta com seu código novo Commented 3/01/2018 às 13:28

0

Você deve fazer log-in para responder a esta pergunta.

Pesquise outras perguntas com a tag .