Preciso obter alguns dados de um banco de dados access enorme (dois, na verdade, dependendo da entrada que eu tiver). Eu tenho uma função que chama esse banco por chunks (se eu tentar um fetchall dá problema de memória). Essa função é chamada algumas vezes pela minha função principal, até eu conseguir obter todos os dados que quero. Vou postar os 2 códigos aqui... preciso conseguir agilizar o tempo de execução...dependendo da entrada isso roda em uns 8 minutos! é muito.
def chama_chunk():
global data
i=0
names = [x[0] for x in cursor.description] #pega os nomes das colunas
while True:
rows = cursor.fetchmany(200) #pega 200 linhas
if len(rows) == 0: #parar se n tiver nd
break
else:
if (i == 0): #se for a 1a linha, cria o dataframe com 200 linhas e colunas conforme em names
data = pd.DataFrame(np.array(rows),columns=names)
else:
data_append = [{names[i]:x[i] for i in range(len(names))} for x in rows]
data_append = pd.DataFrame ( data_append, columns = names)
data = pd.concat(objs = [data,data_append], axis = 0)
i = i+1
if i == 200:
break
a função principal é essa (as colunas sendo deletadas não são necessárias)
def faztudo(lista,ponto1,ponto2):
global ativo
global reativo
lista1=lista
chama_chunk()
del data['CampoB']
del data['CampoC']
del data['Dia']
del data ['Unidade']
del data['Ano']
del data['Consumo']
del data['Ponto_maxima']
del data['Demanda_maxima']
del data['Fator_carga']
gc.enable()
ativo=pd.DataFrame(columns=data.columns)
reativo=pd.DataFrame(columns=data.columns)
while (data.Mes == mes).any():
if periodo == "DOM":
#print("entrou dom")
data.query('Mes==@mes',inplace=True)
data.query('Codigo in @lista1',inplace=True)
data.query('Dia_da_semana=="DM"',inplace=True)
ativo=ativo.append(data.query('Grandeza==1'))
reativo=reativo.append(data.query('Grandeza==2'))
elif periodo == "SAB":
#print("entrou sab")
data.query('Mes==@mes',inplace=True)
data.query('Codigo in @lista1',inplace=True)
data.query('Dia_da_semana=="SB"',inplace=True)
ativo=ativo.append(data.query('Grandeza==1'))
reativo=reativo.append(data.query('Grandeza==2'))
else:
#print("entrou resto")
data.query('Mes==@mes',inplace=True)
data.query('Codigo in @lista1',inplace=True)
data.query('Dia_da_semana==@diasuteis',inplace=True)
ativo=ativo.append(data.query('Grandeza==1'))
reativo=reativo.append(data.query('Grandeza==2'))
chama_chunk()
del data['CampoB']
del data['CampoC']
del data['Dia']
del data ['Unidade']
del data['Ano']
del data['Consumo']
del data['Ponto_maxima']
del data['Demanda_maxima']
del data['Fator_carga']
e a minha query é feita pela função inicia:
def inicia (dbpath,mes):
#dbpath="W:\\CuCa-2018-ZFA.mdb"
driver='{Microsoft Access Driver (*.mdb)}'
con = pyodbc.connect("DRIVER={}; DBQ={}".format(driver,dbpath))
query="SELECT * from Curvas_de_carga"
global cursor
cursor = con.cursor()
cursor.execute(query)
alguns outros pedaços de código não foram citados, mas creio que o problema de desempenho está praticamente nessas 3 funções.
Sou iniciante em acessos a banco de dados :/ E a opção de trocar de banco de dados não existe aqui, pois o banco não é meu, estou acessando um arquivo de outra pessoa.