Olá,
Estou realizando o tratamento de alguns dados e preciso que o meu algoritmo realize a comparação entre duas linhas e remova a que for pior, segundo algumas condições.
Cada vez que o algoritmo realizar a remoção, deve recalcular o dataframe, pois uma das condições depende da relação da linha de baixo com a de cima.
O meu dataframe possui o seguinte formato
df = n° de fios 1 diametro 1 n° de fios 2 diametro 2 seção total relação
n11 d11 n21 d21 st1 st2/st1
n12 d12 n22 d22 st2 st3/st2
Isso continua por várias linhas.
O que meu algoritmo faz é:
- Lê o dataframe de um excel, que possui as 5 primeiras colunas
- Calcula a ultima coluna
- Adiciona outra coluna com um rank baseado na primeira coluna (vinda de um dict)
- Percorre as linhas, através de um laço
for n in range(0, len(df)-1)
- Se a relação for menor de 1.03, deve remover uma das duas linhas
- Há um set de condições que deve ser cumprido para que a linha
n+1
seja removida, caso contrário remove a linhan
(as condições incluem orank
). - Quando uma linha for removida, reseta o
index
, remove a colunarank
, adiciona o dataframe à um excel e aplica o loop no novo excel.
O meu código é o seguinte:
class Rank_and_drop(object):
def __init__(self): # define os dicts
#exemplo
self.dict_mc_112_2p_cu = {'0.71': 0, '0.75': 1, '0.67': 2, '0.8': 3, '0.85': 4, '0.63': 5, '0.45': 6, '0.475': 7, '0.5': 8, '0.53': 9, '0.56': 10, '0.6': 11}
def recalc_df(self, file, sheet):
# lê a tabela
df_final = pd.read_excel(file, sheet_name=sheet)
# converte os numeros para strings para poder usar o self.dict
df_final = df_final.astype(str)
df_final = df_final.drop(columns=['rsc'])
df_final = df_final.sort_values(by='sc')
df_final = df_final.reset_index(drop=True)
aux = df_final.loc[:, 'sc']
aux = aux.reset_index(drop=True)
aux2 = aux.drop(0)
aux2 = aux2.reset_index(drop=True)
aux2 = aux2.append(aux2.tail(1), ignore_index=True)
for x in range(len(aux)):
aux[x] = (round(float(aux2[x])/float(aux[x]), 3))
aux = aux.rename('rsc')
df_final['rsc'] = aux
df_final = df_final.astype(str)
df_final['rnk'] = df_final['d1'].map(dict_)
return df_final
def loop(self, file, sheet):
df = self.recalc_df(file, sheet)
for n in range(0,len(df)-1):
c_0 = float(df.at[n, 'rsc']) <= 1.03
c_1 = (df.at[n, 'n2'] == '0') and (df.at[n+1, 'n2'] == '0')
c_1_1 = df.at[n+1, 'rnk'] >= df.loc[n, 'rnk']
c_1_2 = float(df.at[n, 'n1']) < float(df.at[n+1, 'n1'])
c_2 = (df.at[n, 'n2'] == '0') and (df.at[n+1, 'n2'] != '0')
c_4 = (df.at[n, 'n2'] != '0') and (df.at[n+1, 'n2'] != '0')
c_4_1 = df.at[n+1, 'rnk'] == df.at[n, 'rnk']
c_4_1_1 = float(df.at[n+1, 'd2']) < float(df.at[n, 'd2'])
c_4_2 = df.at[n+1, 'rnk'] > df.at[n, 'rnk']
if c_0:
if (((c_1) and ((c_1_1) or (c_1_2))) or (c_2) or ((c_4) and ((((c_4_1) and (c_4_1_1)) or (c_4_2))))):
df = df.drop(n+1)
else:
df = df.drop(n)
df = df.reset_index(drop=True)
df = df.drop(columns=['rnk'])
df.to_excel('{0}.xlsx'.format(sheet), index=False, sheet_name=sheet)
self.loop('{0}.xlsx'.format(sheet), sheet)
else:
pass
n = n+1
df.to_excel('{0}.xlsx'.format(sheet), index=False, sheet_name=sheet)
return df
Agora, o problema é que meu loop não funciona da forma que eu espero...
Ele inicia corretamente, e até certo ponto até faz o esperado, porém, a partir de certo ponto, o algoritmo parece que dá uma bugada, e remove várias linhas que não deveria, e no final retorna um KeyError
.
Alguma ideia do que posso fazer para realizar essa tarefa, de forma mais otimizada e sem esses erros?
Edit:
Tenho vários dataframes que quero fazer isto, de tamanhos variados, no menor deles (35 linhas), o código realiza corretamente a função, porém, retorna o KeyError
. Num outro dataframe, de 690 linhas, o problema de remover várias linhas ocorre.