0

Olá,

Estou realizando o tratamento de alguns dados e preciso que o meu algoritmo realize a comparação entre duas linhas e remova a que for pior, segundo algumas condições.

Cada vez que o algoritmo realizar a remoção, deve recalcular o dataframe, pois uma das condições depende da relação da linha de baixo com a de cima.

O meu dataframe possui o seguinte formato

df = n° de fios 1     diametro 1     n° de fios 2     diametro 2     seção total   relação
           n11             d11             n21             d21           st1       st2/st1
           n12             d12             n22             d22           st2       st3/st2

Isso continua por várias linhas.

O que meu algoritmo faz é:

  • Lê o dataframe de um excel, que possui as 5 primeiras colunas
  • Calcula a ultima coluna
  • Adiciona outra coluna com um rank baseado na primeira coluna (vinda de um dict)
  • Percorre as linhas, através de um laço for n in range(0, len(df)-1)
  • Se a relação for menor de 1.03, deve remover uma das duas linhas
  • Há um set de condições que deve ser cumprido para que a linha n+1 seja removida, caso contrário remove a linha n (as condições incluem o rank).
  • Quando uma linha for removida, reseta o index, remove a coluna rank, adiciona o dataframe à um excel e aplica o loop no novo excel.

O meu código é o seguinte:

class Rank_and_drop(object):
    def __init__(self): # define os dicts
    #exemplo
    self.dict_mc_112_2p_cu = {'0.71': 0, '0.75': 1, '0.67': 2, '0.8': 3, '0.85': 4, '0.63': 5, '0.45': 6, '0.475': 7, '0.5': 8, '0.53': 9, '0.56': 10, '0.6': 11}
def recalc_df(self, file, sheet):
    # lê a tabela
    df_final = pd.read_excel(file, sheet_name=sheet)
    # converte os numeros para strings para poder usar o self.dict
    df_final = df_final.astype(str)

    df_final = df_final.drop(columns=['rsc'])
    df_final = df_final.sort_values(by='sc')
    df_final = df_final.reset_index(drop=True)

    aux = df_final.loc[:, 'sc']
    aux = aux.reset_index(drop=True)

    aux2 = aux.drop(0)
    aux2 = aux2.reset_index(drop=True)
    aux2 = aux2.append(aux2.tail(1), ignore_index=True)

    for x in range(len(aux)):
        aux[x] = (round(float(aux2[x])/float(aux[x]), 3))

    aux = aux.rename('rsc')

    df_final['rsc'] = aux

    df_final = df_final.astype(str)

    df_final['rnk'] = df_final['d1'].map(dict_)

    return df_final

def loop(self, file, sheet):
    df = self.recalc_df(file, sheet)

    for n in range(0,len(df)-1):
        c_0 = float(df.at[n, 'rsc']) <= 1.03

        c_1 = (df.at[n, 'n2'] == '0') and (df.at[n+1, 'n2'] == '0')
        c_1_1 = df.at[n+1, 'rnk'] >= df.loc[n, 'rnk']
        c_1_2 = float(df.at[n, 'n1']) < float(df.at[n+1, 'n1'])
        c_2 = (df.at[n, 'n2'] == '0') and (df.at[n+1, 'n2'] != '0')
        c_4 = (df.at[n, 'n2'] != '0') and (df.at[n+1, 'n2'] != '0')
        c_4_1 = df.at[n+1, 'rnk'] == df.at[n, 'rnk']
        c_4_1_1 = float(df.at[n+1, 'd2']) < float(df.at[n, 'd2'])
        c_4_2 = df.at[n+1, 'rnk'] > df.at[n, 'rnk']

        if c_0:
            if (((c_1) and ((c_1_1) or (c_1_2))) or (c_2) or ((c_4) and ((((c_4_1) and (c_4_1_1)) or (c_4_2))))):
                df = df.drop(n+1)

            else:
                df = df.drop(n)


            df = df.reset_index(drop=True)
            df = df.drop(columns=['rnk'])
            df.to_excel('{0}.xlsx'.format(sheet), index=False, sheet_name=sheet)
            self.loop('{0}.xlsx'.format(sheet), sheet)

        else:
            pass

        n = n+1

    df.to_excel('{0}.xlsx'.format(sheet), index=False, sheet_name=sheet)
    return df 

Agora, o problema é que meu loop não funciona da forma que eu espero... Ele inicia corretamente, e até certo ponto até faz o esperado, porém, a partir de certo ponto, o algoritmo parece que dá uma bugada, e remove várias linhas que não deveria, e no final retorna um KeyError.

Alguma ideia do que posso fazer para realizar essa tarefa, de forma mais otimizada e sem esses erros?

Edit: Tenho vários dataframes que quero fazer isto, de tamanhos variados, no menor deles (35 linhas), o código realiza corretamente a função, porém, retorna o KeyError. Num outro dataframe, de 690 linhas, o problema de remover várias linhas ocorre.

3
  • Oi @Lucas, sugiro que vc "desmonte" um pouco esse loop em funções um pouco menores, para ficar mais fácil de debugar, geralmente quando trabalho com pandas evito realizar loops, e quando não tem jeito, dou preferencia para os iteradores nativos da classe iterrows ou itertuples Commented 3/06/2019 às 20:29
  • Não entendi bem a sua ideia, o loop é simples, porém tem várias condições, eu tentei utilizar um while e resolveu meu problema em partes... Porém o keyerror ainda ocorre, não sei mais o que fazer...
    – Lucas
    Commented 4/06/2019 às 12:19
  • Acho que entendi corretamente sua dúvida e publiquei uma resposta. No entanto, na próxima vez busque fornecer um exemplo mínimo, completo e verificável, que facilita o entendimento de usuários que pretendem ajudar, ou que tem a mesma dúvida que você :)
    – danielbb
    Commented 13/06/2019 às 15:50

1 Resposta 1

1

Reproduzindo o defeito

Observe o código a seguir

import pandas as pd

df = pd.DataFrame(
    [   
        [6, 5, 7, 3],
        [1, 7, 8, 9],
        [7, 8, 3, 10],
    ],
    columns=list('ABCD'))

# Condição de remoção: uma linha deve ser removida se seu valor na coluna "A" é maior que 5
condição = lambda dados, n: dados.loc[n, "A"] > 5

for n in range(0,len(df)-1):
    print("*"*30)
    print("Antes:\n%s"%df)
    if condição(df, n):
        print("Condição verdadeira na linha %s:\n%s\n" % (n, df.loc[[n]]))
        df = df.drop(n+1)
    else:
        print("Condição falsa na linha %s:\n%s\n" % (n, df.loc[[n]]))
        df = df.drop(n)
    print("Depois:\n%s\n\n"%df)

Executar esse código, gera a seguinte saída:

Antes:
   A  B  C   D
0  6  5  7   3
1  1  7  8   9
2  7  8  3  10
Condição verdadeira na linha 0:
   A  B  C  D
0  6  5  7  3

Depois:
   A  B  C   D
0  6  5  7   3
2  7  8  3  10


******************************
Antes:
   A  B  C   D
0  6  5  7   3
2  7  8  3  10
Traceback (most recent call last):
  File "/usr/lib/python3.6/site-packages/pandas/core/indexing.py", line 1790, in _validate_key
    error()
  File "/usr/lib/python3.6/site-packages/pandas/core/indexing.py", line 1785, in error
    axis=self.obj._get_axis_name(axis)))
KeyError: 'the label [1] is not in the [index]'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "outro.py", line 18, in <module>
    if condição(df, n):
  File "outro.py", line 13, in <lambda>
    condição = lambda dados, n: dados.loc[n, "A"] > 5
  File "/usr/lib/python3.6/site-packages/pandas/core/indexing.py", line 1472, in __getitem__
    return self._getitem_tuple(key)
  File "/usr/lib/python3.6/site-packages/pandas/core/indexing.py", line 870, in _getitem_tuple
    return self._getitem_lowerdim(tup)
  File "/usr/lib/python3.6/site-packages/pandas/core/indexing.py", line 998, in _getitem_lowerdim
    section = self._getitem_axis(key, axis=i)
  File "/usr/lib/python3.6/site-packages/pandas/core/indexing.py", line 1911, in _getitem_axis
    self._validate_key(key, axis)
  File "/usr/lib/python3.6/site-packages/pandas/core/indexing.py", line 1798, in _validate_key
    error()
  File "/usr/lib/python3.6/site-packages/pandas/core/indexing.py", line 1785, in error
    axis=self.obj._get_axis_name(axis)))
KeyError: 'the label [1] is not in the [index]'

Como pode ser observado, a primeira execução do loop apaga a a linha 1. No segundo passo, tenta-se acessar a mesma linha 1 que foi removida, e daí ocorre o KeyError.

Você talvez tenha elaborado o algoritmo esperando que o dataframe um comportamento similar à de listas. Assim sendo, você poderia adicionar um

df = df.reset_index(drop=True)

logo após a remoção da linha para reordenar os índices, mas isso ainda não resolveria o problema. Note que, seu laço acessa obrigatoriamente n-1 posições do dataframe, e portanto se durante a execução do laço, o código remover 2 linhas do dataframe, quando chegar no momento de acessar a posição n-1 no dataframe de n-2 linhas, um outro KeyError ocorreria.

Soluções

  • Reconsiderando condições de remoção de linhas - Antes de mais nada, deve-se avaliar se o objetivo do programa está correto. Em muitos conjuntos de dados, as linhas são independentes entre si, e portanto é incomum ser necessário remover uma linha a partir da avaliação de outras linhas.
  • Modificando o programa para funcionar corretamente - Como vimos, modificar um Dataframe (ou listas) enquanto tentamos iterar por seus índices é problemático. Uma alternativa seria construir a lista de índices a serem removidos, para em seguida removê-los com um df.drop só.

No exemplo acima, bastaria substituir o laço for por:

índicesParaSeremRemovidos = [n for n in range(len(df)) if condição(df,n)] + [n+1 for n in range(len(df)) if not condição(df,n) and n<3]
df.drop(índicesParaSeremRemovidos, inplace=True)
print(df)

resultando em

   A  B  C  D
1  1  7  8  9

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .