1

Olá, estou tentando manipular um dataframe pela API pandas, do python 3.x, com alguns dados para serem analisados, e preciso remover as linhas que atendam a certas condições.

A dataframe possui o seguinte formato

           coluna 1     coluna 2     coluna 3     coluna 4
df_final=     x1           a1           y1           b1
              x2           a2           y2           b2
              x3           a3           y3           b3
              x4           a4           y4           b4

O que eu preciso fazer, é eliminar as linhas onde:

  • a é menor que um valor pré determinado (ex:a < 5)
  • b é menor que o mesmo valor pré determinado para a (ex: b < 5)
  • x + y é maior que um valor pré determinado (ex: x + y > 7)

O que eu tentei fazer foi utilizar o .drop no pandas, mas não consegui obter exatamente o que eu queria

    df_final.drop(df_final[(df_final['Coluna 2'] < minimo) &
                              (df_final['Coluna 4'] < minimo) &
                              ((df_final['Coluna 1'] + df_final['Coluna 3']) > valor)])

edit:

Os meus dados são assim:

    In [25]: df
    Out[25]: 
    Nº fio 1  Diâmetro fio 1  Nº fio 2  Diâmetro fio 2  Seção total
0          1            0.60         0            0.00        0.283
1          1            0.63         0            0.00        0.312
2          1            0.67         0            0.00        0.353
3          1            0.71         0            0.00        0.396
4          1            0.75         0            0.00        0.442
5          1            0.80         0            0.00        0.503
6          1            0.85         0            0.00        0.567
7          2            0.60         0            0.00        0.565
8          2            0.63         0            0.00        0.623
9          2            0.67         0            0.00        0.705
10         2            0.71         0            0.00        0.792
11         2            0.75         0            0.00        0.884
12         2            0.80         0            0.00        1.005
13         2            0.85         0            0.00        1.135
14         3            0.71         0            0.00        1.188
15         3            0.75         0            0.00        1.325
16         3            0.80         0            0.00        1.508
17         3            0.85         0            0.00        1.702
18         1            0.67         1            0.60        0.635
19         1            0.67         2            0.60        0.918
20         2            0.67         1            0.60        1.271
21         1            0.71         1            0.63        0.708
22         1            0.71         2            0.63        1.019
23         2            0.71         1            0.63        1.415
24         1            0.75         1            0.67        0.794
25         1            0.75         2            0.67        1.147
26         2            0.75         1            0.67        1.589
27         1            0.80         1            0.71        0.899
28         1            0.80         2            0.71        1.294
29         2            0.80         1            0.71        1.797
30         1            0.85         1            0.75        1.009
31         1            0.85         2            0.75        1.451
32         2            0.85         1            0.75        2.018
33         1            0.85         1            0.80        1.070
34         1            0.85         2            0.80        1.573
35         2            0.85         1            0.80        2.140
36         1            0.63         1            0.60        0.594
37         1            0.63         2            0.60        0.877
38         2            0.63         1            0.60        0.906
39         1            0.67         1            0.63        0.664
40         1            0.67         2            0.63        0.976
41         2            0.67         1            0.63        1.017
42         1            0.71         1            0.67        0.748
43         1            0.71         2            0.67        1.101
44         2            0.71         1            0.67        1.144
45         1            0.75         1            0.71        0.838
46         1            0.75         2            0.71        1.234
47         2            0.75         1            0.71        1.279
48         1            0.80         1            0.75        0.944
49         1            0.80         2            0.75        1.386
50         2            0.80         1            0.75        1.447

É uma combinação, o que não pode ocorrer é ter mais de 2(coluna 1 e 3, desconsiderando os índices) quando for menor que .71

Ou seja, os dados que quero remover são:

       Nº fio 1  Diâmetro fio 1  Nº fio 2  Diâmetro fio 2  Seção total
19         1            0.67         2            0.60        0.918
20         2            0.67         1            0.60        1.271
37         1            0.63         2            0.60        0.877
38         2            0.63         1            0.60        0.906
40         1            0.67         2            0.63        0.976
41         2            0.67         1            0.63        1.017
0

3 Respostas 3

6

Para contribuir com a thread, sugiro uma solução usando uma máscara para selecionar os dados desejados, segue os testes de desempenho:

Usando loc e drop

%%timeit
df_remove = df_final.loc[(df_final['Diametrofio1'] < .71) 
                         | (df_final['Diametrofio2'] < .71) 
                         & ((df_final['Nfio1'] + df_final['Nfio2']) > 2)]

ultimo_df = df_final.drop(df_remove.index)

4.53 ms ± 65 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

Usando mask e loc

%%timeit
mask = (df_final['Diametrofio1'] < .71) | (df_final['Diametrofio2'] < .71) & ((df_final['Nfio1'] + df_final['Nfio2']) > 2)

ultimo_df = df_final.loc[~mask]
#ou df_final= df_final.loc[~mask]

3.63 ms ± 100 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

Alguns milissegundos mais rápido

2
  • É uma boa alternativa mesmo, mas acho que falta uma etapa, a de remover os itens da df original, pelo que entendi no seu código, você obtém a df com o que quero remover mas não a remove ainda.
    – Lucas
    21/05/2019 às 18:56
  • @Lucas Vi agora que minha sugestão tinha um erro, dentro do loc o mask deveria ser negado. O correto é ~mask. Agora a resposta esta correta
    – Terry
    21/05/2019 às 19:56
1

Consegui resolver, meio que mesclei a ideia do Gabriel com uma outra forma de busca: Primeiro crio um dataframe com os dados que não quero:

    df_remove = df_final.loc[((df_final['Diâmetro fio 1'] < minBitolaPref) 
                             | (df_final['Diâmetro fio 2'] < minBitolaPref))
                             & ((df_final['Nº fio 1'] + df_final['Nº fio 2']) > nFmin)]

Depois eu removo do dataframe original os valores baseados nos indices da df_remove, que são mantidos.

df_final = df_final.drop(df_remove.index)

edit:

As duas primeiras condições eram uma OU a outra, e não uma E a outra, então alterei de (cond1 & cond2 & cond3) para (cond1 | cond2) & cond3

0

Escrito dessa forma aí, o código não tá muito legível. O que vc tem que fazer, na realidade, é descobrir os índices que cumprem a sua condição e depois passá-los pro drop. Nesse caso, eu usaria uma list comprehension.

Indices=[x for x in df.index if #as condições que vc quer#]
df.drop(índices)

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .