6

Como obter quantidade de registros baseados em múltiplas colunas de um determinado nome?

Meu dataframe é mais ou menos assim:

import pandas as pd

df = pd.DataFrame([["1111", True, True, False, True, True],
                   ["2222", True, False, True, True, False],
                   ["3333", True, False, True, True, True]],
                  columns=["id", "coluna_qualquer", "x_a", "x_b", "x_c", "x_d"])

Eu quero o número de linhas em que tenha pelo menos três colunas com o valor True, mas considerando apenas as colunas que iniciam com "x_", e não considerar o valor de outras colunas (como a "coluna_qualquer"). Nesse exemplo, as linhas com IDs "1111" e "3333" respeitariam essa condição, ou seja, o retorno que eu quero seria 2.

Como fazer isso usando pandas?

1 Resposta 1

3

resumindo

Alguns passos separados são necessários para isso. O objeto DataFrame é feito de forma que a chamada a um método retorna um novo dataframe modificado, e você já pode concatenar direto a próxima operação. Então, para filtrar todas as linhas em que as colunas "x_*" tenham mais de 3 True e pegar o número total, basta fazer:

In [98]: (df.filter(like='x_').sum(axis=1) >= 3).sum()
Out[98]: 2

Vamos por partes

A primeira coisa é selecionar um subdataframe com as colunas desejadas. Pandas tem o método filter que permite isso - apenas as colunas que contém o texto passado no argumento like são selecionadas:

In [91]: filtered_df = df.filter(like='x_')

In [92]: filtered_df
Out[92]: 
     x_a    x_b   x_c    x_d
0   True  False  True   True
1  False   True  True  False
2  False   True  True   True

(Se o Pandas não tivesse isso, o caminho seria usar Python puro pra selecionar os nomes das colunas desejadas

...
data_columns = [col_name for col_name in df.columns if col_name.startswith("x_")]

E em seguida método loc do dataframe, que aceita os nomes de um "selecionar tudo", deixando o valor ::

filtered_df = df.loc[:, data_columns]

)

Nesse momento você tem só as colunas que te interessam, e podemos fazer a contagem -

     x_a    x_b   x_c    x_d
0   True  False  True   True
1  False   True  True  False
2  False   True  True   True

Aqui, podemos abusar de uma característica do Python - os valores False e True é uma subclasse de números inteiros, e podem participar de uma soma como se fossem 0 e 1 respectivamente. Então, o método sum do próprio dataframe pode dar o valor da soma de cada linha da tabela (só precisamos indicar que queremos a soma das linhas passando axis=1, caso contrário o sum resulta na soma dos valores em cada coluna:

In [93]: count_df = filtered_df.sum(axis=1)

In [94]: count_df
Out[94]: 
0    3
1    2
2    3
dtype: int64

(Se o valor a ser localizado não fosse True, ou o desejado não fosse só contar as ocorrências, em vez do .sum, usariamos o .apply - que permite passar uma função genérica que vai receber cada linha do dataframe (ou cada coluna se axis==0), e gerar um resultado.)

E por fim, para saber quantas dessas linhas tem valor acima de 3 - aplicamos o operador >= 3 o pandas redefine todos os operadores binários - sejam aritméticos ou de comparação, para criarem um novo dataframe, com o resultado da operação em cada célula - ou seja:

In [95]: count_df >= 3
Out[95]: 
0     True
1    False
2     True
dtype: bool

E aí é só repetir o sum, desta vez deixando ele somar os True na coluna:

In [95]: (count_df >= 3).sum()
Out[95]: 2

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .