1

Olá, possuo esse DataFrame com centenas de milhares de linhas, quero filtrar de forma que seleção seja apenas as linhas desejadas, no caso linhas mais atuais, segue um exemplo do que quero:

a coluna DT_REFER representa a data que foi atualizado, a coluna VERSAO a versão do doc atual, DT_FIM_EXERC a data que a linha representa

inserir a descrição da imagem aqui

Eu quero filtrar através da ultima data do DT_REFER junto com a ultima versão do VERSAO, me retornando isto:

inserir a descrição da imagem aqui

Não consigo iniciar a pesquisa, correlacionar as colunas.

Obrigado

2
  • Qual a expressão de filtro que você está usando? A coluna DT_REFER já é do tipo data ou é string? Caso seja string, converta usando pd.to_datetime. Commented 20/10/2020 às 4:57
  • não estavam no formato data, acabei convertendo, obrigado
    – Saulo
    Commented 20/10/2020 às 14:36

2 Respostas 2

0

Você pode utilizar o groupby + max

Tipos de dados no arquivo excel:

df.info()
Data columns (total 7 columns):
 #   Column        Non-Null Count  Dtype         
---  ------        --------------  -----         
 0   DT_REFER      6 non-null      datetime64[ns]
 1   VERSAO        6 non-null      int64         
 2   DENON_CIA     6 non-null      object        
 3   DT_FIM_EXERC  6 non-null      datetime64[ns]
 4   CD_CONTA      6 non-null      object        
 5   DS_CONTA      6 non-null      object        
 6   VL_CONTA      6 non-null      float64   

Caso a sua coluna DT_REFER não esteja como data você pode fazer a conversão(no caso o arquivo que eu usei ja fez essa conversão):

df['DT_REFER'] = pd.to_datetime(df['DT_REFER'], format="%d/%m/%Y")

Data frame:

df
    DT_REFER    VERSAO    DENON_CIA           DT_FIM_EXERC    CD_CONTA    DS_CONTA                                    VL_CONTA
0   2011-12-31    2       BCO BRADESCO S.A    2011-12-31      2.03.05     provisões técnicas de seguros e previdência 99112321.0
1   2012-12-31    2       BCO BRADESCO S.A    2011-12-31      2.03.05     provisões técnicas de seguros e previdência 99112321.0
2   2017-12-31    2       BCO BRADESCO S.A    2017-12-31      2.06        Outros passivos                             97816824.0
3   2018-12-31    3       BCO BRADESCO S.A    2017-12-31      2.06        Outros passivos                             97816824.0
4   2017-12-31    2       BCO BRADESCO S.A    2017-12-31      2.06.01     Outros passivos                             97816824.0
5   2018-12-31    3       BCO BRADESCO S.A    2017-12-31      2.06.01     Outros passivos                             97816824.0

Agrupando e mostrando resultado:

df.groupby('CD_CONTA').max().reset_index()

Saída:

    CD_CONTA    DT_REFER    VERSAO  DENON_CIA           DT_FIM_EXERC    DS_CONTA                                    VL_CONTA
0   2.03.05    2012-12-31      2    BCO BRADESCO S.A    2011-12-31      provisões técnicas de seguros e previdência 99112321.0
1   2.06       2018-12-31      3    BCO BRADESCO S.A    2017-12-31      Outros passivos                             97816824.0
2   2.06.01    2018-12-31      3    BCO BRADESCO S.A    2017-12-31      Outros passivos                             97816824.0

Edit

Agrupando e mostrando a maior versão e maior data:

df.groupby(['DENON_CIA','DT_FIM_EXERC','CD_CONTA','DS_CONTA','VL_CONTA'])[['VERSAO','DT_REFER']].max().reset_index()
18
  • Realmente pelo df.info() as colunas datas estavam como object, usei o parse_dates=[0,3] na leitura do csv e o dtype das colunas DT_REFER, DT_FIM_EXERC estão agora como datetime64[ns]. Na consulta que você mencionou está agrupando a coluna CD_CONTA, no caso não é por ela que é definida a consulta, mas sim sim através das colunas DT_REFER e VERSAO, em conjunto são elas que dizem a linhas mais atuais. O que eu quero é a maior data do DT_REFER com o maior numero do VERSAO e nisso retornando as linhas. obrigado pela atenção
    – Saulo
    Commented 20/10/2020 às 14:32
  • E agrupar pelo CD_CONTA altera o resultado que você espera? Pois no exemplo que passou isso resolve o seu problema já que ele irá pegar o "maximo" valor dentro dos campos. Commented 20/10/2020 às 14:41
  • 1
    Veja se com a resposta abaixo do edit faz o que estava em mente. Abraços! Commented 20/10/2020 às 15:54
  • 1
    Obrigado, aparentemente deu certo, fiz um teste com um dataframe menor, muito obrigado
    – Saulo
    Commented 20/10/2020 às 18:25
  • 1
    Isso, havia dito que necessitava dessas colunas, mas estou percebendo que através dessa forma que quero fica mais claro a consulta, vou subir o xlsx
    – Saulo
    Commented 27/10/2020 às 12:43
0

No exemplo abaixo eu criei um pequeno DataFrame contendo duas colunas e quatro linhas.

A data de 3/10/2020 se repete duas vezes e é ela que será filtrada.

Criando o Dataframe

>>> import pandas as pd

>>> df = pd.DataFrame({"DT_REFER": ["1/10/2020", "2/10/2020", "3/10/2020", "3/10/2020"], 
                       "OUTRA": ["banana", "laranja", "abacaxi", "goiaba"]})

>>> df
    DT_REFER    OUTRA
0  1/10/2020   banana
1  2/10/2020  laranja
2  3/10/2020  abacaxi
3  3/10/2020   goiaba

Convertendo a coluna DT_REFER de string para datetime

>>> df["DT_REFER"] = pd.to_datetime(df['DT_REFER'], format="%d/%m/%Y")

>>> df
    DT_REFER    OUTRA
0 2020-10-01   banana
1 2020-10-02  laranja
2 2020-10-03  abacaxi
3 2020-10-03   goiaba

Filtrando pela data e jogando o resultado para um novo DataFrame

>>> new_df = df[(df["DT_REFER"] == "2020-10-03")]

>>> new_df
    DT_REFER    OUTRA
2 2020-10-03  abacaxi
3 2020-10-03   goiaba

UPDATE: Em tempo, para achar a data mais recente, basta pegar o valor máximo (max) da coluna DT_REFER

>>> recent_date = df['DT_REFER'].max()

>>> recent_date
Timestamp('2020-10-03 00:00:00')

UPDATE

Baseado em seus comentários, você pode:

>>> df
    DT_REFER    OUTRA    VERSAO
0 2020-10-01   banana 2020-10-05
1 2020-10-02  laranja 2020-10-06
2 2020-10-03  abacaxi 2020-10-10
3 2020-10-03   goiaba 2020-10-03

>>> new_df = df[(df["DT_REFER"] == df["DT_REFER"].max()) & (df["VERSAO"] == df["VERSAO"].max())]

>>> new_df
    DT_REFER    OUTRA    VERSAO
2 2020-10-03  abacaxi 2020-10-10

Note que o operador & representa AND e o operador | (não utilizado nesta query, representa OR

Aqui tem uma referência se quiser.

Espero que ajude

3
  • Paulo, essa seria a dificuldade, quando uso df['DT_REFER'].max() ele retorna as maiores datas, porém teria que ser um conjunto entre as colunas DT_FERER maiores e VERSAO maiores.
    – Saulo
    Commented 20/10/2020 às 14:53
  • Veja se o update responde sua pergunta. Commented 20/10/2020 às 16:40
  • obrigado Paulo, vou testar, agradeço muito
    – Saulo
    Commented 20/10/2020 às 18:26

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .