0
import pandas as pd
from IPython.core.display import display

df = pd.read_csv('plan.csv', sep=';') ## le a planilha

display(df)

df = df.sort_values('cpf') ## organiza a planilha de ordem de cpf

display(df)

df_2 = pd.concat(g for _, g in df.groupby('cpf') if len(g)>1)

display(df_2)

O código acima pega uma planilha csv (com 2 colunas: 'cpf' e 'data') e coloca em um DF do pandas, depois ele ordena de acordo com o 'cpf' e no fim cria outro dataframe somente com os cpfs que se repetem na lista. No final, tenho algo assim:
inserir a descrição da imagem aqui

O que eu preciso agora é uma forma de pegar os 'cpfs' iguais e comparar as datas para ver se elas tem uma diferença > 90 dias e adcionar essa informação em uma nova coluna. No caso do 'cpf' 9, ele repete 3 vezes, então eu precisaria comparar as datas '01/01/2021, 01/04/2021, 01/05/2021' e, em uma nova coluna, escrever se tem mais de 90 dias de diferença entre a primeira data e a ultima. Estou trabalhando nesse código simplificado, mas o original tem mais de 20.000 linhas.

2 Respostas 2

1

Não sei se entendi corretamente qual é a saída esperada, mas acredito que para calcular a diferença da menor data em cada CPF com as outras datas, você vai precisar usar o groupby com transform para identificar a primeira/menor data em cada cpf, e após, fazer a subtração das datas dentro do DF com esse grupo, desta forma:

df['data'] = pd.to_datetime(df['data'], dayfirst=True)

g = df.groupby('cpf')['data'].transform('min')
df['diff > 90'] = (df['data'] - g).dt.days > 90

df.head(10)
#saida:
    cpf data        diff > 90
0   1   2021-02-01  False
1   1   2021-02-01  False
2   6   2021-01-01  False
3   6   2021-02-01  False
4   9   2021-01-01  False
5   9   2021-04-01  False
6   9   2021-05-01  True

Passo a passo

O retorno do groupby ficou com a menor data para cada CPF

df.groupby('cpf')['data'].transform('min')
#saida:

0   2021-02-01
1   2021-02-01
2   2021-01-01
3   2021-01-01
4   2021-01-01
5   2021-01-01
6   2021-01-01
Name: data, dtype: datetime64[ns]

E para achar a diferença das datas em dias, foi usado o seguinte:

(df['data'] - g).dt.days
#saida: 

0      0
1      0
2      0
3     31
4      0
5     90
6    120
Name: data, dtype: int64

Como você procura as diferenças maiores que 90 dias, é adicionado ao final dos comandos um > 90 que retornará um array booleano que é atribuido a nova coluna do DF

(df['data'] - g).dt.days > 90
#saida:

0    False
1    False
2    False
3    False
4    False
5    False
6     True
Name: data, dtype: bool
2
  • 1
    cara, tu salvou o dia, deu certinho aqui. agr só vou achar uma forma de concatenar os cpfs iguais. vlw Commented 1/06/2021 às 17:37
  • @GabrielSchumacher Que bom! Se minha resposta satisfez sua pergunta, considere aceitá-la. Isso pode ajudar outros usuários a encontrar a resposta com o mesmo problema :)
    – Terry
    Commented 1/06/2021 às 17:41
0

Outra forma de fazer

Carregando library e criando dataframe de teste

import pandas as pd

df = pd.DataFrame({"cpf": [1,2,3,2,3,3,4,1,1,4], "data":["01/01/2021", "01/02/2021", "01/03/2021", "01/06/2021", "01/04/2021", "01/08/2021", "01/02/2021", "01/03/2021", "01/03/2021", "01/07/2021"]})

df
   cpf        data
0    1  01/01/2021
1    2  01/02/2021
2    3  01/03/2021
3    2  01/06/2021
4    3  01/04/2021
5    3  01/08/2021
6    4  01/02/2021
7    1  01/03/2021
8    1  01/03/2021
9    4  01/07/2021

As datas estão como string ficaram como string

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10 entries, 0 to 9
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   cpf     10 non-null     int64
 1   data    10 non-null     object

Convertendo datas string para tipo datetime

df["data"] = pd.to_datetime(df["data"], format='%d/%m/%Y')

df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10 entries, 0 to 9
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   cpf     10 non-null     int64
 1   data    10 non-null     datetime64[ns]
dtypes: datetime64[ns](1), int64(1)
memory usage: 288.0 bytes

Função para calcular diferença de datas

def first_last(df):
    return df["data"].iloc[-1] - df["data"].iloc[0]

Gerando diferenças de data

new_column = df.sort_values(by=["cpf", "data"]).groupby("cpf").apply(first_last)

df_diferenca = new_column.to_frame().rename(columns={0: "dif"})

Gerando dataframe com diferenças

df_final = pd.merge(df, df_diferenca, on="cpf")

O resultado será

   cpf       data      dif
0    1 2021-01-01  59 days
1    1 2021-03-01  59 days
2    1 2021-03-01  59 days
3    2 2021-02-01 120 days
4    2 2021-06-01 120 days
5    3 2021-03-01 153 days
6    3 2021-04-01 153 days
7    3 2021-08-01 153 days
8    4 2021-02-01 150 days
9    4 2021-07-01 150 days

Caso vc queira apagar as linhas cuja diferença é maior que 90 dias

df_final = df_final[df_final['dif'] <= pd.Timedelta(90, 'D')]

O resultado até então será:

df_final

   cpf       data     dif
0    1 2021-01-01 59 days
1    1 2021-03-01 59 days
2    1 2021-03-01 59 days

Para apagar os duplicados

# Mantendo o último
df_final = df_final.drop_duplicates(subset=["cpf"], keep='last')

   cpf       data     dif
2    1 2021-03-01 59 days


# Mantendo o primeiro
df_final = df_final.drop_duplicates(subset=["cpf"], keep='first')

   cpf       data     dif
0    1 2021-01-01 59 days

Nota, tenha certeza que o dataframe está ordenado.

Por fim, apague a coluna de diferença

del df_final['dif']

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .