2

DataFrame

import pandas as pd  
import pandas.tseries.offsets as ts

datas=['20220127', '20220615', '20220712']  
tempos=[6,12,24]

df=pd.DataFrame({"data":datas,
                 "tempo":tempos})

df['data'] = pd.to_datetime(df['data'], format='%Y%m%d')

O código abaixo está gerando o Dataframe "df2" a partir do dataframe "df" acima. Faço um loop iterando as linhas do "df" para gerar "x" novas linhas no "df2", usando a coluna tempo". Com uma base de 1000 linhas, o tempo de execução é de 2 min, porém minha base original possui 300 mil linhas, tornando este código inviável.

df2 = df.iloc[0:1,:]
for i in range(0,len(df)):     
    base_linha = df.iloc[i:i+1,:].copy()
    for z in range(0,df.loc[i,'tempo']):
        base_linha.loc[i,'ini_mes']=df.loc[i,'data'] - ts.MonthBegin(1) + ts.MonthBegin(z) 
        df2=df2.append(base_linha)
3
  • Eu acredito que há um problema conceitual na sua solução. Ou seja, precisamos entender melhor o que você está querendo resolver com este código. Commented 13/04/2022 às 22:10
  • Não consegui entender muito bem o porquê você usa um laço for para ler cada linha do df e coloca dentro de base_linha (isso daí deve estar pesando muito também), em seguida você usa outro laço para pegar a mesma linha (outra busca "pesada" pois o python está buscando o registro novamente no df todo) apenas para pegar a coluna tempo. Em seguida, nesse loop você está atribuindo uma coluna 'ini_mes' pesquisando novamente no df a mesma linha já percorrida 2x (agora 3x) para pegar a coluna data e usar numa subtração e adição. Após tudo isso você atribui a "linha" que seria uma Series do Pandas. Commented 13/04/2022 às 22:10
  • O que você deseja é adicionar uma nova coluna no seu data set com base em um cálculo específico que depende da mesma linha em questão correto? Commented 13/04/2022 às 22:10

2 Respostas 2

2

Você pode fazer os seguintes passos:

  • (1) duplicar cada linha do DF utilizando os comandos reindex e repeat com o valor da coluna tempo como parâmetro,
  • (2) criar um grupo (groupby) para saber quantos meses deverão ser acrescentados em cada linha
  • (3) aumentar a granularidade da coluna data para periodos mensais (.to_period('M')), somar com os valores do grupo criado no passo 2 e recuperar a data para o formato datetime64 com .dt.to_timestamp().

segue o código:

df = df.reindex(df.index.repeat(df.tempo))

grp = df.groupby(['data', 'tempo']) 

df['ini_mes'] = ((df['data'].dt.to_period('M')) + grp.cumcount()).dt.to_timestamp()
df.head(10)
#saida:
    data    tempo   ini_mes
0   2022-01-27  6   2022-01-01
0   2022-01-27  6   2022-02-01
0   2022-01-27  6   2022-03-01
0   2022-01-27  6   2022-04-01
0   2022-01-27  6   2022-05-01
0   2022-01-27  6   2022-06-01
1   2022-06-15  12  2022-06-01
1   2022-06-15  12  2022-07-01
1   2022-06-15  12  2022-08-01
1   2022-06-15  12  2022-09-01

Comparação de desempenho

Podemos fazer uma comparação entre as respostas do tópico para ver qual tem melhor performance(velocidade):

Minha sugestão de resposta

%%timeit
df=pd.DataFrame({"data":datas,
                 "tempo":tempos})

df['data'] = pd.to_datetime(df['data'], format='%Y%m%d')
df = df.reindex(df.index.repeat(df.tempo))

grp = df.groupby(['data', 'tempo']) 

df['ini_mes'] = ((df['data'].dt.to_period('M')) + grp.cumcount()).dt.to_timestamp()

5.24 ms ± 550 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

Sugestão de resposta do @Paulo Marques

%%timeit
df=pd.DataFrame({"data":datas,
                 "tempo":tempos})

df['data'] = pd.to_datetime(df['data'], format='%Y%m%d')
df['aux'] = df.apply(lambda x: [i for i in range(x['tempo'])], axis=1)

df = df.explode('aux')
df["ini_mes"] = df.apply(lambda x: (x['data'] + pd.offsets.MonthEnd(0) - pd.offsets.MonthBegin(1)) + DateOffset(months=x['aux']), axis=1)

9.66 ms ± 169 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

Com a amostra de dados a diferença ficou perto da metade! Acredito que nos dados reais essa diferença tende a se manter

1
  • 1
    Excelente solução... Mais funções vetorizadas = melhor performance. Commented 15/04/2022 às 19:07
2

Segue abaixo uma solucão que NÃO usa funções vetorizadas, porém é melhor que a utilização de loops em dataframe.

A solução apresentada na própria pergunta demanda tempo de execução por conta do append.

Criando o dataframe de teste

>>> import pandas as pd
>>> import pandas.tseries.offsets as ts

>>> datas = ['20220127', '20220615', '20220712']
>>> tempos = [6,12,24]

>>> df = pd.DataFrame({"data": datas, "tempo": tempos})

>>> df['data'] = pd.to_datetime(df['data'], format='%Y%m%d')

Verificando dataframe criado

>>> df

        data  tempo
0 2022-01-27      6
1 2022-06-15     12
2 2022-07-12     24

Criando coluna auxiliar

>>> df['aux'] = df.apply(lambda x: [i for i in range(x['tempo'])], axis=1)

>>> df
        data  tempo                                                aux
0 2022-01-27      6                                 [0, 1, 2, 3, 4, 5]
1 2022-06-15     12             [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
2 2022-07-12     24  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13,...

Explodindo coluna auxiliar e transformando em linhas

>>> df = df.explode('aux')

Criando a coluna ini_mes

>>> from pandas.tseries.offsets import DateOffset

>>> df["ini_mes"] = df.apply(lambda x: (x['data'] + pd.offsets.MonthEnd(0) - pd.offsets.MonthBegin(1)) + DateOffset(months=x['aux']), axis=1)

Resultado

        data  tempo aux    ini_mes
0 2022-01-27      6   0 2022-01-01
0 2022-01-27      6   1 2022-02-01
0 2022-01-27      6   2 2022-03-01
0 2022-01-27      6   3 2022-04-01
0 2022-01-27      6   4 2022-05-01
0 2022-01-27      6   5 2022-06-01
1 2022-06-15     12   0 2022-06-01
1 2022-06-15     12   1 2022-07-01
1 2022-06-15     12   2 2022-08-01
1 2022-06-15     12   3 2022-09-01
1 2022-06-15     12   4 2022-10-01
1 2022-06-15     12   5 2022-11-01
1 2022-06-15     12   6 2022-12-01
1 2022-06-15     12   7 2023-01-01
1 2022-06-15     12   8 2023-02-01
1 2022-06-15     12   9 2023-03-01
1 2022-06-15     12  10 2023-04-01
1 2022-06-15     12  11 2023-05-01
2 2022-07-12     24   0 2022-07-01
2 2022-07-12     24   1 2022-08-01
2 2022-07-12     24   2 2022-09-01
2 2022-07-12     24   3 2022-10-01
2 2022-07-12     24   4 2022-11-01
2 2022-07-12     24   5 2022-12-01
2 2022-07-12     24   6 2023-01-01
2 2022-07-12     24   7 2023-02-01
2 2022-07-12     24   8 2023-03-01
2 2022-07-12     24   9 2023-04-01
2 2022-07-12     24  10 2023-05-01
2 2022-07-12     24  11 2023-06-01
2 2022-07-12     24  12 2023-07-01
2 2022-07-12     24  13 2023-08-01
2 2022-07-12     24  14 2023-09-01
2 2022-07-12     24  15 2023-10-01
2 2022-07-12     24  16 2023-11-01
2 2022-07-12     24  17 2023-12-01
2 2022-07-12     24  18 2024-01-01
2 2022-07-12     24  19 2024-02-01
2 2022-07-12     24  20 2024-03-01
2 2022-07-12     24  21 2024-04-01
2 2022-07-12     24  22 2024-05-01
2 2022-07-12     24  23 2024-06-01

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .