0

Tenho 2 dataframes no Pandas onde:

  • Data Frame A - contém informações do tempo disponível de anúncios em cada programa
DFTmpDisp

      sinal   cod_programa      data              tempo_disponivel
0      SP1         XXXX         25/07/2020         10
1      BH          XXXX         01/08/2020        300
2      NAC         XXXX         08/08/2020        118
3      SP1         XXXX         15/08/2020        106
4      SP1         XXXX         22/08/2020          6
2287    BH         ZZZZ         24/08/2020        218
2288    BH         ZZZZ         25/08/2020         66
2289    BH         ZZZZ         26/08/2020         44
2290    BH         ZZZZ         27/08/2020        190
2291    BH         ZZZZ         28/08/2020        202

> Para o Dataframe A, converti a data em dias, ficando portanto conforme
DFTmpDisp['dia_semana'] = pd.to_datetime(DFTmpDisp['dia_semana'], format='%d/%m/%Y').dt.dayofweek

 sinal   cod_programa      data              tempo_disponivel
0      SP1         XXXX           5                10
1      BH          XXXX           5               300
2      NAC         XXXX           5               118
3      SP1         XXXX           5               106
4      SP1         XXXX           5                 6
2287    BH         ZZZZ           0               218
2288    BH         ZZZZ           1                66
2289    BH         ZZZZ           2                44
2290    BH         ZZZZ           3               190
2291    BH         ZZZZ           4               202

- DataFrame B - informações de audiência dos programas que já foram
   exibidos


DFTmpAud
     sinal cod_programa data_exibicao data_inicio_programa  media_audiencia
2278   SP1         XXXX    23/05/2020  02/05/2020 19:01:00        325104.42
2280   SP1         XXXX    09/05/2020  02/05/2020 19:01:00        255104.42
2275    BH         XXXX    02/05/2020  02/05/2020 19:01:00        455104.42
6220   SP1         XXXX    16/05/2020  02/05/2020 19:05:00        118375.44
3345    NAC        XXXX    16/05/2020  02/05/2020 19:05:00       1053999.80
2296   SP1         XXXX    30/05/2020  02/05/2020 19:05:00       1299650.50
8873   SP1         XXXX    02/05/2020  02/05/2020 19:05:00      14091402.82
276     BH         ZZZZ    01/05/2020  01/05/2020 11:30:00        150998.68
8536   NAC         ZZZZ    01/05/2020  01/05/2020 11:30:00       7846891.62
5871   SP1         ZZZZ    01/05/2020  01/05/2020 11:30:00        841810.51
6329    DF         ZZZZ    01/05/2020  01/05/2020 11:30:00        123071.38
237     RJ         ZZZZ    01/05/2020  01/05/2020 11:30:00        581696.70

Para o DataFrame B ordenei data_exibicao por data crescente

DFTmpAud = DFTmpAud.sort_values('data_exibicao') 

Converti as datas para datetime e coloquei no formato dia/mes/ano, uma vez que estavam no formato Ano/Mes/dia

DFTmpAud['data_exibicao'] = pd.to_datetime(DFTmpAud['data_exibicao'], format='%Y-%m-%d')

DFTmpAud['data_inicio_programa'] =  pd.to_datetime(DFTmpAud['data_inicio_programa'], format='%Y-%m-%d %H:%M:%S') 

Problema: Preciso calcular a mediana das audiências nas 4 últimas exibições do programa por sinal, cod_programa e dia da semana. Dados para calculo estão no DataFrame B (DFTmpAud). Após criar uma nova coluna no dataframe A que conterá esses valores de mediana para cada dia. Lembrando que preciso somente das 4 ultimas datas, pensei em usar groupby, agrupando por sinal, programa e data, porém não achei uma forma de pegar somente as 4 últimas datas. Filtro então seria sinal, programa e 4 últimas datas de exibição

Observacao para calcular a mediana no caso do sinal SP1: Filtrar por sinal = SP1 cod_programa = XXXX Dia 5 (sabado) -> todas as data_exibicao caem no sábado que é igual a 5. Pegar da maior para menor data

Conforme dados do datasetB devem ser encontrados 5 registros para o dia 5

2296 SP1 XXXX 30/05/2020 02/05/2020 19:05:00 1299650.50

2278 SP1 XXXX 23/05/2020 02/05/2020 19:01:00 325104.42

6220 SP1 XXXX 16/05/2020 02/05/2020 19:05:00 118375.44

2280 SP1 XXXX 09/05/2020 02/05/2020 19:01:00 255104.42

8873 SP1 XXXX 02/05/2020 02/05/2020 19:05:00 14091402.82

Pegar as 4 ultimas datas(da maior para a menor) do resultado acima

O resultado deve ser sinal cod_programa data_exibicao data_inicio_programa media_audiencia

2296 SP1 XXXX 30/05/2020 02/05/2020 19:05:00
1299650.50

2278 SP1 XXXX 23/05/2020 02/05/2020 19:01:00 325104.42

6220 SP1 XXXX 16/05/2020 02/05/2020 19:05:00 118375.44

2280 SP1 XXXX 09/05/2020 02/05/2020 19:01:00 255104.42

Somar os valores contidos em media_audiencia que será 1998234,78 dividir por 4 (pois sao 4 linhas) - 1998234,78/4 Resultado = 499558,695

Para o sinal BH cod_programa = XXXX Dia 5 (sabado) Deverá ser encontrado somente 1 registro, então a media é a propria media_audiencia pra esse sinal e codigo de programa no dia 05.

2275 BH XXXX 02/05/2020 02/05/2020 19:01:00 455104.42

Dataframe Resultado Esperado

       sinal   cod_programa      data        tempo_disponivel    mediana

0      SP1         XXXX           5           10        499558,695

2275    BH         XXXX           5           300        455104.42

5
  • Vou ler seu post com calma mais tarde. Mas, como tem relação de filtros de datas, veja se essa resposta ajuda Commented 25/10/2020 às 22:46
  • Baseado nas duas amostras de DataFrames que você postou, qual seria a saída esperada? Se você quer calcular a média dos últimos 4 eventos de cada programa pode ser interessante colocar uma amostra de dados maior do que 5 linhas para que seja possível reproduzir exatamente o que você esta passando
    – Terry
    Commented 26/10/2020 às 0:18
  • Oi Terry, editei a pergunta. Acho que da pra entender melhor. Commented 26/10/2020 às 1:53
  • Ola Paulo, editei a pergunta com o resultado que espero. Acho que da pra entender melhor. Obrigada Commented 26/10/2020 às 1:54
  • Oi. Se alguma das perguntas te ajudou ou solucionou seu problema, considere aceitava como correta
    – Terry
    Commented 28/10/2020 às 19:53

2 Respostas 2

0

Primeiro será necessário usar o shift() e fillna para preencher a audiência dos programas que só possuem uma única ocorrência.

Para calcular a média desses programas será usado a função rolling com groupby e como só nos interessa o valor da ultima ocorrência, usaremos tambem o drop_duplicates

df = DFTmpAud.copy()

g = df.groupby(['sinal', 'cod_programa'], sort=False)
df['media_audiencia_temp'] = g['media_audiencia'].shift()

df['media_audiencia_temp'] = df['media_audiencia_temp'].fillna(df['media_audiencia'])

g2 = df.groupby(['sinal', 'cod_programa'], sort=False)
grouper = g2['media_audiencia_temp'].rolling(4, min_periods=1).mean().reset_index(level=[0,1])
grouper['media_audiencia_temp'] = grouper['media_audiencia_temp'].round(2)

grouper = grouper.drop_duplicates(subset=['sinal', 'cod_programa'], keep = 'last')

grouper.head(10)
        sinal   cod_programa    media_audiencia_temp
276     BH      ZZZZ            150998.68
8536    NAC     ZZZZ            7846891.62
5871    SP1     ZZZZ            841810.51
6329    DF      ZZZZ            123071.38
237     RJ      ZZZZ            581696.70
8873    SP1     XXXX            499558.70
2275    BH      XXXX            455104.42
3345    NAC     XXXX            1053999.80

Agora é só juntar esse DF com DFTmpDisp com merge

DFTmpDisp.merge(grouper, on =['sinal','cod_programa'])
#output:
    sinal   cod_programa    data    tempo_disponivel    media_audiencia_temp
0   SP1     XXXX            5       10                  499558.70
1   SP1     XXXX            5       106                 499558.70
2   SP1     XXXX            5       6                   499558.70
3   BH      XXXX            5       300                 455104.42
4   NAC     XXXX            5       118                 1053999.80
5   BH      ZZZZ            0       218                 150998.68
6   BH      ZZZZ            1       66                  150998.68
7   BH      ZZZZ            2       44                  150998.68
8   BH      ZZZZ            3       190                 150998.68
9   BH      ZZZZ            4       202                 150998.68

A saída possui varias ocorrências para o mesmo programa porque no DFTmpDisp existe várias ocorrências para o mesmo sinal e cod_programa, que podem ser apagados usando drop_duplicates também

2
  • Oi Terry, vou testar, mas acho que é isso ai mesmo. Entendi sua lógica. Muito obrigada Commented 26/10/2020 às 17:29
  • 1
    Obrigada Terry. Só fiz uns ajustes no groupby porque precisava agrupar além do sinal e cod_programa também por data. Converti a data em dia da semana, agrupei e ficou o resultado esperado. Muito obrigada pela ajuda. Commented 29/10/2020 às 20:29
0

ATUALIZADO A PARTIR DOS COMENTÁRIOS

Espero ter entendido o problema.

Vamos direto ao ponto:

Criando o dataframe A

>>> import pandas as pd

>>> dfA = pd.DataFrame({"sinal": ["SP1", "BH", "NAC", "SP1", "SP1", "BH", "BH", "BH", "BH", "BH"],
                   "cod_programa": ["XXXXX", "XXXXX", "XXXXX", "XXXXX", "XXXXX", "ZZZZZ", "ZZZZZ", "ZZZZZ", "ZZZZZ", "ZZZZZ"],
                   "data": ["23/05/2020", "01/05/2020", "02/05/2020", "01/05/2020", "02/05/2020", "02/05/2020", "03/05/2020", "01/05/2020", "02/05/2020", "03/05/2020"],
                   "tempo_disponivel": [10, 300, 118, 106, 6, 218, 66, 44, 190, 202]})

>>> dfA
  sinal cod_programa        data  tempo_disponivel
0   SP1        XXXXX  23/05/2020                10
1    BH        XXXXX  01/05/2020               300
2   NAC        XXXXX  02/05/2020               118
3   SP1        XXXXX  01/05/2020               106
4   SP1        XXXXX  02/05/2020                 6
5    BH        ZZZZZ  02/05/2020               218
6    BH        ZZZZZ  03/05/2020                66
7    BH        ZZZZZ  01/05/2020                44
8    BH        ZZZZZ  02/05/2020               190
9    BH        ZZZZZ  03/05/2020               202

Transformando data (string) para data

>>> dfA["data"] = pd.to_datetime(dfA['data'], format="%d/%m/%Y")

>>> dfA
  sinal cod_programa       data  tempo_disponivel
0   SP1        XXXXX 2020-05-23                10
1    BH        XXXXX 2020-05-01               300
2   NAC        XXXXX 2020-05-02               118
3   SP1        XXXXX 2020-05-01               106
4   SP1        XXXXX 2020-05-02                 6
5    BH        ZZZZZ 2020-05-02               218
6    BH        ZZZZZ 2020-05-03                66
7    BH        ZZZZZ 2020-05-01                44
8    BH        ZZZZZ 2020-05-02               190
9    BH        ZZZZZ 2020-05-03               202

Criando o DataFrame B

>>> dfB = pd.DataFrame({"sinal": ["SP1", "SP1", "BH", "SP1", "NAC", "SP1", "SP1", "BH", "NAC", "SP1", "DF", "RJ"],
...                     "cod_programa": ["XXXX", "XXXX", "XXXX", "XXXX", "XXXX", "XXXX", "XXXX", "ZZZZ", "ZZZZ", "ZZZZ", "ZZZZ", "ZZZZ"],
...                     "data_exibicao": ["23/05/2020", "09/05/2020", "02/05/2020", "16/05/2020", "16/05/2020", "30/05/2020", "02/05/2020", "01/05/2020", "01/05/2020", "01/05/2020", "01/05/2020", "01/05/2020"],
...                     "data_inicio_programa": ["02/05/2020 19:01:00", "02/05/2020 19:01:00", "02/05/2020 19:01:00", "02/05/2020 19:05:00", "02/05/2020 19:05:00", "02/05/2020 19:05:00", "02/05/2020 19:05:00", "01/05/2020 11:30:00", "01/05/2020 11:30:00", "01/05/2020 11:30:00", "01/05/2020 11:30:00", "01/05/2020 11:30:00"],
...                     "media_audiencia": [325104.42, 255104.42, 455104.42, 118375.44, 1053999.80, 1299650.50, 14091402.82, 150998.68, 7846891.62, 841810.51, 123071.38, 581696.70]})

Transformando datas

>>> dfB["data_exibicao"] = pd.to_datetime(dfB['data_exibicao'], format="%d/%m/%Y")

>>> dfB["data_inicio_programa"] = pd.to_datetime(dfB['data_inicio_programa'], format="%d/%m/%Y %H:%M:%S")

>>> dfB
   sinal cod_programa data_exibicao data_inicio_programa  media_audiencia
0    SP1         XXXX    23/05/2020  02/05/2020 19:01:00        325104.42
1    SP1         XXXX    09/05/2020  02/05/2020 19:01:00        255104.42
2     BH         XXXX    02/05/2020  02/05/2020 19:01:00        455104.42
3    SP1         XXXX    16/05/2020  02/05/2020 19:05:00        118375.44
4    NAC         XXXX    16/05/2020  02/05/2020 19:05:00       1053999.80
5    SP1         XXXX    30/05/2020  02/05/2020 19:05:00       1299650.50
6    SP1         XXXX    02/05/2020  02/05/2020 19:05:00      14091402.82
7     BH         ZZZZ    01/05/2020  01/05/2020 11:30:00        150998.68
8    NAC         ZZZZ    01/05/2020  01/05/2020 11:30:00       7846891.62
9    SP1         ZZZZ    01/05/2020  01/05/2020 11:30:00        841810.51
10    DF         ZZZZ    01/05/2020  01/05/2020 11:30:00        123071.38
11    RJ         ZZZZ    01/05/2020  01/05/2020 11:30:00        581696.70

Pegando os sinais existentes

>>> sinais = list(set(dfB["sinal"]))

>>> sinais
['NAC', 'BH', 'DF', 'RJ', 'SP1']

Pegando as maiores datas por sinal

>>> datas = []
>>> for sinal in sinais:
...     dts = dfA[(dfA["sinal"] == sinal)].nlargest(4, "data")
...     tmp = [row["data"] for _, row in dts.iterrows()]
...     datas.append((sinal, tmp))
...

>>> datas
[('NAC', [Timestamp('2020-05-02 00:00:00')]), ('BH', [Timestamp('2020-05-03 00:00:00'), Timestamp('2020-05-03 00:00:00'), Timestamp('2020-05-02 00:00:00'), Timestamp('2020-05-02 00:00:00')]), ('DF', []), ('RJ', []), ('SP1', [Timestamp('2020-05-23 00:00:00'), Timestamp('2020-05-02 00:00:00'), Timestamp('2020-05-01 00:00:00')])]

Nota: O numeric_only=True já está prevendo versões futuras do pandas. O default deste parâmetro é None o que no futuro trará a mediana de datas (datetime64 e datetime64tz).

Pegando medianas por sinal e data

>>> for item in datas:
...     sinal = item[0]
...     dts = item[1]
...     for dt in dts:
...         d = f"{dt.year}-{dt.month}-{dt.day}"
...         mediana = dfB[(dfB["sinal"] == sinal) & (dfB["data_exibicao"] == d)].median(numeric_only=True)
...         print(sinal, d, mediana["media_audiencia"])

BH 2020-5-3 nan
BH 2020-5-3 nan
BH 2020-5-2 455104.42
BH 2020-5-2 455104.42
NAC 2020-5-2 nan
SP1 2020-5-23 325104.42
SP1 2020-5-2 14091402.82
SP1 2020-5-1 841810.51

Nota: como eu criei os dataframes na mão, algumas datas não bateram, mas server de referência.

Espero ter ajudado

8
  • Oi Paulo. me deu uma esclarecida aqui, só que são 2 dataFrames A e B. Esse ai que você colocou é o A, a qual deve ser inserido mais uma coluna com a mediana calculada com dados do B. Os dados para calculo estão no B. São vários registros em cod_programa, SP1 é um exemplo, temos HUCK, NBRA, e varios outros.Pensei em algo como um loop no dataframe A pra ler cada código_programa, pegar o sinal, as 3 maiores datas (essas datas tem que sempre o mesmo dia da semana, ex: dia 5 que é sábado no formato dayofweek pandas), se for 4 ja seria sexta no caso e seria mais uma mediana Commented 26/10/2020 às 3:06
  • Fazer a média por dia que pode ser dia 0,1,2,3,4,5,6 e ai o resultado será inserido em uma nova coluna no dataframe A para o mesmo sinal, mesmo cod_programa e mesmo dia da semana. Espero ter explicado melhor. Obrigada Commented 26/10/2020 às 3:06
  • Quais as colunas do DataFrame B? Commented 26/10/2020 às 3:44
  • - DataFrame B - informações de audiência dos programas que já foram exibidos ``` DFTmpAud sinal cod_programa data_exibicao data_inicio_programa media_audiencia 2278 SP1 XXXX 23/05/2020 02/05/2020 19:01:00 325104.42 2280 SP1 XXXX 09/05/2020 02/05/2020 19:01:00 255104.42 2275 BH XXXX 02/05/2020 02/05/2020 19:01:00 455104.42 6220 SP1 XXXX 16/05/2020 02/05/2020 19:05:00 118375.44 3345 NAC XXXX 16/05/2020 02/05/2020 19:05:00 1053999.80 ``` Commented 26/10/2020 às 4:04
  • Tem ele mais completo na pergunta, aqui limitou os caracteres, mas está especificado la Commented 26/10/2020 às 4:05

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .