Tenho 2 dataframes no Pandas onde:
- Data Frame A - contém informações do tempo disponível de anúncios em cada programa
DFTmpDisp
sinal cod_programa data tempo_disponivel
0 SP1 XXXX 25/07/2020 10
1 BH XXXX 01/08/2020 300
2 NAC XXXX 08/08/2020 118
3 SP1 XXXX 15/08/2020 106
4 SP1 XXXX 22/08/2020 6
2287 BH ZZZZ 24/08/2020 218
2288 BH ZZZZ 25/08/2020 66
2289 BH ZZZZ 26/08/2020 44
2290 BH ZZZZ 27/08/2020 190
2291 BH ZZZZ 28/08/2020 202
> Para o Dataframe A, converti a data em dias, ficando portanto conforme
DFTmpDisp['dia_semana'] = pd.to_datetime(DFTmpDisp['dia_semana'], format='%d/%m/%Y').dt.dayofweek
sinal cod_programa data tempo_disponivel
0 SP1 XXXX 5 10
1 BH XXXX 5 300
2 NAC XXXX 5 118
3 SP1 XXXX 5 106
4 SP1 XXXX 5 6
2287 BH ZZZZ 0 218
2288 BH ZZZZ 1 66
2289 BH ZZZZ 2 44
2290 BH ZZZZ 3 190
2291 BH ZZZZ 4 202
- DataFrame B - informações de audiência dos programas que já foram
exibidos
DFTmpAud
sinal cod_programa data_exibicao data_inicio_programa media_audiencia
2278 SP1 XXXX 23/05/2020 02/05/2020 19:01:00 325104.42
2280 SP1 XXXX 09/05/2020 02/05/2020 19:01:00 255104.42
2275 BH XXXX 02/05/2020 02/05/2020 19:01:00 455104.42
6220 SP1 XXXX 16/05/2020 02/05/2020 19:05:00 118375.44
3345 NAC XXXX 16/05/2020 02/05/2020 19:05:00 1053999.80
2296 SP1 XXXX 30/05/2020 02/05/2020 19:05:00 1299650.50
8873 SP1 XXXX 02/05/2020 02/05/2020 19:05:00 14091402.82
276 BH ZZZZ 01/05/2020 01/05/2020 11:30:00 150998.68
8536 NAC ZZZZ 01/05/2020 01/05/2020 11:30:00 7846891.62
5871 SP1 ZZZZ 01/05/2020 01/05/2020 11:30:00 841810.51
6329 DF ZZZZ 01/05/2020 01/05/2020 11:30:00 123071.38
237 RJ ZZZZ 01/05/2020 01/05/2020 11:30:00 581696.70
Para o DataFrame B ordenei data_exibicao por data crescente
DFTmpAud = DFTmpAud.sort_values('data_exibicao')
Converti as datas para datetime e coloquei no formato dia/mes/ano, uma vez que estavam no formato Ano/Mes/dia
DFTmpAud['data_exibicao'] = pd.to_datetime(DFTmpAud['data_exibicao'], format='%Y-%m-%d')
DFTmpAud['data_inicio_programa'] = pd.to_datetime(DFTmpAud['data_inicio_programa'], format='%Y-%m-%d %H:%M:%S')
Problema: Preciso calcular a mediana das audiências nas 4 últimas exibições do programa por sinal, cod_programa e dia da semana. Dados para calculo estão no DataFrame B (DFTmpAud). Após criar uma nova coluna no dataframe A que conterá esses valores de mediana para cada dia. Lembrando que preciso somente das 4 ultimas datas, pensei em usar groupby, agrupando por sinal, programa e data, porém não achei uma forma de pegar somente as 4 últimas datas. Filtro então seria sinal, programa e 4 últimas datas de exibição
Observacao para calcular a mediana no caso do sinal SP1: Filtrar por sinal = SP1 cod_programa = XXXX Dia 5 (sabado) -> todas as data_exibicao caem no sábado que é igual a 5. Pegar da maior para menor data
Conforme dados do datasetB devem ser encontrados 5 registros para o dia 5
2296 SP1 XXXX 30/05/2020 02/05/2020 19:05:00 1299650.50
2278 SP1 XXXX 23/05/2020 02/05/2020 19:01:00 325104.42
6220 SP1 XXXX 16/05/2020 02/05/2020 19:05:00 118375.44
2280 SP1 XXXX 09/05/2020 02/05/2020 19:01:00 255104.42
8873 SP1 XXXX 02/05/2020 02/05/2020 19:05:00 14091402.82
Pegar as 4 ultimas datas(da maior para a menor) do resultado acima
O resultado deve ser sinal cod_programa data_exibicao data_inicio_programa media_audiencia
2296 SP1 XXXX 30/05/2020 02/05/2020 19:05:00
1299650.50
2278 SP1 XXXX 23/05/2020 02/05/2020 19:01:00 325104.42
6220 SP1 XXXX 16/05/2020 02/05/2020 19:05:00 118375.44
2280 SP1 XXXX 09/05/2020 02/05/2020 19:01:00 255104.42
Somar os valores contidos em media_audiencia que será 1998234,78 dividir por 4 (pois sao 4 linhas) - 1998234,78/4 Resultado = 499558,695
Para o sinal BH cod_programa = XXXX Dia 5 (sabado) Deverá ser encontrado somente 1 registro, então a media é a propria media_audiencia pra esse sinal e codigo de programa no dia 05.
2275 BH XXXX 02/05/2020 02/05/2020 19:01:00 455104.42
Dataframe Resultado Esperado
sinal cod_programa data tempo_disponivel mediana
0 SP1 XXXX 5 10 499558,695
2275 BH XXXX 5 300 455104.42