Tenho o seguinte arquivo em CSVCSV (1212 Milhões de registros):
UF Municipio Cod NIS Valor Data
MA IMPERATRIZ 803 16361947271 45.00 01/01/2011
MA IMPERATRIZ 803 74629273937 15.00 01/01/2011
BA RUY BARBOSA 3845 16481166579 50.00 01/02/2011
BA RUY BARBOSA 3845 16481166579 50.00 01/03/2011
MG IPATINGA 653 73639474937 10.00 01/03/2011
MG IPATINGA 653 83733638376 20.00 01/03/2011
MG IPATINGA 653 52648747648 25.00 01/03/2011
...
UF Municipio Cod NIS Valor Data
MA IMPERATRIZ 803 16361947271 45.00 01/01/2011
MA IMPERATRIZ 803 74629273937 15.00 01/01/2011
BA RUY BARBOSA 3845 16481166579 50.00 01/02/2011
BA RUY BARBOSA 3845 16481166579 50.00 01/03/2011
MG IPATINGA 653 73639474937 10.00 01/03/2011
MG IPATINGA 653 83733638376 20.00 01/03/2011
MG IPATINGA 653 52648747648 25.00 01/03/2011
...
Preciso agrupar os dados por DataData, UFUF e MunicípioMunicípio, calculando a quantidade de NISNIS e somando os valores. Ou seja, para cada grupo de DataData, UFUF e MunicípioMunicípio, preciso contar a quantidade de NISNIS distintos e somar os valores. Para os dados acima, o resultado pretendido seria:
Data UF Municipio Quant. Valor
01/01/2011 MA IMPERATRIZ 002 60.00
01/02/2011 BA RUY BARBOSA 001 50.00
01/03/2011 BA RUY BARBOSA 001 50.00
01/03/2011 MG IPATINGA 003 55.00
...
Data UF Municipio Quant. Valor
01/01/2011 MA IMPERATRIZ 002 60.00
01/02/2011 BA RUY BARBOSA 001 50.00
01/03/2011 BA RUY BARBOSA 001 50.00
01/03/2011 MG IPATINGA 003 55.00
...
Este resultado deve gerar um novo arquivo CSVCSV.
Para somar ou contar os valores eu uso os códigos abaixo (que funcionam):
Conta_NIS = csvPanda.groupby(['Data', 'UF', 'Municipio']).NIS.count()
Soma_Valor = csvPanda.groupby(['Data', 'UF', 'Municipio']).Valor.sum()
Conta_NIS = csvPanda.groupby(['Data', 'UF', 'Municipio']).NIS.count()
Soma_Valor = csvPanda.groupby(['Data', 'UF', 'Municipio']).Valor.sum()
Mas como incluir as duas agregações (countcount
e sumsum
) em uma mesma saída para exportar para um novo arquivo CSVCSV?
Muito grato a todos!