Possuo dois dataframes
que recebo de processos distintos. Preciso conferir todos os valores de todas as colunas por indice.
Tenho um processo que funciona, porém acredito que o mesmo possa ser simplificado e melhorado.
Segue abaixo um exemplo mínimo para reprodução:
Carregando bibliotecas para este exemplo
import pandas as pd
from io import StringIO
Dados fictícios
ladoA = """lv1,lv2,lv3,v1,v2,v3,v4
A,A,A,1,2,3,4
A,B,A,5,6,7,8
A,B,B,5,6,7,8
B,X,Y,9,8,7,6
B,X,Z,8,7,6,5
B,Y,W,4,4,4,4
Q,W,E,3,3,3,3"""
ladoB = """lv1,lv2,lv3,v1,v2,v3,v4
A,A,A,1.1,2,3,4
A,A,B,1,2.2,3,4
A,B,A,5,6,7.4,8
A,B,B,5,6,7,8.5
B,X,Z,8,7,6,4.4
B,Y,W,4,4,4,3.9"""
Criando dataframes com dados fictícios
dfA = pd.read_csv(StringIO(ladoA), sep=",")
dfB = pd.read_csv(StringIO(ladoB), sep=",")
"Transpondo" (entre aspas) o dataframe por índice
dfA_stacked = dfA.set_index(["lv1", "lv2", "lv3"]).stack().reset_index().rename(columns={"level_3": "variable", 0: "value"})
dfB_stacked = dfB.set_index(["lv1", "lv2", "lv3"]).stack().reset_index().rename(columns={"level_3": "variable", 0: "value"})
Merging dataframes
df_merged = pd.merge(dfA_stacked, dfB_stacked, on=["lv1", "lv2", "lv3", "variable"], how="outer")
df_merged.head()
Saída
lv1 lv2 lv3 variable value_x value_y
0 A A A v1 1.0 1.1
1 A A A v2 2.0 2.0
2 A A A v3 3.0 3.0
3 A A A v4 4.0 4.0
4 A A B v1 NaN 1.0
Criando coluna de diferença
df_merged["diff"] = df_merged["value_x"] - df_merged["value_y"]
df_merged["diff"] = df_merged["diff"].abs()
Selecionando casos diferentes - baseado em uma margem de erro
df_discrepancia = df_merged[(df_merged["diff"] >= .5) | (df_merged["diff"].isna())]
df_discrepancia.head()
Saída
lv1 lv2 lv3 variable value_x value_y diff
4 A A B v1 NaN 1.0 NaN
5 A A B v2 NaN 2.2 NaN
6 A A B v3 NaN 3.0 NaN
7 A A B v4 NaN 4.0 NaN
15 A B B v4 8.0 8.5 0.5
Dúvidas:
- Tem como melhorar o longo comando onde gera o
stack
? O ideal seria não ter que renomear colunas "manualmente" - Tem como gerar a coluna de diferença absoluta sem ter que usar os dois comandos, mas mantendo a forma vetorizada?
- Existem uma forma melhor de fazer que não usando este "monstro"? Olhei os métodos
.compare()
e.equals()
, mas não parece que estes ajudem.
Em tempo: caso outra biblioteca Python resolva de forma mais adequada, pode sugerir.