1

Possuo dois dataframes que recebo de processos distintos. Preciso conferir todos os valores de todas as colunas por indice.

Tenho um processo que funciona, porém acredito que o mesmo possa ser simplificado e melhorado.

Segue abaixo um exemplo mínimo para reprodução:

Carregando bibliotecas para este exemplo

import pandas as pd

from io import StringIO

Dados fictícios

ladoA = """lv1,lv2,lv3,v1,v2,v3,v4
A,A,A,1,2,3,4
A,B,A,5,6,7,8
A,B,B,5,6,7,8
B,X,Y,9,8,7,6
B,X,Z,8,7,6,5
B,Y,W,4,4,4,4
Q,W,E,3,3,3,3"""

ladoB = """lv1,lv2,lv3,v1,v2,v3,v4
A,A,A,1.1,2,3,4
A,A,B,1,2.2,3,4
A,B,A,5,6,7.4,8
A,B,B,5,6,7,8.5
B,X,Z,8,7,6,4.4
B,Y,W,4,4,4,3.9"""

Criando dataframes com dados fictícios

dfA = pd.read_csv(StringIO(ladoA), sep=",")
dfB = pd.read_csv(StringIO(ladoB), sep=",")

"Transpondo" (entre aspas) o dataframe por índice

dfA_stacked = dfA.set_index(["lv1", "lv2", "lv3"]).stack().reset_index().rename(columns={"level_3": "variable", 0: "value"})
dfB_stacked = dfB.set_index(["lv1", "lv2", "lv3"]).stack().reset_index().rename(columns={"level_3": "variable", 0: "value"})

Merging dataframes

df_merged = pd.merge(dfA_stacked, dfB_stacked, on=["lv1", "lv2", "lv3", "variable"], how="outer")
df_merged.head()

Saída

    lv1 lv2 lv3 variable value_x  value_y
0   A   A   A   v1       1.0      1.1
1   A   A   A   v2       2.0      2.0
2   A   A   A   v3       3.0      3.0
3   A   A   A   v4       4.0      4.0
4   A   A   B   v1       NaN      1.0

Criando coluna de diferença

df_merged["diff"] = df_merged["value_x"] - df_merged["value_y"]
df_merged["diff"] = df_merged["diff"].abs()

Selecionando casos diferentes - baseado em uma margem de erro

df_discrepancia = df_merged[(df_merged["diff"] >= .5) | (df_merged["diff"].isna())]
df_discrepancia.head()

Saída

    lv1 lv2 lv3 variable value_x value_y diff
4   A   A   B   v1       NaN     1.0     NaN
5   A   A   B   v2       NaN     2.2     NaN
6   A   A   B   v3       NaN     3.0     NaN
7   A   A   B   v4       NaN     4.0     NaN
15  A   B   B   v4       8.0     8.5     0.5

Dúvidas:

  1. Tem como melhorar o longo comando onde gera o stack? O ideal seria não ter que renomear colunas "manualmente"
  2. Tem como gerar a coluna de diferença absoluta sem ter que usar os dois comandos, mas mantendo a forma vetorizada?
  3. Existem uma forma melhor de fazer que não usando este "monstro"? Olhei os métodos .compare() e .equals(), mas não parece que estes ajudem.

Em tempo: caso outra biblioteca Python resolva de forma mais adequada, pode sugerir.

2
  • 3
    Para quem votou negativo, favor apontar o motivo para que eu possa melhorar a pergunta. Commented 28/02 às 20:12
  • Minha pergunta parece que é polêmica 2 votos positivos e dois negativos. Para quem votou negativo, poderia dizer o porque para que eu possa melhorar a pergunta? Commented 8/03 às 20:51

1 Resposta 1

2
  1. Você pode usar melt em vez de stack:
dfA_stacked = dfA.melt(id_vars=["lv1", "lv2", "lv3"], value_vars=["v1", "v2", "v3", "v4"])
  1. Você pode fazer em uma linha só, mas acredito que não tem como fugir de subtração e abs:
df_merged["diff"] = (df_merged["value_x"] - df_merged["value_y"]).abs()
  1. Uma forma mais simples, usando melt e sem merge entre os dois dataframes:
id_vars = ["lv1", "lv2", "lv3"]
value_vars = ["v1", "v2", "v3", "v4"]

dfA_stacked = dfA.melt(id_vars=id_vars, value_vars=value_vars).set_index(
    id_vars + ["variable"]
)
dfB_stacked = dfB.melt(id_vars=id_vars, value_vars=value_vars).set_index(
    id_vars + ["variable"]
)

df_diff = (dfA_stacked["value"] - dfB_stacked["value"]).abs().reset_index()
df_diff = df_diff[(df_diff["value"] >= 0.5) | (df_diff["value"].isna())]
   lv1 lv2 lv3 variable  value
4    A   A   B       v1    NaN
5    A   A   B       v2    NaN
6    A   A   B       v3    NaN
7    A   A   B       v4    NaN
15   A   B   B       v4    0.5
1
  • Obrigado pela resposta. Bem mais elegante! Commented 8/03 às 20:56

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .