1

Boa tarde. Estou comparando dois dada frames,o data frame 1 possui uma consulta sql e o data frame 2 uma consulta mysql quero comparar os dois. Quando o registro do DF 1 não estiver no DF 2 quero guardar o resultado em outro data frame vazio, para depois carregar os dados desse data frame vazio na minha tabela no mysql, assim podendo automatizar um processo.

DF1 = Função para conexão com banco sql server e dataframe 1

DF2 = Função para conexão com banco Mysql e dataframe 2

import pymysql.cursors
import pyodbc
import pandas as pd
from sqlalchemy import create_engine


# Função para trazer os dados do Sql e jogar em um dataframe
def get_vendas_sqlserver():
    #Conexão com SQL Server
    connection = pyodbc.connect("DSN=SQLServer")  #autocommit=True
    try:
        # Conteúdo do data frame 1
        df = pd.read_sql_query("SELECT * FROM dw.dbo.vW_Vendateste123",connection,index_col=None,coerce_float=True, parse_dates= 'DataBaseContrato') 
        return df      
    finally:
        connection.close()


# Função para trazer os dados do mysql e jogar em um dataframe
def get_vendas_mysql():
    #Conexão Mysql
    cnxmysql = pymysql.connect(host='teste',
                                 user='teste',
                                 password='teste',
                                 db='dw')
    try:
        # Conteúdo do data frame 2
        df = pd.read_sql_query("SELECT * FROM ft_venda_copy", cnxmysql, index_col=None, coerce_float=True,
                               parse_dates='DataBaseContrato')
        return df
    finally:
        cnxmysql.close()

def compara_valores():
    cnx = create_engine('mysql+pymysql://teste:teste@teste/dw')
    df1 = get_vendas_sqlserver()
    df2 = get_vendas_mysql()
    #criando um dataframe vazio para guardar o resultado
    df_result = pd.DataFrame()
    print('df1: ',df1,' ', 'df2: ',df2, sep='\n')



    # o metodo iterrows retorna um tuple com o indice 
    for index, row in df1.iterrows():
    # verifica se este registro existe no DF do MySQL
        if row["IdContrato"] in df2["IdContrato"]:
            print("Contrato {0} encontrada no Mysql".format(row["Idcontrato"]))       
        else:
            print("Contrato {0} nao encontrada no Mysql".format(row["IdContrato"]))

        df_result.to_sql(con=cnx, name='ft_venda_copy', if_exists='append', index=False)

Quando vou verificar o data frame Result ele me retorna vazio

# adiciona o registro em um novo DF que vai ser usado para gravar no banco
df_result.append(row)
print(df_result)


df1:
      IdUnidade  IdContrato  IdProspect TipoContrato  ... 
0           276      9607.0         NaN          PCV  ...                 
1           328      8391.0         NaN          PCV  ...            
2           362     10233.0         NaN          PCV  ...            
3           309     10548.0         NaN          PCV  ...            
4           237      8849.0         NaN          PCV  ...            
5           308      8116.0         NaN          PCV  ...            0 

[6355 rows x 34 columns]


df2:
      IdUnidade  IdContrato  IdProspect TipoContrato  ... 
0           276      9607.0         NaN          PCV  ...                 
1           328      8391.0         NaN          PCV  ...            
2           362     10233.0         NaN          PCV  ...            
3           309     10548.0         NaN          PCV  ...            
4           237      8849.0         NaN          PCV  ...            
5           308      8116.0         NaN          PCV  ...            0 

[6355 rows x 34 columns]
1
  • Voce editou a pergunta, adicionou o comando que sugeri nos comentarios da minha resposta, mas note que eu comentei "Execute e reproduza o resultado na sua questao.", cadê o resultado?
    – Sidon
    Commented 7/03/2019 às 16:38

1 Resposta 1

1

O ideal seria que vc mostrasse o conteudo dos dataframes, ficou dificil entender o contexto, então vou tentar dar um exemplo baseado no que entendi da sua pergunta, vou criar 1 dataframe df1 e depois copia-lo para um segundo df2 e então alterar o dado da primeira coluna da segunda linha do df1, ou seja, o primeiro dataframe df1 conterá uma linha (a segunda) que não estará contida no segundo df2, então 'navego' nas linhas do df1 verificando se o valor da primeira coluna de cada linha está contida na mesma coluna do df2, caso não esteja, salvo essa(s) linha(s) em uma lista e, finalmente a coverto para um dataframe

Depois de 'Teracentos' comentários e edições na pergunta, editei o exemplo para adaptar ao contexto.

import pandas as pd

a1 = [['276', '9607.0','NaN','PCV'], 
      ['328', '8391.0','NaN','PCV'], 
      ['362', '10233.0','NaN','PCV']]

df1 = pd.DataFrame(a1, columns=['IdUnidade','IdContrato','IdProspect','TipoContrato'])
df2 = df1.copy()

# Incluindo uma nova linha em df1
df1.loc[len(df1)] = ['999', '9999.9','999','PCV']

# Aturalizando df2 em função de df1...
old_df2 = df2.copy()
for i, row in df1.iterrows():
    if row['IdContrato'] not in list(df2['IdContrato']):
        df2.loc[len(df2)] = list(row)

# Apresentando os resultados
print('','df1:', df1,'','df2 original:',old_df2,'','Novo df2:',df2,sep='\n')

Saida:

df1:
  IdUnidade IdContrato IdProspect TipoContrato
0       276     9607.0        NaN          PCV
1       328     8391.0        NaN          PCV
2       362    10233.0        NaN          PCV
3       999     9999.9        999          PCV

df2 original:
  IdUnidade IdContrato IdProspect TipoContrato
0       276     9607.0        NaN          PCV
1       328     8391.0        NaN          PCV
2       362    10233.0        NaN          PCV

Novo df2:
  IdUnidade IdContrato IdProspect TipoContrato
0       276     9607.0        NaN          PCV
1       328     8391.0        NaN          PCV
2       362    10233.0        NaN          PCV
3       999     9999.9        999          PCV

Veja funcionando no repl.it.

9
  • Sidon adicionei o conteúdo dos data frame no caso seriam duas tabela uma sql e outra my sql, aplicaria da mesma forma do seu exemplo ??
    – Nidorus
    Commented 7/03/2019 às 12:54
  • Se meu exemplo esta de acordo com sua necessidade, vai se aplicar. Onde vc adicionou os conteudos dos 2 DFs? Além da falta disso, parece que sua questão esta mal formatada ou faltando mais coisas, o ultimo bloco de codigo que vc apresenta, não deveria esta dentro do for index, row... do bloco de codigo anterior?
    – Sidon
    Commented 7/03/2019 às 13:36
  • 1
    Ainda não apresentou os dfs e a formatacao ainda parece errada. para apresentar os dfs, faca assim: Em def compara_valores(), crie uma linha naquele espaço vago, no meio do bloco de codigo, com o seguinte comando: print('df1:',df1,' ', 'df2:',df2, sep='\n'). Execute e reproduza o resultado na sua questao.
    – Sidon
    Commented 7/03/2019 às 14:39
  • 1
    Não, vc não fez o que eu sugeri, veja nos comentários da sua pergunta.
    – Sidon
    Commented 7/03/2019 às 16:38
  • 1
    Ok, estou editando minha resposta para adaptar ao seu contexto, depoi eu mando o numero da minha conta para o seu patrão fazer o depósito, certo? :-)
    – Sidon
    Commented 7/03/2019 às 18:50

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .