-2

JÁ SANEI MINHA DÚVIDA, E DESCOBRI QUE POSSUE CAMPOS UC'S REPETIDOS NA BASE DE DADOS, porém segue abaixo quem quiser ler a pergunta e resolução:

Estou tentando receber depois da união de 2 dataframes, somente as linhas que possuem no df de acordo com o número da coluna 'UC'; (códigos seguem abaixo das informações)

  • Estou usando a biblioteca Pandas (python) e o jupyter;
  • Vamos supor que o ARQUIVO DO USUÁRIO possui 20.000 linhas de informação;
  • E a BASE DE DADOS possui 50.000 linhas de informação (df_data);
  • Assim que recebo o arquivo do usuário para tratar os dados, transformo em dataframe (df) e faço com que ele receba o valor da 'UC' atualizado na junção dos 2dataframes, com o comando left, para assim retornar somente os valores que tem no df1, no caso eu espero o retorno de 20.000 linhas de informação;
  • Porém eu recebo mais que 20.000 linhas;

SEGUE ABAIXO O CÓDIGO

RECEBE O ARQUIVO, E OBTÉM ALGUMAS INFORMAÇÕES

abriu = False
while not abriu:
    nome_do_arquivo = input("Digite o nome do arquivo de dados: ")
    
    try: 
        arquivo = open(nome_do_arquivo + ".txt", 'r') 
    except FileNotFoundError:
        print(nome_do_arquivo, " não encontrado. Você digitou direito?\n")
    else:
        abriu = True
        
print(f"Conteúdo do arquivo '{nome_do_arquivo}' logo abaixo!\n")

aux = 0
for linha in arquivo:
    print('Existe informação no arquivo!')
    break

count = 0
conteudo = arquivo.readlines() 
for i in conteudo:  
        count += 1

print("\nNúmero de linhas no arquivo:", count,".")

FUNÇÃO DE TRATAR OS DADOS (retira os espaços)

def treatdata(a):
    #print(a)
    uc = a[0:9]
    valor = ''
    titular = a[9:79]
    logradouro = a[79:122]
    numero = a[122:132]
    complemento = a[132:172]
    info = (uc, valor, titular.rstrip(), logradouro.rstrip(), numero.rstrip(), complemento.rstrip())
    #print(info)
    return info

CHAMA A FUNÇÃO DE TRATAR OS DADOS

  • no caso eu usei 20.000 linhas como exemplo, porém o count serve para ler a quantidade de linhas que possui o arquivo;
import pandas as pd
with open("arquivo.txt", "r") as arquivo:
    aux = 0
    aux1 = 0
    if aux == 0:
        df = pd.DataFrame(columns=['UC', 'Valor', 'Titular', 'Logradouro', 'Número', 'Complemento'])
    for i in arquivo.readlines():
        if aux1 <= 20000: #count
            info = treatdata(i)
            df.loc[len(df)] = info
            print(i)
            aux1 = aux1 + 1
        else:
            break 
    display(df)
    arquivo.close()

df(arquivo que recebi do usuário)

DATAFRAME DA BASE DE DADOS

df_data = pd.read_csv("database.csv")
display(df_data)
#aqui usei como exemplo que ela tivesse 50.000 linhas, porém ela possui mais do que isso!

JUNÇÃO DA BASE DE DADOS COM O DF1 E RETORNO DAS INFORMAÇÕES QUE CONSTAM SOMENTE NO DF1 DE ACORDO COM A 'UC'

#união do dataframe do arquivo com o dataframe da base de dados;
df_cosipnew = df.merge(df_data, on=['UC'], how='left', suffixes=['_NEW','_BD'])
display(df_cosipnew)
  • só que aqui na imagem ele retorna mais linhas que o df1 possui;

uniãodabasedeadosedf

  • A princípio como consigo retornar somente a quantidade de linhas que tenho df?
  • criei 2 arquivos csv(simulando os dados e com eles já no formato que eu quero, então não vai precisar tratar ele),sendo 1 o df e outro df_data, repeti as uc's no df_data, segue:
  • detalhe importante: o campo logradouro e número (header das colunas), foi trocado pelo campo endereço no arquivo, então tem que editar no código!

df_data df

1 Resposta 1

-3

Sem os dados fica difícil verificar o problema. Porém, acredito que com o exemplo abaixo, você consiga verificar.

Criando o primeiro dataframe

df1 = pd.DataFrame({"UF": ["RJ", "SP", "RS", "BA"], "VAL": [1, 2, 3, 4]})

df1
   UF  VAL
0  RJ    1
1  SP    2
2  RS    3
3  BA    4

Criando o segundo dataframe

df2 = pd.DataFrame({"UF": ["RJ", "SP", "RS", "MG", "RE"], "VAL": [5, 6, 7, 8, 9]})

df2
   UF  VAL
0  RJ    5
1  SP    6
2  RS    7
3  MG    8
4  RE    9

Merge usando left

pd.merge(df1, df2, on=['UF'], how='left', suffixes=['_df1','_df2'])

   UF  VAL_df1  VAL_df2
0  RJ        1      5.0
1  SP        2      6.0
2  RS        3      7.0
3  BA        4      NaN

Nota: Somente as UFs que existe no df1 irão aparecer no resultado

Merge usando inner

pd.merge(df1, df2, on=['UF'], how='inner', suffixes=['_df1','_df2'])

   UF  VAL_df1  VAL_df2
0  RJ        1        5
1  SP        2        6
2  RS        3        7

Nota: Somente as UFs que aparecerem nos DOIS dataframes irão para o resultado

Merge usando right

pd.merge(df1, df2, on=['UF'], how='right', suffixes=['_df1','_df2'])

   UF  VAL_df1  VAL_df2
0  RJ      1.0        5
1  SP      2.0        6
2  RS      3.0        7
3  MG      NaN        8
4  RE      NaN        9

Nota: Somente as UFs que existirem no df2 farão parte do resultado.

Atualizado

O resultado obtido por você deve se dar ao fato do seu dataframe da direita possuir "UC" repetidas.

Veja o exemplo abaixo:

df1 = pd.DataFrame({"UF": ["RJ", "SP", "RS", "BA"], "VAL": [1, 2, 3, 4]})

df2 = pd.DataFrame({"UF": ["RJ", "SP", "RS", "MG", "RE", "RJ", "RJ"], "VAL": [6, 7, 8, 9, 10, 11, 12]})

pd.merge(df1, df2, on=['UF'], how='left', suffixes=['_df1','_df2'])

   UF  VAL_df1  VAL_df2
0  RJ        1      6.0
1  RJ        1     11.0
2  RJ        1     12.0
3  SP        2      7.0
4  RS        3      8.0
5  BA        4      NaN

Perceba que RJ se repete, pois o mesmo aparece 3 vezes no dataframe da direita (df2). Com isso o resultado possui 5 linhas, enquanto df1 apenas 4.

4
  • Desculpe Paulo por não fornecer os arquivos, é que eles possuem dados pessoais dos cidadãos que residem no município em que trabalho! Obrigada pela resposta, e já estou utilizando o 'left' no código, porém ele retorna mais linhas do que deveria, já usei o 'drop_duplicates', mas ainda continua a possuir mais linhas do que deveria! Commented 19/12/2022 às 18:31
  • @IzaCaroline, melhor atualizar seu post com dados fictícios que permitam a reprodutibilidade do problema. E também corrigir o df e df1, pois você descreve df1 quando sua variável é df Commented 19/12/2022 às 19:03
  • Certo vou aderir, obrigada :) Commented 19/12/2022 às 19:20
  • Isso mesmo Paulo, tem UC's na base de dados repetidas; - criei os arquivos de simulação também, só quem sem os campos logradouro e número, e sim o campo endereço; - peguei essa base de dados de outro funcionário, vou ver como posso arrumar aqui; - Muito Obrigada pela ajuda, vai ser difícil, mas não impossível haha, ainda mais 90.000 linhas de base de dados. Commented 21/12/2022 às 16:05

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .