JÁ SANEI MINHA DÚVIDA, E DESCOBRI QUE POSSUE CAMPOS UC'S REPETIDOS NA BASE DE DADOS, porém segue abaixo quem quiser ler a pergunta e resolução:
Estou tentando receber depois da união de 2 dataframes, somente as linhas que possuem no df de acordo com o número da coluna 'UC'; (códigos seguem abaixo das informações)
- Estou usando a biblioteca Pandas (python) e o jupyter;
- Vamos supor que o ARQUIVO DO USUÁRIO possui 20.000 linhas de informação;
- E a BASE DE DADOS possui 50.000 linhas de informação (df_data);
- Assim que recebo o arquivo do usuário para tratar os dados, transformo em dataframe (df) e faço com que ele receba o valor da 'UC' atualizado na junção dos 2dataframes, com o comando left, para assim retornar somente os valores que tem no df1, no caso eu espero o retorno de 20.000 linhas de informação;
- Porém eu recebo mais que 20.000 linhas;
SEGUE ABAIXO O CÓDIGO
RECEBE O ARQUIVO, E OBTÉM ALGUMAS INFORMAÇÕES
abriu = False
while not abriu:
nome_do_arquivo = input("Digite o nome do arquivo de dados: ")
try:
arquivo = open(nome_do_arquivo + ".txt", 'r')
except FileNotFoundError:
print(nome_do_arquivo, " não encontrado. Você digitou direito?\n")
else:
abriu = True
print(f"Conteúdo do arquivo '{nome_do_arquivo}' logo abaixo!\n")
aux = 0
for linha in arquivo:
print('Existe informação no arquivo!')
break
count = 0
conteudo = arquivo.readlines()
for i in conteudo:
count += 1
print("\nNúmero de linhas no arquivo:", count,".")
FUNÇÃO DE TRATAR OS DADOS (retira os espaços)
def treatdata(a):
#print(a)
uc = a[0:9]
valor = ''
titular = a[9:79]
logradouro = a[79:122]
numero = a[122:132]
complemento = a[132:172]
info = (uc, valor, titular.rstrip(), logradouro.rstrip(), numero.rstrip(), complemento.rstrip())
#print(info)
return info
CHAMA A FUNÇÃO DE TRATAR OS DADOS
- no caso eu usei 20.000 linhas como exemplo, porém o count serve para ler a quantidade de linhas que possui o arquivo;
import pandas as pd
with open("arquivo.txt", "r") as arquivo:
aux = 0
aux1 = 0
if aux == 0:
df = pd.DataFrame(columns=['UC', 'Valor', 'Titular', 'Logradouro', 'Número', 'Complemento'])
for i in arquivo.readlines():
if aux1 <= 20000: #count
info = treatdata(i)
df.loc[len(df)] = info
print(i)
aux1 = aux1 + 1
else:
break
display(df)
arquivo.close()
df(arquivo que recebi do usuário)
DATAFRAME DA BASE DE DADOS
df_data = pd.read_csv("database.csv")
display(df_data)
#aqui usei como exemplo que ela tivesse 50.000 linhas, porém ela possui mais do que isso!
JUNÇÃO DA BASE DE DADOS COM O DF1 E RETORNO DAS INFORMAÇÕES QUE CONSTAM SOMENTE NO DF1 DE ACORDO COM A 'UC'
#união do dataframe do arquivo com o dataframe da base de dados;
df_cosipnew = df.merge(df_data, on=['UC'], how='left', suffixes=['_NEW','_BD'])
display(df_cosipnew)
- só que aqui na imagem ele retorna mais linhas que o df1 possui;
- A princípio como consigo retornar somente a quantidade de linhas que tenho df?
- criei 2 arquivos csv(simulando os dados e com eles já no formato que eu quero, então não vai precisar tratar ele),sendo 1 o df e outro df_data, repeti as uc's no df_data, segue:
- detalhe importante: o campo logradouro e número (header das colunas), foi trocado pelo campo endereço no arquivo, então tem que editar no código!