0

Em dois arquivos .csv, como posso saber se um determinado usuário se encontra ou não nos arquivos ?

Esses arquivos possuem um número de colunas diferente, porém eles têm em comum alguns campos (colunas), por exemplo:

NOME, CNS, CPF, PIS, SEXO, NOME DA MAE, NOME DO PAI ...

O problema é que existe campos nulos nessas colunas. Por isso, há o problema de saber se o usuário existe ou não nas bases. Em resumo tenho dois sistemas, X e Y, como saber se um determinado usuário pertence aos dois sistemas ?

import csv 
arquivo  = ['cidade_social.csv' , 'gestantes_prenatal.csv']
f1 = open(arquivo[0], 'r').readlines()
f2 = open(arquivo[1], 'r').readlines()
fNome = open('saida.csv', 'a')
for _ in range(2):
for row in f1:
    if row not in f2:
        fNome.write(row)
f1, f2 = f2, f1

Tentei isso, mas creio que isto é mais para ler linhas e não comparar campos.

5
  • 1
    Acredito que vc está querendo mexer com data science. Dá uma pesquisa sobre o Pandas. Eh uma biblioteca (mt poderosa) especifica para análise e leitura de tabelas, colunas.. Acredito que vc vai encontrar a solução com isso.
    – Gui Reis
    3/03/2020 às 3:39
  • No caso, vc usaria o pandas para criar duas tabelas (uma pra cada arquivos), a partir disso vc mexeria conforme a necessidade: se vc quiser tirar as lacunas em branco (null ou n/a), procurar alguma palavra ou número dentro do arquivo... enfim. Da uma pesquisada sobre
    – Gui Reis
    3/03/2020 às 3:42
  • Tentei isso: import pandas as pd dataset = pd.read_csv('cidade_social.csv') print(dataset.head()) print(dataset['NOME']) print(dataset.SEXO) print(dataset[['NOME','SEXO','CNS']]) print(dataset.describe()) Tranquilo, posso fazer isso para o outro csv, mas então, como compará-los e escrever em um novo dataframe, os correspondentes? 3/03/2020 às 4:08
  • tem como vc pegar os valores de uma coluna e ler eles.. se voce quer ver se tem nome repetido entre duas tabelas (provavelmente na mesma coluna - ex: nome e nome (nomes duplicados) ) o jeito mais fácil é criando uma novo dataframe com duas colunas, uma coluna vai receber os nomes dos dois arquivos (junção de colunas em uma só) e também colocar os respectivos indises (onde eles estão localizados na tabela), assim vc usa: df["coluna"].value_counts() (onde: df é o seu dataframe criado e "coluna" eh a coluna com todos os nomes) e ele vai mostrar todos os nomes com um num (num de vezes que aparece)
    – Gui Reis
    3/03/2020 às 4:21
  • Deu pra entender?
    – Gui Reis
    3/03/2020 às 4:22

1 Resposta 1

2

Vamos lá,

vou assumir a premissa que em ambas as tabelas exista ao menos um campo comum que sempre esta preenchido, no meu exemplo vou dizer que esse campo é o NOME

Então supondo que os arquivos sejam:

CSV 1

inserir a descrição da imagem aqui

CSV2

CSV2

Vamos utilizar o pandas para realizar a comparação.

1 - Vamos importar a biblioteca

import pandas as pd

2 - Vamos carregar os arquivos:

df1 = pd.read_csv('C:/TESTES/CSV1.csv', delimiter=';')
df2 = pd.read_csv('C:/TESTES/CSV2.csv', delimiter=';')

A partir daqui há vários caminhos, vou falar de dois que podem se encaixar ou não no que precisa.

...depois de carregados os arquivos..

caminho 1

Concatenar a coluna de nome entre os dois dataframes, e depois mostrar os duplicados com a função duplicated()

df_aux = pd.concat([df1['NOME'],df2['NOME']])
df_aux[df_aux.duplicated()]

---------Resultado----------

inserir a descrição da imagem aqui

caminho 2

Aqui vamos adicionar uma coluna ao dataframe 1 que diz em 0 ou 1 se existe um valor duplicado no df2.

df1 = df1.assign(Existe_DF2=df1.NOME.isin(df2.NOME).astype(int))

---------Resultado----------

inserir a descrição da imagem aqui

1
  • 1
    Perfeito! Era isso mesmo! Muito obrigado! Show! 3/03/2020 às 14:06

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .