Eu tenho um csv com dados de algumas matriculas que estou fazendo um estudo, eu gerei um id para cada matricula, e queria verificar se ele se repete no mesmo ano.
tenho o seguinte código:
# retorna true se o idx for repetido.
def repetido(idx, ano, df):
cont = 0
for index, row in df.iterrows():
if idx == row['Id'] and ano == row['NU_ANO_CENSO']:
cont += 1
if cont > 1:
return True
else:
return False
# imprime uma lista com os id que se repetem, se tiver algum.
def contIdRepetido():
df = pd.read_csv('../dados/dados_padronizados_matriculas_januaria_2009_2018_com_id.csv')
repetidos = []
for index, row in df.iterrows():
if repetido(row['Id'], row['NU_ANO_CENSO'], df):
repetidos.append(row['Id'])
print(f'Id repetidos: {repetidos}')
Porém dessa forma ta demorando muito tempo para executar, Alguém sabe de alguma forma mais eficiente de fazer isso?
o csv pode ser encontrado aqui