1

Eu tenho um csv com dados de algumas matriculas que estou fazendo um estudo, eu gerei um id para cada matricula, e queria verificar se ele se repete no mesmo ano.

tenho o seguinte código:

# retorna true se o idx for repetido.
def repetido(idx, ano, df):
    cont = 0 
    for index, row in df.iterrows():
        if idx == row['Id'] and ano == row['NU_ANO_CENSO']:
            cont += 1
    if cont > 1:
        return True
    else:
        return False
        
# imprime uma lista com os id que se repetem, se tiver algum.
def contIdRepetido():
    df = pd.read_csv('../dados/dados_padronizados_matriculas_januaria_2009_2018_com_id.csv')
    repetidos = []
    for index, row in df.iterrows():
        if repetido(row['Id'], row['NU_ANO_CENSO'], df):
            repetidos.append(row['Id'])
    print(f'Id repetidos: {repetidos}')

Porém dessa forma ta demorando muito tempo para executar, Alguém sabe de alguma forma mais eficiente de fazer isso?

o csv pode ser encontrado aqui

2 Respostas 2

4

Você pode usar groupby + value_counts do pandas:

pd.set_option('display.max_rows', None)
df.groupby(['NU_ANO_CENSO'])['Id'].value_counts()

Essa linha serve para tirar o limite de visualização caso esteja utilizando o jupyter notebook por exemplo:

pd.set_option('display.max_rows', None)

Saída:

               id    repetições
2009          2337       3
              1736       2
              1898       2
              1963       2
              2217       2
              2304       2
              2343       2
              2845       2
              2880       2
                     ..
2018          3723       1
              3724       1
              3725       1
              3726       1
              3727       1

Utilizando dessa forma você ganha muito em performance.


Edit

Como sugestão do Terry para retornar somente onde os valores são maiores que 1:

valores = df.groupby(['NU_ANO_CENSO'])['Id'].value_counts()

O pandas retorna um objeto do tipo Series como demonstrado:

type(valores)
pandas.core.series.Series

Então podemos listar:

valores[valores > 1].index.values

Saída:

array([(2009, 2337), (2009, 1736), (2009, 1898), (2009, 1963),
       (2009, 2217), (2009, 2304), (2009, 2343), (2009, 2845),
       (2009, 2880), (2009, 3114), (2009, 3398), (2010, 2337),
       .......................................................
       (2018, 3355), (2018, 3364), (2018, 3398), (2018, 3406),
       (2018, 3407), (2018, 3423), (2018, 3449), (2018, 3451),
       (2018, 3452), (2018, 3453), (2018, 3454), (2018, 3467),
       (2018, 3474), (2018, 3484), (2018, 3485), (2018, 3486),
       (2018, 3520), (2018, 3521), (2018, 3536), (2018, 3556),
       (2018, 3557), (2018, 3585), (2018, 3602), (2018, 3605)]
2
  • 1
    Eu fiz de uma forma um pouco diferente para retorna os valores maior do que um, mais esse foi o método com maior desempenho, obrigado! Commented 6/09/2020 às 11:50
  • 1
    Sim, existem várias formas de retornar estes valores. Só quis te demonstrar que era possível fazendo com as funções do pandas. Que bom que te ajudou! Abraços!! Commented 6/09/2020 às 11:53
3

Você chama a função repetidos para cada linha do seu dataframe, e essa função por sua vez, olha de novo todas as linhas do dataframe.

Ou seja, se tiver 10 linhas, vai fazer 100 comparações. 1000 linhas, 1 milhão de comparações. Não é uma boa ideia mesmo.

Um estudo superficial poderia querer trocar a busca feita em qualquer das duas etapas por uma busca do bandas, em vez de usar o for ... iterrows - isso faz com que a busca seja feita por código interno do pandas/numpy que pode ser muitas vezes mais rápido (10 a 100) - mas isso não resolveria o problema fundamental: você continuaria fazendo N² comparações.

Tanto dataframes como listas de Python tem uma busca (e portanto, comparação), linear: isso é, cada linha de dados tem que ser avaliado.

Isso normalmente se resolve usando uma estrutura de dados diferente - como um dicionário de Python, por exemplo - m dicionários, a busca por chaves é em tempo constante, não importa quantos dados existam no dicionário.

Então dá pra percorrer o seu dataframe uma única vez, e ir contando as repetições com um dicionário, em vez de chamar outra função que percorre o dataframe todo de novo. Nesse caso, como você só quer saber se houve repetição ou não, pode suar um conjunto (set) - só pra marcar as já vistas. Conjuntos, como dicionários, também tem tempo de acesso constante. Fica mais ou menos assim:

      
# sobre o nome da função - em Python se usa o "snake case"
# pesauisas ao longo de décadas mostraram que, se não for
# mais légivel, pelo menos é preferido pelos programadores de Python:

def conta_id_repetido(df):
    # ^ o mais legal de funções é poder re-usa-las. Não faz sentido ter
    # o caminho do arquivo de dados fixo dentro da função - o melhor
    # é ela receber os dados para processar - ou - pelo
    # menos o caminho como parâmetro.
    
    # "ah, mas o arquivo vai ser sempre esse". Não! Estamos aqui,
    # eu respondendo sua pergunta, e obviamente não tenho o 
    # arquivo no caminho que estava aqui.
    
    repetidos = []
    vistos = set()
    for index, row in df.iterrows():
        chave = row["Id"], row["NU_ANO_CENSO"]
        if chave not in vistos:
            vistos.add(chave)
        else:
            repetidos.append(row["Id"])
    return repetidos
    
def principal():
    # A função principal do programa é o ponto de entrada
    # e orquestra o codigo reutilizavel das outras funções - aqui,
    # sim, pode fazer sentido ler o dataframe de um arquivo específico
    # (e mesmo assim, o caminho em disco ainda pode vir, por exemplo,
    # de um parametro da linha de comando, ou de uma variável de ambiente)
    # e aqui faz sentido o "print"
    df = pd.read_csv('../dados/dados_padronizados_matriculas_januaria_2009_2018_com_id.csv')
    repetidos = conta_id_repetido(df)
    print(f'Id repetidos: {repetidos}')

Nesse código, se o seu dataframe tem 1000 linhas, são feitas...1000 comparações, não 1 milhão!

1
  • Obrigado amigo! me ajudou bastante. Commented 5/09/2020 às 11:19

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .