0

Tenho um dataframe Pandas, no qual preciso adicionar uma nova coluna chamada codprojeto. Para tal, criei esta nova coluna e inseri zeros, para que a mesma tenha o tipo int64, da seguinte maneira:

df['codprojeto'] = 0

Esta nova coluna deve ser alimentada com o codprojeto presente em outro dataframe. Esta coluna é do tipo int64, motivo pelo qual fiz o passo anterior.

Como comparação, estou usando a coluna CNPJ, com valores em ambos DFs. Caso seja igual, deve preencher em df['codprojeto'] o valor de df2['codprojeto'].

Tentativa 1:

for i in range(len(df['CNPJ'])):
    for j in range(len(df2['CNPJ'])):
        if df2.loc[j, 'CNPJ'] == df.loc[i, 'CNPJ']:
            df.loc[i, 'codprojeto'] ==  df2.loc[j, 'codprojeto']

Retorna:

Erro: KeyError: 4

Tentativa 2:

for index, row in df.iterrows():
for index2, row2 in df2.iterrows():
    if str(row['CNPJ']) == row2['CNPJ']:
        df.loc[index,'codprojeto'] = df2.loc[index2,'codprojeto'] 

Retorna: execução eterna; processamento pendente.

Conjunto de dados (amostra):

DF:

CNPJ,DATA,codprojeto
00000000000123,2020-12-02 00:00:00 UTC,0
99900000000123,2020-12-02 00:00:00 UTC,0
00000000000123,2020-12-02 00:00:00 UTC,0
00000000000123,2020-12-02 00:00:00 UTC,0
00000000000145,2020-12-02 00:00:00 UTC,0
00000000000123,2020-12-02 00:00:00 UTC,0
00000000000167,2020-12-02 00:00:00 UTC,0
00000000000167,2020-12-02 00:00:00 UTC,0
00000000000167,2020-12-02 00:00:00 UTC,0
00000000000167,2020-12-02 00:00:00 UTC,0
00000000000101,2020-12-02 00:00:00 UTC,0
00000000000122,2020-12-02 00:00:00 UTC,0
00000000000144,2020-12-02 00:00:00 UTC,0
00000000000123,2020-12-02 00:00:00 UTC,0
00000000000155,2020-12-02 00:00:00 UTC,0
00000000000155,2020-12-02 00:00:00 UTC,0
00000000000155,2020-12-02 00:00:00 UTC,0
00000000000166,2020-12-02 00:00:00 UTC,0
99900000000123,2020-12-02 00:00:00 UTC,0
99900000000123,2020-12-02 00:00:00 UTC,0

DF2:

"codcliente";"nome";"CNPJ";"codprojeto"
1;"CLIENTE 1";"00000000000123";1234
2;"CLIENTE 1";"00000000000145";5678
3;"CLIENTE 1";"00000000000167";9012
4;"CLIENTE 1";"00000000000189";3456
5;"CLIENTE 1";"00000000000101";7890
6;"CLIENTE 1";"00000000000122";11
7;"CLIENTE 1";"00000000000133";22
8;"CLIENTE 1";"00000000000144";33
9;"CLIENTE 9";"00000000000155";44
10;"CLIENTE 10";"00000000000166";55

O DF e DF2 originais possuem, respectivamente, 635939 e 1054 linhas.

Para os casos que não houver CNPJ compatível, deixar como 0 o 'codprojeto' mesmo.

Como posso corrigir isso?

5
  • Marlos, boa tarde! Consegue disponibilizar o conjunto de dados? Abraço! Commented 2/12/2020 às 15:02
  • Sem os dados é difícil responder, mas te adianto que 1) Essa solução é extremamente lenta, use np.where em vez de nested loops O(n^2); 2) Na última linha o correto é = e não ==; 3) O erro possivelmente está ocorrendo pq 4 não está no index de df ou df2
    – Lucas
    Commented 2/12/2020 às 15:15
  • Inclui o conjunto de dados na pergunta. Sobre o '==' na última linha, já fiz a correção. Sobre o KeyError 4, é estranho, pois não estou buscando por valor 4, e sim comparando entre 2 valores apartados.
    – marloswn
    Commented 2/12/2020 às 16:36
  • Uma dica para conseguir sempre respostas objetivas e que te atendam é disbonibilizar amostras de dados que contemplem todos os problemas que você esta passando. Com os dados que você disbonibilizou você recebeu 2 respostas diferentes que apitaram 2 erros diferentes. Existe um tópico exclusivo que mostra como criar um exemplo minimo, completo e verificavel
    – Terry
    Commented 3/12/2020 às 14:40
  • Tranquilo, obrigado pela dica, Terry.
    – marloswn
    Commented 4/12/2020 às 11:43

2 Respostas 2

2

Minha sugestão é fazer um LEFT JOIN usando a função merge(). E para ela funcionar corretamente não é necessário criar a coluna codprojeto com zeros no DataFrame 'DF'

# aqui vou excluir a coluna 'codprojeto' de df, 
# mas acredito que no seu projeto seja necessário 
# apenas comentar a linha onde ela é criada
df = df.drop(columns= ['codprojeto'])

df = df.merge(df2[['CNPJ', 'codprojeto']], on = 'CNPJ', how = 'left').fillna(0)
#para não ter valores duplicados use
#df = df.merge(df2[['CNPJ', 'codprojeto']].drop_duplicates('CNPJ'), on = 'CNPJ', how = 'left').fillna(0)

#para converter a nova coluna para int
df['codprojeto'] = df['codprojeto'].astype('int64')

#saida:
    CNPJ    DATA                    codprojeto
0   123     2020-12-02 00:00:00 UTC 1234.0
1   999...  2020-12-02 00:00:00 UTC 0.0
2   123     2020-12-02 00:00:00 UTC 1234.0
3   123     2020-12-02 00:00:00 UTC 1234.0
4   145     2020-12-02 00:00:00 UTC 5678.0
5   123     2020-12-02 00:00:00 UTC 1234.0
6   167     2020-12-02 00:00:00 UTC 9012.0
7   167     2020-12-02 00:00:00 UTC 9012.0
8   167     2020-12-02 00:00:00 UTC 9012.0
9   167     2020-12-02 00:00:00 UTC 9012.0
10  101     2020-12-02 00:00:00 UTC 7890.0
11  122     2020-12-02 00:00:00 UTC 11.0
12  144     2020-12-02 00:00:00 UTC 33.0
13  123     2020-12-02 00:00:00 UTC 1234.0
14  155     2020-12-02 00:00:00 UTC 44.0
15  155     2020-12-02 00:00:00 UTC 44.0
16  155     2020-12-02 00:00:00 UTC 44.0
17  166     2020-12-02 00:00:00 UTC 55.0
18  999...  2020-12-02 00:00:00 UTC 0.0
19  999...  2020-12-02 00:00:00 UTC 0.0
11
  • Mesma questão, Terry: coluna codprojeto em df fica zerada.
    – marloswn
    Commented 2/12/2020 às 23:30
  • Acredito que o tipo das coluna CNPJ não é o mesmo em ambos os dataframes. Tente converter essa coluna para número usando o comando : df['CNPJ'] = df['CNPJ'].astype('int64'). Faça o mesmo no df2 e depois faça o merge
    – Terry
    Commented 3/12/2020 às 1:50
  • Terry, aí acontece o erro: ValueError: invalid literal for int() with base 10: '00.000.000'
    – marloswn
    Commented 3/12/2020 às 11:54
  • Pelo visto em um dos seus DataFrames o campo CNPJ possui pontos, o que é um problema para converter para o tipo numérico. Pesquise ou crie uma nova pergunta no SO-PT sobre como transformar números com pontos para int64 no pandas, dando exemplos e como deve ser a saida final
    – Terry
    Commented 3/12/2020 às 14:35
  • 1
    Terry, deu certo! Era exatamente isso que eu precisava. Muitíssimo obrigado!!!
    – marloswn
    Commented 4/12/2020 às 13:59
1

Importando o pandas

import pandas as pd

Carregando os arquivos de teste

df = pd.read_csv('./df.csv')
df2 = pd.read_csv('./df2.csv', sep = ';')

df

    CNPJ        DATA              codprojeto
0   123  2020-12-02 00:00:00 UTC      0
1   123  2020-12-02 00:00:00 UTC      0
2   123  2020-12-02 00:00:00 UTC      0
3   123  2020-12-02 00:00:00 UTC      0
4   145  2020-12-02 00:00:00 UTC      0
5   123  2020-12-02 00:00:00 UTC      0
6   167  2020-12-02 00:00:00 UTC      0
7   167  2020-12-02 00:00:00 UTC      0
8   167  2020-12-02 00:00:00 UTC      0
9   167  2020-12-02 00:00:00 UTC      0
10  101  2020-12-02 00:00:00 UTC      0
11  122  2020-12-02 00:00:00 UTC      0
12  144  2020-12-02 00:00:00 UTC      0
13  123  2020-12-02 00:00:00 UTC      0
14  155  2020-12-02 00:00:00 UTC      0
15  155  2020-12-02 00:00:00 UTC      0
16  155  2020-12-02 00:00:00 UTC      0
17  166  2020-12-02 00:00:00 UTC      0
18  123  2020-12-02 00:00:00 UTC      0
19  123  2020-12-02 00:00:00 UTC      0

df2

    codcliente  nome        CNPJ    codprojeto
0   1           CLIENTE 1   123     1234
1   2           CLIENTE 1   145     5678
2   3           CLIENTE 1   167     9012
3   4           CLIENTE 1   189     3456
4   5           CLIENTE 1   101     7890
5   6           CLIENTE 1   122       11
6   7           CLIENTE 1   133       22
7   8           CLIENTE 1   144       33
8   9           CLIENTE 9   155       44
9   10          CLIENTE 10  166       55

Mapeando a Serie de df para atribuir os valores à correspondência no df2

df['codprojeto'] = df['CNPJ'].map(df2.set_index('CNPJ')['codprojeto']).fillna(0)

Imprimindo

df

Saída:

    CNPJ             DATA           codprojeto
0   123   2020-12-02 00:00:00 UTC   1234
1   123   2020-12-02 00:00:00 UTC   1234
2   123   2020-12-02 00:00:00 UTC   1234
3   123   2020-12-02 00:00:00 UTC   1234
4   145   2020-12-02 00:00:00 UTC   5678
5   123   2020-12-02 00:00:00 UTC   1234
6   167   2020-12-02 00:00:00 UTC   9012
7   167   2020-12-02 00:00:00 UTC   9012
8   167   2020-12-02 00:00:00 UTC   9012
9   167   2020-12-02 00:00:00 UTC   9012
10  101   2020-12-02 00:00:00 UTC   7890
11  122   2020-12-02 00:00:00 UTC     11
...
14
  • Parabéns pela solução. Você pode explicar o que a função map está fazendo nesse caso? Par mim não é óbvio
    – Lucas
    Commented 2/12/2020 às 17:33
  • Segue, Imonferrari: df['codprojeto'] = df2['CNPJ_EMPRESA'].map(df.set_index('CNPJ_EMPRESA')['codprojeto']).fillna(0) Retorna o seguinte: InvalidIndexError: Reindexing only valid with uniquely valued Index objects
    – marloswn
    Commented 2/12/2020 às 17:57
  • Rodou, mas preencheu a coluna "codprojeto" do df com "0.0", ao invés de inserir o "codprojeto" do df2.
    – marloswn
    Commented 2/12/2020 às 18:19
  • É como se não encontrasse nada e preenchesse toda a coluna com 0, ao invés do valor presente em df2['codprojeto'].
    – marloswn
    Commented 2/12/2020 às 18:34
  • Segue preenchendo a coluna 'codprojeto' com zeros... codprojeto 0.0 0.0 0.0 0.0 0.0
    – marloswn
    Commented 2/12/2020 às 18:58

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .