0

Tenho um dataset de 60 milhões de registros que, mês passado, efetuei um recorte e restaram 45 milhões. Pois bem, pensando que poderia precisar destes 15 milhões um dia, salvei o index destes registros excluídos em um .csv a parte.

O dia chegou e, hoje, estou tentando, sem sucesso, aplicar este arquivo .csv com os index sobre o arquivo de 60 milhões original para gerar um arquivo contendo apenas os registros que foram excluídos na última operação.

Como posso gerar uma nova lista booleana de indexes usando o arquivo original e passando apenas os indexes salvos no arquivo a parte como true? Esta é a estrutura do meu arquivo com os indexes:

0              38424
1               3606
2           60994093
3              23182
4              25694

Entre outras coisas, tentei o seguinte:

new_df = df[df.index == index_excluidos]

P.S. Já converti o index_excluidos para series.

0

2 Respostas 2

1

Uma alternativa é o método isin do pandas:

import pandas as pd

Simulando os índices dentro do csv

indices = [1,3,4,5,1]

Criando o data frame

coluna = ['a','b','c','d','e','f']
df = pd.DataFrame({'Letras':coluna})

Mostrando o data frame

df
Letras
0 a
1 b
2 c
3 d
4 e
5 f

Utilizando o isin do pandas

df[df['Letras'].index.isin(indices)]
Letras
1 b
3 d
4 e
5 f

Ou simplesmente:

df['Letras'].index.isin(indices)

para retornar um array de True ou False

array([False,  True, False,  True,  True,  True])

Para casos assim o isin geralmente tem uma performance melhor.

0

Acabou que a resposta era mais siples do que eu imaginava: Precisa usar o iloc. Segue a solução completa, caso alguém chegue aqui com o mesmo problema:

new_df = df.iloc[index_excluidos]

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .