1

Dado que há um dataframe

import pandas as pd
df = pd.DataFrame({'A':[1, 2, 1, 1, 1, 1], 'B': [1, 1, 1, 1, 2, 3]})
df.to_csv("tmp.csv", sep="|", index=False)
df = pd.read_csv("tmp.csv", sep="|", chunksize=3)

Como posso remover todas as linhas duplicadas? Mesmo em chunk diferentes. Isso é, se no primeiro chunk uma linha 1, 1, então os demais chunk não podem ter.

5
  • Você consegue carregar todo o DF na memória contendo apenas as COLUNAS que você quer verificar duplicados? Ou a verificação é de duplicados considera todas as colunas e com isso não dá para carregar tudo? Commented 27/03/2023 às 17:05
  • @PauloMarques , o data frame só tem duas colunas, no caso normal seria um drop_duplicates sem subset, mas é muito longo. Commented 27/03/2023 às 17:30
  • A questão pode ser solucionada com o SQLite ou Dask? Commented 28/03/2023 às 10:08
  • @MárcioMocellin, digamos que o original possua 50 colunas, mas para "checar duplicados" vc só precise de duas delas. Daria para criar uma lista de índice de duplicados carregando apenas as duas colunas e depois criar um iterator para não trazer tais linhas do arquivo. Commented 28/03/2023 às 17:29
  • Marcio, conseguiu testar minha resposta?
    – Terry
    Commented 31/03/2023 às 13:45

0

Você deve fazer log-in para responder a esta pergunta.

Pesquise outras perguntas com a tag .