Dado que há um dataframe
import pandas as pd
df = pd.DataFrame({'A':[1, 2, 1, 1, 1, 1], 'B': [1, 1, 1, 1, 2, 3]})
df.to_csv("tmp.csv", sep="|", index=False)
df = pd.read_csv("tmp.csv", sep="|", chunksize=3)
Como posso remover todas as linhas duplicadas? Mesmo em chunk diferentes. Isso é, se no primeiro chunk uma linha 1, 1, então os demais chunk não podem ter.