Estou tentando concatenar um arquivo csv com outro. O meu objetivo é retirar dados de um HTML diariamente e minha rotina deveria pegar um arquivo csv chamado de 'dado_antigo' onde se encontra um dataframe salvo em csv, e quando rodasse novamente deveria criar um novo arquivo atualizado e concater esse arquivo novo com o antigo. Após isso acontecer ele deveria apagar os dados repetidos e adicionando só os novos para o arquivo csv, criando um novo 'dado_antigo' para que amanhã a rotina rode novamente. Estou usando:
#a.to_csv('dado_antigo.csv')
b = pd.read_csv('dado_antigo.csv',
index_col='Data',
parse_dates= ['Data'])
#arquivo concatenado
c = pd.concat((b,a))
aa, bb = np.unique(c, return_index=True)
c = c.ix[bb]
c = pd.read_csv('dado_antigo.csv')
E recebo este erro:
IndexError: indices are out-of-bounds
Como poderia resolver? Obrigado.