Tenho uma rotina que me retorna diariamente 2900 linhas. Essas informações são enviadas para o BigQuery. Existe algum jeito de enviar hoje essas 2900 linhas numa tabela do BigQuery e amanha adicionar outras 2900 linhas nessa mesma tabela?
1 Resposta
Essa pergunta é muito ampla, não é reprodutível, MAS, vou fornecer meus 2 centavos. Existe um serviço de cloud chamado Stitchdata que faz basicamente integração de fontes de dados com um data warehouse como o Bigquery.
Eu por exemplo tenho uma API que registra em um banco de dados no Postgres os logs de uso da API. Esses dados são importantes para análises posteriores e por isso eu envio a cada 30 minutos as novas linhas para uma tabela no Bigquey. Para funcionar esse modo incremental basta ter um campo incremental na tabela, como um ID, ou algum campo com informação temporal, como um timestamp.