5

Considerando os conceitos de data warehouse e de data lake, que diferenças notáveis podemos citar entre eles?

6
  • Vou aguardar a opinião de outras pessoas, mas pra mim parece não estar no escopo do site
    – Largato
    Commented 4/12/2018 às 22:45
  • Bacco, como existe uma tag "business-intelligence" e isso é uma pergunta objetiva sobre o tema eu acredito que seja válida. Lendo o último bullet point do escopo do site, encontramos: "dúvidas teóricas sobre conceitos e práticas aplicados ao desenvolvimento de software". Essa dúvida é pertinente por guiar quem quer desenvolver cada uma dessas duas coisas, não? Você faz um data warehouse como? E um data lake? Mas qual a diferença afinal? Commented 4/12/2018 às 22:48
  • 2
    Tags não definem escopo, elas são mera organização. Ubuntu é tag, e nem por isso perguntas sobre o OS são aceitas. O site é unica e exclusivamente sobre programação e ferramentas relacionadas (relacionadas no seu uso para programação). Por exemplo, uma pergunta sobre uma fórmula de Excel cabe, mas como formatar página no Excel não. Mas se puder elaborar concentrando a discussão no escopo, talvez seja possível abordar o tema.
    – Largato
    Commented 4/12/2018 às 22:49
  • 2
    De qualquer forma, eu entendo se acharem que não faz parte do escopo. Talvez eu tenha que melhorar a forma de perguntar para poder deixar claro que é relacionado ao desenvolvimento desses dois recursos. Commented 4/12/2018 às 22:56
  • 2
    @Piovezan , então a diferença é que a warehouse passa por uma zona de tratamento e o lake é mais parecido com o Tietê? Commented 5/12/2018 às 0:46

1 Resposta 1

3

Vou me atrever a uma breve resposta, visto que ninguém ainda se manifestou:

O Data Lake foi um conceito criado para resolver problemas os quais o Data Warehouse tinha dificuldades em resolver, que são os V's do Big Data, considerarei aqui na resposta o que eu considero que são as 2 maiores diferenças:

Volume:

Hoje com o alto volume de dados que é produzido, ficaria muito caro armazenar toda essa informação no DW, visto que eles, em sua maioria são construídos em cima de SGDBs.

Assim o Data Lake tem um proposta de armazenamento dos dados em Hardware Barato, reduzindo os custos de armazenamento de informação.

De fato, até existem algumas arquiteturas de Data Lake que tem uma zona de "Archive", onde dados que terminaram seu ciclo de vida no DW são movidos para lá.

Variedade:

Com o advento de novas fontes de dados não estruturadas(fotos, pdfs, áudios, vídeos, etc) e formas de analisar estes dados(Machine Learning, Deep Learning), as empresas sentiram necessidade de armazenar essas informações, porém essas informações mencionadas acima não podem ou não deveriam ser armazenadas em SGBDs.

Assim, temos Data Lakes construídos em Diretórios de arquivos, que permitem a inclusão de qualquer fonte de dado.

Conclusão:

Existem outras diferenças, porém a resposta já ficou muito grande para o SO, para finalizar, hoje a maioria das empresas usam ambos os conceitos em sua arquitetura de dados, onde essas tecnologias se complementam.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .