5

Afinal, o que é Hadoop? Hadoop é um banco de dados? Já ouvi muitas vezes "aquela empresa usa o banco de dados Hadoop". Mas quando comecei a estudar Big Data vi que na verdade as coisas não eram bem assim.

Então, se não é um banco de dados, o que é?

1
  • No próprio site da Hadoop explica o que ele é, Hadoop com uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes massas de dados, ele foi projetado para expandir servidores Commented 10/04/2020 às 2:11

2 Respostas 2

11

Hadoop é um ecossistema para computação distribuida, ou seja, criado para comportar o processamento de grandes quantidades de dados (petabytes) com alta velocidade. Esse ecossistema é composto de vários sistemas/tecnologias.

A idéia do Hadoop é realizar um processamento pesado dividindo a tarefa em vários nós (cluster), de forma a aumentar o poder computacional. Para isso acontecer, é utilizado um sistema de arquivos nos nós de cada cluster chamado de HDFS(Hadoop distributed file system), que comporta arquivos com grandes quantidades de dados e o processamento é realizado utilizando uma técnica de programação chamada MapReduce.

A seguir um exemplo de sistemas que podem fazer parte desse ecosistema e uma breve explicação sobre cada um. inserir a descrição da imagem aqui

HDFS -Sistema de arquivos do Hadoop, este sistema de arquivos trabalha de forma distribuída, utilizando grandes blocos de memória.

Map Reduce -Modelo de programação para processamento em larga escala. Tendo como fundamentos o mapeamento(map) e a redução (reduce).

Yarn -Trata-se de uma plataforma de gerenciamento de recursos responsável pelo gerenciamento dos recursos computacionais em cluster, assim como pelo agendamento dos recursos.

Hive -Converte queries SQL em MapReduces.

Pig -Linguagem para criação de MapReduces

Hbase -Um banco da dados NoSQL orientado a colunas (colunar), que pode ser usado sobre o HDFS. Provê acesso a grandes quantidades de dados com alta velocidade.

Flume -Sistema de exportação de logs, contendo grande quantidade de dados para o HDFS

Anbari -Monitoramento de clusters Hadoop

Sqoop -Ferramente de exportação de dados de SGBDS para o Hadoop. Usa JDBC, gera uma classe Java de exportação de dados para cada tabela no esquema relacional

Oozie / Control-M -Agendador/gerenciador de tarefas e Workflows para hadoop.

Hoje o Hadoop é mantido pela fundação Apache. E tem como distribuições Enterprise mais conhecidas a da Cloudera e da Hortonworks.

0

Hadoop é um sistema distribuído para armazenamento e processamento de dados. Seu core é composto por um sistema de arquivos (HDFS), um modelo de programação para processamento distribuído (MapReduce) e um gerenciador de recursos (YARN). A partir desse core ou integrando-se a ele, foram criados diversos projetos e softwares que adicionaram novas funcionalidades ao Hadoop, transformando ele em um verdadeiro ecossistema. Ex.: bancos de dados NoSql (HBASE), software para transferência de dados entre RDBMS e o Hadoop (Sqoop), etc.

Esse post abaixo é uma excelente introdução ao assunto, vale a pena ler:

https://medium.com/dataengineerbr/um-quase-guia-nada-completo-sobre-o-hadoop-a3eeee170deb

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .