-1

Bom dia, Estou estudando sobre Hadoop e uma dúvida me surgiu, por exemplo se fala muito do HDFS (Hadoop Distributed File System), que seria o armazenador de arquivos do Hadoop, minha dúvida é a seguinte, onde exatamente é ou onde fica esse HDFS? É um lugar especifico? Ou eu posso criar criar pastas em qualquer lugar do meu computador, colocar arquivos e considerar como sendo um HDFS.

1

1 Resposta 1

1

pra resumir a longa história, ele é como se fosse um sistema de arquivos assim como você tem na sua maquina para windows (FAT32) ou linux (ext2, ext3, ReiserFS, XFS, JFS, UFS) , só que além desse modelo ter suporte a sistemas distribuídos ele também é tolerante a falhas. Foi o HDFS que tornou o hadoop possível, como se trata de um modelo distribuído ele roda o mesmo Map e Reduce em cada Node onde existe uma cópia do arquivo , em casa de um Node falhar , o trabalho estará garantido por que o Hadoop poderá encontrar o mesmo arquivo em outro Node.

2
  • Gilberto, me desculpa mas ainda ta um pouco confuso pra mim, a explicação ficou boa, porem ainda não consegui assimilar muito bem, por exemplo eu tenho um cluster de máquinas, e vamos supor que na maquina x eu tenha uma pasta em documentos e quero que o hdfs pegue os arquivos de lá, na outra máquina y a minha pasta fica em disco local e eu quero que hdfs pegue de la, essa é a duvida rs eu posso mandar ele pegar de qualquer pasta? Ou ele tem uma pasta especifica que ele cria quando instalado e os arquivos tem que ficar la Commented 2/09/2019 às 12:23
  • Sim , basicamente, voce 'envia' arquivos para o HDFS (Node master) e aguarde ele fazer o resto, no caso a clusterização para os outros nodes. o seguinte command permite que vc envie arquivos da sua maquina local para o HDFS fs put --from source_path_and_file --to dest_path_and_file para rodar esse commando , voce precisa de uma instalação completa do hadoop , preferencialmente no linux . Commented 3/09/2019 às 13:05

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .