2

Estou precisando processar uns arquivos bem grandes e para isso estou experimentando usar o Hadoop (na versão 2.4.1).

Não estou conseguindo executar o tutorial oficial num Ubuntu 14.04 (64 bits) e Java (Oracle versão 1.7.0_60-b19). Quando iniciando o DFS, mesmo tendo configurado o SSH como especificado, o retorno é o seguinte:

ssh: Could not resolve hostname ???: Name or service not known

Como resolver esse problema?

1 Resposta 1

2

Encontrei a resposta em uma outro post (no SO): o problema parece estar relacionado com o fato das bibliotecas padrão do Hadoop serem para arquiteturas 32-bits.

Algumas respostas apontam para a possibilidade de recompilar as coisas, mas algo bem mais simples resolveu pra mim: criar variáveis de ambiente que configuram corretamente o Hadoop e estas bibliotecas nativas.

  • Adicione duas novas variáveis ao seu arquivo etc/hadoop/hadoop-env.sh

    export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
    

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .