Perguntas com a tag [hadoop]
Utilize esta tag quando a pergunta envolver computação distribuída(processamento, consultas, ingestão de dados) utilizando o ecossistema Hadoop.
16
perguntas
0
votos
0
respostas
57
visitas
Da pra usar uma subquery dentro de um CASE no hadoop
Minha tabela ta com uns dados esquisitos e eu precisava dar uma tratada neles na consulta.
Eu tenho um campo de id e um campo de descrição, mas essa descrição as vezes vem "vazia" só com um '...
-1
votos
1
resposta
36
visitas
Como inserir uma quantidade grande dados numa tabela do hbase com bulk load?
Preciso inserir um dado com mais de 50 milhões de linhas que está no s3 numa tabela do hbase. Estou utilizando o EMR da AWS para usar o cluster com os serviços do hadoop como o hbase. Já consegui ...
0
votos
0
respostas
69
visitas
SQL - Managed Table vs External Table
Trago uma questão de SQL menos técnica.
Eu uso a ferramenta Hive, do Hadoop, para manipular os dados com SQL. E gostaria de saber uma situação real em que devo aplicar uma managed table e uma ...
0
votos
1
resposta
333
visitas
Convert char para data - Hive
Preciso concatenar duas colunas que são char para transformar em data, mas com o código abaixo a parte do horário fica zerada.
As duas colunas possuem informações e não estão nulas ou em branco.
CAST(...
1
voto
1
resposta
250
visitas
Seek Time vs Transfer Rate
Estava lendo um pouco a respeito da ferramenta Hadoop para big data e me deparei com os termos Seek Time e Transfer Rate. Encontrei definições do tipo Seek Time é o delay para encontrar um arquivo/...
-1
votos
1
resposta
112
visitas
O que exatamente é o HDFS
Bom dia,
Estou estudando sobre Hadoop e uma dúvida me surgiu, por exemplo se fala muito do HDFS (Hadoop Distributed File System), que seria o armazenador de arquivos do Hadoop, minha dúvida é a ...
-4
votos
1
resposta
209
visitas
Com quais bancos de dados o Apache Atlas é compatível?
O apache Atlas tem compatibilidade com quais bancos de dados noSQL e SQL
estou fazendo um trabalho, e não consegui achar nada sobre
1
voto
2
respostas
184
visitas
Comportamentos diferentes entre beeline e hive-e
Na execução de comando usando a conexão via beeline sempre funciona, porém com o hive-e não funciona.
Assim funciona:
beeline -u jdbc:hive2://aaats879454co.sistema.br:10000/sistema tez.queue.name=...
5
votos
2
respostas
5mil
visitas
Hadoop é um Banco de dados? O que é Hadoop?
Afinal, o que é Hadoop? Hadoop é um banco de dados? Já ouvi muitas vezes "aquela empresa usa o banco de dados Hadoop". Mas quando comecei a estudar Big Data vi que na verdade as coisas não eram bem ...
0
votos
1
resposta
106
visitas
Como adiciono uma primary no hive versão 0.14.0.2.2.0.0-2041?
Como adiciono uma primary no hive versão 0.14.0.2.2.0.0-2041 ?
Tentativa
CREATE TABLE simple_rule (
simple_rule_id int(10) unsigned default '0' not null auto_increment,
...
0
votos
2
respostas
40
visitas
Criando um classe customizada do tipo WritableComparator
Estou criando uma aplicação para processar vídeo de maneira distribuída no hadoop utilizando o paradigma map-reduce. Eu tenho vários vídeos armazenados no cluster e desejo a partir deles criar um ...
0
votos
1
resposta
162
visitas
Erro ORA-01843 ao importar tabela no Sqoop
Estou enfrentando um erro do qual não consigo entender a origem.
Anteriormente eu havia importado uma tabela com o mesmo formato de dados, com 54 milhões de linhas para o HDFS do meu cluster Hadoop.
...
1
voto
1
resposta
221
visitas
Windows 10 , Spark error (bin/bin) não encontra arquivo winutils.exe
Instalei o Spark e o Hadoop no Windows 10, e estou com um erro no caminho do arquivo winutils.exe. Já coloquei na pasta adequada, já defini a variável de ambiente HADOOP_HOME como C:\hadoop\bin, ...
1
voto
1
resposta
213
visitas
Erro no Hadoop ao procurar classe Java
Estou tendo problemas para configurar o ambiente Hadoop.
Estou fazendo uma instalação do zero em uma máquina CentOS 6.7.
Ao tentar executar qualquer comando hadoop, como por exemplo:
hdfs namenode -...
8
votos
1
resposta
613
visitas
Como resolver o erro java.lang.NoClassDefFoundError ao executar o rhinit() no R
Estou integrando o Hadoop com R utilizando Rhipe e a minha configuração é a seguinte:
Ubuntu 14.
Hadoop 1.0.3
R 3.2.2
Rhipe 0.73.1
Ao iniciar no ambiente R o rhinit() aparece a seguinte mensagem:
...
1
voto
0
respostas
72
visitas
MapReduce. Não executa a função Reduce corretamente
Olá. Estou enfrentando dificuldades para trabalhar com MapReduce. Sempre que executo a aplicação não consigo resultado, pois aparentemente a função Map executa, porém a função Reduce permanece em 0%.
...