Perguntas com a tag [big-data]

Big Data pode ser vista como conjuntos de dados extremamente amplos e que, por este motivo, necessitam de ferramentas especialmente preparadas para lidar com grandes volumes, de forma que toda e qualquer informação nestes meios possa ser encontrada, analisada e aproveitada em tempo hábil.

Filtrar por
Ordenado por
Com tags
-1 votos
1 resposta
36 visitas

Como inserir uma quantidade grande dados numa tabela do hbase com bulk load?

Preciso inserir um dado com mais de 50 milhões de linhas que está no s3 numa tabela do hbase. Estou utilizando o EMR da AWS para usar o cluster com os serviços do hadoop como o hbase. Já consegui ...
Lucas Emanuel 's user avatar
0 votos
1 resposta
379 visitas

Selecionar 2 valores dentro de uma coluna de um Dataframe em Python e usar eles como "hue"

Bom, o código abaixo é para mostrar em um gráfico de barras a comparação do volume de vendas por ano das plataformas Xbox One e PS4 apenas, e não de todas as plataformas. O data base está no github: ...
marquiNN.'s user avatar
0 votos
1 resposta
172 visitas

Mostrar graficamente a soma das vendas de vários jogos no mesmo ano

Bom, o código abaixo printa na tela a tabela com os valores corretos de quantos jogos foram vendidos globalmente em cada ano de 1980 até 2016. O data base está no github: https://github.com/malegopc/...
marquiNN.'s user avatar
-1 votos
1 resposta
142 visitas

Índices compostos x simples numa tabela MySQL com um grande volume de dados

Fala pessoal blz? Tow com uma dúvida que na documentação do MySQL não é muito clara. Fala lá qual a diferença de um índice composto e outro simples. Até aí tudo bem. Minha dúvida é se numa tabela com ...
José Ari Junior's user avatar
1 voto
1 resposta
215 visitas

Como fazer um grafico de bolhas com um conjunto de dados com milhões de observações?

Gostaria de fazer um gráfico de bolhas com o seguinte banco de dados: head(dados) orgao raca sexo uf idade salario ano freq ANEC BRANCO M DF 45 2148.19 1990 1 UNIR BRANCO M ...
Fabio Oliveira's user avatar
-2 votos
1 resposta
355 visitas

Como transformar linhas em colunas em uma base de dados grande?

Boa noite. Eu tenho uma tabela de 545 mil linhas e 2 colunas. Na coluna 1 eu tenho 2585 dados únicos, e na coluna 2, 25 mil dados únicos. Um pedaço dessa tabela é o seguinte fragmento: Disease Factor ...
Tiago Tiburcio's user avatar
3 votos
2 respostas
739 visitas

Eliminar preposições e artigos do texto no python

Importei um arquivo para o Python onde reconheceu todas as palavras e preciso pegar a frequência que elas aparecem nesse texto, porém as maiores frequências são de preposições (de, para, com) e ...
Luiz Eduardo's user avatar
-1 votos
2 respostas
628 visitas

Como mapear valores com pandas DataFrame

Estou tentando criar uma nova coluna de dados em formato pandas com base em outros dois dataframes. Esse primeiro dataset é onde vou buscar os valores: GenPart_pdgID = 0 1 2 3 4 5 ...
matheus macedo's user avatar
0 votos
1 resposta
329 visitas

Função "Procv" com pyspark

Sou iniciante e gostaria de saber se há algum código para correlacionar duas planilhas por meio de índice (CAUSE_CODE), igual um PROCV no Excel, porém em Pyspark. %pyspark machine_A_grouped = ...
Lucas Henrique's user avatar
5 votos
1 resposta
137 visitas

O que é Big data e qual sua relação com o modelo relacional?

Estava lendo sobre big data, no entanto ainda não consegui compreender o que de fato seria o big data em sua essência. Sempre utilizei o modelo RDBMS para armazenamento e manipulação de dados e neste ...
gato's user avatar
  • 23,6mil
0 votos
0 respostas
69 visitas

SQL - Managed Table vs External Table

Trago uma questão de SQL menos técnica. Eu uso a ferramenta Hive, do Hadoop, para manipular os dados com SQL. E gostaria de saber uma situação real em que devo aplicar uma managed table e uma ...
mflpps's user avatar
  • 1
2 votos
1 resposta
465 visitas

Como ler os dados do Censo Escolar no R (Matrículas)

Estou tendo dificuldades para analisar os dados do censo escolar 2019 no R. Li algumas coisas em outros fóruns e optei por usar o pacote ffbase que lida com bases de dados muito grandes. Usando o ...
user22021995's user avatar
1 voto
1 resposta
250 visitas

Seek Time vs Transfer Rate

Estava lendo um pouco a respeito da ferramenta Hadoop para big data e me deparei com os termos Seek Time e Transfer Rate. Encontrei definições do tipo Seek Time é o delay para encontrar um arquivo/...
luizricardo6n's user avatar
0 votos
1 resposta
333 visitas

Existe alguma maneira de substituir um número por outro em um DataFrame? [fechada]

Tenho um dataset para analisar, e ele em alguma colunas contém valores que referenciam outros. Gostaria de saber se existe alguma forma de substituir um valor numérico por outro. Tentei fazer essa ...
Luis Amaro's user avatar
1 voto
1 resposta
253 visitas

Como importar um grande arquivo .txt com data.frames e colunas?

Olá, tudo bem ? Preciso importar um db grande que está em .txt e dividido em 20 partes de 5Gb cada (aproximadamente). Dentro dessa base existem três data.frame, com 3 quantidades de colunas ...
rtheodoro's user avatar
  • 1.035
-1 votos
1 resposta
112 visitas

O que exatamente é o HDFS

Bom dia, Estou estudando sobre Hadoop e uma dúvida me surgiu, por exemplo se fala muito do HDFS (Hadoop Distributed File System), que seria o armazenador de arquivos do Hadoop, minha dúvida é a ...
Ricardo Campos's user avatar
0 votos
1 resposta
1mil visitas

Compressão e Leitura de arquivo CSV com grande escala de linhas x colunas via Pandas

Estou empacado procurando uma forma precisa e intuitiva em realizar a leitura de um arquivo de 70.000KB formado pela concatenação de diversos arquivos sendo eles com tamanhos variados. Inicialmente de ...
theEarlyRiser's user avatar
1 voto
0 respostas
89 visitas

Camparação de bases de dados

Recebo diariamente uma base de dados Oracle com 12 tabelas contendo em média 8 milhões de registros cada. Preciso tratá-la para pegar somente os registros atualizados do dia comparado à base do dia ...
Marcelo Barros da Silva's user avatar
7 votos
1 resposta
327 visitas

O que é Ciência de Dados?

A matriz do Stack Overflow possui um site chamado Data Science SE. Eu, que sou um membro ativo da tag R, percebo que há poucas discussões a respeito deste assunto em outros lugares da versão ...
Marcus Nunes's user avatar
  • 19,3mil
3 votos
2 respostas
229 visitas

Não consegui solucionar o erro: The condition has length > 1 and only the first element will be used

Sei que há outras perguntas sobre esse erro, mas como sou iniciante elas não me ajudaram a resolver o meu problema específico. Estou trabalhando na seguinte data.frame: structure(list(Dates = ...
Ana Paula Franzoni's user avatar
-1 votos
1 resposta
2mil visitas

Como comparar dois data frames Python

Olá galera estou tentando automatizar um processo de carga com python trazendo dados do sql e mandando pra uma tabela do mysql e estou enfrentando alguns problemas. Problema: Preciso que quando tiver ...
Nidorus's user avatar
  • 59
7 votos
3 respostas
1mil visitas

Como fazer query com count

Eu tenho a tabela Resultado com milhares de dados, Tabela Resultado NOME_CASA, NOME_OPONENTE, RESULTADO_FINAL, NOTA_FINAL. timeAzul timePreto 1 2 timeAzul ...
Clara Campos's user avatar
0 votos
1 resposta
358 visitas

Selecionando intervalos diferentes em um dataframe gigante no RStudio

Tenho um CSV muito grande com datas de várias ações e seus preços de fechamento, impossível utilizar o Excel. O nome da ação está na mesma coluna da data e só aparece no início da série, conforme a ...
Filipe's user avatar
  • 1
-4 votos
1 resposta
209 visitas

Com quais bancos de dados o Apache Atlas é compatível?

O apache Atlas tem compatibilidade com quais bancos de dados noSQL e SQL estou fazendo um trabalho, e não consegui achar nada sobre
Andre Firmo's user avatar
-1 votos
1 resposta
104 visitas

Como varrer dados igual o google?

Boa noite como posso fazer uma aplicação que basicamente funcione como o google, quero digitar uma palavra-chave e receber resultados sobre, ou puxar dados do próprio google, qual linguagem e caminho ...
denis's user avatar
  • 507
3 votos
1 resposta
153 visitas

Ferramentas de armazenamento/indexação de logs

Preciso criar um sistema para armazenar logs de diversas ações dos usuários (este sistema criará milhões de dados semanais). Então quais as ferramentas disponíveis para este tipo de necessidade? PS....
KaduAmaral's user avatar
  • 11,7mil
5 votos
2 respostas
5mil visitas

Hadoop é um Banco de dados? O que é Hadoop?

Afinal, o que é Hadoop? Hadoop é um banco de dados? Já ouvi muitas vezes "aquela empresa usa o banco de dados Hadoop". Mas quando comecei a estudar Big Data vi que na verdade as coisas não eram bem ...
Alexandre Cavaloti's user avatar
1 voto
1 resposta
376 visitas

Inserir dados no BigQuery diariamente

Tenho uma rotina que me retorna diariamente 2900 linhas. Essas informações são enviadas para o BigQuery. Existe algum jeito de enviar hoje essas 2900 linhas numa tabela do BigQuery e amanha adicionar ...
FilipeTD's user avatar
  • 118
14 votos
4 respostas
7mil visitas

Como ler os microdados do ENEM no R?

O INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) disponibiliza para download os microdados do ENEM (e outros) a partir deste link. Estes microdados são os dados crús do ...
Flavio Barros's user avatar
2 votos
1 resposta
155 visitas

Tabela MySQL com muitos dados

Caso de exemplo: Tenho um sistema com aproximadamente 5 milhões de registros, é recomendado utilizar uma única tabela do MySQL para salvar, por exemplo tabela_empresas_brasil? visto que toda vez que o ...
Gabriel Masson's user avatar
13 votos
3 respostas
3mil visitas

Pre-processar arquivos grandes de texto no R

Estou escrevendo um script, que vou tornar público, para abrir os micro-dados da RAIS (desidentificados, disponíveis aqui) no R usando o MonetDB. Entretanto o banco não aceita vígula (,) como ...
LucasMation's user avatar
8 votos
1 resposta
536 visitas

Há como abrir uma tabela SQL direto num data.table, sem fazer o caminho SQL > data.frame > data.table?

Desejo abrir uma tabela SQL direto num data.table. Quando faço uma query com dbGetQuery, o que obtenho é um data.frame. Eu sei que depois posso transformar esse data.frame num data.table facilmente. ...
RogerioJB's user avatar
  • 1.006
32 votos
4 respostas
6mil visitas

Estratégias para analisar bases de dados muito grandes em R (que não caibam na memória RAM)

Suponha que eu tenha uma base de dados enorme que não caiba na memória RAM. Quais estratégias para analisar esta base de dados no R, uma vez que não posso carregá-la inteiramente na memória? PS: a ...
Carlos Cinelli's user avatar
  • 17,2mil