Perguntas com a tag [big-data]
Big Data pode ser vista como conjuntos de dados extremamente amplos e que, por este motivo, necessitam de ferramentas especialmente preparadas para lidar com grandes volumes, de forma que toda e qualquer informação nestes meios possa ser encontrada, analisada e aproveitada em tempo hábil.
33
perguntas
-1
votos
1
resposta
36
visitas
Como inserir uma quantidade grande dados numa tabela do hbase com bulk load?
Preciso inserir um dado com mais de 50 milhões de linhas que está no s3 numa tabela do hbase. Estou utilizando o EMR da AWS para usar o cluster com os serviços do hadoop como o hbase. Já consegui ...
0
votos
1
resposta
379
visitas
Selecionar 2 valores dentro de uma coluna de um Dataframe em Python e usar eles como "hue"
Bom, o código abaixo é para mostrar em um gráfico de barras a comparação do volume de vendas por ano das plataformas Xbox One e PS4 apenas, e não de todas as plataformas. O data base está no github: ...
0
votos
1
resposta
172
visitas
Mostrar graficamente a soma das vendas de vários jogos no mesmo ano
Bom, o código abaixo printa na tela a tabela com os valores corretos de quantos jogos foram vendidos globalmente em cada ano de 1980 até 2016. O data base está no github: https://github.com/malegopc/...
-1
votos
1
resposta
142
visitas
Índices compostos x simples numa tabela MySQL com um grande volume de dados
Fala pessoal blz?
Tow com uma dúvida que na documentação do MySQL não é muito clara. Fala lá qual a diferença de um índice composto e outro simples. Até aí tudo bem.
Minha dúvida é se numa tabela com ...
1
voto
1
resposta
215
visitas
Como fazer um grafico de bolhas com um conjunto de dados com milhões de observações?
Gostaria de fazer um gráfico de bolhas com o seguinte banco de dados:
head(dados)
orgao raca sexo uf idade salario ano freq
ANEC BRANCO M DF 45 2148.19 1990 1
UNIR BRANCO M ...
-2
votos
1
resposta
355
visitas
Como transformar linhas em colunas em uma base de dados grande?
Boa noite.
Eu tenho uma tabela de 545 mil linhas e 2 colunas. Na coluna 1 eu tenho 2585 dados únicos, e na coluna 2, 25 mil dados únicos. Um pedaço dessa tabela é o seguinte fragmento:
Disease
Factor
...
3
votos
2
respostas
739
visitas
Eliminar preposições e artigos do texto no python
Importei um arquivo para o Python onde reconheceu todas as palavras e preciso pegar a frequência que elas aparecem nesse texto, porém as maiores frequências são de preposições (de, para, com) e ...
-1
votos
2
respostas
628
visitas
Como mapear valores com pandas DataFrame
Estou tentando criar uma nova coluna de dados em formato pandas com base em outros dois dataframes.
Esse primeiro dataset é onde vou buscar os valores:
GenPart_pdgID =
0 1 2 3 4 5 ...
0
votos
1
resposta
329
visitas
Função "Procv" com pyspark
Sou iniciante e gostaria de saber se há algum código para correlacionar duas planilhas por meio de índice (CAUSE_CODE), igual um PROCV no Excel, porém em Pyspark.
%pyspark
machine_A_grouped = ...
5
votos
1
resposta
137
visitas
O que é Big data e qual sua relação com o modelo relacional?
Estava lendo sobre big data, no entanto ainda não consegui compreender o que de fato seria o big data em sua essência. Sempre utilizei o modelo RDBMS para armazenamento e manipulação de dados e neste ...
0
votos
0
respostas
69
visitas
SQL - Managed Table vs External Table
Trago uma questão de SQL menos técnica.
Eu uso a ferramenta Hive, do Hadoop, para manipular os dados com SQL. E gostaria de saber uma situação real em que devo aplicar uma managed table e uma ...
2
votos
1
resposta
465
visitas
Como ler os dados do Censo Escolar no R (Matrículas)
Estou tendo dificuldades para analisar os dados do censo escolar 2019 no R.
Li algumas coisas em outros fóruns e optei por usar o pacote ffbase que lida com bases de dados muito grandes.
Usando o ...
1
voto
1
resposta
250
visitas
Seek Time vs Transfer Rate
Estava lendo um pouco a respeito da ferramenta Hadoop para big data e me deparei com os termos Seek Time e Transfer Rate. Encontrei definições do tipo Seek Time é o delay para encontrar um arquivo/...
0
votos
1
resposta
333
visitas
Existe alguma maneira de substituir um número por outro em um DataFrame? [fechada]
Tenho um dataset para analisar, e ele em alguma colunas contém valores que referenciam outros. Gostaria de saber se existe alguma forma de substituir um valor numérico por outro.
Tentei fazer essa ...
1
voto
1
resposta
253
visitas
Como importar um grande arquivo .txt com data.frames e colunas?
Olá, tudo bem ?
Preciso importar um db grande que está em .txt e dividido em 20 partes de 5Gb cada (aproximadamente).
Dentro dessa base existem três data.frame, com 3 quantidades de colunas ...
-1
votos
1
resposta
112
visitas
O que exatamente é o HDFS
Bom dia,
Estou estudando sobre Hadoop e uma dúvida me surgiu, por exemplo se fala muito do HDFS (Hadoop Distributed File System), que seria o armazenador de arquivos do Hadoop, minha dúvida é a ...
0
votos
1
resposta
1mil
visitas
Compressão e Leitura de arquivo CSV com grande escala de linhas x colunas via Pandas
Estou empacado procurando uma forma precisa e intuitiva em realizar a leitura de um arquivo de 70.000KB formado pela concatenação de diversos arquivos sendo eles com tamanhos variados. Inicialmente de ...
1
voto
0
respostas
89
visitas
Camparação de bases de dados
Recebo diariamente uma base de dados Oracle com 12 tabelas contendo em média 8 milhões de registros cada.
Preciso tratá-la para pegar somente os registros atualizados do dia comparado à base do dia ...
7
votos
1
resposta
327
visitas
O que é Ciência de Dados?
A matriz do Stack Overflow possui um site chamado Data Science SE. Eu, que sou um membro ativo da tag R, percebo que há poucas discussões a respeito deste assunto em outros lugares da versão ...
3
votos
2
respostas
229
visitas
Não consegui solucionar o erro: The condition has length > 1 and only the first element will be used
Sei que há outras perguntas sobre esse erro, mas como sou iniciante elas não me ajudaram a resolver o meu problema específico.
Estou trabalhando na seguinte data.frame:
structure(list(Dates = ...
-1
votos
1
resposta
2mil
visitas
Como comparar dois data frames Python
Olá galera estou tentando automatizar um processo de carga com python trazendo dados do sql e mandando pra uma tabela do mysql e estou enfrentando alguns problemas.
Problema: Preciso que quando tiver ...
7
votos
3
respostas
1mil
visitas
Como fazer query com count
Eu tenho a tabela Resultado com milhares de dados,
Tabela Resultado
NOME_CASA, NOME_OPONENTE, RESULTADO_FINAL, NOTA_FINAL.
timeAzul timePreto 1 2
timeAzul ...
0
votos
1
resposta
358
visitas
Selecionando intervalos diferentes em um dataframe gigante no RStudio
Tenho um CSV muito grande com datas de várias ações e seus preços de fechamento, impossível utilizar o Excel.
O nome da ação está na mesma coluna da data e só aparece no início da série, conforme a ...
-4
votos
1
resposta
209
visitas
Com quais bancos de dados o Apache Atlas é compatível?
O apache Atlas tem compatibilidade com quais bancos de dados noSQL e SQL
estou fazendo um trabalho, e não consegui achar nada sobre
-1
votos
1
resposta
104
visitas
Como varrer dados igual o google?
Boa noite como posso fazer uma aplicação que basicamente funcione como o google, quero digitar uma palavra-chave e receber resultados sobre, ou puxar dados do próprio google, qual linguagem e caminho ...
3
votos
1
resposta
153
visitas
Ferramentas de armazenamento/indexação de logs
Preciso criar um sistema para armazenar logs de diversas ações dos usuários (este sistema criará milhões de dados semanais).
Então quais as ferramentas disponíveis para este tipo de necessidade?
PS....
5
votos
2
respostas
5mil
visitas
Hadoop é um Banco de dados? O que é Hadoop?
Afinal, o que é Hadoop? Hadoop é um banco de dados? Já ouvi muitas vezes "aquela empresa usa o banco de dados Hadoop". Mas quando comecei a estudar Big Data vi que na verdade as coisas não eram bem ...
1
voto
1
resposta
376
visitas
Inserir dados no BigQuery diariamente
Tenho uma rotina que me retorna diariamente 2900 linhas. Essas informações são enviadas para o BigQuery. Existe algum jeito de enviar hoje essas 2900 linhas numa tabela do BigQuery e amanha adicionar ...
14
votos
4
respostas
7mil
visitas
Como ler os microdados do ENEM no R?
O INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) disponibiliza para download os microdados do ENEM (e outros) a partir deste link. Estes microdados são os dados crús do ...
2
votos
1
resposta
155
visitas
Tabela MySQL com muitos dados
Caso de exemplo: Tenho um sistema com aproximadamente 5 milhões de registros, é recomendado utilizar uma única tabela do MySQL para salvar, por exemplo tabela_empresas_brasil? visto que toda vez que o ...
13
votos
3
respostas
3mil
visitas
Pre-processar arquivos grandes de texto no R
Estou escrevendo um script, que vou tornar público, para abrir os micro-dados da RAIS (desidentificados, disponíveis aqui) no R usando o MonetDB. Entretanto o banco não aceita vígula (,) como ...
8
votos
1
resposta
536
visitas
Há como abrir uma tabela SQL direto num data.table, sem fazer o caminho SQL > data.frame > data.table?
Desejo abrir uma tabela SQL direto num data.table. Quando faço uma query com dbGetQuery, o que obtenho é um data.frame. Eu sei que depois posso transformar esse data.frame num data.table facilmente. ...
32
votos
4
respostas
6mil
visitas
Estratégias para analisar bases de dados muito grandes em R (que não caibam na memória RAM)
Suponha que eu tenha uma base de dados enorme que não caiba na memória RAM. Quais estratégias para analisar esta base de dados no R, uma vez que não posso carregá-la inteiramente na memória?
PS: a ...