Perguntas com a tag [big-data]
Big Data pode ser vista como conjuntos de dados extremamente amplos e que, por este motivo, necessitam de ferramentas especialmente preparadas para lidar com grandes volumes, de forma que toda e qualquer informação nestes meios possa ser encontrada, analisada e aproveitada em tempo hábil.
26
perguntas
0
votos
1resposta
28 visitas
Função “Procv” com pyspark
Sou iniciante e gostaria de saber se há algum código para correlacionar duas planilhas por meio de índice (CAUSE_CODE), igual um PROCV no Excel, porém em Pyspark.
%pyspark
machine_A_grouped = ...
5
votos
1resposta
65 visitas
O que é Big data e qual sua relação com o modelo relacional?
Estava lendo sobre big data, no entanto ainda não consegui compreender o que de fato seria o big data em sua essência. Sempre utilizei o modelo RDBMS para armazenamento e manipulação de dados e neste ...
0
votos
0respostas
16 visitas
SQL - Managed Table vs External Table
Trago uma questão de SQL menos técnica.
Eu uso a ferramenta Hive, do Hadoop, para manipular os dados com SQL. E gostaria de saber uma situação real em que devo aplicar uma managed table e uma ...
2
votos
1resposta
98 visitas
Como ler os dados do Censo Escolar no R (Matrículas)
Estou tendo dificuldades para analisar os dados do censo escolar 2019 no R.
Li algumas coisas em outros fóruns e optei por usar o pacote ffbase que lida com bases de dados muito grandes.
Usando o ...
1
voto
0respostas
161 visitas
Seek Time vs Transfer Rate
Estava lendo um pouco a respeito da ferramenta Hadoop para big data e me deparei com os termos Seek Time e Transfer Rate. Encontrei definições do tipo Seek Time é o delay para encontrar um arquivo/...
0
votos
1resposta
64 visitas
Existe alguma maneira de substituir um número por outro em um DataFrame? [fechada]
Tenho um dataset para analisar, e ele em alguma colunas contém valores que referenciam outros. Gostaria de saber se existe alguma forma de substituir um valor numérico por outro.
Tentei fazer essa ...
1
voto
1resposta
120 visitas
Como importar um grande arquivo .txt com data.frames e colunas?
Olá, tudo bem ?
Preciso importar um db grande que está em .txt e dividido em 20 partes de 5Gb cada (aproximadamente).
Dentro dessa base existem três data.frame, com 3 quantidades de colunas ...
-1
votos
1resposta
35 visitas
O que exatamente é o HDFS
Bom dia,
Estou estudando sobre Hadoop e uma dúvida me surgiu, por exemplo se fala muito do HDFS (Hadoop Distributed File System), que seria o armazenador de arquivos do Hadoop, minha dúvida é a ...
0
votos
1resposta
203 visitas
Compressão e Leitura de arquivo CSV com grande escala de linhas x colunas via Pandas
Estou empacado procurando uma forma precisa e intuitiva em realizar a leitura de um arquivo de 70.000KB formado pela concatenação de diversos arquivos sendo eles com tamanhos variados. Inicialmente de ...
1
voto
0respostas
84 visitas
Camparação de bases de dados
Recebo diariamente uma base de dados Oracle com 12 tabelas contendo em média 8 milhões de registros cada.
Preciso tratá-la para pegar somente os registros atualizados do dia comparado à base do dia ...
6
votos
1resposta
226 visitas
O que é Ciência de Dados?
A matriz do Stack Overflow possui um site chamado Data Science SE. Eu, que sou um membro ativo da tag R, percebo que há poucas discussões a respeito deste assunto em outros lugares da versão ...
3
votos
2respostas
102 visitas
Não consegui solucionar o erro: The condition has length > 1 and only the first element will be used
Sei que há outras perguntas sobre esse erro, mas como sou iniciante elas não me ajudaram a resolver o meu problema específico.
Estou trabalhando na seguinte data.frame:
structure(list(Dates = ...
-1
votos
1resposta
682 visitas
Como comparar dois data frames Python
Olá galera estou tentando automatizar um processo de carga com python trazendo dados do sql e mandando pra uma tabela do mysql e estou enfrentando alguns problemas.
Problema: Preciso que quando tiver ...
8
votos
3respostas
614 visitas
Como fazer query com count
Eu tenho a tabela Resultado com milhares de dados,
Tabela Resultado
NOME_CASA, NOME_OPONENTE, RESULTADO_FINAL, NOTA_FINAL.
timeAzul timePreto 1 2
timeAzul ...
0
votos
1resposta
95 visitas
Selecionando intervalos diferentes em um dataframe gigante no RStudio
Tenho um CSV muito grande com datas de várias ações e seus preços de fechamento, impossível utilizar o Excel.
O nome da ação está na mesma coluna da data e só aparece no início da série, conforme a ...
0
votos
1resposta
19 visitas
Nifi consumindo todo o espaço em disco disponível
Eu tenho alguns processos que pesquisam em uma base SQL e jogam para uma fila
Na fila eu limitei o tamanho em 100mb e a quantidade em 10, mas mesmo assim o NiFi ignora e aloca tudo de uma vez,gerando ...
-4
votos
1resposta
139 visitas
Com quais bancos de dados o Apache Atlas é compatível?
O apache Atlas tem compatibilidade com quais bancos de dados noSQL e SQL
estou fazendo um trabalho, e não consegui achar nada sobre
-1
votos
1resposta
63 visitas
Como varrer dados igual o google?
Boa noite como posso fazer uma aplicação que basicamente funcione como o google, quero digitar uma palavra-chave e receber resultados sobre, ou puxar dados do próprio google, qual linguagem e caminho ...
3
votos
1resposta
76 visitas
Ferramentas de armazenamento/indexação de logs
Preciso criar um sistema para armazenar logs de diversas ações dos usuários (este sistema criará milhões de dados semanais).
Então quais as ferramentas disponíveis para este tipo de necessidade?
PS....
4
votos
2respostas
4mil visitas
Hadoop é um Banco de dados? O que é Hadoop?
Afinal, o que é Hadoop? Hadoop é um banco de dados? Já ouvi muitas vezes "aquela empresa usa o banco de dados Hadoop". Mas quando comecei a estudar Big Data vi que na verdade as coisas não eram bem ...
1
voto
1resposta
144 visitas
Inserir dados no BigQuery diariamente
Tenho uma rotina que me retorna diariamente 2900 linhas. Essas informações são enviadas para o BigQuery. Existe algum jeito de enviar hoje essas 2900 linhas numa tabela do BigQuery e amanha adicionar ...
14
votos
4respostas
5mil visitas
Como ler os microdados do ENEM no R?
O INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) disponibiliza para download os microdados do ENEM (e outros) a partir deste link. Estes microdados são os dados crús do ...
2
votos
1resposta
97 visitas
Tabela MySQL com muitos dados
Caso de exemplo: Tenho um sistema com aproximadamente 5 milhões de registros, é recomendado utilizar uma única tabela do MySQL para salvar, por exemplo tabela_empresas_brasil? visto que toda vez que o ...
13
votos
3respostas
2mil visitas
Pre-processar arquivos grandes de texto no R
Estou escrevendo um script, que vou tornar público, para abrir os micro-dados da RAIS (desidentificados, disponíveis aqui) no R usando o MonetDB. Entretanto o banco não aceita vígula (,) como ...
8
votos
1resposta
462 visitas
Há como abrir uma tabela SQL direto num data.table, sem fazer o caminho SQL > data.frame > data.table?
Desejo abrir uma tabela SQL direto num data.table. Quando faço uma query com dbGetQuery, o que obtenho é um data.frame. Eu sei que depois posso transformar esse data.frame num data.table facilmente. ...
32
votos
4respostas
4mil visitas
Estratégias para analisar bases de dados muito grandes em R (que não caibam na memória RAM)
Suponha que eu tenha uma base de dados enorme que não caiba na memória RAM. Quais estratégias para analisar esta base de dados no R, uma vez que não posso carregá-la inteiramente na memória?
PS: a ...