1

Tenho uma table no MSSQL com atualmente 8 milhões de registros.

Uso Pentaho pra analisar esses dados. Estou tentando usar o Excel também. Se eu configurar ele pra pegar os dados e colocar direto em tabela dinâmica, ele não restringe a 1 milhão de registros, porque reportou ter passado de 2 milhões.

Porém, ele ficou consumindo 1.5GB de RAM e parou com erro "O Excel não pode concluir esta tarefa com os recursos disponíveis. Selecione menos dados ou feche os outros aplicativos.". O PC tem 7.7GB e tá usando 6GB.

Existe alguma forma dele, em vez de tentar carregar todos os dados pra RAM, pegar apenas os metadatas e ir fazendo queries com group by na medida da necessidade, como o Pentaho faz?

2 Respostas 2

1

Aparentemente o Excel armazena os dados carregados em memória sem efetuar nenhum tipo de compactação. O que as ferramentas de BI efetuam, para conseguir trabalhar com tantos dados.

Acredito que não seja possível efetuar essa operação com o Excel, senão ele seria um excelente substituto para as ferramentas de BI.

Trabalho com QlikView e ele efetua uma compactação absurda dos dados e os utiliza em memória, para ter mais agilidade e sempre temos dor de cabeça com o pessoal querendo utilizar somente o Excel.

O Pentaho consegue exportar tabelas em formato Excel? Se eu precisasse de uma tabela específica no Excel, utilizando QlikView, eu iria gerá-la na ferramenta e exporta-la para Excel, assim conseguindo mostrar os dados na tão amada ferramenta da Microsoft.

0

Eu usei PowerPivot e com ele consegui carregar o Star Schema original, em vez de precisar usar HyperDenormalization como estava tentando fazer.

Mas no final preferi continuar usando Pentaho pra analisar e depois exportar se for o caso.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .