3

Estou tentando escrever uma rotina para automatizar a importação dos micro-dados públicos da RAIS e para trabalhar com eles num computador normal (tamanho da RAIS > memória RAM)

Qual a o melhor software (DBMS/protocolo) de SQL usar? Preferencialmente eu gostaria de usar o RSQLlite, pois este pode ser criado de dentro do R, sem depender da instalação de outro software pelo usuário.

Mas queria sabre quais são os trade-offs em relação a outros DBMS, em termos de performance, capacidade de lidar com bases grandes e etc.

Na pratica, além da esolha do software de SQL, ainda gostaria de automatizar o download dos dados, pois os dados são disponibilizados pelo MTE via Google Drive (perguntei no SO em ingles aqui). Além disso eles vem compactados no formato .7z e pelo que vi não dá para descompactar só com os comandos do R (mas dá para instalar o 7zip e executar por linha de comando no shell, dentro do R).

1 Resposta 1

6

A escolha do DBMS depende do que você vai fazer com os dados e do tipo de dado que vai ser utilizado. Vou citar quais são, na minha opinião, as vantagens e desvantagens de utilizar os seguintes DBMS's: Postgres, MonetDB e SQLite3.

O SQLite3 é o DBMS mais simples dos três e também o que possui menos recursos e menor capacidade de armazenar dados. A grande vantagem do SQLite3 é a simplicidade, pois não é necessário instala-lo no computador. Basta usar um pacote do R e os dados podem ser transferidos facilmente copiando um arquivo. Se o banco é relativamente pequeno e o desempenho do SQLite3 for satisfatório em termos de velocidade e recursos, este DBMS é uma excelente opção.

O Postgres é com certeza o que apresenta a maior quantidade de recursos. Praticamente qualquer recurso disponível em outros DBMS's também está disponível no Postgres. Também existe a biblioteca MADLib que estende recursos, tal que é possível realizar análises complexas, tudo diretamente a partir do R, seja usando o pacote dplyr ou o PivotalR. Por meio destes pacotes não é necessário escrever consultas em SQL diretamente e o usuário pode trabalhar usando somente o conhecimento que já tem da linguagem R.

O MonetDB é um DBMS colunar, isto é, ele armazena os dados internamente na forma de colunas. Essa é uma grande vantagem do MonteDB pois a velocidade de leitura é sensivelmente mais rápida que a do Postgres e do SQLite3. Entretanto, o custo de escrita é maior, tal que em algumas aplicações o efeito positivo da leitura pode ser anulado pelo efeito negativo da escrita.

Assim, minha sugestão é a seguinte: se o conjunto de dados é razoavelmente estável, isto é, não há necessidade de escrita regular, o MonetDB pode ser a melhor escolha. Se for necessário realizar escrita e leitura regularmente, e o conjunto de dados for grande, mas não muito maior que a memória RAM, o SQLite3 pode ser uma opção melhor. Por fim, se for necessário realizar consultas e modelagem de dados complexas, em volumes muito grandes de dados, talvez a melhor opção seja Postgres + dplyr + PivotalR.

Especialmente no caso de microdados, onde após a primeira leitura, praticamente não é necessário escrever no banco, o tempo de leitura pode ser crítico. Nesses casos minha predileção é pelo MonetDB. Outra vantagem do MonetDB no caso de microdados, é que se estes dados são resultados de amostras complexas, é necessário incluir o plano amostral na análise; com o pacote sqlsurvey é possível incluir o plano amostral na análise facilmente usando o MonetDB.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .