1

Olá, tudo bem ?

Preciso importar um db grande que está em .txt e dividido em 20 partes de 5Gb cada (aproximadamente).

Dentro dessa base existem três data.frame, com 3 quantidades de colunas diferentes.

As colunas são separadas por espaços fixos.

Estou tentando usar data.table() e read_fwf(), mas estou tendo problemas em separar as colunas devido aos três data.frames diferentes.

A coluna "TIPO DE REGISTRO" identifica os data.frames.

A base é essa (o layout esta aqui também):

http://receita.economia.gov.br/orientacao/tributaria/cadastros/cadastro-nacional-de-pessoas-juridicas-cnpj/dados-publicos-cnpj

Alguém tem alguma dica? Desde já, muito obrigado !


ps¹: Tentei usar: devtools::install_github("georgevbsantiago/qsacnpj") com

    qsacnpj::gerar_bd_cnpj(path_arquivos_txt = "C:/Users/Downloads/",
                           localizar_cnpj = "NAO",
                           n_lines = 10000,
                           armazenar = "csv")

Mas demora muito ! Quando tentei n_lines = 100000, o computador travou no sexto arquivo.

ps²: meu computador não tem tanta memória.

3
  • Você tem certeza que não se trata de uma limitação de memória RAM disponível? Commented 23/10/2019 às 18:04
  • Sobre a demora, eu acho que é justamente isso ! Gostaria de dicas para driblar esse problema. Por isso tentei o data.table(), mas não estou sabendo lidar.
    – rtheodoro
    Commented 23/10/2019 às 18:25
  • @TomásBarcellos quando eu digo que existem três data.frame nessa base, eles estão "misturados". Por isso a dificuldade em separar.
    – rtheodoro
    Commented 23/10/2019 às 18:27

1 Resposta 1

2

Se o seu computador não tem memória RAM o suficiente para carregar esses dados, eu os carregaria em um SGDB como o PostgreSQL (mesmo sendo fwf) e puxaria os dados a partir do R utilizando algum pacote para interagir com o PostgreSQL. Desse modo, você tem os dados carregados na sua máquina e pode puxar subsets desses dados para analisá-los com o R.

Na pior das hipóteses, você pode fazer suas análises em subsets desses dados e fazer um summary ao final para consolidar para o dataset por completo. Além disso, claro, você pode fazer várias operações direto nos dados do banco através de SQL.

1
  • Vou tentar fazer isso ! Obrigado !
    – rtheodoro
    Commented 25/10/2019 às 16:23

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .