1

Possuo vários arquivos com dados armazenados em texto de largura fixa. Todos os arquivos possuem um cabeçalho com informações sobre a entidade dos dados e uma última linha no formato FINALIZADOR##########

Onde ########## corresponde ao total de registros do arquivos completados com zeros à esquerda (FINALIZADOR0000000037 teria 37 registros + a linha de cabeçalho + a linha com o FINALIZADOR).

Eu estou utilizando read.fwf("caminho do arquivo", widths = c(4,2,80), col.names = c("exercicio", "codigo", "nome"), strip.white = TRUE, skip = 1) da linguagem R e com isso consigo pular o cabeçalho, porém a linha do FINALIZADOR não estou conseguindo "pular".

Notem que widths e col.names são específicos de cada arquivo (são 27 arquivos no total).

Estou procurando uma forma de:

Ou não processar a linha que comece com "FINALIZADOR" antes de importar ou ao importar; ou

Excluir a linha que contenha FINALIZADOR mesmo que este esteja "dividido" em várias colunas. Por exemplo, no arquivo ORGAO.TXT, cujo primeiro campo tem 4 caracteres, o segundo tem 2 e o terceiro tem 80, FINALIZADOR estaria dividido em FIN, AL, IZADOR0000000037, nas três colunas.

3 Respostas 3

2

Se o data frame se chamar dados e o objetivo for remover sempre a sua última linha, faça

dados.limpos <- head(dados, -1)

para criar o data frame dados.limpos, idêntico ao objeto dados, mas sem a sua última linha.

1

A seguinte função lê o ficheiro com readLines como se fosse um ficheiro de texto, faz um pré-processamento, removendo a primeira e a última linhas e cria uma connection com o texto resultante, sob a forma de uma textConnection, tc. A leitura da tabela é feita por read.fwf a partir de tc.

Tanto o cabeçalho do ficheiro como a última linha são membros do valor da função, uma lista com os nomes

  1. Cabecalho
  2. Finalizador
  3. Dados

Se pretender só a tabela de dados, este valor final é fácil de modificar.

lerFich <- function(con, widths, col.names){
  txt <- readLines(con = con)
  Header <- txt[1]
  n <- grep("FINALIZADOR", txt)
  Last <- txt[n]
  txt <- txt[-c(1, n)]
  tc <- textConnection(txt)
  dados <- read.fwf(file = tc, widths = widths, col.names = col.names, strip.white = TRUE)
  close(tc)
  list(Cabecalho = Header, Finalizador = Last, Dados = dados)
}

res <- lerFich("ORGAO.txt", widths = c(4, 10, 10), col.names = c("exercicio", "codigo", "nome"))

res
#$Cabecalho
#[1] "col1      col2      col3"
#
#$Finalizador
#[1] "FINALIZADOR0000000037"
#
#$Dados
#  exercicio     codigo       nome
#1      1234 abcdefghij 1234567890
#2      1234 abcdefghij 1234567890
#3      1234 abcdefghij 1234567890
#4      1234 abcdefghij 1234567890
#5      1234 abcdefghij 1234567890
#
#Warning message:
#In readLines(con = con) : incomplete final line found on 'ORGAO.txt'

A tabela será então

res$Dados

Ficheiro

O ficheiro criado para testes tem o seguinte conteúdo.

col1      col2      col3
1234abcdefghij1234567890
1234abcdefghij1234567890
1234abcdefghij1234567890
1234abcdefghij1234567890
1234abcdefghij1234567890
FINALIZADOR0000000037
1

Pode usar a opção nrows para ler só até a penúltima linha. Assim os dados serão carregados no formato apropriado e não necessita pré processar o arquivo. Só que deve primeiro determinar o número de linhas:

# Arquivo de exemplo
writeLines(
"Cabecalho
ABCD11Paulo
EFGH21Henrique
FINALIZADOR000000002",
"exemplo.txt")

nlinhas <- length(readLines("exemplo.txt")) # veja o comentário

dados <- read.fwf("exemplo.txt", widths = c(4,2,80),
                  col.names = c("exercicio", "codigo", "nome"),
                  skip = 1, nrows = nlinhas-2)

> dados
  exercicio codigo     nome
1      ABCD     11    Paulo
2      EFGH     21 Henrique

> str(dados)
'data.frame':   2 obs. of  3 variables:
$ exercicio: Factor w/ 2 levels "ABCD","EFGH": 1 2
$ codigo   : int  11 21
$ nome     : Factor w/ 2 levels "Henrique","Paulo": 2 1

Se seus arquivos são muito grandes, usar readLines será pouco eficiente. Se está usando *nix, pode chamar wc -l:

nlinhas <- as.integer(sub("\\D.*", "", system("wc -l exemplo.txt", intern = TRUE)))

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .