2

Há alguns dias fiz uma pergunta no stack, conforme link. A resposta que recebi do prof. @Marcus Nunes mostra que menos de 10% das linhas possuem mais de 15 separadores do tipo ;. Nesse caso, desejo apagar todas as linhas com mais de 15 ; para separar colunas. Um primeiro código para proceder esta limpeza e gerar um novo banco de dados segue abaixo, no entanto, o mesmo não funcionou corretamente. Gostaria de receber alguma sugestão de como proceder para atingir meu objetivo?

library("tidyverse")
library("stringr")

teste <- readLines("2019_Viagem.csv")
count <- str_count(teste, ';')
teste <- teste[count==15]
write.csv2(teste,"plan2019.csv",row.names = FALSE)
Diaria2019_Via <- "iconv -f ISO-8859-1 -t UTF-8 plan2019.csv"
Diaria2019 <- data.table::fread(Diaria2019_Via, dec = ",")

1 Resposta 1

5

Creio que o seguinte código R, com algum awk preparatório, faz o que a pergunta pede.

Primeiro vou redirecionar a saída do comando iconv da pergunta para um ficheiro novo, o ficheiro 2019_Viagem_UTF8.csv.

iconv -f ISO-8859-1 -t UTF-8 2019_Viagem.csv > 2019_Viagem_UTF8.csv

É este ficheiro que vou processar.

Agora vou mudar ligeiramente a linha de comando na resposta do @MarcusNunes para ter um ficheiro de texto com os números de colunas de cada linha e não os números de ";". Na verdade é o mesmo, mais tarde no R seria só comparar com 15 e não com 16 como vou fazer.
A nova linha de comando é a seguinte.

cat 2019_Viagem.csv | awk -F";" '{print NF}' > colunas.txt

Isto cria um ficheiro só com quantas colunas tem cada linha, um número por linha de colunas.txt.

Finalmente o código R.

  1. Ler quantas colunas tem cada linha do ficheiro 2019_Viagem_UTF8.csv.
  2. Ler esse ficheiro.
  3. Ficar só com as linhas que queremos, com 16 colunas.
  4. Criar um data.frame, usando read.csv2 com o argumento text = txt.
  5. E guardar em disco como ficheiro csv.

Aqui vai

colunas <- scan(file = "colunas.txt")
txt <- readLines("2019_Viagem_UTF8.csv")
txt <- txt[colunas == 16]
limpo <- read.csv2(text = txt)
rm(txt)
dim(limpo)
#[1] 125695     16

write.csv2(limpo, file = "plan2019.csv", row.names = FALSE)

Nota: Na pergunta está plan2018.csv e não 2019. Creio que isso é um erro que corrigi.

1
  • Muito bom @Rui Barradas, obrigado!
    – fsbmat
    Commented 20/07/2019 às 23:35

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .