Creio que o seguinte código R, com algum awk
preparatório, faz o que a pergunta pede.
Primeiro vou redirecionar a saída do comando iconv
da pergunta para um ficheiro novo, o ficheiro 2019_Viagem_UTF8.csv
.
iconv -f ISO-8859-1 -t UTF-8 2019_Viagem.csv > 2019_Viagem_UTF8.csv
É este ficheiro que vou processar.
Agora vou mudar ligeiramente a linha de comando na resposta do @MarcusNunes para ter um ficheiro de texto com os números de colunas de cada linha e não os números de ";";"
. Na verdade é o mesmo, mais tarde no R seria só comparar com 15
e não com 16
como vou fazer.
A nova linha de comando é a seguinte.
cat 2019_Viagem.csv | awk -F";" '{print NF}' > colunas.txt
Isto cria um ficheiro só com quantas colunas tem cada linha, um número por linha de colunas.txt
.
Finalmente o código R.
- Ler quantas colunas tem cada linha do ficheiro
2019_Viagem_UTF8.csv
. - Ler esse ficheiro.
- Ficar só com as linhas que queremos, com 16 colunas.
- Criar um
data.frame
, usandoread.csv2
com o argumentotext = txt
. - E guardar em disco como ficheiro csv.
Aqui vai
colunas <- scan(file = "colunas.txt")
txt <- readLines("2019_Viagem_UTF8.csv")
txt <- txt[colunas == 16]
limpo <- read.csv2(text = txt)
rm(txt)
dim(limpo)
#[1] 125695 16
write.csv2(limpo, file = "plan2019.csv", row.names = FALSE)
Nota: Na pergunta está plan22018plan2018.csv
e não 2019. Creio que isso é um erro que corrigi.