Skip to main content
Erros ortográficos corrigidos.
Fonte Link
Rui Barradas
  • 19mil
  • 2
  • 14
  • 28

Creio que o seguinte código R, com algum awk preparatório, faz o que a pergunta pede.

Primeiro vou redirecionar a saída do comando iconv da pergunta para um ficheiro novo, o ficheiro 2019_Viagem_UTF8.csv.

iconv -f ISO-8859-1 -t UTF-8 2019_Viagem.csv > 2019_Viagem_UTF8.csv

É este ficheiro que vou processar.

Agora vou mudar ligeiramente a linha de comando na resposta do @MarcusNunes para ter um ficheiro de texto com os números de colunas de cada linha e não os números de ";";". Na verdade é o mesmo, mais tarde no R seria só comparar com 15 e não com 16 como vou fazer.
A nova linha de comando é a seguinte.

cat 2019_Viagem.csv | awk -F";" '{print NF}' > colunas.txt

Isto cria um ficheiro só com quantas colunas tem cada linha, um número por linha de colunas.txt.

Finalmente o código R.

  1. Ler quantas colunas tem cada linha do ficheiro 2019_Viagem_UTF8.csv.
  2. Ler esse ficheiro.
  3. Ficar só com as linhas que queremos, com 16 colunas.
  4. Criar um data.frame, usando read.csv2 com o argumento text = txt.
  5. E guardar em disco como ficheiro csv.

Aqui vai

colunas <- scan(file = "colunas.txt")
txt <- readLines("2019_Viagem_UTF8.csv")
txt <- txt[colunas == 16]
limpo <- read.csv2(text = txt)
rm(txt)
dim(limpo)
#[1] 125695     16

write.csv2(limpo, file = "plan2019.csv", row.names = FALSE)

Nota: Na pergunta está plan22018plan2018.csv e não 2019. Creio que isso é um erro que corrigi.

Creio que o seguinte código R, com algum awk preparatório, faz o que a pergunta pede.

Primeiro vou redirecionar a saída do comando iconv da pergunta para um ficheiro novo, o ficheiro 2019_Viagem_UTF8.csv.

iconv -f ISO-8859-1 -t UTF-8 2019_Viagem.csv > 2019_Viagem_UTF8.csv

É este ficheiro que vou processar.

Agora vou mudar ligeiramente a linha de comando na resposta do @MarcusNunes para ter um ficheiro de texto com os números de colunas de cada linha e não os números de ";. Na verdade é o mesmo, mais tarde no R seria só comparar com 15 e não com 16 como vou fazer.
A nova linha de comando é a seguinte.

cat 2019_Viagem.csv | awk -F";" '{print NF}' > colunas.txt

Isto cria um ficheiro só com quantas colunas tem cada linha, um número por linha de colunas.txt.

Finalmente o código R.

  1. Ler quantas colunas tem cada linha do ficheiro 2019_Viagem_UTF8.csv.
  2. Ler esse ficheiro.
  3. Ficar só com as linhas que queremos, com 16 colunas.
  4. Criar um data.frame, usando read.csv2 com o argumento text = txt.
  5. E guardar em disco como ficheiro csv.

Aqui vai

colunas <- scan(file = "colunas.txt")
txt <- readLines("2019_Viagem_UTF8.csv")
txt <- txt[colunas == 16]
limpo <- read.csv2(text = txt)
rm(txt)
dim(limpo)
#[1] 125695     16

write.csv2(limpo, file = "plan2019.csv", row.names = FALSE)

Nota: Na pergunta está plan22018.csv e não 2019. Creio que isso é um erro que corrigi.

Creio que o seguinte código R, com algum awk preparatório, faz o que a pergunta pede.

Primeiro vou redirecionar a saída do comando iconv da pergunta para um ficheiro novo, o ficheiro 2019_Viagem_UTF8.csv.

iconv -f ISO-8859-1 -t UTF-8 2019_Viagem.csv > 2019_Viagem_UTF8.csv

É este ficheiro que vou processar.

Agora vou mudar ligeiramente a linha de comando na resposta do @MarcusNunes para ter um ficheiro de texto com os números de colunas de cada linha e não os números de ";". Na verdade é o mesmo, mais tarde no R seria só comparar com 15 e não com 16 como vou fazer.
A nova linha de comando é a seguinte.

cat 2019_Viagem.csv | awk -F";" '{print NF}' > colunas.txt

Isto cria um ficheiro só com quantas colunas tem cada linha, um número por linha de colunas.txt.

Finalmente o código R.

  1. Ler quantas colunas tem cada linha do ficheiro 2019_Viagem_UTF8.csv.
  2. Ler esse ficheiro.
  3. Ficar só com as linhas que queremos, com 16 colunas.
  4. Criar um data.frame, usando read.csv2 com o argumento text = txt.
  5. E guardar em disco como ficheiro csv.

Aqui vai

colunas <- scan(file = "colunas.txt")
txt <- readLines("2019_Viagem_UTF8.csv")
txt <- txt[colunas == 16]
limpo <- read.csv2(text = txt)
rm(txt)
dim(limpo)
#[1] 125695     16

write.csv2(limpo, file = "plan2019.csv", row.names = FALSE)

Nota: Na pergunta está plan2018.csv e não 2019. Creio que isso é um erro que corrigi.

Fonte Link
Rui Barradas
  • 19mil
  • 2
  • 14
  • 28

Creio que o seguinte código R, com algum awk preparatório, faz o que a pergunta pede.

Primeiro vou redirecionar a saída do comando iconv da pergunta para um ficheiro novo, o ficheiro 2019_Viagem_UTF8.csv.

iconv -f ISO-8859-1 -t UTF-8 2019_Viagem.csv > 2019_Viagem_UTF8.csv

É este ficheiro que vou processar.

Agora vou mudar ligeiramente a linha de comando na resposta do @MarcusNunes para ter um ficheiro de texto com os números de colunas de cada linha e não os números de ";. Na verdade é o mesmo, mais tarde no R seria só comparar com 15 e não com 16 como vou fazer.
A nova linha de comando é a seguinte.

cat 2019_Viagem.csv | awk -F";" '{print NF}' > colunas.txt

Isto cria um ficheiro só com quantas colunas tem cada linha, um número por linha de colunas.txt.

Finalmente o código R.

  1. Ler quantas colunas tem cada linha do ficheiro 2019_Viagem_UTF8.csv.
  2. Ler esse ficheiro.
  3. Ficar só com as linhas que queremos, com 16 colunas.
  4. Criar um data.frame, usando read.csv2 com o argumento text = txt.
  5. E guardar em disco como ficheiro csv.

Aqui vai

colunas <- scan(file = "colunas.txt")
txt <- readLines("2019_Viagem_UTF8.csv")
txt <- txt[colunas == 16]
limpo <- read.csv2(text = txt)
rm(txt)
dim(limpo)
#[1] 125695     16

write.csv2(limpo, file = "plan2019.csv", row.names = FALSE)

Nota: Na pergunta está plan22018.csv e não 2019. Creio que isso é um erro que corrigi.