2

Tenho um arquivo csv com mais de 500k de linhas e preciso remover as quebras de linhas de apenas uma coluna de maneira eficiente além de excluir todos os links que contem nele, um trecho do arquivo:

"created_at","text","location","name","screen_name","followers_count","friends_count"
"2016-09-17T21:48:10.000Z","MAIS UM CLIENTE REVIVALL #Eleições #Vereador #BH

VÍDEO MARKETING - Solicite uma Proposta Revivall Marketing:... https://t.co/d7qDOguDoA","Belo Horizonte","Objetivo Comunicação","ObjeCom",15,0
"2016-09-17T23:05:01.000Z","Não ia votar no Kalil não. Mas diante de tanta sacanagem nas propagandas políticas meu voto agora é dele. Fazer raiva nas MARIAS.","Belo Horizonte","LEONARDO BARBOSA","LEO_BEAGALO",113,282
"2016-09-17T23:26:10.000Z","RT @brnou3: nossa candidato que legal várias pessoas na rua balançando uma bandeira com seu nome isso conquistou meu voto

disse nenhuma pe…","Belo Horizonte","Júlia","julinhasr",589,306

Tem que ficar assim:

"created_at","text","location","name","screen_name","followers_count","friends_count"
"2016-09-17T21:48:10.000Z","MAIS UM CLIENTE REVIVALL #Eleições #Vereador #BH VÍDEO MARKETING - Solicite uma Proposta Revivall Marketing:... ","Belo Horizonte","Objetivo Comunicação","ObjeCom",15,0
"2016-09-17T23:05:01.000Z","Não ia votar no Kalil não. Mas diante de tanta sacanagem nas propagandas políticas meu voto agora é dele. Fazer raiva nas MARIAS.","Belo Horizonte","LEONARDO BARBOSA","LEO_BEAGALO",113,282
"2016-09-17T23:26:10.000Z","RT @brnou3: nossa candidato que legal várias pessoas na rua balançando uma bandeira com seu nome isso conquistou meu voto disse nenhuma pe…","Belo Horizonte","Júlia","julinhasr",589,306
3
  • Alguma linguagem em específico? Quando diz Linux, pensa em utilizar shell scripting ou algo do tipo? Commented 7/03/2017 às 0:55
  • Use o Vim/Vi para resolver isso. Procure no Google o comando exato para remover as quebras de linha do Windows e insira novas quebras de linha. É um problema bem comum... vc vai achar até scripts prontos q fazem isso...
    – TTKDroid
    Commented 7/03/2017 às 4:02
  • Eu penso em primeiramente remover todas as linhas com espaços em branco: grep -v ^$ arquivo_csv e depois colar as linhas que não comecem pelo caractere " com a linha anterior. Com certeza você pode fazer isso com o awk mas ainda não consegui. Commented 7/03/2017 às 11:18

2 Respostas 2

7

Eu sei que você solicitou ajuda para "awk" e "sed" (com base nas tags usadas). Mas, se me permite a sugestão, por que você não faz em Python? É bem simples porque você trata o arquivo como CSV mesmo (o que também te dá flexibilidade para qualquer outra necessidade futura envolvendo o tratamento desses campos).

Eis um exemplo de código:

import csv
import re

# Expressão regular ***bem simples*** para identificar URLs HTTP
url_re = 'http[s]:\/\/(www\.)?.*[^ ]'

# Abre o arquivo original para leitura
fin = open('teste.csv', 'r')
# Abre o arquivo de destino para gravação
fout = open('teste2.csv', 'w', newline='')

# Cria os objetos de leitura e gravação de/em CSV (no caso do arquivo de destino,
# força a configuração de todos os campos entre aspas - para manter igual ao seu
# exemplo)
reader = csv.DictReader(fin, delimiter=',')
writer = csv.DictWriter(fout, delimiter=',', quotechar='"', quoting=csv.QUOTE_ALL,
                              fieldnames=reader.fieldnames)

# Grava o cabeçalho no arquivo de destino
writer.writeheader()

# Lê o arquivo de entrada linha a linha, e grava no arquivo de saída;
# Aplica as conversões requeridas apenas na coluna 'text'
for row in reader:
    # Substitui as ocorrências de nova linha por um único espaço
    row['text'] = re.sub('\n+', ' ', row['text'])

    # Substitui a ocorrência de URL por um único espaço
    row['text'] = re.sub(url_re, ' ', row['text'])

    # Grava a linha toda na saída
    writer.writerow(row)

fin.close()
fout.close()

De todas as formas, se você preferir fazer no "sed", por exemplo, é só usar a mesma ideia (e provavelmente as mesmas expressões regulares) para fazer a troca.

2
  • 1
    Bem jogado! +1 ( ferramente CSV-aware é claramente o caminho)
    – JJoao
    Commented 7/03/2017 às 13:58
  • 1
    muito bem pensado amigo! Muito obrigado! Commented 8/03/2017 às 1:36
3

Com um ficheiro deste tamanho, é claramente recomendável usar um parser/módulos de CSV.

No entanto assumindo que as "" estão correctas e que não há \"dentro das aspas podemos tentar usar magia negra...

1 awk e sed:

(a) Dado que o primeiro campo ("created in") tem complexidade, está sempre entre aspas. Sendo assim, " no início da linha é sempre um separador de registo.

sed 's/^"/@@"/' in.csv  | 
     awk '{gsub(/(\n|http[^ \n"]*)+/," "); print }' RS="@@"
  • sed 's/^"/@@"/' marca explicitamente os separadores de registos com "@@"
  • awk '..awk-program..' RS="@@" processa registos reparados por "@@"
  • ...{gsub(/(\n|http[^ \n"]*)+/," ");print} dentro de cada registo, susbtitui \n e URLs por espaço

2 perl: substitute

De acordo com a mesma premissa (a)

perl -p0e 's/\n(?!")/ /g; s/https?:[^\s"]+/ /g' in.csv
  • s/\n(?!")/ /g; substitui \n por espaço desde que não tenha aspas a seguir
  • s/https?:[^\s"]+/ /g' remove os URLs

3 Perl: substitute com eval

Esta próxima versão é um bocado mais criptica:

  • subsituir cada string entre aspas pelo resultado da substituição nesta dos "\n" e URLS por nada:
perl -p0e 's{(".*?")}{ $1 =~ s!(\n|https?:[^\s"]+)+! !gr }sge' in.csv

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .