Skip to main content
adicionou 4 caracteres ao conteúdo
Fonte Link
Luiz Vieira
  • 34,5mil
  • 6
  • 91
  • 160

Eu sei que você solicitou ajuda para "awk" e "sed" (com base nas tags usadas). Mas, se me permite a sugestão, por que você não faz em Python? É bem simples porque você trata o arquivo como CSV mesmo (além deo que também te dar flexibilidade para qualquer outra necessidade futura envolvendo o tratamento desses campos).

Eis um exemplo de código:

import csv
import re

# Expressão regular ***bem simples*** para identificar URLs HTTP
url_re = 'http[s]:\/\/(www\.)?.*[^ ]'

# Abre o arquivo original para leitura
fin = open('teste.csv', 'r')
# Abre o arquivo de destino para gravação
fout = open('teste2.csv', 'w', newline='')

# Cria os objetos de leitura e gravação de/em CSV (no caso do arquivo de destino,
# força a configuração de todos os campos entre aspas - para manter igual ao seu
# exemplo)
reader = csv.DictReader(fin, delimiter=',')
writer = csv.DictWriter(fout, delimiter=',', quotechar='"', quoting=csv.QUOTE_ALL,
                              fieldnames=reader.fieldnames)

# Grava o cabeçalho no arquivo de destino
writer.writeheader()

# Lê o arquivo de entrada linha a linha, e grava no arquivo de saída;
# Aplica as conversões requeridas apenas na coluna 'text'
for row in reader:
    # Substitui as ocorrências de nova linha por um único espaço
    row['text'] = re.sub('\n+', ' ', row['text'])

    # Substitui a ocorrência de URL por um único espaço
    row['text'] = re.sub(url_re, ' ', row['text'])

    # Grava a linha toda na saída
    writer.writerow(row)

fin.close()
fout.close()

De todas as formas, se você preferir fazer no "sed", por exemplo, é só usar a mesma ideia (e provavelmente as mesmas expressões regulares) para fazer a troca.

Eu sei que você solicitou ajuda para "awk" e "sed" (com base nas tags usadas). Mas, se me permite a sugestão, por que você não faz em Python? É bem simples porque você trata o arquivo como CSV mesmo (além de te dar flexibilidade para qualquer outra necessidade futura envolvendo o tratamento desses campos).

Eis um exemplo de código:

import csv
import re

# Expressão regular ***bem simples*** para identificar URLs HTTP
url_re = 'http[s]:\/\/(www\.)?.*[^ ]'

# Abre o arquivo original para leitura
fin = open('teste.csv', 'r')
# Abre o arquivo de destino para gravação
fout = open('teste2.csv', 'w', newline='')

# Cria os objetos de leitura e gravação de/em CSV (no caso do arquivo de destino,
# força a configuração de todos os campos entre aspas - para manter igual ao seu
# exemplo)
reader = csv.DictReader(fin, delimiter=',')
writer = csv.DictWriter(fout, delimiter=',', quotechar='"', quoting=csv.QUOTE_ALL,
                              fieldnames=reader.fieldnames)

# Grava o cabeçalho no arquivo de destino
writer.writeheader()

# Lê o arquivo de entrada linha a linha, e grava no arquivo de saída;
# Aplica as conversões requeridas apenas na coluna 'text'
for row in reader:
    # Substitui as ocorrências de nova linha por um único espaço
    row['text'] = re.sub('\n+', ' ', row['text'])

    # Substitui a ocorrência de URL por um único espaço
    row['text'] = re.sub(url_re, ' ', row['text'])

    # Grava a linha toda na saída
    writer.writerow(row)

fin.close()
fout.close()

De todas as formas, se você preferir fazer no "sed", por exemplo, é só usar a mesma ideia (e provavelmente as mesmas expressões regulares) para fazer a troca.

Eu sei que você solicitou ajuda para "awk" e "sed" (com base nas tags usadas). Mas, se me permite a sugestão, por que você não faz em Python? É bem simples porque você trata o arquivo como CSV mesmo (o que também te flexibilidade para qualquer outra necessidade futura envolvendo o tratamento desses campos).

Eis um exemplo de código:

import csv
import re

# Expressão regular ***bem simples*** para identificar URLs HTTP
url_re = 'http[s]:\/\/(www\.)?.*[^ ]'

# Abre o arquivo original para leitura
fin = open('teste.csv', 'r')
# Abre o arquivo de destino para gravação
fout = open('teste2.csv', 'w', newline='')

# Cria os objetos de leitura e gravação de/em CSV (no caso do arquivo de destino,
# força a configuração de todos os campos entre aspas - para manter igual ao seu
# exemplo)
reader = csv.DictReader(fin, delimiter=',')
writer = csv.DictWriter(fout, delimiter=',', quotechar='"', quoting=csv.QUOTE_ALL,
                              fieldnames=reader.fieldnames)

# Grava o cabeçalho no arquivo de destino
writer.writeheader()

# Lê o arquivo de entrada linha a linha, e grava no arquivo de saída;
# Aplica as conversões requeridas apenas na coluna 'text'
for row in reader:
    # Substitui as ocorrências de nova linha por um único espaço
    row['text'] = re.sub('\n+', ' ', row['text'])

    # Substitui a ocorrência de URL por um único espaço
    row['text'] = re.sub(url_re, ' ', row['text'])

    # Grava a linha toda na saída
    writer.writerow(row)

fin.close()
fout.close()

De todas as formas, se você preferir fazer no "sed", por exemplo, é só usar a mesma ideia (e provavelmente as mesmas expressões regulares) para fazer a troca.

Fonte Link
Luiz Vieira
  • 34,5mil
  • 6
  • 91
  • 160

Eu sei que você solicitou ajuda para "awk" e "sed" (com base nas tags usadas). Mas, se me permite a sugestão, por que você não faz em Python? É bem simples porque você trata o arquivo como CSV mesmo (além de te dar flexibilidade para qualquer outra necessidade futura envolvendo o tratamento desses campos).

Eis um exemplo de código:

import csv
import re

# Expressão regular ***bem simples*** para identificar URLs HTTP
url_re = 'http[s]:\/\/(www\.)?.*[^ ]'

# Abre o arquivo original para leitura
fin = open('teste.csv', 'r')
# Abre o arquivo de destino para gravação
fout = open('teste2.csv', 'w', newline='')

# Cria os objetos de leitura e gravação de/em CSV (no caso do arquivo de destino,
# força a configuração de todos os campos entre aspas - para manter igual ao seu
# exemplo)
reader = csv.DictReader(fin, delimiter=',')
writer = csv.DictWriter(fout, delimiter=',', quotechar='"', quoting=csv.QUOTE_ALL,
                              fieldnames=reader.fieldnames)

# Grava o cabeçalho no arquivo de destino
writer.writeheader()

# Lê o arquivo de entrada linha a linha, e grava no arquivo de saída;
# Aplica as conversões requeridas apenas na coluna 'text'
for row in reader:
    # Substitui as ocorrências de nova linha por um único espaço
    row['text'] = re.sub('\n+', ' ', row['text'])

    # Substitui a ocorrência de URL por um único espaço
    row['text'] = re.sub(url_re, ' ', row['text'])

    # Grava a linha toda na saída
    writer.writerow(row)

fin.close()
fout.close()

De todas as formas, se você preferir fazer no "sed", por exemplo, é só usar a mesma ideia (e provavelmente as mesmas expressões regulares) para fazer a troca.