5

Preciso de um comando que faça a substituição de um padrão específico em cada linha de um arquivo tantas vezes quanto necessárias até que o padrão não seja mais encontrado.

Por exemplo, num arquivo CSV, os campos são separados por ponto-vírgula ;.
Os campos nulos não possuem caractere, como no arquivo a seguir que representa uma lista de contatos com 3 registros:

Nome;Sobrenome;Telefone1;Telefone2;Email
Joao;Silva;9999-8888;9292-9292;[email protected]
Maria;Souza;8899-0011;;[email protected]
Carlos;Oliveira;;;

A primeira linha é o cabeçalho do arquivo. O contato Maria Souza possui o Telefone2 nulo e o contato Carlos Oliveira possui nulos os campos Telefone1, Telefone2 e Email.

Quero acrescentar \N onde o campo é nulo.

No Linux, se utilizo o comando:

$ sed -e 's/;;/;\\N;/g' -e 's/;$/;\\N/' arquivo.csv > novo-arquivo.csv

O resultado é satisfatório para o registro Maria Souza, mas não para o Carlos Oliveira, pois ao encontrar o primeiro padrão ;; e realizando a substituição (Carlos;Oliveira;\N;;) ele não considera o texto substituto na continuação da pesquisa e passa já para o próximo padrão, que é o ;$, ficando o resultado desta maneira:

Carlos;Oliveira;\N;;\N

Permanecendo um campo nulo ainda.
Gostaria de uma solução tanto Unix quanto para Windows.

1
  • Não considero uma boa ideia tratar um arquivo CSV com uma expressão regular, mas, como você provavelmente já sabe disso e deve estar simplesmente tratando dados para fornecer a outro programa, vou deixar pra lá ;)
    – motobói
    1/02/2014 às 12:10

3 Respostas 3

4

Use perl, que suporta look-ahead:

 perl -p -e 's/;(?=;|$)/;\\N/g' arquivo.csv > novo-arquivo.csv

Incidentalmente, se quiser fazer a alteração dentro do mesmo arquivo (sem ter que redirecionar pra outro), simplesmente passe a opção -i (infile):

 perl -p -i -e 's/;(?=;|$)/;\\N/g' arquivo.csv
6
  • Muito interessante @elias. Mas este comando que você postou não atende ao último campo do registro se a linha terminar com ; que significa que o último campo é nulo, devendo ser substituído por ;\N. Eu posso colocar um novo parâmetro -e, assim?: perl -p -e 's/;(?=;)/;\\N/g' -e 's/;$/;\\N/g' arquivo.csv > novo-arquivo.csv
    – ricidleiv
    16/12/2013 às 16:19
  • @ricidleiv verdade, acabei de corrigir, valeu.
    – elias
    16/12/2013 às 16:21
  • e no caso, por exemplo, para excluir uma palavra recursivamente numa linha, como a palavra nulo na string nnuloulochavenulnuloo para sobrar apenas a plavra chave. Em Perl, como eu poderia fazer isso?
    – ricidleiv
    16/12/2013 às 16:50
  • Bom, nesse caso acho que não teria como escapar dum loop. Provável que o one-liner fique mais bonito em sed, mesmo: sed ':loop; s/nulo//g; t loop;' -- difícil bater essa. =)
    – elias
    16/12/2013 às 16:57
  • 1
    Você pode simplificar o caso da linha que termina com ; se usar perl -p -e 's/;(?=;|$)/;\\N/g;'
    – rodrigorgs
    16/12/2013 às 20:00
1

O comando sed do Linux permite trabalhar com rótulos, úteis para trabalhar com recursividade.

Para o exemplo, pode ser utilizado da seguinte forma:

$ sed -e ':loop' -e 's/;;/;\\N;/g' -e 't loop' -e 's/;$/;\\N/' arquivo.csv > novo-arquivo.csv

Lembrando que, se o arquivo foi gerado no Windows e for utilizar o comando no Linux, deverá converter o arquivo do padrão DOS para o Unix, pois o caractere de final de linha é diferente. E vice-versa.

Pode-se utilizar os comandos dos2unix ou unix2dos.

1
  • 1
    A propósito, sed também suporta separar comandos com ; e alterar diretamente o próprio arquivo, então você poderia fazer: sed -i ':loop; s/;;/;\\N;/g; t loop; s/;$/;\\N/' arquivo.csv -- resultado equivalente ao segundo comando perl da minha resposta =)
    – elias
    16/12/2013 às 16:39
1

Estou acostumado com ambientes de desenvolvimento com Java, tanto em Linux quanto em Windows, então eu usaria uma task Ant para executar operações de manipulação de arquivos multiplataforma como esta.

Ant é uma ferramenta poderosa e versátil usada para automação, builds (compilação e e montagem de pacotes) e processamento de arquivos. É importante notar que Ant não é uma linguagem de programação, como alguns pensam, mas é uma forma de declaração de atividades (tasks) que devem ser executadas.

Instalando o Ant

Baixe o pacote binário aqui, descompacte-o numa pasta e adicione-o ao PATH do seu sistema operacional.

Exemplo no Windows:

set path=%path%;c:\caminho\apache-ant-1.9.3\bin

Escrevendo o Ant Build

O seguinte projeto Ant faz a substituição de linhas num dado arquivo:

<project name="MyProject" default="replace" basedir=".">
    <target name="replace">
        <replaceregexp
                file="${file}"
                byline="true"
                match=";(?=;|$)"
                replace=";\\\\N"
                flags="gs" />
    </target>
</project>

Executando o Projeto

O Ant procura automaticamente por um arquivo chamado build.xml no diretório atual. Então, se file.txt é o arquivo a ser processado, o comando a seguir irá realizar a substituição:

ant -Dfile=file.txt

Caso o projeto Ant tenha outro nome, pode-se usar o parâmetro -f:

ant -f /caminho/meu-build.xml -Dfile=file.txt

Aprendendo mais sobre o Ant

Apenas leia o manual por completo.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .