2

Preciso achar linhas desatualizadas em um arquivo csv e substitui-las por linhas novas.

Esses são os comandos que acham as linhas que vão ser substituídas(antigas) e que vão substituir(novas).

linhas_antigas=$(diff -y arquivo_com_linhas_antigas.csv arquivo_com_linhas_novas.csv | grep -e "|" | awk -F"|" '{ print $1 }')
linhas_novas=$(diff -y arquivo_com_linhas_antigas.csv arquivo_com_linhas_novas.csv | grep -e "|" | awk -F"|" '{ print $2 }' | sed 's/\t *//')

Depois executo o seguinte trecho para fazer o replace:

while read -r arquivo_antigo 
do
    echo ${arquivo_antigo//"$linhas_antigas"/"$linhas_novas"} 
done < arquivo_com_linhas_antigas.csv

Agora o problema... Quando o diff retorna apenas uma linha entre os dois arquivos, o replace é feito tranquilamente. Mas se tem duas ou mais linhas para serem atualizadas, ele não faz o replace de nenhuma delas.

Imagino que se as variáveis $linhas_antigas e $linhas_novas fossem arrays facilitaria o processo.

Mas como fazer isso? Tem alguma outra solução??

3
  • Coloque alguns exemplos das linhas. Já fiz algo parecido, aguardo exemplos de linhas. 22/06/2018 às 20:16
  • Antiga: Gabriel Hardoim;10;52;3 Nova: Gabriel Hardoim;12;55;3 23/06/2018 às 15:19
  • Os arquivos .CSV sempre vão possuir a mesma quantidade linhas/registros ? Se a linha correspondente não existir, ele deverá ser removida ? A ordem dos registros importa ?
    – Lacobus
    29/06/2018 às 18:26

2 Respostas 2

2

Pelo oque entendi seria como atualizar um arquivo de backup. Conteúdo do arquivo 1:

A1 B1;10;52;3
A2 B2;12;52;3
A3 B3;10;52;3
A4 B4;10;34;3
A5 B5;10;52;3
A6 B6;10;33;3
A7 B7;08;52;4

Conteúdo arquivo 2:

A1 B1;10;52;1
A2 B2;12;52;2
A3 B3;10;52;3
A4 B4;10;34;3
A5 B5;10;52;5
A6 B6;10;33;6
A7 B7;08;52;4

Script:

#!/bin/bash
# Quantidade de linhas para determinar quantas vezes o laço sera executado
# Poderia ser com "while" dizendo "enquanto o arquivo for diferente um do outro faça"
qt=$(diff -y --suppress-common-lines l1.csv l2.csv | wc -l)
for (( i = 0; i < $qt; i++ )); do
    # Pega sempre a primeira ocorrência, linhas diferentes
    linha=$(diff -y --suppress-common-lines l1.csv l2.csv | head -n1)
    # Pega a linha antiga
    la=$(awk '{print $1,$2}' <<< $linha)
    # Linha nova
    ln=$(awk '{print $4,$5}' <<< $linha)
    # Coloca o conteúdo do arquivo na variável
    arq=$(cat l1.csv)
    # Faz a substituição da linha antiga pela nova
    arq=${arq//$la/$ln}
    # Coloca a alteração dentro do arquivo original
    echo "$arq" > l1.csv
done

Saída:

A1 B1;10;52;1
A2 B2;12;52;2
A3 B3;10;52;3
A4 B4;10;34;3
A5 B5;10;52;5
A6 B6;10;33;6
A7 B7;08;52;4

Esse método acima faz a alteração linha a linha, se entendi bem, e vc quer atualizar um arquivo levando em consideração outro arquivo, poderia fazer da seguinte maneira:

#!/bin/bash
if [[ -n $(diff -q l1.csv l2.csv) ]]; then
    cat l2.csv > l1.csv
fi

Seu script não estava dando certo pq vc colocou todas as linhas diferentes dentro da variável, vc tem que fazer isso linha a linha, por isso que quando tinha apenas uma linha diferente dava certo.

1

Você pode implementar um script em gawk para processar seus arquivos, por exemplo:

BEGIN{
}

{
    if( FNR == NR )
    {
        a[FNR] = $0;
        next;
    }

    print (a[FNR] == $0) ? a[FNR] : $0;
}

END{
}

Ou, em uma linha:

$ awk 'FNR==NR{a[FNR]=$0;next}{print a[FNR]==$0?a[FNR]:$0}' antigas.csv novas.csv

Assumindo que os arquivos .CSV de entrada sejam algo como:

antigas.csv:

JESUS DE NAZARE;15;21;1
MARIA MAGDALENA;12;52;3
JOAO DE DEUS;33;52;5
MATUZALEM DA COSTA;10;34;7
MICHAEL JACKSON;10;28;2
DINO DA SILVA SAURO;16;32;4
FULANO DE TAL;84;25;6

novas.csv:

JESUS DE NAZARE;15;21;8
MARIA MAGDALENA;12;52;3
JOAO DE DEUS;33;52;5
MATUZALEM DA COSTA;15;34;7
MICHAEL JACKSON;10;28;2
DINO DA SILVA SAURO;14;32;9
FULANO DE TAL;84;25;6

Saída:

JESUS DE NAZARE;15;21;8
MARIA MAGDALENA;12;52;3
JOAO DE DEUS;33;52;5
MATUZALEM DA COSTA;15;34;7
MICHAEL JACKSON;10;28;2
DINO DA SILVA SAURO;14;32;9
FULANO DE TAL;84;25;6

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .