3

Caros;

Tenho uma lista de arquivos (140 mil) com data no formato Unix epoch timestamp no nome do arquivo. Preciso converter cada arquivo para corresponder a data real dele, alterando seu nome. Exemplo: 1475279740.15044_xxx.xxx.stats, onde o epoch timestamp é 1475279740, convertendo dá 2016-09-30 (2016-09-30_xxx.xxx.stats).

Tenho a lista de arquivos com seus nomes em timestamp e outro arquivo com a lista de nomes já convertida, ambas em txt. Porém, preciso alterar/mover o arquivo que contém o timestamp para os arquivos convertidos.

Imagino ter dois for onde um abre a lista de arquivos timestamp e outro for que abre os arquivos convertidos e após seria só alterar/mover com um simples comando mv.

Para testar, criei estes dois laços for, porém apenas a segunda variável é alterada em sequência, a primeira fica estática.

Segue o código de exemplo:

 for x in $(cat timestamp.txt)
     do
         for y in $(cat timestamp-conv.txt)
       do

           echo $x convertido para $y

    done
 done

Saída esperada do código:

  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-24
  1474566212 convertido para 2016-09-25
  1474566212 convertido para 2016-09-25

As duas listas estão idênticas, linha por linha entre as duas batem o timestamp com o outro já convertido.

Já tentei de varias formas, sem sucesso!

Podem me ajudar?

4
  • E a hora, tu não vai precisar? É possível que dois arquivos tenham a mesma data, daí o que os diferenciaria seria a hora. Commented 19/10/2016 às 20:57
  • Não é necessário a hora, só a data mesmo.
    – user54154
    Commented 19/10/2016 às 20:59
  • A lista com o nome dos arquivos está em timestemp.txt? Um por linha? Tu quer copiar o arquivo 1475279740.15044_xxx.xxx.stats para o arquivo 2016-09-30_xxx.xxx.stats, por exemplo, e imprimir um relatório no final de todos os arquivos convertidos, é isso? Commented 19/10/2016 às 21:12
  • Tenho um diretorio com 140 mil arquivos de logs.Cada arquivo de Log está com timestamp do dia que foi salvo. Então destes 140 mil arquivos, tenho arquivo de setembro a outrubro. Como o script que faz isso diariamente deu pau, só vimos depois de quase dois meses, teremos que filtrar cada arquivo por sua data atual em timestamp, convertendo de timestamp para a data real e salvar em um diretorio com esta data. Então, preciso saber os dias de todos arquivos para fazer esta conversao: de 1475279740.15044_xxx.xxx.stats para 2016-09-30_xxx.xxx.stats. Não sei se ficou claro, caso não desculpe !!
    – user54154
    Commented 19/10/2016 às 21:28

1 Resposta 1

1

Acredito que este script possa fazer o trabalho:

#!/bin/bash

exec 3< timestamp.txt

while read arq <&3; do
    epoch=$(echo $arq | awk '{ print $1 }' FS="_")
    filenameend=$(echo $arq | awk '{ print $2 }' FS="_")
    date=$(date --date="@$epoch" +%Y-%m-%d)
    mv ${arq} ${date}_${filenameend} && echo ${arq} convertido para ${date}_${filenameend}
done

exec 3<&-
11
  • Você disse que não precisa diferenciar pela hora, então vais perder arquivos se tiveres mais de um no mesmo dia: o último da lista sobrescreverá o(s) anterior(es). Cuidado com isso! Commented 20/10/2016 às 15:15
  • Olá Thiago, na verdade, quando eu ter a certeza que estiver funcionando, eu irei adicionar no final de cada arquivo convertido uma string para diferenciar, por isso eu estava usando o echo. O que me interessa é o conteúdo de cada arquivo, e não o nome dele. Me tira uma duvida, vc setou em seu While o arquivo timestemp.txt. Onde entra o outro arquivo convertido? Ou seu codigo irá converter na hora os arquivos sem a necessidade de um arquivo secundário? Grato pelo seu interesse em ajudar.
    – user54154
    Commented 20/10/2016 às 15:21
  • Então, ele já move o arquivo original para o novo arquivo, com a data formatada como tu querias. Não existe a necessidade de criar mais um arquivo para controlar a conversão de nomes. Commented 20/10/2016 às 15:28
  • Grande Thiago, irei testar seu código. Grande abraço!
    – user54154
    Commented 20/10/2016 às 15:38
  • Ok! Depois dê o feedback aqui com o upvote ou alguma dúvida que tenhas para ajudar os outros que tiverem o mesmo problema. Commented 20/10/2016 às 15:40

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .