3

Estou com vário problemas de arquivos em UTF-8 com BOM, varios tokens estao sendo gerado no inicio das páginas, isso faz ocorrer varios problemas nas leituras de arquivos json e desindentação dos componentes HTML. Quase impossível de descobrir pois os tokens são invisiveis. Procurei no google uma forma de alterar todos os arquivos para UTF-8 sem BOM e achei um script em perl para remover a assinatura BOM mas não funcionou. Alguem poderia ajudar. Preciso de um script que altere todos os arquivos do projeto.

Mais informções do problema e o script pode ser encontrada aqui

A minha soluçao por enquanto é ficar garimpando os arquivos e salvando em UTF-8 sem BOM, mas são vários arquivos, por isso pensei em um script, mas não tenho idéia de como fazer.

A solução momentanea para os problemas de token do json eu fiz assim para resolver (POG):

1.Recupero a string apartir da primeira chaves { encontrada. Pois os tokens são gerados antes dessa chave. Isso resolve momentaneamente. Mas é uma gambiarra.

json = json.substring(json.indexOf("{"),json.length);
objeto = $.parseJSON(json);
8
  • 1
    Precisa ser em Perl? E é mesmo necessário um script completo, ou você já está trabalhando em alguma linguagem e pode só incorporar um pequeno trecho de código? Remover o BOM é trivial, basta ler os três primeiros bytes do arquivo e - se eles corresponderem a um certo padrão - criar um novo arquivo do 4º byte pra frente. Assumindo UTF-8, é claro.
    – mgibsonbr
    Commented 26/05/2015 às 15:38
  • Não precisa ser em Perl, na verdade nunca programei em Perl. Portanto qualquer linguagem pode ser feito. Eu uso linux as vezes pode ter até um programa que ja faça isso mas eu não conheço. Obrigado @mgibsonbr, parece simples fazer para um depois que voce explicou, o problema acho que será identificar o formato do arquivo e fazer uma busca em todos os diretorios do projeto.
    – Skywalker
    Commented 26/05/2015 às 15:44
  • Posso tentar fazer se não existir agum script ja pronto.
    – Skywalker
    Commented 26/05/2015 às 15:44
  • Você está usando JavaScript? Resolveria um código para eliminar o BOM no JavaScript, logo antes de você usá-lo? (ou você realmente precisa converter os arquivos localmente?)
    – mgibsonbr
    Commented 26/05/2015 às 17:58
  • 1
    eu quero remover o BOM em todos os arquivos do projeto. o JavaScript foi um exemplo de como consegui dar a volta no problema em uma determinada circunstância. Mas o que eu queria era um código similar a esse feito em perl do site que citei. Mas não consegui fazer funcionar aqui.
    – Skywalker
    Commented 26/05/2015 às 18:45

2 Respostas 2

3

Um arquivo UTF-8 com BOM é simplesmente um arquivo na codificação UTF-8 em que os primeiros 3 bytes são EF BB BF. Identificar o BOM é portanto uma questão de ler os 3 primeiros bytes e ver se eles correspondem a esse formato. E para eliminar o BOM, é só copiar o restante do arquivo pra saída, sem incluir esses 3 bytes.

Um exemplo em Python (3), bem simplificado (Disclaimer: não testei!), seria:

import os, sys

def tem_bom(arq):
    with open(arq, mode="rb") as f:
        bom = f.read(3)
        resto = f.read()
        if bom == b"\xef\xbb\xbf":
            return True, resto
        else:
            return False, bom + resto

def copiar_pasta(origem, destino, copiar_sempre=True):
    for nome in os.listdir(origem):
        path1 = os.path.join(origem, nome)
        path2 = os.path.join(destino, nome)

        if os.path.isfile(path1):
             bom, resto = tem_bom(path1)
             if bom or copiar_sempre:
                 with open(path2, "wb") as f:
                     f.write(resto)
                 if bom:
                     print("Corrigido arquivo {}".format(path1))

        elif os.path.isdir(path1):
            os.mkdir(path2)
            copiar_pasta(path1, path2, copiar_sempre)

if __name__ == "__main__":
    copiar_pasta(sys.argv[1], sys.argv[2])

Esse exemplo pegaria uma pasta de origem e copiaria todos os arquivos para uma pasta de destino, recursivamente. Cada arquivo que tivesse BOM, ele copiaria sem o BOM. Fiz dessa forma (sem alterar nada na pasta original) pra não correr o risco de sobrescrever nada importante, apenas verifique se a pasta de destino é uma nova pasta, vazia. Adapte se necessário.

3
  • 1
    Testei aqui e realmente parece que deu certo era exatamente isso @mgibsonbr, Muito obrigado. Mas está quase 100% @mgibsonbr, fiz o teste aqui e aparentemente removeu o BOM, porem precisa de correção nas funções is_file e is_dir que seriam respectivamente isfile e isdir. E também um outro problema quando vai copiar um arquivo que está dentro de outra pasta o programa n ta criando a pasta no outro diretorio antes de copiar o arquivo, ai diz que não é possivel copiar pois a pasta no diretorio destino nao existe, nada que uma pequena correção para ficar perfeito.
    – Skywalker
    Commented 26/05/2015 às 21:49
  • 1
    @Skywalker Valeu pelas correções! Corrigi aqui, e também acrescentei uma opção na função pra quando o arquivo não tiver BOM não copiar (vai que a pasta é grande, tem muitos arquivos, etc). Só teria que chamar a função passando esse parâmetro com False.
    – mgibsonbr
    Commented 26/05/2015 às 22:39
  • Agora sim @mgibsonbr, acabei de rodar o script no projeto, funcionou, sumiu todos os tokens malditos rsrs. Obrigado mais uma vez. Ficou 10 o script.
    – Skywalker
    Commented 27/05/2015 às 11:59
0
#!/usr/bin/perl -pi
s/^(\xEF\xBB\xBF)//;  ## remove BOM !

Esta versão altera os próprios ficheiros. Exemplo de uso:

rmbom *.js ou

perl rmbom file1 file2 *.js dir/*

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .