3

Tenho um arquivo .sql de 55GB e precisava executar linha a linha, mas como não consigo carregar um arquivo desse tamanho, dividi em 543 arquivos de 100MB nomeados como Imagens<NumeroSequencial>.sql.

Então fiz um código que le os arquivos 1 a 1 e extrai as linhas em uma lista, após isso executa os comandos linha a linha.

O programa de terceiro que divide os arquivos extrai os arquivos com codificação UTF-16 BE que no c# é Unicode. Quando leio arquivos com o número par no fim do nome e debugo o seguinte código, eu recebo caracteres chineses, mas quando são arquivos com o número ímpar vem tudo normal, o problema é que os de número impar tem a mesma codificação que os de número par, eles vieram do msm software da mesma divisão.

string s_unicode = File.ReadAllText(path,Encoding.Unicode);
//retorno > 猀漀挀挀攀爀

O que pode ser que está acontecendo? ja tentei usar UTF-8 mas ai me retorna um monte de \0\0\0\0\0\0

Segue o arquivo para teste nesse link

2 Respostas 2

2

Se já sabe efetivamente a codificação utilizada no ficheiro, porque não utilizá-la na leitura do ficheiro?

string s_unicode = File.ReadAllText(path, Encoding.GetEncoding("UTF-16BE"));

Pode também passar os resultados para um array, pode dar jeito:

string[] s_unicode = File.ReadAllLines(path, Encoding.GetEncoding("UTF-16BE"));

Código testado e a funcionar a 100%!

2

Eu não sei como você extraiu o texto nem em que formato usou para parsear o arquivo original, mas pode tentar resolver o problema lendo esses arquivos "estragados" como arquivos binários de leitura, remover todos os bytes 0x00 e parsear como string.

O trecho com ideogramas chineses traduz para os seguintes bytes Unicode: 0x7300 0x6F00 0x6300 0x6300 0x6500 0x7200.

Se retirar os 0x00 e parsear como string Unicode, o resultado é soccer.

EDIT: tente remover o primeiro 0x00 do arquivo, use o seguinte código:

using System;
using System.IO;
using System.Text;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            Console.WriteLine("Writing Imagens1.sql now.");
            File.WriteAllBytes("Imagens1.sql", new byte[] { 0x00, 0x73, 0x00, 0x6F, 0x00, 0x63, 0x00, 0x63, 0x00, 0x65, 0x00, 0x72, 0x00 });

            Console.WriteLine("Reading Imagens1.sql and dumping it into Imagens1.new.sql");
            using (BinaryReader br = new BinaryReader(File.OpenRead("Imagens1.sql")))
            using (BinaryWriter bw = new BinaryWriter(File.OpenWrite("Imagens1.new.sql")))
            {
                byte[] buffer;

                br.ReadByte(); // This should be the heading 0x00 that we want to get rid of.

                while ((buffer = br.ReadBytes(1024)).Length > 0)
                {
                    bw.Write(buffer);
                }

                bw.Close();
                br.Close();
            }

            Console.WriteLine("Finished!");
            Console.Read();
        }
    }
}
2
  • Marcelo, tenho uma experiencia legal com programação, mas não consegui entender como aplicar isso na prática, é muito complexo para você me dar um exemplo? Commented 6/03/2019 às 20:18
  • Deve ter um caracter \0 bem no começo do arquivo. É só retirar ele. Commented 3/08/2020 às 15:53

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .