2

Tenho um array valores = [16, -25, 34, 2, 199, 45, 67, 90]e preciso salvá-los em um arquivo binário utilizando o struct. Em seguida, eu preciso ler o arquivo binario com o struct.

Para ler, estou usando o seguinte código:

def escreveBin(valores):
    with open("colecao.bin", 'wb') as arq:
        arq.write(struct.pack('=i', valores))

Mas estou obtendo o seguinte erro:

struct.error: required argument is not an integer

Além disso, depois de escreve-lo, vou precisar ordenar o arquivo sem trazer o conteudo para e memória principal, pois preciso levar em consideração que o arquivo pode ser muito grande.

Alguma ideia de como fazer tal coisa?

1 Resposta 1

1

O módulo struct funciona bem, mas pode ser um pouco chato as vezes. Em particular, ele espera uma letra de formatação de dados para cada parâmetro que vai escrever, não tem arrays - ou seja, você precisa passar, na string que especifíca o formato um "i" para cada número na sua lista.

Felizmente isso pode ser feito direto com as f-strings:

...
valores = [16, -25, 34, 2, 199, 45, 67, 90] 
v = struct.pack(f"={'i' * len(valores)}", *valores) 
arq.write(v)

É importante notar também o * antes de valores - essa sintaxe do Python faz com que cada item da sequência seja aplicado na chamada como se fosse um argumento diferente - ou seja, é como se pack(*val) fosse pack(val[0], val[1], val[2], ...)

Chamar o struct.pack direto dentro dos parênteses do arq.write funciona como você fez, claro, mas é importante sempre lembrar de manter o código o mais claro possível tanto na hora de escrever quanto na hora de ler. Variáveis são "grátis".

Essa é a resposta sobre como escrever esses dados - mas você vai ter um outro problema na hora de ler esses dados.

Lendo esses dados

Então - o Struct gera dados binários - exatamente os valores dos números que você colocou, e nenhum bit a mais. Isso tem a seguinte implicação na hora de ler: não há nenhuma informação sobre quantos inteiros havia na lista original. As listas (lists) de Python propriamente ditas são estruturas de dados de alto nível, com alguma meta-informação associada - inclusive o comprimento. Ao gravar um arquivo, essa informação do comprimento não vai junto - na hora de ler, você tem que ter algum método de saber.

Por exemplo, strings em C resolvem esse problema gravando um valor "0" no final da string. Outra forma de fazer é gravar um primeiro número que contenha o número de elementos que vem a seguir - aí você lê esse número primeiro, e já sabe quantos elementos vai ler a seguir. Estruturas de serialização como JSON ou XML, tem marcadores de blocos de ínicio e fim de "dados irmãos".

Se tudo o que você precisa são inteiros, uma outra forma de saber o número de inteiros no arquivo é ver o tamanho do arquivo. Como são inteiros de 4 bytes (32bits - é a definição do "i" no struct do Python), é só dividir o tamanho dos dados por 4. Ou decodificar de um em um até o final do fluxo de dados. Para ficar mais parecido com o código da escrita, podemos fazer dessa primeira forma:

int_size = 4 
with open("colecao.bin", "rb") as file_:
   raw_data = file_.read()
   data = struct.unpack(f"={'i' * (len(raw_data) // int_size)}", raw_data)

Ou usando a pathlib, uma vez que você não vai ficar lidando com o arquivo aberto:

from pathlib import Path

raw_data = Path("colecao.bin").read_bytes()
data = struct.unpack(f"={'i' * (len(raw_data) // int_size)}", raw_data)

Ordenando o conteúdo sem trazer pra memória principal

Esse seria um problema bem específico - acredito tratar-se de um exercício e não de uma aplicação real. Em aplicações reais, 98% dos arquivos cabe na memória principal do computador - inclusive a biblioteca Pandas, para tratamento de dados, por exemplo, não só trabalha com todos os dados em memória, como a maior parte das operações cria uma nova cópia dos dados - em vez de substituí-los no ponto onde estão.

Então, nesse caso, o mais apropriado é criar um cojunto de funções que possa ler e escrever um número inteiro binário na posição dada de um arquivo - e implemente toda a lógica separada.

As funções seriam do tipo:

open_file = open("colecao.bin", "rb+")  # observe o arquivo sendo aberto para leitura e escrita binários 
...
int_size = 4

read_int(open_file, position):
    open_file.seek(position * int_size)
    return struct.unpack("=i", open_file.read(int_size))[0]


write_int(open_file, position, value):
    open_file.seek(position * int_size)
    return struct.pack("=i", value)

Super- Python para o resgate!

Agora o interessante de fazer um exercício como esses em Python, em relação a outras linguagens, é que é bastante simples, em Python, criar uma classe que permita que você acesse os dados do arquivo em disco como exatamente como se fosse uma lista, usando os colchetes para recuperar cada elemento. Para isso, você só precisa implementar a funcionalidade da função acima nos métodos __getitem__ e __setitem__ de uma classe. Se a classe herdar de collections.abc.MutableSequence, e você implementar ainda os métodos __enter__ e __exit__, (além dos métodos obrigatórios descritos no link acima - __len__ na verdade - __delitem__ e insert devem levantar NotImplementedError nesse caso), poderá acessar seus dados fazendo algo assim:

with SequenciaEmArquivo("colecao.bin") as dados:
   # Insere o número da posição 0 do arquivo  na posição 2:
   dados[2] = dados[0]

   # ou a troca "pythonica": 

   dados[2], dados[0] = dados[0], dados[2]

Apesar de uma classe implementada dessa forma ter várias das funcionalidades da lista do Python, ela se trata de uma "Sequência", não de uma lista - em particular, não terá o método sort. O que não impede que você aproveite justamente a mesma classe, já que seu problema é de ordenação, e implemente o seu algoritmo justamente no método sort dessa classe.

É interessante ter em mente que tanto esse tipo de acesso quanto o direto com funções acima, pode ser bem legal em máquinas da classe "computadores" em que o sistema operacional tem memória o suficiente para fazer buffer de arquivos em memória. Numa máquina mais antiga (da geração dos '486'), ou de categoria menor (máquinas com microcontroladores como o raspberry Pi), o sistema operacional pode ter restrições, e se o acesso for a um disco mecânico (HD vs SSD), a performance desse tipo de acesso pode ser inviável - literalmente centenas de milhares de vezes mais lento do que trabalhar com os dados em memória, já que para cada inteiro lido, tem que haver um deslocamento mecânico da cabeça de leitura do HD até a posição do dado.

Agora, o quê você quer realmente fazer?

Claro que o entendimento de como escrever bytes exatos em arquivos e poder ler os mesmos de volta é importantíssimo, e todo programador, em algum ponto, deve saber fazer isso pelo menos conceitualmente. Agora, a utilidade de fazer isso já pode ser mais limitada -

Se você quer simplesmente armazenar uma lista num arquivo, e recuperar os valores dessa lista depois, a recomendação é usar o módulo pickle do Python, que transforma um objeto Python como um todo, recursivamente, em uma sequência de bytes e grava essa sequência em um arquivo- dessa forma você nem fica restrito a inteiros de 32bits e outros tipos primitivos, nem tem que criar um protocolo próprio só pra sua aplicação (aka - reinventar a roda), para saber quantos valores ler.

Por outro lado, se sua aplicação precisa armazenar vários tipos de valores de forma estruturada, poder recuperar os mesmos, com uso eficiente do espaço em disco - é para isso que existem os bancos de dados - você pode usar o sqlite, por exemplo.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .