0

Boa tarde a todos,

Gostaria de realizar a leitura de um arquivo binário criado em C++ usando a seguinte estrutura:

struct STRUCT_MOB
{
    char           MobName[NAME_LENGTH];      // The name of the mob // 0 - 15
    char           Clan;          // The clan the mob belongs to // 16
    unsigned char  Merchant;      // The mob's merchant ID // 17
    unsigned short Guild;         // The ID of the guild the mob belongs to // 18 - 19
    unsigned char  Class;         // The mobs class // 20
    unsigned short Rsv; // 21 - 22
    unsigned char  Quest; // 23

    int            Coin;          // The ammount of coins the mob has // 24 - 27

    long long      Exp;           // The ammount of experience the mob has to level up // 28 - 35

    short          SPX;          // The Y position saved by the stellar gem, to teleport the mob there when using warp scroll // 36 - 37
    short          SPY;          // The Y position saved by the stellar gem, to teleport the mob there when using warp scroll // 38 - 39

    STRUCT_SCORE   BaseScore;    // The base score of the mob // 40 - 87
    STRUCT_SCORE   CurrentScore; // The score the mob actually has // 88 - 135

    STRUCT_ITEM    Equip[MAX_EQUIP];     // The items the mob is wearing // 136 - 263
    STRUCT_ITEM    Carry[MAX_CARRY];     // The items the mob is carrying // 264 - 775

    long LearnedSkill; // The skills the mob learned, divided into four categories (00 _ 00 _ 00 _ 00) // 776 - 779

    unsigned int Magic; // 780 - 783

    unsigned short ScoreBonus;   // The points the mob can use to increase score (Str, Int, Dex, Con) // 784 - 785
    unsigned short SpecialBonus; // The points the mob can use to increase special, to increase effect of learned skills (score->Special[4]) // 786 - 787
    unsigned short SkillBonus;   // The points the mob can use to buy skills // 788 - 789

    unsigned char  Critical;     // The chance the mob has to deliver critical hits // 790
    unsigned char  SaveMana;     // Uknown use, nomenclature of variable is correct to all current standards // 791

    unsigned char  SkillBar[4];  // The skills saved on the first 4 slots of the skill bar // 792 - 795

    unsigned char  GuildLevel;   // The mob's guuld level, used to define if it's a guild member or leader // 796

    unsigned short  RegenHP;         // UNK // 797 - 798
    unsigned short  RegenMP;         // UNK // 799 - 800

    unsigned char  Resist[4];    // The mob's resistencies, to fire / ice / thunder / magic // 801 - 804 // 805

};

Com base nessa struct, como seria a leitura de tal arquivo binário no python? Vi algo usando unpack, mas não encontrei uma forma de definir a struct do arquivo para leitura, como feito em C++.

1 Resposta 1

1

A Struct em C ou C++ define os campos do seu objeto de dados, e para cada campo, não só o nome, mas o tipo exato de dado - e, por decorrência, seu tamanho em bytes. Se o código escreve a estrutura como está na memória no disco, você vai ter essa sequência de bytes no disco.

Se é uma estrutura com ponteiros para outras estruturas, ou mesmo para strings de texto (char *) que estariam em outros pontos na memória, gravar e recuperar isso do disco se torna uma tarefa grande sozinha. Mas, essa da pergunta, tem de fato todos os dados "locais" num único trecho de memória. No entanto, ela tem outras structs usadas internamente (STRUCT_SCORE e STRUCT_ITEM), bem como sequÊncias de tamanho declarado com um nome (NAME_LENGTH, MAX_EQUIP e MAX_CARRY)

Bom, ao ler um arquivo com essas estruturas em Python, ou qualquer outra linguagem, você tem de volta um conjunto de bytes. Saber "ver" dentro desses bytes e saber qual deles corresponde a qual campo do original tem que ser programado.

Em suma - pra ler isso em Python você vai ter que redeclarar a estrutura, e todas as estruturas aninhadas, no código Python - não tem como fugir, e possivelmente algum códigozinho em volta pra tornar o acesso aos campos mais fácil. (por exemplo, o último campo que é unsigned char Resist[4]; - para que seja lido e escrito como 4 caracteres no Python vai precisar de algumas transformações

**Antes de continuar ** dependendo do seu objetivo, talvez passar a estrutura para lá e para cá em Binário não seja a coisa mais simples a se fazer. Você pode considerar ter alguma biblioteca em C que grave a struct como "json" por exemplo, nesse caso, a leitura no Python e em várias outras linguagens fica mais simples. Também há outros protocolos de troca de dados que permitem que voce declare a estrutura de dados uma única vez e use em várias linguagens - os protobuffers do Google e o Cap'n'proto são dois exemplos.

Eu vou passar um caminho das pedras em Python - mas para fazer isso funcionar não é tão simples - você vai ter que suar um pouco aí (ou combinamos uma live e faço ao vivo).

Pacote "struct" da biblioteca padrão

Dito isso, em Python, há o módulo "struct", e ele, de fato pode descomprimir uma sequência de bytes em vários objetos de Python - que firam numa sequência, de onde podem ser usados. Se usado em conjunto com uma collections.namedtuple você pode ter acesso de leitura a todos os campos por nome - mas vai ter que declarar o nome e tamanho (em bytes) de cada campo em dois lugares diferentes.

Então, só como exemplo, uma struct assim:


struct STRUCT_MINIMOB
{
    char           MobName[15];      
    char           Clan;          
    unsigned char  Merchant;      
    int            Coin;
} 

Que esteja gravada num arquivo "minimob.bin" vai poder ser lida do Python assim:


import struct
from collections import namedtuple


MiniMob = namedtuple("minimob", "mobname clan merchant coin")

mob_recuperado = MiniMob(struct.unpack("=15scBi", open("minimob.bin", "rb").read()))

E você poderia ver - pelo menos o começo do nome, vendo o campo mob_ recuperado.name em Python nesse ponto. Os campos coins e merchant também funcionariam (mas o "merchant" vai ser um inteiro de 0 a 255, que terá que ser salvo e lido separadamente, em outro struct, aí você pode ler e colocar em um dicionário em que esse inteiro de 0 a 255 seja a chave, etc... ). A chave para essa leitura é a string "=15scBi" na chamada ao struct.unpack - se você olhar na documentação do struct, vai ver que essa codificação corresponde a "usar ordem de bytes nativa, uma string de caracteres de tamanho 15, um caracter, um número com sinal a partir de um byte e um inteiro de 4 bytes" .

Coo você pode ver, isso é difícil de fazer, propenso a erros, e mais dificilmente ainda de manter certo. - e mais, os campos com estruturas aninhadas (Equip, Carry), teriam que ser lidos como uma sequência de bytes e o processo teria que ser repetido para seu conteúdo.

Usando ctypes

Python tem uma outra forma nativa de ler estruturas binárias, que são a classe Structure do ctypes. Essa forma é bem menos conhecida que o "struct" normal - mas é fácil ver que exceto em casos de até uns 10 campos bem simples, o "struct" sozinho não ajuda muita coisa.

O maior senão é que o Structure dp ctypes foi feito para se reproduzir structs de C em Python, sim, mas não tem uma forma intuitiva de criar uma estrutura dessas a partir de dados brutos (bytes lidos de um arquivo). Como o próprio módulo ctypes provê ferramentas que normalmente não se usa em Python - de acesso direto a memória por endereços (ponteiros), o negócio é usar "uma receita de bolo" com isso pronto - e aí sim, você pode ter algo programaticamente funcional (bastanto respeitar que o texto em "C" como vai aparecer na classe Structure do ctypes é "bytes" - e fazer as conversões apropriadas com encode/decode.

A sintaxe para declarar uma estrutura usando ctypes.Structure é dada aqui: https://docs.python.org/3/library/ctypes.html#structures-and-unions

(esses exemplos fazem um from ctypes import * que e desaconcelhado - melhor é fazer import ctypes e colocar prefixos em Structure, c_int. Só a declaração da estrutura resumida como está acima seria:




import ctypes 

class MiniMob(ctypes.Structure):
    _pack_ = 1
    _fields_ = [
        ("name", ctypes.c_char * 15),
        ("clan", ctypes.c_char),
        ("merchant", ctypes.c_ubyte),
        ("coin", ctypes.c_int32),
    ]

(O _pack_ = 1 garante alinhamento byte a byte, senão o ctypes vai jogar o "coin" para uns bytes pra frente e quebrar sua estrutura toda)

E, como eu disse, isso permite uma classe bem próxima de uma struct em C, em que você pode manipular os campos um por um - mas para acessar os conteúdos como uma sequência de bytes, eu adaptei uma receita daqui: https://stackoverflow.com/a/1827666/108205


import ctypes

class MiniMob(ctypes.Structure):
    _pack_ = 1
    _fields_ = [
        ("name", ctypes.c_char * 15),
        ("clan", ctypes.c_char),
        ("merchant", ctypes.c_ubyte),
        ("coin", ctypes.c_int32),
    ]
    @classmethod
    def _load(cls, data):
        self = cls()
        size = min(len(data), ctypes.sizeof(self))
        ctypes.memmove(ctypes.addressof(self), data, size)
        return self
    def _dump(self):
        return memoryview(self).to_bytes()

E com isso aí você pode jogar os bytes lidos de um arquivo direto para o método load - abaixo, no modo interativo, eu crio os bytes que estariam no arquivo para esses campos concatenando alguns objetos do tipo "bytes":


In [150]: dados = b"Batman" + b"\x00" * (15 - len("batman")) + b"A" + bytes((100,)) + (1000).to_bytes(4, "little")                   

In [151]: mob = MiniMob._load(dados)                                                                                                 

In [152]: mob.coin                                                                                                                   
Out[152]: 1000

In [153]: mob.name                                                                                                                   
Out[153]: b'Batman'

Uma outra vantagem dessa abordagem é que você pode colocar as estruturas aninhadas como faz em C: declara-las separadamente e coloca-las no _fields_ onde vão ser usadas.

Outras formas

Outras formas de fazer isso acredito que sejam usando criadores de "wrappers" automáticos de C para Python. Se você usar o "cython" por exemplo, vai ter que declarar a estrutura de novo, usando a sintaxe do cython, mas acredito que ele já te engregue, após uma chamada do Python, um objeto pronto pra uso como no caso do ctypes.

AInda uma outra forma é criar uma classe de descriptor sua - algo que vá funcioanar parecido com o "property" do Python - e você guarda os dados brutos,l idos do arquivo, num objeto do tipo "bytearray" nas suas instâncias - e permite que cada descriptor possa ler e escrever nas posições certas.

COmo sua struct de C já tem as posições em bytes anotada para cada campo, essa poderia ser uma boa alternativa. Eu faço algo parecido num projeto meu - Isso pde ficar muito legal, e bem "foolproof", mas vai exigir um conhecimento mais avançado de Python um pouco - Mas você pode usar o código do arquivo "base.py" aqui pra isso já:

https://github.com/jsbueno/pythonchain/blob/master/pythonchain/base.py

E aqui estão as classes, algumas bem avançadas, fazendo uso do que é definido na "base" para fazer entrada e saída de dados compactados - como no caso do struct em C: https://github.com/jsbueno/pythonchain/blob/1f9208dc8bd2741a574adc1bf745d218e4314e4a/pythonchain/block.py#L45

Essas classes deriadas de "base.Base" tem os métodos from_data e serialize. Na verdade, talvez usar o base.Base desse projeto seja o mais simples de tudo o que eu falei.

2
  • 1
    Minha resposta toda leva em conta somente Python3 - nao acho que seja produtivo documentar formas para desenvolvimento de código novo em Python 2 a essa altura. De qualquer forma, apenas o método "_dump" não funcionaria aí - o memoryview é Python 3.
    – jsbueno
    22/01/2020 às 21:45
  • Excelente explicação!!! Agradeço demais todas as informações contidas, com certeza atingirei o objetivo que espero com essa sua descrição. Valeu!!
    – Fela
    23/01/2020 às 19:12

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .