4

Considerem a seguinte implementação:

from abc import ABC

# Base
class DictModel(ABC):
    def __init__(self, model=None):
        if model:
            for k, v in model.items():
                if isinstance(v,dict):
                    setattr(self, k, DictModel(v))
                elif isinstance(v,list):
                    setattr(self, k, [DictModel(i) if isinstance(i,dict) else i for i in v])
                else:
                    setattr(self, k, v)

# Derivada
class MyDataClass(DictModel):
    def __init__(self,model):
        DictModel.__init__(self,model)

Tal implementação me permite construir classes de dados com estruturas aninhadas a partir de um dicionário arbitrário, por exemplo:

modelo = {
    "foo": 123,
    "bar": "xpto",
    "numbers": {
        "primes": [2, 3, 5, 7],
        "odd": [{"n" : 1}, {"n" : 3}, {"n" : 5}, {"n" : 7}],
        "even": {"a" : 2, "b" : 4, "c" : 6, "d" : 8}
    },
    "constants" : {
        "pi": 3.1415,
        "e": 2.7182,
        "golden": 1.6180,
        "sqrt2": 1.4142
    }
}

obj = MyDataClass(modelo)

print(obj.foo)                 # 123
print(obj.bar)                 # xpto
print(obj.numbers.primes)      # [2, 3, 5 ,7]
print(obj.numbers.odd[0].n)    # 1
print(obj.numbers.odd[1].n)    # 3
print(obj.numbers.odd[2].n)    # 5
print(obj.numbers.odd[3].n)    # 7
print(obj.numbers.even.a)      # 2
print(obj.numbers.even.b)      # 4
print(obj.numbers.even.c)      # 6
print(obj.numbers.even.d)      # 8
print(obj.constants.pi)        # 3.1415
print(obj.constants.e)         # 2.7182
print(obj.constants.golden)    # 1.618
print(obj.constants.sqrt2)     # 1.4142

Por um breve momento, ao revisar o código acima, me senti reinventando a roda.

Existe alguma outra forma de se construir Classes de Dados com atributos aninhados a partir de um dicionário qualquer? Existe alguma maneira standard de se fazer tal coisa?

2 Respostas 2

5

Não existe uma forma padrão de se fazer isso na linguagem - e, é claro que pode ser útil em muitos casos.

atualização: Um projeto legal, moderno, e pronto para produção que faz esse tipo de coisas (mas é necessário definir os esquemas de dados antes) é o Pydantic

Eu tenho um projeto parado que faz esse tipo de coisas, e, coincidência ou não, alguém acaba de mandar um e-mail na lista Python-dev com um projeto para mais ou menos a mesma coisa - perguntando sobre inclusão na linguagem.

O Guido respondeu, apesar de ele não ter a palavra final, que dificilmente uma estrutura de dados que mapeia chaves para atributos seria considerada para inclusão - devido, principalmente ao problema de colisão de chaves com nomes de métodos. (Inclui essa informação aqui para ilustrar que de fato não tem algo assim na linguagem, nem nenhuma biblioteca muito usada que faz isso, apesar da utilidade). Projeto apresentado: https://git.cinege.com/thesaurus/ ; resposta do Guido: https://mail.python.org/archives/list/[email protected]/message/UHO7UEJUKFXFYFOBIEAX6AI4DOSGYARQ/ ; Meu projeto (que faz isso, mas isso seria uma pare pequena do escopo dele, se fosse pra frente): https://github.com/jsbueno/singularity .

Depois de ter ilustrado a questão com os pontos acima, vamos para a sua proposta: a meu ver, você está abordando essa construção de forma um tanto "pedestre" - criando manualmente os atributos enviados num dicionário, e recursivamente instâncias da mesma classe se o conteúdo dos atributos for outro dicionário.

Não é necessariamente ruim fazer assim - dependendo do tamanho do projeto,e do nível do desenvolvedores que deverá interagir com ele, e ainda da necessidade de performance em termos de CPU e memória (que dificilmente seria ma preocupação para uma implementação em Python de uma primeira versão). Isso é: é um jeito simples de fazer, direto, qualquer um, mesmo que um desenvolvedor que conheça melhor outras linguagens e seja só um usuário casual de Python vai conseguir bater o olho e entender o que está sendo feito.

Dito tudo isso, Python tem formas bem mais interessantes de fazer algo parecido! Principalmente por que é possível customizar o acesso a atributos de um objeto - então, por exemplo, em vez de jogar manualmente atributo por atributo do seu objeto toda vez que ele for criado, você pode simplesmente armazenar o próprioo dicionário em um atributo interno, e customizar o método __getattribute__ para fazer buscas recursivas nesses dicionários.

Se considerar só a leitura, uma implementação legal fica curta o suficiente para escrever aqui:

from collections.abc import Sequence, Mapping

# Base
class DictModel:
    def __init__(self, model=None):
        if not model:
            model = {}
        self._data = model

    def _wrap(self, element):
        if isinstance(element, (Sequence, Mapping)) and not isinstance(element, str):
            return DictModel(element)
        return element

    def _innerget(self, current_element, path, depth=0):
        if not path:
            return self._wrap(current_element)
        if path[0].startswith("["):
            if not isinstance(current_element, Sequence):
                raise ValueError(f"Element at position {depth - 1} of the path is not a sequence")
            index = int(path[0].strip("[]"))
            element = current_element[index]
            path = path[1:]
        elif "[" in path:
            bracket_position = path[0].find("[")
            element = current_element[path[0][:bracket_position]]
            path = path[0][bracket_position:] + path[1:]
        else:
            element = current_element[path[0]]
            path = path[1:]
        return self._innerget(element, path, depth + 1)

    def __setattr__(self, attr, item):
        # caso não tratado: se o último elemento do caminho estiver em uma lista, diretamente.
        # é só extender os "if" aqui para checar se o último elemento tem "[]"
        if attr.startswith("_"):
            return super().__setattr__(attr, item)
        if "." in attr:
            path, attr = attr.rsplit(".", 1)
            parent = getattr(self, path)
            parent[attr] = item
        self._data[attr] = item

    def __getattribute__(self, attr):
        if attr.startswith("_"):
            return super().__getattribute__(attr)
        path = attr.split(".")

        return self._innerget(self._data, path)

    def __getitem__(self, index):
        if not isinstance(self._data, Sequence):
            raise ValueError("For non-sequnce components, please use attribute notation")
        return self._wrap(self._data[index])

    def __repr__(self):
        return f"DictModel <{self._data}>"

E brincando um pouco com isso no interpretador interativo:

In [25]: d = DictModel(modelo)                                                                                                                      

In [26]: d.numbers                                                                                                                                  
Out[26]: DictModel <{'primes': [2, 3, 5, 7], 'odd': [{'n': 1}, {'n': 3}, {'n': 5}, {'n': 7}], 'even': {'a': 2, 'b': 4, 'c': 6, 'd': 8}}>

In [27]: d.numbers.primes                                                                                                                           
Out[27]: DictModel <[2, 3, 5, 7]>

In [28]: d.numbers.primes[0]                                                                                                                        
Out[28]: 2

In [29]: d.numbers.odd[1]                                                                                                                           
Out[29]: DictModel <{'n': 3}>

In [30]: d.numbers.odd[1].n = 11                                                                                                                    

In [31]: d                                                                                                                                          
Out[31]: DictModel <{'foo': 123, 'bar': 'xpto', 'numbers': {'primes': [2, 3, 5, 7], 'odd': [{'n': 1}, {'n': 11}, {'n': 5}, {'n': 7}], 'even': {'a': 2, 'b': 4, 'c': 6, 'd': 8}}, 'constants': {'pi': 3.1415, 'e': 2.7182, 'golden': 1.618, 'sqrt2': 1.4142}}>

Essa implementação usa algumas das características da linguagem a seu favor - o fato de que os dicionários vão ser uma única instância - e vão ser compartilhados entre o objeto raiz e outros "DictModel" criados dinamicamente, por exemplo - aí uma alteração num objeto derivado automaticamente vai ser replicada no objeto raiz.

O uso de recursividade, mas sem o purismo academicista: eu passo dados auxiliares para a funçao recursiva poder "se achar", como o "depth", e tenho um método de entrada "publico" - o __getitem__: quem for usar a classe não precisa se preocupar em ajeitar os dados para a função recursiva.

Um outro resultado desse modelo é que mesmo para um modelo grande, só vou ter uma instância dessa classe em memória - as demais instâncias são criadas sob demanda quando acesso um "galho" da árvore de dados.

Algo interessante aí também é como chamar o "super" para chegar nas implementações originais da linguagem dos métodos especiais - sem isso o objeto não funcionaria. No caso, eu deixo de fora da estrutura de dados mantida qualquer atributo que comece com "_" - e deixo o Python cuidar desses atributos - daí é só manter meus atributos necessários para funcionamento com esse padrão de nome.

O __repr__, claro, pode ser refeito para ficar mais legal - mas está funcional.

(a propósito, acabei implementando a parte de escrita de atributos também - ficou simples)

5
  • 1
    A instanciação fica bem mais leve e simples é certo, mas isso não vai pesar em termos de performance cada acesso feito no objeto ?
    – Isac
    Commented 19/11/2019 às 11:38
  • Pode - mas não vai pesar muito mais do que acessos normais feitos em uma estrutura profunda de dicionários - se você estiver num laço que precise acessar atributos numa estrutura dessas, o melhor é manter referências para o nivel que vai acessar em uma variável local - isso é, em vez de, toda vez acessar mundo.regiao.objeto.peca.posicao.x, voce guarda posicao em uma variável local, e acessa posicao.x. Aí, se for o caso de "uso em produção" e esse tempo ainda fizer diferença, pode colocar um caso especial no __getitem__ para fazer uma camada de cache.
    – jsbueno
    Commented 19/11/2019 às 13:20
  • Me dei conta agora que esse algoritmo ficou "overkill" - ele é bom para acessar o objeto direto em mundo["regiao.objeto.peca.posicao.x"] (e teria que ser movido para o __getitem__) - e ai ele pega até o "x" em uma única passada. No __getattribute__ ele vai ser chamado uma vez para cada componente, e criar um objeto novo para cada componente mesmo, (mas também ele pode criar o wrapper DictModel nesse momento e persisti-lo, em vez de criar quando os atributos forem setados - dessa forma, só os atributos que forem acessados vão ter uma instância própria de DictModel
    – jsbueno
    Commented 19/11/2019 às 13:24
  • Adicionei uma referência ao "pydantic" na resposta - um projeto com qualidade de produção que traz algumas das facilidades que você pode estar querendo com isso.
    – jsbueno
    Commented 19/11/2019 às 13:31
  • @jsbueno Accepted! - Mais uma vez, obrigado pelas referências e pelas ideias, uma verdadeira aula!
    – Lacobus
    Commented 23/11/2019 às 14:14
0

De bobeira, só passeando pela documentação da biblioteca padrão do Python descobri que desde a versão 3.3, o módulo types fornece uma classe utilitária chamada SimpleNamespace que é capaz de construir um Namespace a partir de uma lista arbitrária de parametros nomeados.

Bang! Isso me fez pensar na hipótese de se aplicar o ** (operador de desempacotamento) em um dicionário a fim de passá-lo como parametro para o construtor dessa classe! Rapidamente implementei um programa básico como prova de conceito:

from types import SimpleNamespace

modelo = {
    "foo": 123,
    "bar": "xpto",
    "numbers": {
        "primes": [2, 3, 5, 7],
        "odd": [{"n" : 1}, {"n" : 3}, {"n" : 5}, {"n" : 7}],
        "even": {"a" : 2, "b" : 4, "c" : 6, "d" : 8}
    },
    "constants" : {
        "pi": 3.1415,
        "e": 2.7182,
        "golden": 1.6180,
        "sqrt2": 1.4142
    }
}

print(SimpleNamespace(**modelo))

Saída:

namespace(bar='xpto', constants={'pi': 3.1415, 'e': 2.7182, 'golden': 1.618,
'sqrt2': 1.4142}, foo=123, numbers={'primes': [2, 3, 5, 7], 'odd': [{'n': 1},
{'n': 3}, {'n': 5}, {'n': 7}], 'even': {'a': 2, 'b': 4, 'c': 6, 'd': 8}})

Analisando a saída, facilmente eu percebi que ainda faltava algo nessa abordagem, a coisa funcionou parcialmente, convertendo apenas a primeiro nível do dicionário de entrada para um Namespace... Eu precisava de algo recursivo para resolver casos onde o dicionário de entrada fosse "aninhado".

Depois de algum tempo tomando bofetadas das exceptions no meu caminho, eu cheguei de encontro ao seguinte código:

from types import SimpleNamespace

model = {
    "foo": 123,
    "bar": "xpto",
    "numbers": {
        "primes": [2, 3, 5, 7],
        "odd": [{"n" : 1}, {"n" : 3}, {"n" : 5}, {"n" : 7}],
        "even": {"a" : 2, "b" : 4, "c" : 6, "d" : 8}
    },
    "constants" : {
        "pi": 3.1415,
        "e": 2.7182,
        "golden": 1.6180,
        "sqrt2": 1.4142
    }
}

def DictModel(obj):
    if isinstance(obj, dict):
        ns = SimpleNamespace(**obj)
        for k, v in ns.__dict__.items():
            ns.__dict__[k] = DictModel(v)
        return ns
    elif isinstance(obj, list):
        return [DictModel(i) for i in obj]
    elif isinstance(obj, list):
        return tuples(DictModel(i) for i in obj)
    return obj


print(DictModel(model))

Saída:

namespace(bar='xpto', constants=namespace(e=2.7182, golden=1.618, pi=3.1415,
sqrt2=1.4142), foo=123, numbers=namespace(even=namespace(a=2, b=4, c=6, d=8),
odd=[namespace(n=1), namespace(n=3), namespace(n=5), namespace(n=7)], 
primes=[2, 3, 5, 7]))

Eureka! Era justamente o que eu precisava! A coisa é capaz de criar Namespaces recursivamente! Com um pouco mais de esforço, fiz minha cachola se lembrar de uma técnica de iteração em dicionários usando a biblioteca json, que era algo mais ou menos assim:

import json

def callback(d):
    print(d)
    return d

def iterator(dic, clbk):
    return json.loads(json.dumps(dic), object_hook=clbk)

modelo = {
    "foo": 123,
    "bar": "xpto",
    "numbers": {
        "primes": [2, 3, 5, 7],
        "odd": [{"n" : 1}, {"n" : 3}, {"n" : 5}, {"n" : 7}],
        "even": {"a" : 2, "b" : 4, "c" : 6, "d" : 8}
    },
    "constants" : {
        "pi": 3.1415,
        "e": 2.7182,
        "golden": 1.6180,
        "sqrt2": 1.4142
    }
}

iterator(modelo, callback)

Saída:

{'n': 1}
{'n': 3}
{'n': 5}
{'n': 7}
{'a': 2, 'b': 4, 'c': 6, 'd': 8}
{'primes': [2, 3, 5, 7], 'odd': [{'n': 1}, {'n': 3}, {'n': 5}, {'n': 7}], 'even': {'a': 2, 'b': 4, 'c': 6, 'd': 8}}
{'pi': 3.1415, 'e': 2.7182, 'golden': 1.618, 'sqrt2': 1.4142}
{'foo': 123, 'bar': 'xpto', 'numbers': {'primes': [2, 3, 5, 7], 'odd': [{'n': 1}, {'n': 3}, {'n': 5}, {'n': 7}], 'even': {'a': 2, 'b': 4, 'c': 6, 'd': 8}}, 'constants': {'pi': 3.1415, 'e': 2.7182, 'golden': 1.618, 'sqrt2': 1.4142}}

Combinando tudo isso, cheguei no seguinte código:

from types import SimpleNamespace
import json

def DictModel(**kwargs):
    return json.loads(json.dumps(kwargs),
        object_hook=lambda o: SimpleNamespace(**o))

modelo = {
    "foo": 123,
    "bar": "xpto",
    "numbers": {
        "primes": [2, 3, 5, 7],
        "odd": [{"n" : 1}, {"n" : 3}, {"n" : 5}, {"n" : 7}],
        "even": {"a" : 2, "b" : 4, "c" : 6, "d" : 8}
    },
    "constants" : {
        "pi": 3.1415,
        "e": 2.7182,
        "golden": 1.6180,
        "sqrt2": 1.4142
    }
}

obj = DictModel(**model)

print(obj.foo)                 # 123
print(obj.bar)                 # xpto
print(obj.numbers.primes)      # [2, 3, 5 ,7]
print(obj.numbers.odd[0].n)    # 1
print(obj.numbers.odd[1].n)    # 3
print(obj.numbers.odd[2].n)    # 5
print(obj.numbers.odd[3].n)    # 7
print(obj.numbers.even.a)      # 2
print(obj.numbers.even.b)      # 4
print(obj.numbers.even.c)      # 6
print(obj.numbers.even.d)      # 8
print(obj.constants.pi)        # 3.1415
print(obj.constants.e)         # 2.7182
print(obj.constants.golden)    # 1.618
print(obj.constants.sqrt2)     # 1.4142

Saída:

123
xpto
[2, 3, 5, 7]
1
3
5
7
2
4
6
8
3.1415
2.7182
1.618
1.4142

E, supreendentemente, com apenas 3 linhas, a coisa resolveu o problema de forma padrão e elegante, tirando uma pulga que estava morando atrás da minha orelha há meses e aumentando ainda mais minha paixão pela linguagem.

Apesar de aparentemente idênticas, as duas soluções apresentadas possuem diferenças, vantagens e desvantagens.

A primeira solução utiliza recursividade para iterar nas chaves e valores do dicionário de entrada. Em algumas esferas soluções recursivas são coisa do capeta e devem ser evitadas ao máximo. Esse tipo de implementação limita a profundidade de alcance do iterador dentro da árvore do dicionário, possibilitando o lançamento de uma exceção do tipo RecursionError. No meu caso, o intento é trabalhar com dicionários relativamente pequenos, com poucos níveis de profundidade, o que torna essa hipótese bem remota.

A grande vantagem dessa primeira implementação, é a possibilidade de se tratar de forma independente qualquer tipo de dado contido na estrutura do dicionário de entrada, onde o tipo do dado pode ser identificado com a função isinstance() e tratado de forma customizada conforme a necessidade.

Na solução onde o módulo json é usado para codificar o dicionário de entrada em formato JSON para imediatamente decodificá-lo, só que de forma personalizada, tirando proveito do parametro object_hook da função de codificação json.loads().

As principais desvantagens dessa técnica são: 1) Performance. Toda essa manipulação de dados em formato JSON não é nada eficiente quando comparada com a versão recursiva da função; 2) Integridade. Apesar de possuirem uma estrutura bem semelhante, um dicionário não é a mesma coisa que um objeto JSON. Por exemplo, ao se codificar um dicionário para o formato JSON por meio da função json.dumps(), as listas as tuplas são interpretadas da mesma forma e são convertidas para uma array, isso impossibilita a reconstrução fiel do dicionário original.

1
  • @jsbueno: Saudações, colega Pythonauta! Segue uma resposta que certamente é do seu interesse. Apesar de ser uma resposta tardia, a solução é bem curiosa.
    – Lacobus
    Commented 28/08/2020 às 19:44

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .