tl;dr:
Os métodos são objetos temporários - na verdade são criados
a cada vez que são acessados, com a agregação do atributo self
à função que está declarada na classe. Ou seja: um método
de instância de Python sequer existe na memória enquanto
não está em uso, para nenhuma instância de uma classe.
"calma, não é nada disso que você está pensando"
Sim, claro que para quem olha o recorte que você fez, uma hipótese lógica
é justamente de que "cada instância tem suas próprias instâncias
de métodos" - e, se fosse realmente isso, sua preocupação
está muito bem colocada - cada instância de uma classe
ocuparia um espaço bem grande de memória com cópias quase
idênticas dos métodos.
Mas nem sempre a primeira hipótese a que chegamos, mesmo que pareça
bem simples, é um fato.
O que acontece é que os objetos do tipo método não são criados
quando a classe é criada, nem quando uma instância é criada. Métodos são
produzidos em "tempo real" quando são acessados - seja no contexto
da classe, seja numa instância, e não consomem memória se não estão em uso.
Sim, isso pode ter algum impacto na performance,
nada perto do impacto na memória que lhe preocupou, e há formas de mitigar essa
perda de performance se for constatada que ela realmente tem algum impacto no seu código, através de profiling. (E isso também me incomodou muito quando descobri, até constatar que o impacto é realmente mínimo)
Primeiro, vamos continuar o seu achado de que métodos em instâncias diferentes são objetos diferentes: na verdade, o mesmo método, na mesma instância de uma classe, é um objeto diferente ao ser recuperado como um atributo em ocasiões distintas:
In [38]: class A:
...: def b(self):
...: pass
...:
In [39]: a = A()
In [40]: a.b is a.b
Out[40]: False
Por que não adianta comparar o id
dos métodos?
Eu poderia comparar o id
dos métodos acima, e o Python imprimir o mesmo resultado - mas isso seria enganoso. Por que ao chamar id(a.b)
, a função id
retorna o valor, e o objeto a.b
que foi passado como parâmetro fica sem nenhuma referência, e é destruido. Uma próxima chamada a id(a.b)
pode dar azar (ou sorte), e criar o novo método exatamente no mesmo endereço de memória, e a comparação id(a.b) == id(a.b)
pode resultar em True
, mesmo os dois a.b
sendo objetos distintos. Se eu guardar uma referência ao primeiro objeto método, no entanto, o segundo vai ser criado com um id distinto:
In [42]: c = a.b
In [43]: print(id(c), id(a.b), id(a.b))
140180715412680 140180937921736 140180937921736
Observe justamente o que descrevi: o primeiro objeto método tem uma referência a mais, na variável c
- então ele continua existindo depois da chamada de id(c)
, mas o segundo objeto é destruído no instante em que id
acaba a sua execução, e a terceira
chamada a id
recebe um a.b
exatamente na mesma posição que o da segunda chamada.
Mácomoéquepode??
Voltando ao principal - que mecanismo o Python usa para criar esses objetos método? Isso talvez seja a parte mais legal de todas: o mecanismo usado internamente pela linguagem é 100% exposto como uma funcionalidade da linguagem, e é customizável em Python puro! Ou seja: você pode criar seus próprios decoradores equivalentes ao @classmethod
e @staticmethod
que mudam o comportamento de um método (isso dentre outras possibilidades).
O que a linguagem faz é depender do protocolo de descritores (descriptor protocol): qualquer atributo da classe (o que inclui funções definidas no corpo da classe), que implemente um método dentre __get__
, __set__
ou __delete__
, quando for recuperado (seja com a notação de "Classe.attr" ou "instancia.attr", ou com "getattr(Classe, 'attr')"), em vez de ser retornado diretamente, tem seu método __get__
chamado - o que ese __get__
retornar é usado como o valor do atributo.
Normalmente, o protocolo de descritores é mais visível quando usamos o built-in @property
, que já é justamente um atalho pra transformar um método num objeto descritor que chama aquele método.
No entanto, qualquer função em Python 3 tem o método __get__
, e o que o método __get__
de uma função faz é justamente transformar a mesma em um método de instância! E um método na verdade é um objeto bem simples: o método __get__
recebe como parâmetro a instância em que o atributo está sendo acessado - o objeto método guarda essa referência como um atributo, e, quando for chamado (em Python, qualquer objeto que tenha o método __call__
pode ser chamado), ele chama a função original, passando a instância como primeiro parâmetro. É aí que o argumento self
é injetado na chamada de um método. (ou seja, o "self" que "parece mágica", usado como parâmetro em todos os métodos, é acrescentado por um mecanismo da linguagem bem documentado para "uso e modificação").
In [48]: class A:
...: def b(self):
...: pass
...:
In [49]: A().b
Out[49]: <bound method A.b of <__main__.A object at 0x7f7e9ee2dd30>>
In [50]: A.b
Out[50]: <function __main__.A.b(self)>
In [51]: print(dir(A().b))
['__call__', '__class__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__func__', '__ge__', '__get__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__self__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__']
In [52]: A().b.__self__, A().b.__func__
Out[52]: (<__main__.A at 0x7f7e9ee076d8>, <function __main__.A.b(self)>)
In [53]: A().b.__func__ is A.b
Out[53]: True
Ou seja, no momento em que o Python executa a expressão a.b
, o método __get__
da função A.b
é chamado, e recebe como parâmetro a
. Esse __get__
então cria o objeto method
, com os atributos __func__
e __self__
configurados. Quando esse objeto method é chamado, o Python entra em seu método __call__
, e o que ele executa é equivalente a:
def __call__(self, *args, **kw):
return self.__func__(self.__self__, *args, **kw)
(O código em Python de um objeto method
seria exatamente esse, e só não é porque o objeto method
em si está definido em código C no CPython)
@classmethod e @staticmethod
Esses dois built-ins são implementados em código nativo, mas agora dá pra entender como funcionam: você pode fazer o "classmethod" que faz um método receber a classe em vez de a instância no primeiro parâmetro criando um objeto que: mantenha uma referência pra função original, e tenha os atributos __get__
e __self__
apropriados - veja como fica em poucas linhas:
In [29]: class MyClassMethod:
...: def __init__(self, func, owner=None):
...: self.func = func
...: self.owner = owner
...:
...: def __get__(self, instance, owner):
...: # Cria um objeto novo a cada vez que
...: # o atributo é recuperado - evita problemas
...: # potenciais em programas multithreading
...: # com herança de classes:
...: return MyClassMethod(self.func, owner)
...: # Sem se preocupar com multithreading,
...: # esta função poderia fazer simplesmente:
...: self.owner = owner
...: return self
...:
...: def __call__(self, *args, **kw):
...: print("Método de classe chamado")
...: return self.func(self.owner, *args, **kw)
...:
...:
...: class A:
...: @MyClassMethod
...: def b(cls):
...: print(f"Estou na classe {cls!r}")
...:
...:
In [30]: A().b()
Método de classe chamado
Estou na classe <class '__main__.A'>
Custo de memória de uma instância
Voltando um pouco a sua preocupação inicial: já vimos que cada instância de um objeto não cria cópias dos métodos - o que é que existe na memória para cada objeto então?
Uma instância cria na memória um objeto em Python genérico, que tem uma referência para a sua classe (em Python, a classe é um objeto como qualquer outro), em seu atributo .__class__
, e cria um novo dicionário no seu atributo __dict__
e uma estrutura para referenciar as "weakrefs" em __weakref__
. Além disso, ela tem uma referência a todos os atributos que são setados no __init__
.
Um dicionário vazio tem cerca de 250 bytes, o __weakref__
vazio cerca de 80 - e o "PyObject" em si, uns 60 bytes (Python 3.7 64bit - em 32bit esses valores podem ser menores) - ou seja, uma instância "nova" de uma classe comum, vai usar cerca de 390 bytes.
No caso de ser uma instância com atributos bem definidos, que vai ser instanciada muitas vezes (vamos dizer que seja uma class Point
, que só vai guardar coordenadas "x" e "y" e ter métodos para operar com eles), é possível suprimir a criação do dicionário interno da instância (e do __weakref__
) - nesse caso, cada instância vai usar só os seus 60 bytes e mais o espaço dos atributos, sem os 250 bytes do __dict__
. Para isso, é só definir o atributo __slots__
no corpo da classe - o Python cria uma classe com layout especial, com espaço direto para os atributos pré-definidos, e sem o __dict__
:
In [51]: class BadPoint:
...: def __init__(self, x, y):
...: self.x = x
...: self.y = y
...:
In [52]: class Point:
...: __slots__ = "x", "y"
...: def __init__(self, x, y):
...: self.x = x
...: self.y = y
...: def distance(self, other):
...: return ((self.x - other.x) ** 2 + (self.y - other.y) ** 2) ** 0.5
...:
...: def __repr__(self):
...: return f"P<{self.x}, {self.y}>"
...:
In [53]:
In [53]: a = [Point(i, i) for i in range(1000)]
In [54]: get_size(a)
Out[54]: 65024
In [55]: b = [BadPoint(i, i) for i in range(1000)]
In [56]: get_size(b)
Out[56]: 205120
(esse get_size é uma função que chama recursivamente o sys.getsizeof
de um objeto - usei a implementação que está nesta receita: https://goshippo.com/blog/measure-real-size-any-python-object/)
Como pode ver, os métodos a mais não fazem diferença no tamanho - só existe uma cópia do "original" deles (como objetos do tipo função) na classe. Por outro lado, suprimir o dicionário interno faz bastante diferença em objetos simples.
Otimizações possíveis
Como escrito acima, é possível que essa criação/destruição de objetos do tipo método possa ter impacto em algum trecho de uma aplicação - em geral somente se dentro de um outro trecho de código vamos chamar várias vezes o mesmo método de uma mesma instância (isso é, dentro de um laço for
ou while
).
E nesses casos, tudo o que você precisa fazer para evitar o desperdício de recursos é manter uma referência para o método que exista durante o laço.
Ou seja, em vez de:
for character in big_text:
myobject.transmogrify(character)
basta escrever:
transmogrify = myobject.transmogrify
for character in big_text:
transmogrify(character)
Perceba que essa mesma ideia vale para qualquer acesso a atributo, na verdade - já que cada vez que escrevemos instancia.atributo
, a linguagem tem que verificar várias coisas, inclusive se o atributo é um descritor, antes de recuperar o atributo. O simples fato de se colocar o atributo num variável local antes do for
faz esse mecanismo ser usado uma única vez em vez de uma vez em cada repetição.
getFoo
da instância será um descritor que faz referência à função original da classe. É esse descritor que é responsável por definir o valor deself
que será passado como primeiro parâmetro. Ou seja, a função em si não é recriada, o que acontece é que cada instância possui seu próprio descritor, mas todos fazendo referência a mesma função.