A liberação de memória em objetos como dicionários e listas não é automática -
depois que uma estrutura de dados cresce - ela não diminui de tamanho - mas mantém o tamanho interno para poder crescer até o tamanho máximo que teve.
Em outras palavras: se eu crio uma lista, e adiciono 100.000 elementos, o Python tem uma heurística que já deixa a lista com espaço para uns 120.000 elementos (por exemplo).
Agora - isso é o tamanho da lista - o tamanho dos objetos que estão dentro da lista, não é contabilizado no tamanho dela - e o "getsizeof" engana. (Você viu que ele não é extensamente documentado? é por que é mais uma função de debugging do que de uso para programas finais). Ou seja, o getsizof
retorna o tamanho em bytes de um objeto, mas não de objetos referênciados ou "contidos" nele. No caso de lista ou dicionários, cada objeto "dentro" deles ocupa só 8 bytes (um ponteiro para o objeto real) - mesmo que esse outro objeto tenha vários megabytes.
Então: você está medindo o valor errado. Há receitas na internet para usar o getsizeof
de maneira recursiva e te dar o tamanho total de um objeto - mas mesmo se você fizer isso, não resolve o seu problema: se você remover objetos grandes de dentro de um dicionário "A" o tamanho total do dicionário "A" vai ser menor - por que o outro dicionário não está mais dentro de "A" - mas pode haver algum vazamento se esses objetos tiverem outras referências (em outras estruturas de dados, tais como caches, variáveis nonlocal
esquecidas, etc). Então a forma de monitorar se não há vazamento de memória é monitorar a memória do processo inteiro do Python com uma ferramenta externa.
E ainda tem que lembrar que o Python repete um pouco para o interpretador a receita que ele usa pra listas: se o processo precisou de 20MB - ao precisar de menos, ele não devolve de imediato esses 20MB para o S.O., já que tem uma chance grande de logo precisar desses 20MB de volta. Para testar você tem que monitorar de fora, criar estruturas de dados de alguns MB (poucos bytes ou KB, como chaves de dicionário com strings nao adiantam). Ver o tamanho máximo. Apagar os objetos grandes. Criar outros objetos de tamanho equivalente - e aí ver se aquele tamanho máximo prévio se mantém (se ao criar outra geração de objetos grandes, o seu processo passar de 20MB para 40MB - sinal de que a primeira geração ainda está por lá em algum lugar)
Isso é dificil, porque vai ser um teste "de integração" - que é mais uma coisa do ambiente final de execução mesmo, do que algo para se preocupar no desenvolvimento.
Em geral em Python você realmente não tem que se preocupar com gerenciamento de memória - se você criar dicionários gigantes que entram como values dentro de outro dicionário, ao apagar aquela chave, a memória do objeto é liberada imediatamente. (mas pode ficar alocada para o processo Python, para o próximo objeto do mesmo tamanho).
Exercício
Criei um código aqui que cria e descria sub-dicionários grandes,
e pega a própria memória no sistema operacional (estou no
Linux e usei o comando pmap) - veja o programa e a saída abaixo:
import os, sys
import random
def get_process_memory():
"""Return total memory used by current PID, **including** memory in shared libraries
"""
raw = os.popen(f"pmap {os.getpid()}").read()
# The last line of pmap output gives the total memory like
# " total 40140K"
memory_mb = int(raw.split("\n")[-2].split()[-1].strip("K")) // 1024
return memory_mb
def create_mass(size=50):
return chr(random.randint(32, 127)) * size * 1024 * 1024
def main():
container = {}
print(f"memory at start: {get_process_memory()}MB")
container["mass1"] = {i: create_mass() for i in range(10)}
print(f"memory after creating first mass: {get_process_memory()}MB")
container["mass2"] = {i: create_mass() for i in range(10)}
print(f"memory after creating second mass: {get_process_memory()}MB")
del container["mass1"], container["mass2"]
print(f"memory after deleting first second masses: {get_process_memory()}MB")
container["mass3"] = {i: create_mass() for i in range(10)}
container["mass4"] = {i: create_mass() for i in range(10)}
print(f"memory after creating 3rd an 4th masses: {get_process_memory()}MB")
del container["mass3"]
print(f"memory after deleting 3rd mass: {get_process_memory()}MB")
del container["mass4"]
print(f"memory after deleting 4th mass: {get_process_memory()}MB")
container.clear()
print(f"memory after clearing container: {get_process_memory()}MB")
if __name__ == "__main__":
main()
Saída num ubuntu, com 8GB, core i7, Python 3.8.0:
jsbueno ~/tmp01$ time python memory_exercize.py
memory at start: 45MB
memory after creating first mass: 545MB
memory after creating second mass: 1045MB
memory after deleting first second masses: 45MB
memory after creating 3rd an 4th masses: 1045MB
memory after deleting 3rd mass: 545MB
memory after deleting 4th mass: 45MB
memory after clearing container: 45MB
real 0m1,522s
user 0m0,582s
sys 0m0,823s
Acima, eu afirmei que o Python nem sempre devolve a memória para o sistema operacional, podendo já deixar "reservada" a memória para um eventual uso.
Nesse exemplo, em que aloquei 50MB em cada objeto, isso não fica visível: em todos esses casos, o Python liberou a memória imediatamente.
Para valores bem mais modestos, o efeito pode ser observado. Reduzi a unidade de alocação de 50MB para 256K (ou seja, 200 vezes menor) - e aí podemos ver, entre a terceira e quarta desalocação que o Python "segura" 3MB lá com ele:
memory at start: 45MB
memory after creating first mass: 47MB
memory after creating second mass: 50MB
memory after deleting first second masses: 45MB
memory after creating 3rd an 4th masses: 50MB
memory after deleting 3rd mass: 50MB
memory after deleting 4th mass: 45MB
memory after clearing container: 45MB