3

Eu estou tentando desenvolver um programa que armazena temporariamente uma quantidade significativa de variáveis. Essas variáveis estão armazenadas na memória RAM, dentro de dicionários.

Mas estou com dificuldade de compreender como o “coletor de lixo” do python funciona em dicionários dentro de dicionários. Não consigo liberar a memória dos dicionários filhos deletados. Usei gc.collect() e .clear(), mas não resolve. .clear() no dicionário pai faz a liberação da memória, mas isso não resolve meu problema, preciso fazer a liberação da memória nos dicionários filhos.

Usando Debian 32-bit no virtual box os valores do dicionário ficam assim.

#TESTE DE LIBERAÇÃO DE MEMORIA

from sys import getsizeof

d = dict()

for key in range(100):
    d["TESTE-"+str(key)] = {}

#resultado depois de adicionar dicionários
print(getsizeof(d))
#SAIDA -> 2612

for key in list(d):
    del d[key]

#resultado depois de deletar dicionários filho
print(getsizeof(d))
#SAIDA -> 2612

Indiferente se usar d[key].clear() antes de del d[key], ou gc.collect() não limpa a memória.

Há alguma maneira de limpar a memória dos dicionários filhos?

Essa maneira de armazenar dados temporários está errada? Se sim, como devo trabalhar?

1

1 Resposta 1

2

A liberação de memória em objetos como dicionários e listas não é automática -
depois que uma estrutura de dados cresce - ela não diminui de tamanho - mas mantém o tamanho interno para poder crescer até o tamanho máximo que teve.

Em outras palavras: se eu crio uma lista, e adiciono 100.000 elementos, o Python tem uma heurística que já deixa a lista com espaço para uns 120.000 elementos (por exemplo).

Agora - isso é o tamanho da lista - o tamanho dos objetos que estão dentro da lista, não é contabilizado no tamanho dela - e o "getsizeof" engana. (Você viu que ele não é extensamente documentado? é por que é mais uma função de debugging do que de uso para programas finais). Ou seja, o getsizof retorna o tamanho em bytes de um objeto, mas não de objetos referênciados ou "contidos" nele. No caso de lista ou dicionários, cada objeto "dentro" deles ocupa só 8 bytes (um ponteiro para o objeto real) - mesmo que esse outro objeto tenha vários megabytes.

Então: você está medindo o valor errado. Há receitas na internet para usar o getsizeof de maneira recursiva e te dar o tamanho total de um objeto - mas mesmo se você fizer isso, não resolve o seu problema: se você remover objetos grandes de dentro de um dicionário "A" o tamanho total do dicionário "A" vai ser menor - por que o outro dicionário não está mais dentro de "A" - mas pode haver algum vazamento se esses objetos tiverem outras referências (em outras estruturas de dados, tais como caches, variáveis nonlocal esquecidas, etc). Então a forma de monitorar se não há vazamento de memória é monitorar a memória do processo inteiro do Python com uma ferramenta externa.

E ainda tem que lembrar que o Python repete um pouco para o interpretador a receita que ele usa pra listas: se o processo precisou de 20MB - ao precisar de menos, ele não devolve de imediato esses 20MB para o S.O., já que tem uma chance grande de logo precisar desses 20MB de volta. Para testar você tem que monitorar de fora, criar estruturas de dados de alguns MB (poucos bytes ou KB, como chaves de dicionário com strings nao adiantam). Ver o tamanho máximo. Apagar os objetos grandes. Criar outros objetos de tamanho equivalente - e aí ver se aquele tamanho máximo prévio se mantém (se ao criar outra geração de objetos grandes, o seu processo passar de 20MB para 40MB - sinal de que a primeira geração ainda está por lá em algum lugar)

Isso é dificil, porque vai ser um teste "de integração" - que é mais uma coisa do ambiente final de execução mesmo, do que algo para se preocupar no desenvolvimento.

Em geral em Python você realmente não tem que se preocupar com gerenciamento de memória - se você criar dicionários gigantes que entram como values dentro de outro dicionário, ao apagar aquela chave, a memória do objeto é liberada imediatamente. (mas pode ficar alocada para o processo Python, para o próximo objeto do mesmo tamanho).

Exercício

Criei um código aqui que cria e descria sub-dicionários grandes, e pega a própria memória no sistema operacional (estou no Linux e usei o comando pmap) - veja o programa e a saída abaixo:

import os, sys
import random

def get_process_memory():
    """Return total memory used by current PID, **including** memory in shared libraries
    """
    raw = os.popen(f"pmap {os.getpid()}").read()
    # The last line of pmap output gives the total memory like
    # " total            40140K"
    memory_mb = int(raw.split("\n")[-2].split()[-1].strip("K")) // 1024
    return memory_mb

def create_mass(size=50):
    return chr(random.randint(32, 127)) * size * 1024 * 1024

def main():
    container = {}
    print(f"memory at start: {get_process_memory()}MB")
    container["mass1"] = {i: create_mass() for i in range(10)}
    print(f"memory after creating first mass: {get_process_memory()}MB")
    container["mass2"] = {i: create_mass() for i in range(10)}
    print(f"memory after creating second mass: {get_process_memory()}MB")
    del container["mass1"], container["mass2"]
    print(f"memory after deleting first second masses: {get_process_memory()}MB")
    container["mass3"] = {i: create_mass() for i in range(10)}
    container["mass4"] = {i: create_mass() for i in range(10)}
    print(f"memory after creating 3rd an 4th masses: {get_process_memory()}MB")
    del container["mass3"]
    print(f"memory after deleting 3rd mass: {get_process_memory()}MB")
    del container["mass4"]
    print(f"memory after deleting 4th mass: {get_process_memory()}MB")
    container.clear()
    print(f"memory after clearing container: {get_process_memory()}MB")

if __name__ == "__main__":
    main()

Saída num ubuntu, com 8GB, core i7, Python 3.8.0:

jsbueno ~/tmp01$ time python memory_exercize.py 
memory at start: 45MB
memory after creating first mass: 545MB
memory after creating second mass: 1045MB
memory after deleting first second masses: 45MB
memory after creating 3rd an 4th masses: 1045MB
memory after deleting 3rd mass: 545MB
memory after deleting 4th mass: 45MB
memory after clearing container: 45MB

real    0m1,522s
user    0m0,582s
sys     0m0,823s

Acima, eu afirmei que o Python nem sempre devolve a memória para o sistema operacional, podendo já deixar "reservada" a memória para um eventual uso. Nesse exemplo, em que aloquei 50MB em cada objeto, isso não fica visível: em todos esses casos, o Python liberou a memória imediatamente.

Para valores bem mais modestos, o efeito pode ser observado. Reduzi a unidade de alocação de 50MB para 256K (ou seja, 200 vezes menor) - e aí podemos ver, entre a terceira e quarta desalocação que o Python "segura" 3MB lá com ele:

memory at start: 45MB
memory after creating first mass: 47MB
memory after creating second mass: 50MB
memory after deleting first second masses: 45MB
memory after creating 3rd an 4th masses: 50MB
memory after deleting 3rd mass: 50MB
memory after deleting 4th mass: 45MB
memory after clearing container: 45MB

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .