Este é um comportamento esperado no Python em relação à realocação de recursos de uma lista.
Sempre que for feito a realocação de memória em uma lista, o Python irá alocar mais memória que realmente o necessário com a finalidade de evitar futuros realocamentos num futuro próximo - é mais simples você realocar n*X de memória uma vez e alterar a lista n vezes do que ter que realocar X de memória por n vezes.
Isso fica explícito em um comentário na função list_resize
, no repositório oficial:
/* This over-allocates proportional to the list size, making room
* for additional growth. The over-allocation is mild, but is
* enough to give linear-time amortized behavior over a long
* sequence of appends() in the presence of a poorly-performing
* system realloc().
* The growth pattern is: 0, 4, 8, 16, 25, 35, 46, 58, 72, 88, ...
*/
new_allocated = (newsize >> 3) + (newsize < 9 ? 3 : 6);
Ou seja, o tamanho de memória que será realocado para a lista será proporcional ao seu tamanho atual. Isso fica evidente quando você modifica uma lista dentro de um laço de repetição e verifica o seu tamanho atual:
import sys
lista = []
for _ in range(20):
print('Lista de tamanho {:>3} com memória {:>3}'.format(len(lista), sys.getsizeof(lista)))
lista.append(None)
O resultado será:
Lista de tamanho 0 com memória 64
Lista de tamanho 1 com memória 96
Lista de tamanho 2 com memória 96
Lista de tamanho 3 com memória 96
Lista de tamanho 4 com memória 96
Lista de tamanho 5 com memória 128
Lista de tamanho 6 com memória 128
Lista de tamanho 7 com memória 128
Lista de tamanho 8 com memória 128
Lista de tamanho 9 com memória 192
Lista de tamanho 10 com memória 192
Lista de tamanho 11 com memória 192
Lista de tamanho 12 com memória 192
Lista de tamanho 13 com memória 192
Lista de tamanho 14 com memória 192
Lista de tamanho 15 com memória 192
Lista de tamanho 16 com memória 192
Lista de tamanho 17 com memória 264
Lista de tamanho 18 com memória 264
Lista de tamanho 19 com memória 264
Nota: perceba que para este exemplo eu modifiquei a lista a partir do método append
. Ou seja, este comportamento é esperado para qualquer realocação de recurso da lista, independente da fonte desta realocação.
Ao passo que consegue-se amortizar o tempo de realocação de recursos em uma lista - que pode ser benéfico para a performance da aplicação - há contratempos em questão de utilização do recursos.
Se você possui uma lista com 16 valores, None
, e precisar adicionar outro, sua lista passará a consumir 264 bytes na memória ao invés de apenas 200, que seria o necessário - mas, lembre-se, é Python. Você acabará abrindo mão de alguns requisitos para conseguir obter outros.