6

Quando eu faço assim:

a = [ 1, 2, 3]
b = a[1:]

b usará a mesma lista de a ou ele cria uma outra lista e copia os dados que são pertinentes? Se tiver muitos itens ficará lento?

  1. Acontece até se eu não guardar em variável?
  2. Se copia, tem alguma forma de fazer sem copiar?
  3. Tem como demonstrar isso com alguma função ou biblioteca de Python?
  4. Isso vale para outras formas de slice ou só para lista?
5
  • 1
    Quando você utiliza slice, você está fazendo uma cópia dessa lista, o mesmo comportamento funciona usando o copy do Python. Para evitar esse comportamento você pode definir b = a para usar por referência. 13/04/2021 às 17:16
  • 1
    Relacionada: Para que serve memoryview em Python? 13/04/2021 às 17:18
  • @MauroAlexandre mas fazendo b = a não pega só uma parte né? 13/04/2021 às 17:33
  • @LuizFelipe pena que não funciona com lista 13/04/2021 às 17:33
  • @AndressaSalles pythonsandbox.com acesse e faça o teste. 13/04/2021 às 17:39

2 Respostas 2

5

Análise

Podemos fazer algumas considerações iniciais para entender melhor o que acontece com o código apresentado.

Quando você faz sequence[start:stop:step], a parte entre colchetes funcionará como um açúcar sintático (extended indexing syntax) para a instanciação de um objeto do tipo slice. Ou seja, ao interpretar o código, o Python (interpretador) irá gerar o objeto slice(start, stop, step) e passá-lo para a sequência.

>>> sequence = [1, 2, 3, 4, 5]
>>> sequence[1:3]
[2, 3]
>>> sequence[slice(1, 3)]
[2, 3]
>>> sequence[1:3] == sequence[slice(1, 3)]
True

Outra consideração importante é que quando fazemos sequence[key], por baixo dos panos, o que será executado é sequence.__getitem__(key), pois o método chamado de dunder get item é o responsável por sobrescrever o operador de acesso a uma chave do objeto. Sendo o objeto em questão um list, podemos afirmar ainda que o código será equivalente à list.__getitem__(sequence, key), onde é chamado a função __getitem__ diretamente da classe list.

Por que isso importa?

Sabendo agora que quando é feito sequence[start:stop], o que é executado é list.__getitem__(sequence, slice(start, stop)), podemos então analisar como é a implementação da função __getitem__ dentro da classe list. É importante ressaltar aqui que o tipo list, no Python, é implementado em C, então o código a ser analisado será nessa linguagem, embora seja fácil de entendê-lo mesmo sem conhecer muito tal linguagem.

A implementação do objeto list pode ser encontrado no repositório original do Python (CPython, na verdade, que é o interpretador oficial da linguagem, implementado em C), em especial a função PyList_GetSlice que será executada:

PyObject *
PyList_GetSlice(PyObject *a, Py_ssize_t ilow, Py_ssize_t ihigh)
{
    if (!PyList_Check(a)) {
        PyErr_BadInternalCall();
        return NULL;
    }
    if (ilow < 0) {
        ilow = 0;
    }
    else if (ilow > Py_SIZE(a)) {
        ilow = Py_SIZE(a);
    }
    if (ihigh < ilow) {
        ihigh = ilow;
    }
    else if (ihigh > Py_SIZE(a)) {
        ihigh = Py_SIZE(a);
    }
    return list_slice((PyListObject *)a, ilow, ihigh);
}

Trecho de código retirado do repositório oficial, linhas 477 a 497

Em resumo, a função recebe como argumento o PyObject *a, que será a nossa sequence, e também os argumentos Py_ssize_t ilow e Py_ssize_t ihigh que são, respectivamente, o start e o stop. Nesta função é feita uma validação dos valores recebidos e feita a chamada de list_slice((PyListObject *)a, ilow, ihigh).

static PyObject *
list_slice(PyListObject *a, Py_ssize_t ilow, Py_ssize_t ihigh)
{
    PyListObject *np;
    PyObject **src, **dest;
    Py_ssize_t i, len;
    len = ihigh - ilow;
    np = (PyListObject *) list_new_prealloc(len);
    if (np == NULL)
        return NULL;

    src = a->ob_item + ilow;
    dest = np->ob_item;
    for (i = 0; i < len; i++) {
        PyObject *v = src[i];
        Py_INCREF(v);
        dest[i] = v;
    }
    Py_SET_SIZE(np, len);
    return (PyObject *)np;
}

Trecho de código retirado do repositório oficial, linhas 455 a 475

Valendo destacar deste código o seguinte:

  1. Sabendo os valores de start e stop é possível determinar o tamanho da lista a ser retornada: len = ihigh - ilow;
  2. Uma nova lista é definida, PyListObject *np, com a memória alocada, np = (PyListObject *) list_new_prealloc(len);
  3. É feito um laço de repetição, for (i = 0; i < len; i++), em que é buscado o valor na sequência original, PyObject *v = src[i], e copiado na nova sequência, dest[i] = v;
  4. A instrução Py_INCREF(v) é responsável por incrementar o número de referências apontadas para aquele objeto - objetos com zero referências são descartados da memória pelo garbage collector;
  5. A função retornará a nova lista criada, return (PyObject *)np;

Perguntas

Utilizará a mesma lista ou copiará os dados que são pertinentes?

Copiará uma referência para aquele valor, como podemos ver em destaque no código em C:

for (i = 0; i < len; i++) {
    PyObject *v = src[i];
    Py_INCREF(v);
    dest[i] = v;
}

O valor a ser manipulado será um ponteiro, PyObject *v, então uma referência ao próprio valor, mas o valor em si continuará sendo o mesmo. Podemos perceber isso inclusive quando o tipo é mutável. Se eu possuir uma lista de listas, qualquer alteração que fizermos em uma sub-lista será refletida em qualquer lista criada a partir de um slice.

>>> a = [[1], [2]]
>>> b = a[1:]
>>> b
[[2]]
>>> a[1].append(2)  # Manipulando a lista original após o slice
>>> b
[[2, 2]]

Se tiver muitos itens ficará lento?

Depende de quanto é o "muitos", mas é difícil concluir isso. Dependerá ainda mais da configuração do seu computador, sistema operacional que está gerenciando a memória, etc. Com certeza tem um certo impacto, pois o Python precisará alocar memória para guardar esse novo objeto, mas se isso começar a inviabilizar a sua aplicação, é possível que tenha que cogitar outra linguagem.

Acontece até se eu não guardar em variável?

Sim. A execução de todo o processo comentado acontecerá independente se o resultado foi atribuído ou não. A diferença que quando você não atribuir, o Python perceberá que o objeto retornado possuirá zero referências apontadas para ele e o garbage collector fará o trabalho de "limpar a sujeira", liberando as memórias que foram alocadas e atualizando os contadores de referências de cada valor da lista.

Se copia, tem alguma forma de fazer sem copiar?

Se você não necessitar de todos os valores ao mesmo tempo, você pode otimizar a sua solução utilizando geradores.

Tem como demonstrar isso com alguma função ou biblioteca de Python?

Sim, vide análise da implementação em C estudada nesta resposta.

Isso vale para outras formas de slice ou só para lista?

Para os tipos que aceitam o slicing, acredito que o comportamento será o mesmo, incluindo lista, tupla e string. Obviamente que você definir os seus próprios tipos e sobrescrever o operador __getitem__ e definir a lógica que desejar para o slicing.

2
  • Esse comportamento de criar uma nova lista está na especificação da linguagem ou é detalhe de implementação do CPython?
    – hkotsubo
    13/04/2021 às 20:14
  • @hkotsubo Na verdade só é alocado um novo espaço de memória em um ponteiro para armazenar uma cópia dos ponteiros na lista original. É uma lista distinta, mas as referências são as mesmas. Como isso é uma característica do C, acredito que em outras implementações pode ser diferente. Particularmente nunca peguei para estudá-las a fundo, nem mesmo a PyPy.
    – Woss
    13/04/2021 às 20:18
3

Como foi dito nos comentários:

Quando você utiliza slice, você está fazendo uma cópia dessa lista, o mesmo comportamento funciona usando o copy() do Python.

Aqui um teste simples onde é tirada uma fatia(slice) de a e sua referência é atribuida em b:

a = [ 1, 2, 3]
b = a[1:]

print("Antes da modificação a[1] = 'teste':")
print(*b)
a[1] = "teste"
print("\nApós modificação a[1] = 'teste':")
print(*b)
#Antes da modificação a[1] = 'teste':
#2 3

#Após modificação a[1] = 'teste':
#2 3

Ainda no mesmo comentário:

Para evitar esse comportamento você pode definir b = a para usar por referência.

Aqui um código de teste simples, não deve ser usado em ambiente de produção, onde é criado um objeto BasicListView descendente de collections.abc.Sequence que mantém uma referência para uma lista e cujo uma alteração na lista original é refletida na instancia de BasicListView:

#É implementação limitada e código serve apenas como ilustração
from collections.abc import Sequence

class BasicListView(Sequence):
  def __init__(self, seq, start=0, stop=None, step=1):
    self._seq = seq                                    #Guarda a referência a sequencia seq.
    self._start = start                                #Inicio da fatia.
    self._stop = len(seq)-1 if stop is None else stop  #Final da fatia.
    self._step = step                                  #O salto entre os elementos.

  #Essa função é abstrata na classe base deve ser implementada.
  def __len__(self):
    return (self._stop - self._start) // self._step

  #Essa função deve ser sobrescrita pois é ela que permite o objeto ser indexado.
  def __getitem__(self, key):
    k = self._step * key + self._start    
    return self._seq[k]

    
a = [ 1, 2, 3]
b = BasicListView(a,1,3)

print("Antes da modificação a[1] = 'teste':")
print(*b)
a[1] = "teste"
print("\nApós modificação a[1] = 'teste':")
print(*b)
#Antes da modificação a[1] = 'teste':
#2 3

#Após modificação a[1] = 'teste':
#teste 3

Os dois exemplo no IdeOne

Respondendo suas perguntas:

Acontece até se eu não guardar em variável?

Para sequencias nativas sim. Toda vez que fatiar uma sequencia nativa será feita uma cópia superficial da sequencia original. O segundo exemplo mostra uma sequencia não nativa cujo o comportamento padrão foi alterado.

Se copia, tem alguma forma de fazer sem copiar?

Para sequencias nativas sim copia e sim tem fazer sem copiar, para isso trabalhe com referências. O segundo exemplo mostra uma sequencia não nativa cujo o comportamento padrão foi alterado.

Tem como demonstrar isso com alguma função ou biblioteca de Python?

Sim, foi demostrado nos dois exemplos.

Isso vale para outras formas de slice ou só para lista?

Isso é valido para toda sequência nativas. O segundo exemplo mostra uma sequencia não nativa cujo o comportamento padrão foi alterado.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .