2

Hoje me deparei com a necessidade de quebrar uma lista de mais de 100 valores em uma lista de listas com no máximo 100 valores.

pesquisei muito, e no final acabei montando a função:

remove_list=[[]]
    n=0
    for i in remove_alarms:
        remove_list[n].append(i)
        if len(remove_list[n])>99:
            n=n+1
            remove_list.append([])

No caso estou recebendo uma lista com nomes de alarmes que devem ser removidos da Amazon e passando como parâmetro para a api que processa no máximo 100 valores.

A questão é que depois de demorar muito saiu essa linguiçona queria alguma dica de como melhorar ou utilizar algum função embutida do Python.

1 Resposta 1

4

Esse é um caso típico onde é bacana usar a funcionalidade de "generators" do Python -

generators se caracterizam por responder ao "iterator protocol" - e como tais, objetos que podem ser usados num comando for do Python.

Uma das formas de criar generators é escrever funções que tem a palavra chave yield no corpo. A expressão usada no yield é passada como valor para uma interação do for. Nesse caso, você pode criar um generator que recebe a lista grande como parâmetro, e gera como resultados fatias de 100 elementos:

def slice(biglist, slice_size=100):
    for i in range(0, len(biglist), slice_size):
        yield biglist[i: i + slice_size]

e para usar isso:

for list_slice in slice(biglist):
    # código para usar a sublista com 100 elementos
    ...

O que são os geradores:

A ideia é a seguinte: uma função normal sempre é chamada, recebe parâmetros, cria suas variáveis locais, executa seu código (que pode ou não chamar utras funções), e retorna um valor - quando encontra o comando return (Funções sem um return em Python retornam None de forma implícita).

No momento de um return, todas as variáveis locais criadas pela função são destruídas. Inclusive os parâmetros que recebeu. Se for chamada de novo, a execução volta para a primeira linha da função, e ela tem que refazer todos os cálculos que já tenha feito de novo. Em termos de programação, se diz que uma função não tem "estado" - isso é, toda vez que é chamada com os mesmos parâmetros, vai refazer tudo, e retornar os mesmos resultados (claro, se ela mesma não fier outras chamadas que retornem fatores variáveis, tais como leituras de arquivo, aquisição de ddos da internet, ou de dados digitados pelo usuário (com input)).

Quando falamos de programação orientada a objetos, uma das grandes mudanças que acontecem é que objetos podem ter atributos - ou seja, entre uma chamada de um método e outra de um mesmo objeto, seu estado pode mudar.

Então, nesse caso, por exemplo - nos queremos ter algo que "se lembre da lista grande, completa", e que se "lembre" de qual foi a última "fatia" da lista que foi utilizada, e que possa gerar a próxima fatia, e sinalizar quando a lista grande terminar.

Em orientação a objeto normal, sem as melhorias dos "geradores" que Python incorpora, isso poderia ser escrito assim:

Sentinela = None

class Fatia:
    def __init__(self, listagrande, tam_fatia=100):
         self.listagrande = listagrande
         self.tam_fatia = tam_fatia
         self.indice = 0

    def proximo(self):
         if self.indice >= len(self.listagrande):
              return Sentinela
         resultado = lista_grande[self.indice: self.indice + self.tam_fatia]
         self.indice += self.tam_fatia
         return resultado

E essa classe poderia ser usada para fatiar a lista, de forma parecida com o que fiz no primeiro exemplo, mas de forma mais "manual":

fatiador = Fatia(listagrande)
while True:
     pedaco = fatiador.proximo()
     if pedaco is Sentinela:
         # sai do while
         break
     # Codigo para usar a essa sublista
     ....

Agora, o for em Python, sendo um comando que ja sabe percorrer sequências ou iteradores, sabe "fazer uso" de objetos parecidos com o definido nessa classe. Sempre que fazemos um for numero in sequencia: no Python, ele pega o objeto na expressão depois da palavra chave in (nesse caso, a variável "sequência"), e chama o método __iter__ desse objeto. (Se o objeto não tiver um método __iter__ o comando for tem um "plano B" usando o comprimento do objeto e índices numéricos, mas não vem ao caso agora).

O valor retornado por esse método __iter__, ele mesmo tem que ser um objeto que tenha o método __next__. Se tiver, então o comando for vai chamar esse método __next__ uma vez pra cada iteração - e o valor retornado pelo método é usado na variável do for. Quando o __next__ não tiver mais objetos pra retornar, ele levanta uma execeção do tipo StopIteration. Ao contrário das exceções que estamos mais acostumados a ver, como ValueError e TypeError, o StopIteration não indica um erro - e sim, é um sinal justamente usado pelo for para saber que aquele iterador não tem mais resultados. O comando for então acaba, e a execução continua na primeira linha depois do for.

Então, por exemplo, podemos adaptar a classe acima para funcionar com for, apenas um método __iter__ e renomeando o método proximo:

class Fatia:
    def __init__(self, listagrande, tam_fatia=100):
         self.listagrande = listagrande
         self.tam_fatia = tam_fatia
         self.indice = 0

    def __iter__(self):e
        # Como essa propria classe contem
        # um metodo __next__ apropriado, 
        # basta retornar o proprio objeto
        return self

    def __next__(self):
         if self.indice >= len(self.listagrande):
              raise StopIteration()
         resultado = lista_grande[self.indice: self.indice + self.tam_fatia]
         self.indice += self.tam_fatia
         return resultado

Pronto, com essa simples mudança - antes era retornada uma variável de sentinela, cujo valor era comparado num if que tinha que ser escrito manualmente, e agora ele causa a exceção StopIteration. Objetos dessa classe podem ser usados como no primeiro exemplo da resposta:

for list_slice in Fatia(biglist):
    # código para usar a sublista com 100 elementos
    ...

Então, os mantenedores da linguagem, notando que esse era um padrão de uso comum, criaram a palavra chave yield. Sempre que ela aparece no corpo de uma função, a função deixa de ser uma função comum, e passa a ser o que chamamos de "gerador": internamente, ela funciona como a classe acima, e o Python - quando chamamos uma função dessas, a linguagem já executa o equivalente ao __iter__, mas não executa nem uma linha dentro da função, e sim, devolve um objeto que tem o método __next__. Quando chamamos o __next__ (ou melhor, o comando for fa essa chamada internamente). aí sim, o código do corpo da função é executado, até o ponto onde encontra o primeiro yield. Nesse ponto, o valor dado ao yield é retornado como o resultado da chamada ao __next__. Quando o __next__ for chamado da próxima vez, a funçãoc continua sendo executada na linha seguinte ao yield; todas as variáveis locais são "lembradas" - o yield funciona como uma "pausa" na função. Isso torna o código interno bem mais eficiente do que uma chamada "real" de função como a que acontece nos exemplos com classes, em que variáveis locais são criadas, etc...

Então, revisitando nosso gerador pra entender melhor:

def slice(biglist, slice_size=100):
    for i in range(0, len(biglist), slice_size):
        yield biglist[i: i + slice_size]

quando o Python encontra for fatia in slice(minhalista): a mágica acontece - o Python primeiro cria um objeto "generator" com os parâmetros passados, e em seguida chama o __next__ lá dentro - isso executa a linha com o for dentro da função slice - a variável "i" é inicializada, etc... na linha seguinte, a fatia da lista de "i" até "i + 100" é retornada, e é usada "fora da função", no corpo do for externo. As variáveis locais da função funcionam como se fossem atributos de uma classe, preservando o "estado interno" do gerador. (com a notável diferença de que, ao contrário de atributos de objetos no Python, essas variáveis internas não são públicas, e até podem ser lidas, mas não podem ser escritas por código fora da função geradora).

Você pode usar o gerador "manualmente" sem usar o for da seguinte forma:

fatiador = slice(biglist)
while True:
    try:
         fatia = next(fatiador)
    except StopIteration:
         break
    # código para lidar com a fatia aqui
    ...
3
  • funcionou mas e achei linda a função, mas não entendi como funciona, tenho apenas alguns meses de programação, vou dar uma estudada até entender. Infelizmente não consigo dar upvote por não ter 15 pontos.Muito obrigado mesmo. 12/11/2018 às 22:43
  • Atualizei com mais informações sobre como os generators funcionam
    – jsbueno
    13/11/2018 às 1:26
  • Muito obrigado mesmo, consegui entender o funcionamento e tendo melhor performance vou utilizar sempre. 14/11/2018 às 17:15

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .