Este chamando a função [`sorted()`][1] que classificará os elementos da lista `sub` que você sabe o que é. O que provavelmente não sabe é o argumento chamando `key`.

Se não sabe isto é um argumento nomeado, que é diferente dos argumentos que usamos normalmente que é identificado pela posição que ele é usado, portanto seria o primeiro argumento jogado na variável do primeiro parâmetro da função chamada, e o segundo vai para o segundo parâmetro e assim por diante. Este não importa em que posição está, você diz o nome dele, mas a grande vantagem é que documenta melhor o que está fazendo, neste caso está indicando como deve ser composta a chave de classificação.

Aí vem a outra coisa que talvez não saiba é que a *lambda*. Ela é uma forma de definir um algoritmo muito simples, mais ou menos como você faz em uma função, mas ele não será executado como normalmente ocorre com funções normais. Você está passando o algoritmo como argumento, quem executará esse algoritmo é a parte interna da função `sorted()`. Então ali a classificação ocorrerá de acordo com o resultado da função `size()`, em cada elemento da lista `sub` haverá uma interação e durante a classificação o elemento daquela interação será passado como argumento para a *lambda*, portanto esse valor será recebido em `x` e este será usado como argumento na função `size()`.

Até onde eu entendi a função `size()` pega quantos bits ligados tem no número passado, até achar o primeiro 0. O algoritmo tem uma variável sem uso, alguma coisa qme diz que ele não faz o que se espera.

A *lambda* é uma forma de você retardar a execução de um algoritmo que precisa ser definido naquele momento.

Se quiser entender mais sobre *lambda*, pode ler [outra reposta][2] em outra linguagem, mas o conceito é o mesmo, e tem *links* lá para outras respostas que ajudam entender. Eu não quis entrar nos detalhes do funcionamento interno de uma *lambda*, mas em essência ela é uma função sem nome de apenas uma linha (ela não pode ter um algoritmo complexo) e uma referência para este código é que é passado como argumento para depois ser executado onde precisa no momento certo.

Pode ver como ele é usada internamente (esta é uma função de *sort* bem simplificada só para ilutsrar o uso da *lambda*):

    def sorting(list, key):
        for i in range(len(list)):
            for j in range(i, len(list)):
                if key(list[i]) > key(list[j]):  #a lambda sendo chamada aqui
                    list[i], list[j] = list[j], list[i]
    def size(int_type):
       length = 0
       count = 0
       while (int_type):
           count += (int_type & 1)
           length += 1
           int_type >>= 1
       return count
    arr = [5,4,3,1,6,8,10,9]
    sorting(arr, lambda x : size(x))
    print(arr)

Veja [funcionando no **ideone**][3]. E [no **Coding Ground**][4]. Também [coloquei no **GitHub** para referência futura][5].


  [1]: https://docs.python.org/3/howto/sorting.html
  [2]: https://pt.stackoverflow.com/q/34907/101
  [3]: https://ideone.com/12v7MS
  [4]: http://tpcg.io/SfGbzL
  [5]: https://github.com/maniero/SOpt/blob/master/Python/SortWithLambda.py