O nome desse tipo de algoritmo em inglês é Bin Packing, uma variante do problema da mochila.
Uma árvore binária é utilizada para selecionar, em vários passes, a melhor distribuição (optimal distribution) de um conteúdo por ordem e percentual de utilização de superfície.
Uma excelente implementação do algoritmo pode ser encontrada aqui:
http://codeincomplete.com/posts/2011/5/7/bin_packing/
Exemplo de uso:
http://codeincomplete.com/posts/2011/5/7/bin_packing/example/
Eu tomei a liberdade de testar as áreas da sua imagem de exemplo na demo do algoritmo. Este é o resultado (eu dividi as dimensões por 10 e arredondei os valores):
