Você está redefinindo o atributo `size` no elemento errado:

    B.size = C;

O `B` são as `options` (`var B = A.getElementsByTagName('option');`).

O correto seria o `A`, que é a variável onde você armazenou o `select`:

    A.size = C;

**Exemplo:**

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    somar = function() {
      var A = document.getElementById('lista');
      var B = A.getElementsByTagName('option');
      var C = B.length;
      A.size = C;
    }

<!-- language: lang-html -->

    <select id="lista" size="4">
              <option value="A">01</option>
              <option value="B">02</option>
              <option value="C">03</option>
              <option value="D">04</option>
              <option value="E">05</option>
              <option value="F">06</option>
              <option value="G">07</option>
              <option value="H">08</option>
              <option value="I">09</option>
              <option value="J">10</option>
              <option value="k">11</option>
              <option value="L">12</option>
            </select>
    <button onclick="somar()">Carregar Mais</button>

<!-- end snippet -->