Em relação ao `.live()` é só mudar para `.on()` e já podes usar versões mais recentes do jQuery.

Em relação a copiar/criar conteúdo podes usar o `.clone()` para exatamente copiar o que queres. Existe ainda `template` em HTML que permite ter HTML na página que não está ativo, serve só para ser copiado.

Um exemplo seria assim:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    var inputnew = 0;

    function new_input() {
      inputnew++;
      var template = document.getElementById('formations');
      var clone = document.importNode(template.content, true);
      $(clone).prependTo('section.duo div.academic_formation');
    }

    $(document).on('click', 'span.add', new_input);
    $(document).on('click', 'span.remove', function() {
      if (inputnew > 1) {
        $(this).parents('li').remove();
        inputnew--;
      }
    });

    $(document).ready(new_input);

<!-- language: lang-css -->

    .cursor_pointer {
      cursor: pointer;
      padding: 5px;
    }

<!-- language: lang-html -->

    <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
    <template id="formations">
      <div class="formations">
      <li class="formation">
        <input placeholder="Modalidade" onkeyup="this.value=capitalize(this.value);" />
        <input type="number" placeholder="Data" />
        <input placeholder="Instituição" onkeyup="this.value=capitalize(this.value);" />
        <span class="add cursor_pointer">+</span><span class="remove cursor_pointer">-</span>
      </li>
    </div>
    </template>

    <section class="duo">
      <div class="academic_formation">
        <div class="formations"></div>
      </div>
    </section>

<!-- end snippet -->