Você está a usar IDs duplicadas. O problema é provavelmente com a ID linkRemover
.
IDs têm de ser únicas, então deve usar classes em vez de IDs.
Sugestão:
Mudar no html a ser inserido de :
<a href="#" id="linkRemover">
para
<a href="#" class="linkRemover">
E no jQuery/JavaScript de:
$('#linkRemover').live('click', function() {
para
$('.linkRemover').live('click', function() {
O seu segundo problema é que tem um seletor para elementoes que ainda não existem, vai ter de delegar o evento.
Use assim:
$('#formulario').on('click', '.linkRemover', function() { // para versão acima do 1.7
$('#formulario').delegate('click', '.linkRemover', function() { // para versão acima do 1.4
###Exemplo: http://jsfiddle.net/8k4ooet2/