Você precisa relacionar cada item adicionado ao seu "criador", fiz isso usando o child index do checkbox, concatenando no ID do elemento adicionado, (a proposito nunca se deve ter mais de um elemento com o mesmo id), depois para remover faz a seleção usando a mesma forma.
$('input[type="checkbox"]').on('change', function() {
if (this.checked) {
$(this).closest('.hovereffect').find('.abcd').append('<img id="hea' + $(this).index() + '" class="img-responsive" src="../images/heart.png">');
} else {
$('#hea' + $(this).index()).remove();
}
});
<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
<div class="hovereffect">
<input type="checkbox">
<input type="checkbox">
<input type="checkbox">
<input type="checkbox">
<div class="abcd">
</div>
</div>