Bem, como disse, dei uma olhada sem seu código e fiz algumas reformulações. Pelo menos aqui tá funcionando...

# Reformulações
##No Javascript
### 1.
Retire o `delete $scope.numeros` da função `adicionar()`. Não sei o porquê de você ter posto isso aí, mas irá deletar o `numeros` após adicionar um valor a ele, então, para mim não fez sentido, assim como não é funcional. Ficará assim:

    $scope.adicionar = function (numero) {
       $scope.numeros.push(angular.copy(numero));
    };


###2. 
Retirar o `$scope.total = 0` de dentro da função `somarValores()`, pois caso contrário a função sempre substituirá o valor e não o somará. E criei um `argument` "numero". Que terá que ser especificado no `ng-click` mais a frente. Outra coisa importante é retirar a condição:

    if($scope.total == 0) $scope.total = ""; 

Porque com ela, você estará transformando o `total` em uma string e impossibilitando a aplicação de operações matemáticas sobre ele, posteriormente. O resultado ficaria simplesmente assim:

    $scope.total = 0;
    $scope.somarValores = function (numero) {
         $scope.total += parseFloat(numero);    
    }

###3.
Criar a função `subtrairValores()`, que excluirá os valores deletados:

    $scope.subtrairValores = function () {
        $scope.numeros.forEach(function(el, i) {
            if($scope.numeros[i].selecionado){  $scope.total -= parseFloat($scope.numeros[i].valor); };
        }) 
    }
.

##No HTML
###1.
Retirar todos os `ng-change`, pois com eles quando você digitar o valor, a cada tecla o valor antigo irá ser somado com o novo valor (valor com o novo digito). Ou seja, se estava `5`, e você digo mais `1`, ele somou o `5 + 51`, ficando `56`.

###2.
Colocar a função `somarValores()` no botão "adicionar" ao invés de nos `ng-change`, sem esquecer de especifcar o argumento `numero.valor`, ficaria assim:

    <button class="btn btn-primary btn-block " ng-click="adicionar(numero); somarValores(numero.valor)" ng-disabled="!numero.nJogo || !numero.valor">Adicionar</button>

###3.
Especificar o a função `subtrairValores()` no `ng-click` no botão apagar, porém antes da função `apagar()`, para que assim se possa subtrair os valores antes que os mesmos sejam deletados.

    <button class="btn btn-danger btn-block " ng-click="subtrairValores(); apagar(numeros)" ng-show="isNumeroSelecionado(numeros)" >Apagar</button>

#[Resultado Final - JsFiddle](https://jsfiddle.net/68egLy6k/embedded/result/#Result)

Espero que tenha ajudado.