Usando Jquery você pode resolver este problema usando a função `toggle()` facilmente, observe que removi o evento `onclick` do `checkbox` e adicionei um `id`:

CheckBox novo

    <div class="form-group row">
    		<label for="metadata" class="col-sm-2 col-form-label">Cor de fundo:</label>
    		<div class="col-sm-10">
    			<input name="" type="checkbox" value="background" id="changeBackground"> Usar Padrão do
    			site
    			<input type="color" name="background" id="background">
    		</div>
    	</div>

Código JavaScript com Jquery

    <script>
    	$("#changeBackground").click(function(){
    		$("#background").toggle();
    	});
    
    	function enableColorsBackground() {
    		document.getElementById('background').remove() ;
    	}
    </script>