Seu select esta com um erro de sintaxes, quando você faz um select para setar o valor do select em alguma variável ( SET @Total =)
, você precisa envolver todo o select entre parenteses SET @Total = (select campo from tabela)
, no seu caso você esta fechando o parentese antes do from (SELECT SUM(ped.ValorPagar))
, esse ultimo parentese tem que ser removido e inserido no final do select.
create FUNCTION dbo.totalGastoPedido(@id_mesa int)
RETURNS int
AS
BEGIN
DECLARE @Total money
declare @Pedido table
(
IdMesa int,
ValorPagar numeric(18,2)
)
insert into @Pedido values
(1,122.32),
(1,12.32),
(1,2.32),
(4,1.32),
(5,2.32)
SET @Total = (SELECT SUM(ped.ValorPagar) -- removar o parenteses daqui e coloque no final da query
FROM @Pedido ped
where @id_mesa = IdMesa
--and ped.Data>'2016-02-10' and ped.Data<'2016-02-10' --- comentado para facilita na buscar
) -- Aqui....
RETURN @Total
END