Experimente desta forma:
SELECT M.nome AS municipio
, ISNULL(C.clientes, 0) AS clientes
FROM Municipio M
LEFT JOIN (
SELECT cidade
, COUNT(1) AS clientes
FROM Cliente
GROUP BY cidade
) C ON C.cidade = M.id