Experimente desta forma:
SELECT M.nome AS municipio
, ISNULL(C.clientes, 0) AS clientes
FROM Municipio M
LEFT JOIN (
SELECT cidade
, COUNT(1) AS clientes
FROM Cliente
GROUP BY cidade
) C ON C.cidade = M.id
Assim ele devolve o total de clientes associados a municípios.
Se pretender apenas aqueles municípios com 0 cidades, então bastaria colocar uma cláusula WHERE
:
WHERE ISNULL(C.clientes, 0) = 0