Experimente desta forma:

    SELECT		M.nome 					AS municipio
    		,	ISNULL(C.clientes, 0) 	AS clientes
    FROM		Municipio 	M
    LEFT JOIN	(
    				SELECT		cidade
    						,	COUNT(1) AS clientes
    				FROM		Cliente
    				GROUP BY	cidade
    			)			C ON C.cidade = M.id

Assim ele devolve o total de clientes associados a municípios.

Se pretender apenas aqueles municípios com **0** cidades, então bastaria colocar uma cláusula `WHERE`:

    WHERE ISNULL(C.clientes, 0) = 0