Experimente desta forma:

    SELECT		M.nome 					AS municipio
    		,	ISNULL(C.clientes, 0) 	AS clientes
    FROM		Municipio 	M
    LEFT JOIN	(
    				SELECT		cidade
    						,	COUNT(1) AS clientes
    				FROM		Cliente
    				GROUP BY	cidade
    			)			C ON C.cidade = M.id