A diferença é que o [`COALESCE`][1] aceita *n* argumentos, retornando o primeiro com valor não `NULL` entre eles. O [`ISNULL`][2] só aceita dois argumentos, um possivelmente `NULL`, e outro para retornar se o primeiro for `NULL`.

Por exemplo, isto só dá para fazer com `COALESCE`:

    SELECT COALESCE(col1, col2, col3, col4) AS valor;

Isso seleciona o primeiro valor que não seja nulo entre as quatro colunas passadas.

Como no seu exemplo você só passa um argumento, não há diferença entre usar uma função ou a outra. Apenas lembre-se de que `COALESCE` faz parte do padrão da linguagem SQL, enquanto o `ISNULL` não faz.

Outra diferença (que na verdade é o que importa no seu caso): o `ISNULL` retorna o tipo do seu primeiro argumento, enquanto o `COALESCE` retorna o tipo de maior precedência entre os passados.

Os resultados estranhos que você mostra no screenshot são uma combinação disso com o efeito do [`NULLIF`][3], que, segundo a documentação (grifo meu):

>NULLIF returns the first expression if the two expressions are not equal. If the expressions are equal, NULLIF returns a null value **of the type of the first expression**.

Ou seja, o `NULL` que ele retorna é tipado (nunca imaginei isso) com base no tipo do primeiro argumento. Em todos os exemplos, seria um `CHAR(3)`, `VARCHAR(3)` ou algo do tipo. Isso força o *cast* do segundo argumento do `ISNULL` para o mesmo tipo. No caso do valor número, o tipo é incompatível e o resultado é `*`. 

  [1]:https://msdn.microsoft.com/en-us/library/ms190349.aspx
  [2]:https://msdn.microsoft.com/en-us/library/ms184325.aspx
  [3]:https://msdn.microsoft.com/en-us/library/ms177562.aspx