Você deve estar rodando o programa, não apenas compilando. Ao rodar o programa e digitar 0, é gerada a exceção mostrada como erro.

Como comentei me parece que está tentando usar exceção de forma errada, que poderia até considerar um problema XY.

Esse problema deveria ser solucionado simplesmente com um `IF`:

	public static void Main()
	{
		 int numero;
         Console.WriteLine("Informe um número");
         string line =  Console.ReadLine(); 
         //string line  = "0"; //Simula que o usuário digitou 0 na linha do console.
		 if (int.TryParse(line,out numero))
	     {
			 if (numero != 0)
			 {
				 Console.WriteLine("5 dividido por " +numero+ " é: " + (5/numero));
			 }
			 else
			 {
				 Console.WriteLine("Não é possível dividir por 0");
			 }
		 }
		 else
		 {
			 Console.WriteLine("Valor informado não pode ser convertido para inteiro.");
		 }
	}

Coloque no [.NETFiddle][2]


Mas se quer utilizar Exception (para fins didáticos), esse código ficaria assim:

	public static void Main()
	{
		 int numero;
         Console.WriteLine("Informe um número");
         string line =  Console.ReadLine(); 
         //string line  = "0"; //Simula que o usuário digitou 0 na linha do console.
		 if (int.TryParse(line,out numero))
	     {
			 try
			 {
				 Console.WriteLine("5 dividido por " +numero+ " é: " + (5/numero));
			 }
			 catch (DivideByZeroException)
			 {
				 Console.WriteLine("Tentativa de divisão por 0");
			 }
			 catch (ArithmeticException)
			 {
				  Console.WriteLine("Erro Aritimético");
			 }
			 //... 
			 
		 }
		 else
		 {
			 Console.WriteLine("Valor informado não pode ser convertido para inteiro.");
		 }
	}


Coloquei no [.NETFiddle][1]



>Recomendo a leitura: https://pt.stackoverflow.com/a/97856/69359 e nesta resposta tem referências para outras.


  [1]: https://dotnetfiddle.net/5MKEhu
  [2]: https://dotnetfiddle.net/mUDH5v