Tente dessa forma:

    public Home()
    {
        InitializeComponent();

        this.KeyDown += Home_KeyDown;
    }

    private void Home_KeyDown(object sender, KeyEventArgs e)
    {
        if (e.KeyCode == Keys.Escape)
        {
            System.Windows.Forms.Application.Exit();
        }
    }

Do [MSDN][1]:

*Application.Exit()*

> Informa todas as mensagens que devem ser finalizadas e, em seguida,
> fecha todas as janelas do aplicativo após o processamento das
> mensagens.


  [1]: https://msdn.microsoft.com/en-us/library/ms157894.aspx