Tente dessa forma:
public Home()
{
InitializeComponent();
this.KeyDown += Home_KeyDown;
}
private void Form_KeyDownHome_KeyDown(object sender, KeyEventArgs e)
{
if (e.KeyCode == Keys.Escape)
{
System.Windows.Forms.Application.Exit();
}
}
Do MSDN:
Application.Exit()
Informa todas as mensagens que devem ser finalizadas e, em seguida, fecha todas as janelas do aplicativo após o processamento das mensagens.