Você pode pegar o índice do item e removê-lo assim:
private void listBox1_DoubleClick(object sender, EventArgs e)
{
int indice = listBox1.SelectedIndex;
// Se for um índice válido
if (indice != -1)
{
listBox1.Items.RemoveAt(indice);
}
}