Você pode pegar o índice do item e removê-lo assim:


    private void listBox1_DoubleClick(object sender, EventArgs e)
    {
        int indice = listBox1.SelectedIndex;

        // Se for um índice válido
        if (indice != -1)
        {
            listBox1.Items.RemoveAt(indice);
        }   
    }