Para excluir o *label* deve-se utilizar da mesma forma como na construção:

    Private Sub deleteLabel_Click()
    
    Dim MyLabel(0) As Object

    Set MyLabel(0) = Me.Controls.Add("Forms.Label.1")

        With MyLabel(0)
            .Name = "Label99" 'Nome de seu Label
        End With
    
        Me.Controls.Remove MyLabel(0).Name

    End Sub

Espero ter ajudado!