Para excluir o label deve-se utilizar da mesma forma como na construção:
Private Sub deleteLabel_Click()
Dim MyLabel(0) As Object
Set MyLabel(0) = Me.Controls.Add("Forms.Label.1")
With MyLabel(0)
.Name = "Label99" 'Nome de seu Label
End With
Me.Controls.Remove MyLabel(0).Name
End Sub
Espero ter ajudado!