Visual Basic.NET - eliminar un chekbox de un formulairo

mi duda es que necesito eliminar un objeto boton de un formulario.
De ese objeto solo tengo el name.
Lo que pense es ir recorrendo el control de objetos y cuando encuentra el label si su nombre es el que tengo.
Mi pregutna es como lo elimino. Con dispose

For Each obj In Controls

If TypeOf obj Is label Then
If obj.name="labelX" then
label.dispose()
End If
End If
Next

El dispose elimina solo ese objeto?

gracias por todo

Este codigo lo hace:

Private Sub btnQuitarControl_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles btnQuitarControl.Click
For Each oControl As Control In Me.Controls
If TypeOf oControl Is Label Then
If oControl.Name = "Label1" Then
Me.Controls.Remove(oControl)
End If
End If
Next
End Sub

Salu2.