Bueno, existen diversas formas entre ellas te puedo decir:
1.- En el evento Keypress de la caja de texto verificas que el caracter colocado deba ser un dígito numérico, la coma, el punto ó el backspace.
Private Sub Text1_KeyPress(KeyAscii As Integer)
If (KeyAscii < Asc("0") Or KeyAscii > Asc("9")) And _
(KeyAscii <> Asc(".")) And (KeyAscii <> Asc(",")) And _
(KeyAscii <> 8) Then KeyAscii = 0
End Sub
2.- Puedes tambien verificar si el contenido de la caja de texto no es numérico te desactive el botón de guardar por ejemplo y/o te muestre una etiqueta que diga error de datos...
Private Sub Text1_Change()
btnguardar.enabled = IsNumeric(Text1)
etiquetaerror.visible = IsNumeric(Text1)
End Sub
3.- Incluso puede hacer mezclas de las dos formas como:
Private Sub Text1_KeyPress(KeyAscii As Integer)
If Not IsNumeric(Text1) And CBool(Len(Trim(Text1))) And KeyAscii <> 8 Then KeyAscii = 0
End Sub
Espero te sirva...