Me contesto, por si sirve de ayuda a otro principiante como yo.
Private Sub Taller_KeyPress(KeyAscii As Integer)
'Limitar solo entrada dígitos numéricos
If KeyAscii = 27 Then
Unload Me
ElseIf KeyAscii = 13 Then
KeyAscii = 0
SendKeys "{tab}"
'Si la tecla pulsada no es retroceso
ElseIf KeyAscii <> 8 Then
If Not IsNumeric("0" & Taller.Text & Chr(KeyAscii)) Then
MsgBox "Consignar del 1 al 4, según sea este material para los Talleres 1 al 4.", vbInformation
KeyAscii = 0
ElseIf KeyAscii < 49 Or KeyAscii > 52 Then
MsgBox "Consignar del 1 al 4, según sea este material para los Talleres 1 al 4.", vbInformation
KeyAscii = 0
End If
End If
End Sub