Visual Basic.NET - No insertar Caracteres especiales ' " % /

mi problema es que no quiero que el usuario final no me inserte estos caracteres en un caja de texto, como lo podria hacer en visual .net, muchas gracias por vuestra atencion.

Controla el ascii de los caracteres que esta insertando si este es diferente al de las letras o numeros no lo dejes hacerlo.

Mi ejemplo solo te deja meter numeros, backspace y enter....

If IsNumeric(e.KeyChar) Or Asc(e.KeyChar) = 13 Or Asc(e.KeyChar) = 8 Then
Else
e.Handled = True
End If

Saludos.