Visual Basic.NET - Error al ingresar un dato tipo Fecha

Hola. Tengo el siguiente problema al momento de ingresar a mi dataSet una variable de tipo fecha.
Esto es lo que pasa:
cuando le doy click al boton buscar, para encontrar un personal, entre sus datos hay campos de tipo fecha, pero cuando ese campo esta vacia me marcaba un error y no se podian vizualizar los demas datos. Afortunadamente lo solucione haceindo uso de la instruccion isDBNull y asignando al control correspondiente: "" (texto vacio).

If IsDBNull(DataSet.Tables("Datos").Rows(posicion).Item("Fecha")) Then
me.Fecha.Text = ""
end if

Ahora el problema que tengo es cuando quiero modificar los datos de ese personal, pero otro campos, por ejemplo, su numero de telefono. Y al intentar guardarlos en el dataset me marca el error de que no se puede convertir el texto a tipo fecha. Me marca el error por las lineas de codigo anteriores, ya que en una variable tipo fecha no puede ir: "".

Pero ¿Como le hago? Si quiero modificar otro campos, menos el de tipo fecha.

Espero me hayan entendido.

:-) Saludos

If Not IsDBNull(oDataRow.Item(I)) Then
Cad2 = oDataColumn.DataType.ToString
Select Case Cad2
Case "System.DateTime"
Cad2 = Microsoft.VisualBasic.Strings.Right(Microsoft.VisualBasic.Strings.Format(oDataRow.Item(I), _
"dd/MM/yyyy hh:mm:ss"), 8)
Me.Fecha1 = Microsoft.VisualBasic.Strings.Format(oDataRow.Item(I), _
"dd/MM/yyyy")

Mira a ver si te sirve ésto. Es el código que estoy usando navego po los registros con un for each, por esouso el select y el I.

Un saludo