Visual Basic - Problema al eliminar registro de datagridview

Hola, tengo un formulario con un datagridview y cuando quiero eliminar un registro que no se pueda porque va relacionada con otra tabla me aparesca el error...ya lo controle con un Try...el problema es q despues q me aparece el error se borra el registro en el datagrid pero no en la base de datos Necesito q no se borre del datagrid q si no se pudo eliminar se quede ahi este es el codigo

Private Sub ToolStripButton1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles ToolStripButton1.Click

Select Case MessageBox.Show("¿Desea eliminar el registro de la tabla Formularios?", "Formularios", MessageBoxButtons.YesNo)
Case MsgBoxResult.Yes
Try
Me.Form.Rows.Remove(Form.CurrentRow)
Me.FormularioTableAdapter.Update(DatosDataSet.Formulario)
Catch ex As System.Data.SqlClient.SqlException
Me.FormularioBindingSource.CancelEdit()
MessageBox.Show("Estos datos estan relacionados con otras tablas", "Error al Eliminar", MessageBoxButtons.OK, MessageBoxIcon.Error)
End Try

Case MsgBoxResult.No
Me.FormularioBindingSource.CancelEdit()
End Select
End Sub

Muchas gracias

Elimina con ADO:
1. Crea un Command que realice esta tarea y si es exitoso Refresh la grilla
Si tienes dudas con ADO, escribeme.