Hay diferentes maneras de hacerlo. Una de ellas seria asi:
RetVal = Shell ("TuAplicacion",1)
'y teniendo ya RetVal;
Public Const VK_ALT = &H12
Public Const VK_F4 = &H73
AppActivate RetVal, True
'para cerrar la ventana ALT+F4 dos veces, pq sino no cierra bien a veces
keybd_event VK_ALT, &H45, KEYEVENTF_EXTENDEDKEY Or 0, 0
keybd_event VK_F4, &H45, KEYEVENTF_EXTENDEDKEY Or 0, 0
keybd_event VK_F4, &H45, KEYEVENTF_EXTENDEDKEY Or KEYEVENTF_KEYUP, 0
keybd_event VK_ALT, &H45, KEYEVENTF_EXTENDEDKEY Or KEYEVENTF_KEYUP, 0
Asi lo que haces es mandarle al proceso la accion que seria ALT+F4, para asi poder cerrar la ventana. Sino, existen varios api´s q puedes utiizar: TerminateProcess...
Espero q te sirva