Con el evento
Private Sub Form_MouseMove(Button As Integer, Shift As Integer, X As Single, Y As Single)
puedes saber cual es la posicion del cursor(x,y) lo unico que se me ocurre para saber si esta fuera del formulario es asignarle una variable a la posicion x y a la posicion y compararla con el tamaño del form y que cuando sean igual (lo cual quiere decir que esta casi fuera) te notifique que no estas dentro del form....
espero que esto te pueda ayudar en algo