Windows Server - Problemas acceso a Terminal Server

Hola compañeros.
Quería haceros una consulta porque tengo un problema que me trae de cabeza.
Tengo un servidor, es un server 2003, como Terminal Sever.
A este servidor se conectan los equipos remotos, a traves de la red local, perfectamente.
El problema es cuando quiero conectarme desde fuera de la red local a través de la IP Pública.
En principio funciona bien pero no sé porque motivo hay un momento en que deja de funcionar.
Si reinicio el equipo vuelve a funcionar de nuevo hasta que en algún momento falla otra vez.
He comprobado los servicios por si acaso el motivo fuese que alguno se hubiera caido y no es el caso.
La verdad es que no sé por donde seguir mirando ya que parece claro que el problema es en el servidor.
Gracias por vuestra ayuda.
Carlos

Hola,
Tal vez lo que te pueda pasar es que tengas un corte de linea por falta de latencia y se te quede el usuario bloqueado, al reiniciarlo los desbloquea.

Un saludo,

Hola Angel,

gracias por tu contestación.
Si fuera un problema de latencia, como crees que podría solucionarlo.

Gracias.

que dice la vitacora de everntos del servidor