Visual Basic para Aplicaciones - Novata en winsock

Hola, tengo dos aplicaciones con winsok: el cliente y el servidor. Mi problema es que corro el servidor, corro el cliente y se conectan muy bien al primer intento, después, cierro el cliente (el servidor continua ejecutandose) y vuelvo a intentar correr de nuevo el cliente y ya no se conecta al primer intento como la primera vez, en ocasiones lo hace al sexto intento, incluso en ocasiones se conecta hasta el intento 18!! ¿alguien sabe cual podría ser la causa??
Muchas gracias :)
P.D. para eso de los intentos de conexión pongo un timer que checa si el cliente ya se conecto al servidor, si no es así cierra y vuelve a intentar abrir la conexión.