Visual Basic - Programa pesado

Hola, bueno mi problema aunque no muy complejo esta poniendome los pelos de punta.

Realice una aplicación utilizando ado y winsock en la que se comunican varios clientes a un servidor y ademas tienen acceso a la base de datos. El problema es que al abrir el ejecutable este me ocupa demasiada memoria. Hay alguna manera de administrar la memoria en tiempo de diseño para que el sistema no se haga tan "pesado"