Internet - Como configuro esto?

Saludos a todos:

Tengo un problema y es el siguiente : Tengo una red con 3 pcs con Windows XP PRO conectadas todas a un switch y tengo un soft proxy instalado en una de ellas para compartir el internet con una conexion ADSL, mi pregunta es la sigte: Me dijeron que instalara un router para poder dejar apagada la maquina que tiene el proxy porque tengo que dejar siempre esa maquina encendida sino las otras no accesan a Internet, mi inconveniente es que no se como voy a configurar el Router para compartir el Internet y que hago con el Switch y existe alguna formar de poder anular el soft proxy instalado. Necesito una ayudita gracias...