Internet - Problema de conexión al usar Steam

Hola. Desde hace unos dos o tres días estoy teniendo problemas con Internet más que nada al jugar juegos en Steam (especialmente Team Fortress 2). Estoy jugando como si nada y pierdo la conexión a internet, a veces por 5 segundos, a veces por 20 minutos. Me sucede varias veces al día.
Llamé a mi proveedor y la primera respuesta fue que mi velocidad de internet (1 MB) era muy poca para la exigencia que yo le daba (tengo dos PCs usando el mismo internet), y me sugirieron aumentar la velocidad (obviamente para cobrarme más). Como yo hace tiempo que quería aumentar la velocidad, les hice caso por más que fuera porque me quisieran sacar más plata (ahora tengo 3 MB).
El caso es que ahora sigue pasando lo mismo. No estoy completamente seguro si es solo cuando uso Steam, porque a lo mejor si estoy leyendo algo en internet y se va por unos segundos no me doy cuenta. Pero lo que sí es seguro es que cuando uso Steam, ya sea jugando o no, me pasa más que nunca.
Espero que me puedan ayudar, gracias.