Para que te funcione tu ejecutable en otra pc con Windows instalado, necesitas distribuir --junto al exe-- todas las librerías (dll) qué requiera. Bueno, habrá algunas (como kernerl32.dll, gdi32.dll, etc) que ya estén en el sistema (estas últimas siempre estarán en cualquier Windows). Solo tienes que asegurarte de eso y ya.
Saludos.