Creo que no te refieres a hacerlo por Windows, sino desde diseño.
(por si acaso). De seguro es el icono que por defecto coloca el VB a todos los Form a nivel de diseño. Solo tienes que tomar la propiedad "Icono" o "Icon" (sea en español o en inglés tu VB) y ahí le buscas el icono que quieras. En esta web hay muchos iconos para bajar. Desde luego, ese cambio es referente al Form Principal, ya que si no lo haces con el principal y si con otros, el icono que aparecerá representando a tu programa será el del Form Principal.