Visual Basic - Guardar valores de objetos

Supongamos que he hecho un EXE estándar, el cual tiene este procedimiento:

Private Sub Form1_Load()
Label1.Text = Label1.Text + 1 ' Form1 es el formulario principal, y el valor Caption de Label1 es numérico
End Sub

Pretendo que, al cerrar el programa, el valor nuevo de la propiedad Caption quede guardado, de modo que al volver a abrir el programa me muestre ese valor. ¿Cómo lo puedo hacer? Me vendría bien un ejemplo, por favor.

Lo que podrias hacer es crear un archivo en .TXT y que vaya guardando alli los valores y al iniciar el programa uqe abra este archivo y lea su contendio. Tambien podrias utilizar una base de datos.