C sharp - Ayuda Por Favor... Datos desde un mismo textbox

Hola, estoy haciendo un proyecto y tengo todo, solamente me falta una parte funcional del mismo. Les comento,

Tengo un textbox donde ingresare numeros del 1 al 4, dependiendo del numero que sea y solo se puede un numero a la vez y al dar clic en un boton debe sumar +1, y mostrarse en un label... Ejemplo: ingreso 1 entonces el label de los 1 aumenta a 1, ingreso 2 el label de los 2 aumenta a 1, ingreso 1 el label de los 1 aumenta a 2... Y asi sucesivamente... Pero hacerlo todo desde un solo label y al darle clic realizar esto...

Bueno, si estas trabajando con visual studio, has doble clic en el texbox donde tienes que elegir entre 1,2,3,4.
Las instrucciones que tienes que escribir dentro de su método son las siguientes, yo usuaria un Switch, con cuatro casos, si el número que ingresas en el textbox es 1 que coja al textbox de los unos, le igualé a uno y le sume 1, en el caso 2 lo mismo, pero con el número 2 y el textbox correspondiente al número 2.
Esto es sólo una idea:

int Numero = Convert.ToInt32 (txtNumerosDel1Al4.text);

switch (Numero)
{
case 1: // si pones 1
txt1.text = Convert.ToInt16("1");
txt1 += txt1;
break;
case 2:
txt2.text = Convert.ToInt16("2");
txt2 += txt2;
break;
default:
Console.WriteLine("Default case");
break;
}


No está limpio el código, es sólo para que te guíes, bueno espero que te haya servido.

Cualquier cosa me envías un Mail.

Saludos