Yo conozco dos formas, una es através de ir guardando las imágenes en una base de datos, la cuál esta manera va dependiendo de qué base de datos estes utilizando y cuál es la manera de guardarlo.
La otra manera es que crees una o varias carpetas en tu compu, almacenando todas las imágenes de los alumnos, y en la tabla en donde tengas los datos de los alumnos, tengas un campo especial tipo cadena en donde guardes el nombre del archivo y su trayectoria con la foto relacionado a cada uno.
Suponiendo que el campo es Alumno.Foto utilizarias la siguiente instrucción (depende de que base de datos o archivo estes utilizando para el acceso a los datos):
PictureBox1.Image = System.Drawing.Image.FromFile(Alumno.Foto);
Para ir guardando la trayectoria de los archivos con las imagenes, en la captura de los alumnos puedes usar un OpenFileDialog mediante la propiedad FileName para obtener esta información.
Espero y que esto te ayude.
Saludos.