Visual Basic.NET - Cambiar Tamaño

Saludos en el evento Resize de mi from realizo una serie de procedimientos como lo son el cambio de tamaño de los botones, pictures, fuentes, etc, para que se ajusten al tamaño nuevo del form. Todo perfecto, al cambiar el tamaño de mi form o maximizarlo los controles se ajustan como deseo (parpadea un poco y tarde como 2 seg pero el resultado es lo que deseo), el problema es que cuando minimizo mi form y lo vuelvo a mazimizar vuelve a realizar el ajuste de controles (los vuelve a dejar igual que como estaban antes de minimizar la ventana).

Esto ultimo es lo que me gustaria que ya no pasara, me gustaria que solo sucediera cuando cambio de tamaño el form o cuando lo maximizo o lo restauro.