Te puede ocurrir esto aunque descargues el formulario con 'Unload'. Probablemente te esté ocurriendo que no utilizas una variable para hacer referencia al formulario, sino que utilizas el propio objeto que estás diseñando, o tal vez , si estás usando una variable, no eliminas la instancia a la clase estableciéndola a 'Nothing'.
Prueba este modo:
Dim frm1 as Form
Set frm1 = frmMiFormulario
frm1.Show
Set frm1 = Nothing
O si quiere crear nuevas instancias de tu formulario así:
Dim frm1 as Form
Set frm1 = New frmMiFormulario
frm1.Show
Set frm1 = Nothing
O así:
Dim frm1 as New frmMiFormulario
frm1.Show
Set frm1 = Nothing
Mientras no establezcas el valor de 'frm1' a 'Nothing' tendrás referencias al formulario.