Hola Mauricio, mi matlab ya tenía esta librería, por lo que yo no tuve que instalarla, pero he leído que basta con poner los archivos vfm.m y vfm.dll en el directorio de trabajo. Has probado eso?
Por cierto, ya colgué esta respuesta esta mañana, pero no aparece. O no lo hice bien, o por ahi habrá otra igual : )