Access te permite guardar la configuración de importación de archivos. Lo que debes hacer es, en primer lugar, ir a Access y manualmente importar el archivo, configurando las diferenes columnas y después guardar esta configuración. Una vez hecho esto, desde visual basic, creando un objeto Access, puedes ejecutar la importación que tengas guardada con el fichero que te interese, siempre y cuando tenga la misma estructura. Un ejemplo de cómo ejecutar la importación desde Visual Basic sería:
ObjAccess.DoCmd.TransferText acImportFixed, "NombreImportacion", "Tabla", "RutaFichero", False
Espero que te sirva.