PDF de programación - PVFS (Parallel Virtual File System)

PVFS (Parallel Virtual File System)

Sergio GonzÆlez GonzÆlez

Instituto PolitØcnico de Bragana, Portugal

[email protected]

Jnatan Grandmontagne Garca

Universidad de Bragana, Portugal

[email protected]

Breve explicacin del sistema PVFS, en quØ consiste y sus caractersticas.

1. Introduccin

PVMS intenta proveer de un sistema de archivos en red distribudo de alta eciencia y escalable, normalmente
utilizado en entornos de clustering. PVFS es un proyecto de Software Libre que no requiere hardware especial o
modiciciones en el nœcleo para que funcione. Las caractersticas de este sistema de archivos distribudo son:

Un sistema consistente de nombres
Acceso transparente para las utilidades existentes (ls, cd, etc.)
Distribucin fsica de los datos a travØs de mœltiples discos en distintos nodos
Alto rendimiento en espacio de para las aplicaciones

PVFS provee un mismo espacio de nombre para todo el cluster y es accesible por las utilidades habituales. PVFS
se monta en todos los nodos y en el mismo directorio simultÆneamente, permitiendo el acceso simultÆneo a todos
los cheros del sistema PVFS, a travØs del mismo esquema de directorios. Una vez que el sistema estÆ montado,
podremos trabajar con las herramientas tpicas, como ls, cp y rm

Para conseguir un alto rendimiento en el acceso a los datos concurrentemente, PVFS distribuye los datos en
mœltiples nodos del cluster, denominados I/O nodes. Distribuyendo los datos en mœltiples nodos, los clientes
poseen diferentes rutas hacia los datos, eliminado de esta forma los cuellos de botella (bottlenecks) y mejorando
o aumentando el ancho de banda para mœltimples clientes.

PVFS permite prescindir de las llamadas al kernel en los accesos al sistema de archivos, gracias al uso de una
API nativa. Esta implementa un subconjunto de operaciones UNIX que permiten contactar directamente con los
servidores PVFS.

1

PVFS (Parallel Virtual File System)

Vista del sistema PVFS

La imagen superior muestra como se asignan los nodos para el uso de PVFS. Estos son divididos en nodos de
computacin (compute nodes) donde se ejecutan las aplicaciones, y los nodos de gestin que manejan las
operaciones con los metadatos y los nodos de entrada/salida (I/O) que almacenan la informacin. Los nodos de
administracin y entrada/salida tambiØn pueden ser utilizados como nodos de computacin.

2. Componentes PVFS

Hay cuatro grandes componentes, que son:

Servidor de metadatos (mgr)
Servidor de E/S (I/O) (iod)
API nativa de PVFS (libpvfs)
Soporte en el kernel de PVFS

Los dos primeros componentes son demonios que se ejecutan en los nodos del cluster. El servidor de metadatos
(mgr) gestiona los metadatos de todos los cheros. El uso de los demonios que operan automÆticamente con los
metadatos, eliminan algunas de las deciencias de otras soluciones de almacenamiento en red, las cuales tienen
que implementar complejos esquemas para asegurar la consistencia en los metadatos.

El segundo demonio es el servidor de E/S (I/O) (iod). Este gestiona el almacenamiento y recuperacin de los
datos almacenados en el disco local del nodo. Estos servidores crean los cheros en el sistema de archivos
existente en el disco local del nodo, utilizando las llamadas read(), write() y nmap() para el acceso a esos
archivos. Esto signica que puedes utilizar cualquier sistema de archivos local para almacenar los datos: ext2,
ext3, reiserfs, RAID.

2

PVFS (Parallel Virtual File System)

Acceso a metadatos

Acceso a datos

La API nativa de PVFS proporciona acceso en espacio de usuario a los servidores PVFS. Esta librera maneja las
operaciones necesarias para mover datos entre los buffers de usuario y los servidores PVFS, manteniendo las
operaciones transparentes al usuario. Los grÆcos anteriores muestran el ujo de datos en el sistema PVFS para
las operaciones con metadatos (arriba) y el acceso a los datos (abajo). Para las operaciones con metadatos, las
aplicaciones se comunican mediante la librera con el servidor de metadatos. Cuando se accede a los datos, el
servidor de metadatos se elimina de la ruta de acceso y se contacta con los servidores de E/S.

3

Finalmente, el soporte PVFS para el kernel Linux provee la funcionalidad para montar sistemas PVFS en los
nodos Linux. Esto permite a los programas existentes acceder a los datos almacenados en PVFS sin
modicaciones.

PVFS (Parallel Virtual File System)

Flujo de datos a travØs del Kernel

La gura anterior muestra el ujo de datos a travØs del kernel, cuando el soporte del nœcleo estÆ activo.

3. Interfaces de aplicacion

Para que cualquier sistema pueda utilizar PVFS, existen distintas interfaces de acceso. Estas son:

API nativa de PVFS





Interfaz para el nœcleo Linux
Interfaz ROMIO MPI-IO

La API nativa de PVFS provee una interfaz similar a UNIX para el acceso a los archivos almacenados en PVFS.

La interfaz para el nœcleo Linux permite a las aplicaciones acceder a los datos de la forma tradicional.

ROMIO implement las llamadas MPI2 I/O en una librera portable. Esto permite a los programadores de
aplicaciones paralelas que utilizan MPI, el acceso a los datos de PVFS gracias a la interface MPI-IO.

4. Licencia de este documento

Se otorga permiso para copiar, distribuir y/o modicar este documento bajo los tØrminos de la Licencia de
Documentacin Libre GNU, versin 1.1 o cualquier versin posterior publicada por la Free Software
Foundation. Puedes consultar una copia de la licencia en http://www.gnu.org/copyleft/fdl.html
(http://www.gnu.org/copyleft/fdl.html)

4

PVFS (Parallel Virtual File System)

Bibliografa

Documentacin sobre clusters
[PVFS HomePage (http://www.pvfs.org/)]

[ Experiences with the Parallel Virtual File System (PVFS) in Linux Clusters

(http://www.linuxclustersinstitute.org/Linux-HPC-Revolution/Archive/PDF02/13-Milfeld_K.pdf)] Kent
Milfeld, Avijit Purkayastha, Chona Guiang.

[Beowulf PVFS (http://www.nas.nasa.gov/SC2000/GSFC/beowulf_pic2.html)] Ryan Spaulding.

<[email protected]>

5