PDF de programación - Guía rápida del cluster HETEREOSOLAR

Universidad de Murcia

Facultad de Informática

Guía rápida del cluster HETEREOSOLAR



Grupo de Computación Cientfíca y Computación Paralela

ÍNDICE

Índice

Guía rápida cluster hetereosolar

1. Características de los nodos de HETEREOSOLAR

2. Cómo comenzar

2.1. Entrada al cluster HETEREOSOLAR . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2. Transferencia de archivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3. Uso interactivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3. Ejecución de trabajos

3.1. Denición del trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

2
2
2
3

3
4

1. Características de los nodos de HETEREOSOLAR

El cluster HETEREOSOLAR consta actualmente de cinco nodos con las siguientes característi-

cas:

luna Es el nodo de acceso, gestión y servidor de archivos. Aunque también se puede utilizar
para tareas de computación. Dispone de una CPU Intel Core 2 Quad Q6600 a 2.40GHz, 4 GB
de RAM y una GPU Nvidia GeForce 9800 GT, con 112 cores (14 Streaming Multiprocessors
y 8 Streaming Processors).

saturno Es un nodo de cómputo. Se trata de un sistema NUMA con 4 Intel hexa-core
NEHALEM-EX EC E7530, con un total de 24 cores a 1.87 GHz y 32 GB de RAM. Dis-
pone de una GPU Tesla K20c (basada en la arquitectura Kepler) con 4800 MBytes de Global
Memory y 2496 CUDA Cores (13 Streaming Multiprocessors y 192 Streaming Processors).

marte y mercurio Son nodos de cómputo con CPU AMD Phenom II X6 1075T (hexa-
core) a 3 GHz y 16 GBytes de RAM, caches L1 y L2 privadas de 64 KBytes y 512 KBytes
respectivamente, y una cache L3 de 6 MBytes compartida por todos los cores. Cada nodo
dispone además de una GPU GeForce GTX 590 con 1536 Mbytes de Global Memory y 512
CUDA cores (15 Streaming Multiprocessors y 32 Streaming Processors).

jupiter Es un nodo de cómputo con dos hexa-cores (12 cores) Intel Xeon E5-2620 a 2.00GHz
y 32 GB de RAM. Dispone de seis GPUs, dos GPUs son Nvidia Fermi Tesla C2075 con 5375
MBytes de Global Memory y 448 cores (14 Streaming Multiprocessors y 32 Streaming Proces-
sors). Las otra cuatro GPUs se agrupan en dos tarjetas, cada una con dos dispositivos Nvidia
GeForce GTX 590 con 1536 MBytes de Global Memory y 512 CUDA cores (16 Streaming
Multiprocessors y 32 Streaming Processors) con un total de 1024 cores por tarjeta.

Los nodos se conectan con tecnología Gigabit Ethernet a una velocidad de 1 Gbit/s y ejecutan
el sistema operativo Ubuntu 12.04.2 LTS con Linux Kernel 3.5 x86_64. En lo que se reere al
almacenamiento, cada nodo tiene un disco local para el sistema operativo, archivos temporales
y swap; adicionalmente el cluster dispone de un sistema de archivos compartido con NFSv4 y
gestionado por el nodo luna para el almacenamiento de los directorios home (/home_nfs) de las
cuentas de los usuarios.

1

PCGUM

Guía rápida cluster hetereosolar

2. Cómo comenzar

2.1. Entrada al cluster HETEREOSOLAR

El acceso al cluster HETEREOSOLAR se realiza a través del nodo de login con nombre de
equipo luna.inf.um.es. Se recomienda a todos los usuarios que utilicen secure shell (ssh) como
medio de conectarse al nodo de login. Desde equipos con sistema operativo Unix/Linux o Mac OSX,
el cliente ssh viene ya instalado y es suciente con abrir una ventana de terminal y ejecutar el
siguiente comando:

localhost$ ssh [email protected]

En equipos con sistema operativo Windows es necesario instalar un cliente de ssh como PuTTY

(http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html.

2.2. Transferencia de archivos

La transferencia de archivos debe realizarse con clientes que soporten el protocolo ssh, tales como
las utilidades de línea de comandos scp, sftp y rsync o clientes para el sistema operativo Windows
como WinSCP (http://winscp.net).

Transferencia desde línea de comandos

La transferencia de datos desde sistemas Unix/Linux puede realizarse utilizando la utilidad scp
para copiar datos desde y hacia el nodo de login de HETEREOSOLAR. Se puede copiar un archivo
desde su sistema local a HETEREOSOLAR utilizando el comando:

localhost$ scp archivo \

[email protected]:/home_nfs/usuario/work/data

Puede consultar la páginas man en HETEREOSOLAR para obtener más información sobre el

comando scp.

El comando rsync es otra utilidad para mantener sus datos actualizados. A diferencia de scp,
la utilidad rsync transere sólo la parte del archivo que haya cambiado (en lugar de transferir el
archivo completo). Por lo tanto, este método de transferencia de datos puede ser mucho más eciente
que scp.

El ejemplo siguiente demuestra la utilización del comando rsync en la transferencia de un archivo
de nombre mi-archivo.c desde su máquina local a un directorio de trabajo en HETEREOSOLAR:

localhost$ rsync mi-archivo.c \

[email protected]:/home_nfs/usuario/work/data

Se puede transferir un directorio y sus contenidos utilizando el comando rsync. En la trans-
ferencia de un directorio las opciones -atvr harán que la transferencia sea recursiva (opción -r),
se respetará la fecha de modicación (opción -t), y los enlaces simbólicos, dispositivos, atributos,
permisos, pertenencia, etc. (opción -a). La opción -v hará que se incremente la cantidad de in-
formación mostrada durante la transferencia. El siguiente ejemplo demuestra la utilización de las
opciones -avtr en la transferencia de un directorio de nombre results desde su máquina local al
directorio data en HETEREOSOLAR:

2

PCGUM

2.3 Uso interactivo

Guía rápida cluster hetereosolar

localhost$ rsync -avt ./results \

[email protected]:/home_nfs/usuario/work/data

2.3. Uso interactivo

El sistema operativo del cluster HETEREOSOLAR es Linux. Cuando entre al sistema se encontrará
en un entorno de trabajo denominado shell que le proporcionará un interprete de comandos.

El shell se congura mediante el archivo .bash_profile o .cshrc en función del interprete de
comandos utilizado. Inicialmente a todos los usuarios se le asigna el intérprete de comandos bash.
El sistema utilizado para establecer el entorno de ejecución para las aplicaciones, librerías, com-
piladores, etc. disponibles está basado en el Paquete Modules (http://modules.sourceforge.net)
que permite la modicación del entorno del usuario de forma dinámica. Los comandos básicos que
nos permiten conocer, establecer o modicar nuestros entorno en función del trabajo a realizar en
el sistema son:

module avail muestra los entornos de trabajo disponibles.

module load app carga el entorno de trabajo para la utilización de la aplicación, librería o
compilador app.

module list muestra los entornos de trabajo que tiene cargados.

module unload app descarga el entorno de trabajo para la utilización de la aplicación, librería
o compilador app.

3. Ejecución de trabajos

Con el n de organizar la utilización de los recursos disponibles en el cluster y garantizar que los
trabajos a ejecutar dispongan de los recursos que necesitan, se requiere que un sistema de gestión
de la carga de trabajo planique la ejecución de los mismos. El sistema para gestión de trabajos
instalado es Torque batch queueing system (antes conocido como OpenPBS) junto con el planicador
Maui. El modo de enviar trabajos consiste en especicar los recursos necesarios para su ejecución,
como puede ser el número de nodos y CPUs, cantidad de memoria, el tiempo necesitado para la
ejecución del programa y, posiblemente, otros recursos. El gestor de trabajos Torque ejecutará el
trabajo cuando los recursos solicitados estén disponibles, sujeto a las restricciones denidas o límites
máximos de utilización.

El acceso a los recursos de HETEREOSOLAR se realiza en modo batch o modo interactivo

utilizando siempre el comando de envío de trabajos de Torque qsub.

Los siguientes comandos de Torque están disponibles para el usuario con el n de comprobar el
estado de las colas, disponibilidad de recursos (nodos de computación), y para poder controlar y
monitorizar trabajos:

qstat muestra información básica de los trabajos en las colas

qstat -a muestra información adicional: número de nodos, tareas, tiempo solicitado, etc.

qstat -n junto con la información básica, muestra los nodos asignados a cada trabajo

qstat -q muestra información sobra las colas

pbsnodes muestra información sobre los nodos

3

PCGUM

3.1 Denición del trabajo

Guía rápida cluster hetereosolar

La ejecución de un trabajo implica el envío del mismo a una de las colas denidas. En la actua-

lidad hay conguradas dos colas en HETEREOSOLAR:

batch Es la cola por defecto, los trabajos que no indiquen un nombre de cola serán enviados
a esta cola. Todos los usuarios de HETEREOSOLAR pueden enviar trabajos a la cola batch.
La duración máxima de un trabajo es de 2 horas (walltime), si un trabajo supera el límite de 2
horas, será nalizado automáticamente. Cada usuario podrá tener como máximo dos trabajos
en la cola batch, uno de ellos en ejecución, otro a la espera de asignación de recursos (en
cola) o dos a la espera de asignación de recursos. Esta cola está asociada con los nodos marte,
mercurio y saturno.

inv Cola para trabajos con gran demanda de recursos. Esta cola no tiene denidos límites de
utilización y está asociada con todos los nodos (también el nodo luna) de HETEREOSOLAR.
Los trabajos enviados a esta cola tendrán preferencia/prioridad sobre los trabajos enviados a
la cola batch. Es una cola de uso restringido a aquellos usuarios que, por el tipo de trabajos
a ejecutar en HETEREOSOLAR, requieren más recursos de los previstos en la cola batch.

3.1. Denición del trabajo

La denición del trabajo se realiza mediante un chero de texto que consiste en los comandos,
códigos, etc. que queremos ejecutar. A este chero de comandos (script) se le añaden directivas que
indican a que cola se enviará el trabajo y que recursos precisa. Las directivas comienzan con #PBS. El
resto de lineas son comentarios (comienzan con #) o comandos que queramos ejecutar en el