PDF de programación - Guía para el uso de la supercomputadora Miztli

Guía para el uso de la supercomputadora Miztli

Dirección General de Tecnologías de Información y Comunicación

Coordinación de Supercómputo

UNAM

Índice
1. Descripción general del equipo

2. Conexión a Miztli

3. Espacios de almacenamiento

4. Uso de aplicaciones

4.1. Aplicaciones disponibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2. Consultar información sobre las aplicaciones . . . . . . . . . . . . . . . . . . . . . .
4.3. Activación y desactivación de aplicaciones . . . . . . . . . . . . . . . . . . . . . . .
4.3.1. Activación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.2. Desactivación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4. Listar aplicaciones activas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.5. Limpieza del ambiente de trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5. Compilación de códigos

5.1. Programas de memoria Compartida . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2. Programas de memoria Distribuida . . . . . . . . . . . . . . . . . . . . . . . . . . .

6. Uso del sistema de colas

6.1. Jobs y colas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2. Envío y monitoreo de jobs.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.3. Memoria compartida y memoria distribuida. . . . . . . . . . . . . . . . . . . . . . .
6.4. Consideraciones adicionales para el uso de nodos regulares . . . . . . . . . . . . . .

7. Consulta del consumo de recursos

A. Descripción de las colas

B. Más información sobre jobs paralelos

B.1. Descripción de los nodos y sus diferencias . . . . . . . . . . . . . . . . . . . . . . .
B.2. Otros casos de jobs de memoria compartida . . . . . . . . . . . . . . . . . . . . . .
B.3. Otros casos de jobs de memoria distribuida . . . . . . . . . . . . . . . . . . . . . .

2

2

2

5
5
5
6
6
7
7
7

7
7
8

8
8
9
11
12

14

15

16
16
17
20

La presente guía contiene información básica para utilizar la supercomputadora Miztli. Si re-
quiere mayor información, envíe un mensaje de correo electrónico a [email protected]

1

1. Descripción general del equipo

La supercomputadora Miztli es una computadora que cuenta con diferentes tipos de recursos de
procesamiento:
Nodos regulares

Constituyen la cantidad más grande de cores de la supercomputadora por lo que están dedi-
cados a efectuar la mayor parte de los cálculos que en ella se realizan. En total son 372 nodos
con procesadores Intel Xeon E5, que suman 6184 cores, contenidos en dos tipos de nodos
regulares, pero agrupados en tres grupos distintos:

g1. Contienen dos procesadores E5-2670v1, un total de 16 cores y 64 Gbytes de RAM.
g2 a y g2 b. Contienen dos procesadores E5-2660v3, un total de 20 cores y 128 GBytes
de RAM.

Nodos 256g

Son 10 nodos con procesadores Intel E5-2670v1 y 256 GBytes de RAM, para un total de 160
cores destinados a los cálculos que requieren una cantidad excepcional de memoria RAM.

Nodos GPU

Son 8 nodos con procesadores Intel E5-2670v1 y 2 tarjetas NVIDIA M2090. En total son 128
cores y 16 tarjetas M2090 dedicados a los cálculos que requieren el uso de GPUs (programas
hechos con CUDA Toolkit).

Todos los tipos de nodos deben utilizarse a través del sistema de colas de Miztli. En la Sección 6
se muestran los comandos básicos y algunos ejemplos.

2. Conexión a Miztli

Para acceder a la supercomputadora Miztli, se debe acceder en primera instancia a la VPN de
la Coordinación de Supercómputo, posteriormente se realiza una conexión a la supercomputadora
mediante un cliente de SSH. En caso de que su máquina se encuentre dentro de Red UNAM, puede
realizar directamente la conexión de SSH. Si requiere información adicional acerca del acceso a la
supercomputadora, por favor comuníquese a la Coordinación de Supercómputo.

3. Espacios de almacenamiento

Cada usuario tiene tres espacios de almacenamiento distintos en Miztli:

TEMPORAL (TMPU). Es el espacio de mayor capacidad y el único disponible para la
ejecución de sus jobs. No está restringido, pero es depurado de forma automática y periódica.
PERMANENTE (BAUL). Es un espacio restringido en el que pueden almacenarse ar-
chivos de forma permanente.
HOME. Es un espacio dedicado a los archivos de configuración de cada cuenta.

Cada uno de estos espacios está implementado en diferentes sistemas de almacenamiento (/tmpu,
/baul1 y /baul2, /home, respectivamente). Puede consultar información acerca de ellos mediante
el comando df:

2

Size

Used Avail Use % Mounted on

% df -lh
Filesystem
...
nfs1_ib :/ home
nfs1_ib :/ baul1
nfs1_ib :/ baul2
172.20.2.101 @o2ib :172.20.2.100 @o2ib :/ hpcfs

400G
9.0T
11T

461G
12T
12T

37G
2.2T
890G

9 % / home
20 % / baul1
8 % / baul2

...

219T

142T

75T

66 % / tmpu

Otras características de los espacios de almacenamiento son las siguientes:

TMPU

• /tmpu es el sistema de almacenamiento principal del equipo de supercómputo Miztli.
• Está implementado en un sistema de archivos tipo Lustre, paralelo, de alto rendimiento,

exportado a través de una red Infiniband.

• En TMPU debe almacenarse la información que se genera en el tiempo de ejecución de

los programas, tales como archivos temporales o de scratch.

• No hay límites para el uso de TMPU, pero los archivos no pueden almacenarse perman-

temente ahí.

• Si desea conservar algunos archivos almacenados en TMPU, debe moverlos a BAUL o

hacer un respaldo en su máquina local.

Para acceder a su directorio en /tmpu, utilice la variable de ambiente TMPU:
cd $TMPU

o bien, mediante la ruta completa a su directorio en /tmpu:
cd / tmpu / nombre_de_grupo / nombre_de_usuario

BAUL

• Está dedicado a albergar archivos de forma permanente.
• Es un sistema de archivos tipo NFS y es el segundo espacio de almacenamiento más

grande en el equipo de supercómputo Miztli.

• A diferencia de TMPU, el espacio disponible para cada usuario en BAUL si está limitado.
• Se recomienda utilizar BAUL para almacenar archivos de resultados y/o archivos que

ya no serán accedidos frecuentemente.

• Sólo se puede usar desde el nodo de login. Es decir, no se pueden usar archivos en

BAUL en los jobs que se ejecuten mediante el sistema de colas.

• El espacio disponible en BAUL se reparte entre todos los integrantes de un grupo.

Para conocer el estado del uso grupal en $BAUL, utilice el siguiente comando:

3

% quota -gs alfa_g
Disk quotas for group alfa_g (gid 0000):
Filesystem
nfs1_ib :/ baul2 / 2908 M 97657 M 100G
...

blocks quota limit grace files quota limit grace

988

0

0

Para acceder al directorio /baul{N} que le corresponde, utilice la variable de ambiente BAUL:

cd $BAUL

o bien, mediante la ruta completa a su directorio en $BAUL:

cd / baulN / nombre_de_grupo / nombre_de_usuario

donde N puede ser 1 o 2 dependiendo del grupo.
HOME

• Es el espacio de almacenamiento más pequeño.
• Es un sistema de archivos tipo NFS.
• Es el directorio de inicio al acceder al equipo.
• Al igual que BAUL, el espacio disponible en HOME está limitado por cuotas del sistema.
• No debe utilizarse para almacenar archivos temporales generados por sus jobs.

Para conocer su cuota, utilice el siguiente comando:
% quota -s
Disk quotas for user alfa (uid 0000):
Filesystem
nfs1_ib :/ home /

489M

blocks quota limit grace files quota limit grace
20496

500M

816

0

0

Para acceder a su directorio en /home, utilice la variable de ambiente HOME:

cd $HOME

o bien, mediante la ruta completa a su directorio en /home:

cd / home / nombre_de_grupo / nombre_de_usuario

Es importante recordarle que, de acuerdo a los Términos y Condiciones de Uso de la Super-
computadora Miztli, la Coordinación de Supercómputo no realiza respaldos de la información de
los usuarios, y por lo tanto no es responsable en ningún caso de pérdida total o parcial. Por lo
anterior, se le recomienda hacer respaldos periódicos en su infraestructura local.

4

4. Uso de aplicaciones

En Miztli, el software instalado y configurado por la Coordinación de Supercómputo es clasificado
como:

Aplicaciones - Software de un modelo computacional específico.
Bibliotecas - Programas con colecciones de subrutinas que son utilizadas por otros.
Compiladores - Son programas para generar código ejecutable.
Herramientas - Programas para diseñar, desarrollar y analizar aplicaciones.
Personal - Software propio de un usuario (instalado por la coordinación o por el usuario).

En esta sección llamaremos aplicación a cualquier tipo de software de esta clasificación.
La acciones que se pueden realizar sobre la aplicaciones son:

Listado de las aplicaciones disponibles.
Consultar información de una aplicación.
Activar o desactivar el ambiente para usar aplicaciones.
Listar las aplicaciones activas en el ambiente de trabajo.
Limpieza del ambiente de trabajo.

Y son efectuadas mediante el comando module

4.1. Aplicaciones disponibles

Mediante la opción avail1. se listan las aplicaciones disponibles:
Listar todas la aplicaciones.
$ module av

Listado de herramientas
$ MODULEPATH =/ opt/SC/ modulefiles / herramientas module av

Listados de bibliotecas.
$ MODULEPATH =/ opt/SC/ modulefiles / bibliotecas / module av

4.2. Consultar información sobre las aplicaciones

Para mostrar una descripción del software o detalles a tomar en cuenta para el uso de la aplicación,
utilizar la opción help.
$ module help nameApp

Mostrar una breve descripción breve de lo anterior, utilizar la opción whatis.

1Algunas opciones del comando module pueden ser abreviadas, por ejemplo, avail como av

5

$ module whatis nameApp

Para desplegar la ubicación del archivo de configuración, así como las modificaciones que sufrirá
el ambiente cuando la aplicación sea activada, emplear la opción show.
$ module show nameApp

4.3. Activación y desactivación de aplicaciones

No se puede usar una aplicación sin activarla en el ambiente de trab