PDF de programación - Computación Científica en Clusters - Administración de plataformas paralelas

Computación Cientíca en Clusters

Administración de plataformas paralelas

Juan Piernas Cánovas

Febrero de 2010

Computación Cientíca en Clusters

Febrero de 2010

1 / 25

Índice

1 Estructura del curso

2

Introducción a los clusters de ordenadores

3 Diseño de un cluster

4 Lustre

Computación Cientíca en Clusters

Febrero de 2010

2 / 25

Agenda

Estructura del curso

1 Estructura del curso

2

Introducción a los clusters de ordenadores

3 Diseño de un cluster

4 Lustre

Computación Cientíca en Clusters

Febrero de 2010

3 / 25

Estructura del curso

Estructura del curso

Hay dos grandes bloques:

Bloque I: clases presenciales + pequeños trabajos individuales de
cada alumno. Compuesto por dos partes:

Administración de plataformas paralelas.
Programación de plataformas paralelas.

Bloque II: trabajo por grupos de alumnos, tutorizado por un
profesor del curso.

Computación cientíca paralela.

Visión integral: desde el diseño del cluster hasta su uso y
programación.

Computación Cientíca en Clusters

Febrero de 2010

4 / 25

Estructura del curso

Estructura del curso

Hay dos grandes bloques:

Bloque I: clases presenciales + pequeños trabajos individuales de
cada alumno. Compuesto por dos partes:

Administración de plataformas paralelas.
Programación de plataformas paralelas.

Bloque II: trabajo por grupos de alumnos, tutorizado por un
profesor del curso.

Computación cientíca paralela.

Visión integral: desde el diseño del cluster hasta su uso y
programación.

Computación Cientíca en Clusters

Febrero de 2010

4 / 25

Administración de plataformas paralelas

Estructura del curso

Introducción a los clusters de cómputo cientíco: arquitectura general,
software, etc.

Diseño de un cluster. Principales elementos hardware y software de los
nodos de cómputo, de los nodos de almacenamiento de datos y de la red de
interconexión: multiprocesamiento, sistemas RAID, redes Gigabit e
Inniband, etc.

Instalación desatendida de nodos: DHCP, PXE, Kickstart (Fedora), etc.

Gestión centralizada de usuarios: NIS y LDAP.

Conguración de un servicio NFS.

Instalación y conguración de un sistema de cheros paralelo Lustre.

Instalación y conguración de un sistema de colas: Torque, Maui y
SunGridEngine.

Instalación de MPI, de diversos compiladores de C y Fortran que soporten
OpenMP y de bibliotecas optimizadas como Blas/Lapack (incluyendo las
versiones paralelas de éstas).

Computación Cientíca en Clusters

Febrero de 2010

5 / 25

Administración de plataformas paralelas

Estructura del curso

Introducción a los clusters de cómputo cientíco: arquitectura general,
software, etc.

Diseño de un cluster. Principales elementos hardware y software de los
nodos de cómputo, de los nodos de almacenamiento de datos y de la red de
interconexión: multiprocesamiento, sistemas RAID, redes Gigabit e
Inniband, etc.

Instalación desatendida de nodos: DHCP, PXE, Kickstart (Fedora), etc.

Gestión centralizada de usuarios: NIS y LDAP.

Conguración de un servicio NFS.

Instalación y conguración de un sistema de cheros paralelo Lustre.

Instalación y conguración de un sistema de colas: Torque, Maui y
SunGridEngine.

Instalación de MPI, de diversos compiladores de C y Fortran que soporten
OpenMP y de bibliotecas optimizadas como Blas/Lapack (incluyendo las
versiones paralelas de éstas).

Computación Cientíca en Clusters

Febrero de 2010

5 / 25

Introducción a los clusters de ordenadores

Agenda

1 Estructura del curso

2

Introducción a los clusters de ordenadores

3 Diseño de un cluster

4 Lustre

Computación Cientíca en Clusters

Febrero de 2010

6 / 25

Introducción a los clusters de ordenadores

Introducción

En muchos campos de la ciencia es necesario realizar cálculos
y/o simulaciones que requieren una gran potencia de cómputo:

Dinámica de partículas.
Modelado del clima.
Criptografía, etc.

Una mayor potencia de cómputo permite:

Reducir el tiempo en el que se obtienen los resultados.
Mejorar la calidad de los resultados.

Esta potencia es ofrecida hoy en día por los supercomputadores
y, en concreto, por los grandes clusters de ordenadores (ver
http://www.top500.org).

Computación Cientíca en Clusters

Febrero de 2010

7 / 25

Introducción a los clusters de ordenadores

Cluster

Conjunto de ordenadores conectados entre sí que colaboran para
resolver un determinado problema.
No todos los nodos desempeñan el mismo papel. Tres tipos
principales:

Nodo(s) de acceso o de control: administración del cluster,
acceso al cluster, programación, ejecución de programas, etc.
Nodos de cómputo: ejecución de código.
Nodos de almacenamiento: donde residen los cheros que se
procesan o almacenan resultados de la ejecución.

Computación Cientíca en Clusters

Febrero de 2010

8 / 25

Introducción a los clusters de ordenadores

Cluster

Computación Cientíca en Clusters

Febrero de 2010

9 / 25

Introducción a los clusters de ordenadores

Hardware de un cluster

En muchos casos, el hardware (procesadores, memoria, discos
duros, etc.) es muy similar al que podemos encontrar en
cualquier ordenador de sobremesa.
Formato especial para poder ser montados en rack.

Un nodo o servidor Varios tipos de rack

Redes de interconexión de alta velocidad (Gigabit, 10Gigabit,
Inniband, Myrinet, etc.)
½Muy asequibles hoy en día!

Computación Cientíca en Clusters

Febrero de 2010

10 / 25

Introducción a los clusters de ordenadores

Software de un cluster

El sistema operativo es, casi siempre, Linux, en cualquiera de sus
posibles distribuciones (frecuentemente, RedHat Enterprise
Linux, CentOS, Fedora u OpenSUSE).
Gran variedad de software cientíco y de programación
disponible: MPI, OpenMP, BLAS/LAPACK, ScaLAPACK, R,
Grass, Octave, Scilab, Maxima, CUDA/OpenCL, compiladores
de C y Fortran (incluyendo los de Intel), etc, etc.

Computación Cientíca en Clusters

Febrero de 2010

11 / 25

Agenda

Diseño de un cluster

1 Estructura del curso

2

Introducción a los clusters de ordenadores

3 Diseño de un cluster

4 Lustre

Computación Cientíca en Clusters

Febrero de 2010

12 / 25

Diseño de un cluster

Diseño de un cluster

Varios factores a tener en cuenta:

Modelo de programación:

Paso de mensajes.
Memoria compartida.

Carga de trabajo:

Intensiva en CPU.
Intensiva en comunicaciones.
Intensiva en E/S.

Volumen de datos.
Necesidades especícas:

Desarrollo de programas en CUDA.
Uso de procesadores Cell BE.
Uso de FPGAs, etc.

Computación Cientíca en Clusters

Febrero de 2010

13 / 25

Ejemplo de construcción de un cluster

Diseño de un cluster

Vamos a construir un cluster de propósito general con los
siguientes nodos:

1 nodo de acceso al cluster.
4 nodos de almacenamiento (para un sistema de cheros Lustre
de 4 × 1, 5 = 6TB).
16 nodos de cómputo (para un total de 32 procesadores o 128
cores).

Todos los nodos tendrán una altura de 1U y se montarán en un
armario rack.
Es importante asegurarse de que todos los elementos hardware
que deba gestionar el sistema operativo son compatibles con
Linux.

Computación Cientíca en Clusters

Febrero de 2010

14 / 25

Ejemplo de construcción de un cluster

Diseño de un cluster

Precio: entre 40.000 y 60.000 euros.

Puede ser mucho más barato si renunciamos a determinadas
características (potencia y número de procesadores, capacidad y
abilidad de los discos duros, etc.).
No incluimos el coste del software (generalmente, libre).
No debemos olvidar el coste del refuerzo eléctrico y del sistema
de refrigeración (otros 4.0006.000 euros).
Si necesitamos un SAI para el cluster, habrá que sumar otros
6.0008.000 euros.
Tampoco debemos olvidar el coste de un sistema de copias de
seguridad.

Computación Cientíca en Clusters

Febrero de 2010

15 / 25

Diseño de un cluster

Características del nodo de acceso

2 procesadores (Intel Xeon o AMD Opteron).
48 GB de RAM.
Tarjeta RAID con batería.
4 discos duros SATA para servidores de 500GB de capacidad
(que montaremos en RAID5 para tener una capacidad efectiva
de 1,5TB).
2 puertos Gigabit Ethernet: uno para el exterior y otro para la
red interior.

Computación Cientíca en Clusters

Febrero de 2010

16 / 25

Diseño de un cluster

Características de los nodos de almacenamiento

1 o 2 procesadores (Intel Xeon o AMD Opteron).
4 GB de RAM.
Tarjeta RAID con batería.
4 discos duros SATA para servidores de 500GB de capacidad
(que montaremos en RAID5 para tener una capacidad efectiva
de 1,5TB).
2 puertos Gigabit Ethernet: uno para la red de comunicaciones y
otro para la red de gestión.
Tarjeta Inniband para la red de altas prestaciones.
Tarjeta IPMI para la gestión remota.

Computación Cientíca en Clusters

Febrero de 2010

17 / 25

Diseño de un cluster

IPMI

Computación Cientíca en Clusters

Febrero de 2010

18 / 25

Características de los nodos de cómputo

Diseño de un cluster

2 procesadores (Intel Xeon o AMD Opteron).
48 GB de RAM.
1 disco duro SATA para servidores de 250GB de capacidad.
2 puertos Gigabit Ethernet: uno para la red de comunicaciones y
otro para la red de gestión.
Tarjeta Inniband para la red de altas prestaciones.
Tarjeta IPMI para la gestión remota.
Interesante conguración twin:

Computación Cientíca en Clusters

Febrero de 2010

19 / 25

Diseño de un cluster

Características de las redes de interconexión

1 switch Gigabit Ethernet de 48 puertos.
1 switch Inband de 24 puertos.

Computación Cientíca en Clusters

Febrero de 2010

20 / 25

Diseño de un cluster

Consideraciones nales

La instalación del sistema operativo Linux en el nodo de acceso
se hará de la manera tradicional.
Es importante que el nodo de acceso siempre esté actualizado y
que ofrezca al exterior el menor número de servicios posible
(generalmente, el acceso por ssh es más que suciente).
Dentro del cluster, la seguridad puede ser más laxa, siempre que
un usuario no pueda interferir con el trabajo de otro → Será
necesario establecer un sistema de colas.

Computación Cientíca en Clusters

Febrero de 2010

21 / 25

Agenda

Lustre

1 Estructura del curso

2

Introducción