PDF de programación - Cluster de alto rendimiento

Clusters de Alto Rendimiento

Contenido: M. en A. Iliana Gómez Zúñiga
[email protected]
Expositor: L.S.I. Virgilio Cervantes Pérez
[email protected]

Diseño: Lic. Genaro Ramirez
[email protected]

Porque Linux

Nace Linux



•  Soportar cada vez más dispositivos, sobre todo aquellos que suele

•  1991
•  1993
•  1993
•  1997
•  Linux en otras plataformas como la Power PC de Macintosh, la

Samba

Nace Tux

Surgió el Proyecto KDE y el Proyecto Gnome
Amiga, los IBM S/390, IBM RS-6000, los MIPS de Silicon Graphis,
los Motorola 6800.
tener la PC hogareña, como tarjetas de sonido, tarjetas de captura de
video,
•  Se le agregaron capacidades para redes que le permitían ponerse a la
par de routers, switches, y servicios que habitualmente se asociaban a
máquinas Unix muy costosas.
•  Embebido en un microprocesador, como el de un Palm Pilot. IBM ya
lo puso en un reloj.
•  2001



Escritorios completamente viables.

Como han evolucionado las

plataformas

2100

2100

2100

2100

?

2100

2100

2100

2100

2100

R
E
N
D
I
M
I
E
N
T
O

Clusters

interplanetarios

??

Desktop

SuperCom
-putadoras

Cluster
Local

Cluster/Grid

Cluster/Grid

Globales

¿Qué es un cluster?

•  Los Cluster en
computación son un
colección de
computadoras
interconectadas de alguna
manera, que trabajan en
conjunto, distribuyéndose
las tareas entre ellas,
logrando que el usuario lo
vea como una sola.

Otras definiciones de cluster
•  Un cluster consiste en un conjunto de máquinas y
un servidor de cluster dedicado, para realizar los
relativamente infrecuentes accesos a los recursos
de otros procesos, se accede al servidor de cluster
de cada grupo

del libro Operating System Concepts de Silberschatz
Galvin.

¿Cómo funciona un cluster?

Requerimientos Básicos

•  Un cluster consta de por lo
•  Los nodos de un cluster

menos 2 o más nodos
están conectados entre sí por
al menos un canal de
comunicación
•  Los clusters necesitan
software de control
especializado

Homogeneidad de un cluster

•  Homogéneos: formados por equipos de la misma
arquitectura. Todos los nodos tienen una
arquitectura y recursos similares, de manera que
no existen muchas diferencias entre cada nodo.

•  Heterogéneos: formados por nodos con

distinciones que pueden estar en los siguientes
puntos. Tiempos de acceso distintos

•  Arquitectura distinta
•  Sistema operativo distinto
•  Rendimiento de los procesadores o recursos sobre una misma

arquitectura distintos

¿Por qué construir un cluster?
Cuando necesitamos que una aplicación o
servicio disponga de :

•  Alta Disponibilidad (High Availability )
•  Alta Confiabilidad (High Reliability )
•  Alto Rendimiento (High Performance)

Alta Disponibilidad (High Availability )
•  Sistemas de información redundante
•  Sistemas tolerantes a fallos
•  Balanceo de carga entre varios servidores
•  Balanceo de conexiones entre varios
servidores

Alta Confiabilidad (High Reliability )
•  Generalmente este tipo de clusters suele ser
utilizado para entornos de tipo empresarial y
esta funcionalidad solamente puede ser
efectuada por hardware especializado.

Alto Rendimiento (High Performance)
•  Cálculos matemáticos
•  Renderizaciones de gráficos
•  Compilación de programas
•  Compresión de datos
•  Descifrado de códigos

¿Con que construyo mi cluster?

•  Opción I: son construidos en su totalidad
usando hardware y software común y
utilizando tecnología estándar como SCSI,
tarjetas de red Ethernet etc.(más
económicos).
•  Opción II: construidos con hardware
especial para lograr un mejor desempeño.
(más caros).

Requiere Software como..

•  MPI
•  PVM
•  PBS

Top500

•  En la página de www.top500.org se publica
dos veces por año la lista de las
supercomputadoras más rápidas del mundo.

Barcelona Supercomputer Center

MareNostrum

US Army Research Laboratory (ARL)

eServer Blue Gene Solution /
65536

JS20 Cluster, PPC 970, 2.2 GHz,
Myrinet / 4800

BlueGene/L

Computer / Processors

Top500
Manufacturer
IBM
IBM
Linux Networx
Fujitsu
Hewlett-Packard
Linux Networx/Quadrics
IBM/Quadrics
IBM
Atipa Technology

Country/Year
United States/2005
Spain/2005
United States/2004
Japan/2004
United States/2003
United States/2002
United States/2003
Japan/2004
United States/2005

AIST Super Cluster P-32

John Von Neumann

Quadrics / 1920

Quadrics / 2304

(RIKEN)

LNX Cluster, Xeon 3.4 GHz,
Myrinet / 2048

Cluster Platform 6000 rx2600
Itanium2 1.5 GHz, Quadrics /
1936

AIST Super Cluster P-32, Opteron
2.0 GHz, Myrinet / 2200

Lawrence Livermore National Laboratory

MCR Linux Cluster Xeon 2.4 GHz -

Lawrence Livermore National Laboratory

xSeries Cluster Xeon 2.4 GHz -

Institute of Physical and Chemical Res.

RIKEN Super Combined Cluster / 2048

Pacific Northwest National Laboratory

Mpp2

Grid Technology Research Center, AIST

DOE/Bettis Atomic Power Laboratory

Atipa Cluster, Opteron, Myrinet / 1090

Site

DOE/NNSA/LLNL

Rank
1
5
28
29
30
34
42
46
75

Rmax

136800

27910

8770

8728

8633

7634

6586

6155

4035

Rpeak
183500
42144
13926
12534
11616
11060
9216
8800
5232

Estadisticas del 2002

•  Un total de 55 clusters de PCs basados en
Intel y ocho en AMD estaban presentes en
el TOP500.
•  El número de clusters en el TOP500 creció
a un total de 93 sistemas. Catorce de estos
clusters se etiquetan como 'Auto
construidos' al haber sido diseñados y
ensamblados por los propios usuarios
finales.

Aplicaciones corriendo en clusters
•  Simulaciones de biotecnología,
•  Petroleras,
•  Modelación de mercados financieros,
•  Grandes cálculos matemáticos,
•  Predicción del clima,
•  Servidores de Internet.

Ejemplos

•  Un negocio en Internet que recibe millones de

• 

peticiones por día, y tiene que asegurarse de que
los servidores respondan rápidamente a las
peticiones de los clientes (Rendimiento)
disponibles todo el tiempo aun cuando exista
algún problema en alguno de ellos.
(Disponibilidad)

Asegurarnos de que nuestros servidores estén

¿Porque cluster con linux?

•  Costo – beneficio

•  Escalabilidad

•  Estabilidad

Ejemplos de cluster con linux
•  ** La película Titanic hizo todas sus animaciones
y efectos especiales con cluster basados en Linux.
•  ** El proyecto Genoma Humano fue realizado con
cluster basados en Linux, y con software de
código abierto.
•  ** En Japón donde hay un gran interés por
predecir las tormentas acaban de construir uno de
los supercomputadores más grandes del mundo
utilizando clusters de Linux para cálculo
numérico.

Grid Vs. Cluster

Distribución de Software:

•  OpenMosix
•  Scyld
•  Oscar
•  Rocks
•  Atipa
•  N1

Instalación de la distribución Rocks:

VENTAJAS DE ROCKS

•  Facil de Instalar
•  Facil para construir
•  Facil de administrar
•  Facil de usar

Características de ROCKS

•  RedHat Linux

•  Soporta las siguientes Procesadores:

– AMD
– Itanium

Requerimientos minimos de

Hardware

Nodo Maestro:
•  Disk Capacity: 16 GB
•  Memory Capacity: 512 MB
•  Ethernet: 2 physical ports (e.g., "eth0" and "eth1")

Nodo Esclavo:
•  Disk Capacity: 16 GB
•  Memory Capacity: 512 MB
•  Ethernet: 1 physical port (e.g., "eth0")

Referencias
•  http://www.straddle3.net/context/
02/02112 .es.html
•  http://www.top500.org
•  http://www.rockclusters.org
•  http://www.linuxvirtualserver.org