PDF de programación - Nuevo modelado de computación paralela con clusters Linux

Nuevo modelado de computación

paralela con clusters Linux

miKeL a.k.a.mc2

Miquel Catalan i Cot

VI Congreso HISPALinux

MADRID - 24 septiembre 2003

...porque en el camino hacia la sociedad del software
libre deberíamos estar todos.

Menciones especiales para:

Louis Zechtzer
Martin Høy
Brian Pontz
Bruce Knox
Matthew Brichacek
Matthias Rechenburg
Maurizio Davini
Michael Farnbach
Mark Veltzer
Muli Ben Yehuda (a.k.a. mulix)
David Santo Orcero (a.k.a. irbis)

Moshe Bar principal desarrollador, autor de MFS y DFSA

Copyright c miKeL a.k.a.mc2.
Permission is granted to copy, distribute and/or modify this document
under the terms of the GNU Free Documentation License, Version 1.2
or any later version published by the Free Software Foundation;
with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
A copy of the license is included in the section entitled GNU
Free Documentation License.

>> PR ÓLOGO

Los sistemas cluster hace años que fueron diseñados, la computación paralela y distribuida no es ninguna
novedad en el año 2003. No obstante no había sido hasta ahora que el usuario havia empezado a necesitarlas.
La tecnología del silicio está llegando a sus postrimerías y los computadores cuánticos aún están en fase de
desarrollo.

Mientras grandes empresas, instituciones y universidades selectas disponen –desde hace años– de grandes
computadoras superescalares el usuario había estado relegado –hasta ahora– a máquinas SMP en el mejor de los
casos.

Pero todo esto está cambiando, la demanda de rendimiento no puede ser suplida por la arquitectura mono-
procesador y menos por los x86 compatibles. La solución que han adoptado los fabricantes ha estado saltar a
arquitecturas de 64 bits o aumentar más aún las frecuencias, pero simplemente tratan de desplazar el problema
en el tiempo.

En este marco toman mayor importancia los clusters, concebidos para proporcionar cálculo paralelo con
componentes habituales en el mercado. Estaciones de trabajo conectadas por red trabajando de forma cooperativa
que permiten aumentar notablemente las prestaciones de cualquier sistema informático.

En esta ponencia se sentarán los conocimientos básicos para llegar a construir un cluster openMosix a partir

de cero, es decir, desdel hardware.

La documentación aportada dejará claras las grandes capacidades tecnológicas de openMosix, que se podrán
utilizar en proyectos de pequeña, mediana o gran dimensión gracias a su escalabilidad y flexibilidad. También se
enfatizará en la importancia de la aplicación de las tecnologías de programario libre como mejor solución para
poner en manos del usuario las mejores herramientas que posibilitaran un futuro enriquecedor tanto tecnologica
como socialmente. Este entorno es el que mejor defiende la propia congruencia de intenciones ya sea en la
lógica docente donde priman -o tendrían que hacerlo- el conocimiento y su libre difusión, o dentro de la lógica
empresarial -donde priorizamos el beneficio al menor coste posible-.

Palabras Clave: cluster, linux, openmosix, supercomputaci ón, ssi, diskless.

1
3
4

5
7
8
8
8
8
9
9
9

11
13
13
13

.
.

.
.
.
.
.
.
.
.

.
.
.

Índice general

1. Preliminares

1.1. Computación paralela .
. . . .
1.2. Clasificación de los clusters . .

. . . .
. . . .

. . . .
. . . .

. . .
. . .

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

. . .
. . .

. . . .
. . . .

2. SSI y openMosix

2.1. SSI. Un nuevo paradigma . . .
. . . .
2.2. La mejor alternativa SSI: openMosix .
2.3. Ventajas, desventajas y limitaciones
.
. . . .
. . . .
. . . .
. . . .
. . . .

2.3.1. Ventajas .
. . .
2.3.2. Desventajas . .
2.3.3. Limitaciones .
2.4. Add-ons a openMosix .
2.5. openMosix a fondo . .

. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

3. Puesta a punto

3.1. Disposición del hardware . . .
3.2. Arrancando el sistema .
. . . .
. . . .
3.3. Utilizando el sistema .

. . . .
. . . .
. . . .

. . . .
. . . .
. . . .

. . .
. . .
. . .

. . . .
. . . .
. . . .

. . . .
. . . .
. . . .

. . . .
. . . .
. . . .

. . . .
. . . .
. . . .

. . .
. . .
. . .

. . . .
. . . .
. . . .

7

Capítulo 1

Preliminares

1.1. Computación paralela

3

Now this is not the end. it’s not even the beginning of the end.
But it’s, perhaps, the end of the beginning.

Winston Churchill

Primero fue MOSIX, ahora es openMosix, un proyecto mucho más interesante no sólo desde un punto
de vista técnico sino porque se han mejorado los términos de la licencia que mantenía a MOSIX bajo
código propietario.

1.1. Computación paralela

Computación paralela puede entenderse en base a lo que técnicamente es, el cómputo en varias unidades de
procesamiento, o en base a la finalidad que persigue, el mayor aprovechamiento de un mayor número de recursos
para la reducción del tiempo invertido en un proceso informático.

Uno de los anhelos, seguramente el pioritario, en una sociedad tecnológica cada vez más abruamda por la
ingente cantidad de operaciones necesarias para el análisis de la realidad que nos envuelve, es sin duda el poder
computacional. Esto es a lo que se ha dado referencia en la anterior segunda definición, este es el objetivo. Pero
existen muchas técnicas que intentan acelerar algorismos. En la computación paralela se ha optado por añadir la
gestión de los recursos en el espacio, a la del tiempo ya muy utilizada en sistemas monoprocesador.

La mayor diferencia que implica esta reflexión es sin duda la primera definición, i.e. disponer de varios
procesadores, o recursos para mayor generalización. Esto difiere notablemente de la computación concurrente.
Cuando se hace referencia a supercomputaci ón debe ampliarse el concepto de multitarea al hecho de tener varias
tareas ejecutándose realmente a la vez.

¿Como se concibe pues un sistema de computación paralela? Primeramente debe disponer de varios proce-
sadores. Las diferencias entre las diferentes arquitecturas con este requisito estriban en su disposición y gestión
de la memoria, tipo y topología de la red de comunicación, entre otras.

Disponiendo pues de varias unidades de procesadmiento el siguiente paso es pensar en su comunicación. Es
obvio que los diferentes procesadores deben saber en cada instante el estado global del cálculo para asignarse su
parte, y devolver el resultado una vez haya sido realizado. Y ya tenemos dos de los principales elementos de estas
arquitecturas: las unidades de procesamiento y los elementos de comunicación. Todos estos recursos requieren
ser gestionados, y esa es la parte encargada al software, el tercer elemento imprescindible.

El software diferirá tanto más cuanto más distintas sean las arquitecturas –y sus recursos– que deba gestionar.

En supercómputo básicamente se diferencian dos tipos de arquitectturas tipo: las vectoriales y las distribuidas.

Los sistemas vectoriales suelen ser más –mucho más– caros por el hecho de estar construidos con una
tecnología mucho más vanguardista. Las prestaciones de estos sistemas pueden llegar a ser incomparables con
las modestas computadoras domésticas del mercado de gran consumo aún contando con solamente cuatro proce-
sadores, por ejemplo. En estos sistemas se apuesta po un nivel tecnológico superior, con todo lo que esto conlleva.
Los sistemas distribuidos o clusters, como su propio nombre indica, implementan una política de reparto y
decentralización de recursos. Entre las ventajas con las que cuentan básicamente sobresalen una mayor escalabil-
idad y un menor coste de construcción. Ambos factores han sido decisivos para atraer a un público más extenso,
con menor poder adquisitivo aunque no por esto menos exigente.

Para terminar de entender las diferencias del trasfondo de estas arquitecturas suele darse a un ejemplo fácil de
comprender. Puede pensarse una arquitectura vectorial como un amigo muy listo. Si tuviésemos un gran problema
seguramente pensaríamos que nosotros tardaríamos demasiado tiempo en realizarlo, así que apostaríamos por
ponerlo en manos de un genio como nuestro amigo que sin duda lo realizaría con una parte del tiempo que
invertiríamos nosotros. Las arquitecturas distribuidas se mueven en un contexto más social, es decir, buscaríamos
varios de nuestros amigos de clase para encargarles deberes a cada uno de ellos. Juntaríamos los resultados
aportados por cada uno de nosotros y finalmente podríamos sacar el resultado total.

Las posibilidades de encontrar algunos amigos en clase dispuestos a ayudarnos son mayores que la de en-
contrar un amigo muy listo, en caso de haberlo. Otro aliciente para tomar este camino es la envergadura de los
problemas con los que solemos tratar. Un sistemas de diez ecuaciones puede ser una árdua tarea que nuestro

4

Capítulo 1. Preliminares

amigo listo podría realizar con más o menos esfuerzo, pero intentar encontrar un amigo capaz de enfrentarse a la
resolución de una matriz cuadrada de factor 300 resultaría harto complicado.

La tecnología ha demostrado dar poco márgen a las iniciativas que dan una sola solución pero muy eficiente,
que suele dejar de serlo en poco tiempo al aparecer una mejor. Esta carencia tecnológica puede cubrirse dando
muchas soluciones, y uniéndolas.

Toda esta política ha estado muy estudiada por desarrolladores del mundo entero y ahora mismo estamos
en un marco donde cada una de las dos intenta sobreponerse a la otra, siempre dando cifras de rendimiento.