PDF de programación - El manual para el clustering con openMosix

September 6, 2004
Version Beta!

El manual para el

clustering con openMosix

miKeL a.k.a.mc2 Miquel Catalan i Cot

Versi·on 1.0

6 de septiembre de 2004

September 6, 2004
Version Beta!

September 6, 2004
Version Beta!

Este manual est·a dedicado a todos aquellos
que han hecho, hacen y har·an que haya algo que
documentar. A todos los desarrolladores del proyecto
openMosix, muchas gracias.

Menciones especiales para:

Louis Zechtzer
Martin Hły
Brian Pontz
Bruce Knox
Matthew Brichacek
Matthias Rechenburg
Maurizio Davini
Michael Farnbach
Mark Veltzer
Muli Ben Yehuda (a.k.a. mulix)
David Santo Orcero (a.k.a. irbis)

Moshe Bar coordinador, autor de MFS y DFSA

Copyright c miKeL a.k.a.mc2 & Kris Buytaert.
Permission is granted to copy, distribute and/or modify this document
under the terms of the GNU Free Documentation License, Version 1.2
or any later version published by the Free Software Foundation;
with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts.
A copy of the license is included in the section entitled GNU
Free Documentation License.

September 6, 2004
Version Beta!

September 6, 2004
Version Beta!

Este manual ha estado posible gracias a las importantes contribuciones de:

Carlos Manzanedo y Jordi Polo. Ambos han aportado texto en los cap·tulos sobre gen-
eralidades de la supercomputaci·on. Tambi·en del ap·endice sobre GNU/Linux. Ingenieros Inform·aticos por la
Universidad de Alcal·a de Henares (Madrid).
Extractos de la documentaci·on de su proyecto de nal de carrera Clusters para Linux (septiembre 2001).

David Santo Orcero (irbis). Aportaciones desde su inmenso archivo personal que cubren
las secciones de instalaci·on, ajustes y herramientas de usuario de openMosix. La relevancia de dichas aporta-
ciones se deben a que es el desarrolaldor de las mismas.
Ingeniero Inform·atico por la Escuela T·ecnica Superior de Ingenier·a Inform·atica de M·alaga.

Asimismo agradezco las colaboraciones de:

Ana P·erez Arteaga correcciones ortogr·acas
C. W. Strommer traducci·on de las PMF (preguntas m·as frecuentes)
Jaime Perea cap·tulo sobre PCMCIA
Marcelo Stutz acceso a openMosixview con ssh y el Stress-Test
Ross Moore gracias por contestar todas mis dudas sobre latex2html

Todos nosotros nos hemos esforzado y lo haremos para que a usuarios como t·u les sea ·util esta gu·a,

por ello te animamos a hacernos llegar cualquier ambig¤uedad, error o consejo para poder mejorarla.
Tambi·en a t· que has sabido ver el poder de la comunidad libre y vas a convertir tus PCs en un supercomputador,
gracias.

September 6, 2004
Version Beta!

September 6, 2004
Version Beta!

Lo primero que sueles preguntarte cuando un libro se pone a tu alcance
es si valdr·a la pena pasar tiempo ley·endolo. Y las dudas parecen ser di-
rectamente proporcionales al tamano del mismo.
Sea cual haya sido la referencia que te haya llevado hasta aqu·, si has
llegado ha sido porque ya te has preguntado: ¿puedo disponer de la po-
tencia de todas mis computadoras a la vez?
Igualmente, sea cual haya sido la raz·on que te ha motivado a pensar en
montar tu propio sistema cluster, sabr·as que no es f·acil andar solo el
camino.
Montar un supercomputador no es trivial y los autores -y la comunidad
que ha querido contribuir en esta documentaci·on- pretenden acompanarte
en tu andadura.

...porque no eres el ·unico cansado de la ley de Moore, porque alguien
m·as piensa que en la uni·on est·a la fuerza, porque alguien tiene que hacer
el trabajo sucio: sigue leyendo.

x ABSTRACT

Los sistemas cluster hace anos que fueron disenados, la computaci·on paralela y distribuida no es ninguna
novedad en el ano 2004. No obstante no hab·a sido hasta ahora que el usuario hab·a empezado a necesitarlas.
La tecnolog·a del silicio est·a llegando a sus postrimer·as y los computadores cu·anticos a·un est·an en fase de
desarrollo.

Mientras grandes empresas, instituciones y universidades selectas disponen -desde hace anos- de grandes
computadoras superescalares, el usuario hab·a estado relegado -al menos hasta ahora- a m·aquinas SMP en el
mejor de los casos.

Pero todo esto est·a canviando: la demanda de rendimiento no puede ser suplida por la arquitectura mono-
procesador y menos por los x86 compatibles. La soluci·on que han adoptado los fabricantes ha estado saltar a
arquitecturas de 64 bits o aumentar m·as a·un la frecuencia de bus. Son desplazamientos del mismo problema en
el tiempo.

En este marco toman mayor importancia los clusters, concebidos para proporcionar c·alculo paralelo con
componentes habituales en el mercado. Estaciones de trabajo conectadas por red trabajando de forma cooperativa
que permiten aumentar notablemente las prestaciones de todas ellas por separado.

En este documento se han desarrollado diversos m·etodos para llegar a construir -y mantener- un cluster

openMosix a partir de cero, es decir, desdel hardware.

La documentaci·on aportada deja claras las grandes capacidades tecnol·ogicas de openMosix, que se podr·an
aprovechar en proyectos de pequena, mediana o gran dimensi·on gracias a su escalabilidad y exibilidad. Tambi·en
se enfatiza en la importancia de la aplicaci·on de las tecnolog·as de programario libre como mejor soluci·on para
poner en manos del usuario las mejores herramientas que posibilitar·an un futuro enriquecedor tanto tecnol·ogica
como socialmente. Este entorno es el que mejor deende la propia congruencia de intenciones ya sea en la l·ogica
docente, donde priman -o deber·an hacerlo- el conocimiento y su libre difusi·on, o dentro de la l·ogica empresarial
-donde se prioriza el benecio al menor coste posible-.

Palabras Clave: supercomputaci·on, cluster, gnu/linux, openmosix, ssi, diskless.

September 6, 2004
Version Beta!

September 6, 2004
Version Beta!

·Indice de guras

2.1. Paralelismo. Ejemplo de incremento de speedup obtenido con la ley de Amdahl
. . . .
2.2. Arquitecturas. Multiprocesadores en bus . . .
. . . .
2.3. Arquitecturas. Multiprocesadores en conmutador
2.4. Arquitecturas. Red Omega . .
. . . .
2.5. Sistemas distribuidos. Escalabilidad de servicios en una empresa .

. . . .
. . . .
. . . .
. . . .

.
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .

. . .
.
. . .

. . . .

. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .

. . . .

. . . .
3.1. Sistemas operativos. NFS . . .
. . .
. . . .
3.2. Sistemas operativos. GFS con servidor central . . .
. . . .
3.3. Sistemas operativos. SAN . . .
. . .
3.4. La importancia de la red. Topolog·a de redes est·aticas . . .
3.5. La importancia de la red. Barras cruzadas
. . . .
3.6. La importancia de la red. Red din·amica con bloqueo . . .
3.7. La importancia de la red. Red din·amica reordenable . . . .
. . . .
3.8. La importancia de la red. Encapsulamiento IP . . .
3.9. La importancia de la red. Conexi·on TCP . . .
. . .
. . . .

. . . .

. . . .

. .

. . .

. . . .

. . . .

4.1. Clusters. Cluster a nivel de sistema y nivel de aplicaci·on .
4.2. Clusters HA. Redundancia . .
. . . .
. . .
. . . .
4.3. Clusters HA. Topolog·a t·pica de un LVS b·asico . .
. . . .
. . .
4.4. Clusters HA. Conguraci·on VS-NAT . . . .
. . . .
. . .
4.5. Clusters HA. Conguraci·on VS-TUN . . . .
4.6. Clusters HA. Conguraci·on VS-DR .
. . . .
. . .
. . . .
. . . .
4.7. Clusters HA. Problema del ARP . . .
. . .
. . . .
. . . .
4.8. Clusters HA. Funcionamiento del kernel LVS . . .
. . . .
. . .
4.9. Clusters HA. NAT y DR un caso pr·actico . .
4.10. Clusters HP. Comunicaciones en PVM . . . .
. . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . .
5.1. openMosixview: Aplicaci·on principal
. . . .
. . . .
. . . .
. . .
5.2. openMosixview: Propiedades de los nodos . .
. . . .
. . . .
. . .
5.3. openMosixview: Ejecuci·on avanzada .
. . . .
. . . .
5.4. openMosixprocs: Administraci·on de procesos . . .
. . . .
. . . .
5.5. openMosixprocs: La ventana de migrado de un proceso(1)
. . . .
5.6. openMosixprocs: La ventana de migrado de un proceso(2)
. . . .
5.7. openMosixanalyzer. Historial de actividad de procesamiento del cluster
.
5.8. openMosixanalyzer. Estad·sticas de los nodos . . .
. . . .
5.9. openMosixanalyzer. Historial de actividad de memoria de nuestro cluster
5.10. openMosixhistory. Un historial de los procesos ejecutados
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .

. . . .

. . . .

9

. . .
. . .
. . .
. . .
. . .

. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .

. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .

. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .

. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .

.
.
.
.
.

.
.
.
.
.
.
.
.
.

20
35
36
37
43

62
64
64
70
70
71
71
75
77

.
86
.
97
. 102
. 104
. 105
. 106
. 109
. 110
. 114
. 130

. 185
. 187
. 188
. 190
. 191
. 192
. 193
. 194
. 195
. 196

September 6, 2004
Version Beta!

September 6, 2004
Version Beta!

·Indice de cuadros

2.1. Paralelismo. L·mites de la computaci·on paralela . .
. . . .
2.2. Arquitecturas. Procesador dividido en 4 etapas y sin dependencias . . . .
2.3. A