PDF de programación - LadonOS Final 16

WWW.HPCSIE.COM @hpcsie

LadonOS está basado en distribuciones CentOS. CentOS
es una variable de código libre de Red Hat. Al utilizar dicha
distribución el sistema ofrece una perfecta armonía entre
fiabilidad, seguridad y eficiencia. Actualmente se instala en la
última versión estable de CentOS 6.

(wiki)CentOS (Community ENTerprise Operating System)
es una bifurcación a nivel binario de la distribución Linux Red
Hat Enterprise Linux RHEL, compilado por voluntarios a partir
del código fuente publicado por Red Hat.

Podemos utilizar un gran número de drivers propietarios
tales como Infiniband, Intel PHI, GPUS y compiladores CUDA
Ofrece prácticamente un abanico ilimitado de librerías y
compiladores.

Todo ello desarrollado íntegramente en software GNU,
sin capas propietarias ni de terceros. Lo que permite a LadonOS
ser
totalmente personalizado. El código de desarrollo es
plenamente libre y podrá ser modificado en función de las
necesidades del sistema a instalar. Por lo que cada LadonOS
instalado se personaliza para el HPC destinado. LadonOS
siempre se dará LLAVE EN MANO, plenamente configurado.

Todo ello pensado para hacer de su entrono HPC un
centro sencillo de utilizar, con todos los elementos bajo control
y gestionado desde un nodo principal o “frontend”, el cual se
encargará de administrar el resto de nodos.

WWW.HPCSIE.COM @hpcsie

LadonOS utiliza una red gigabyte para el control y gestión de nodos, así
como los servicios de los mismos. Una vez configurado el entorno de servidor,
éste instalará software en los nodos a través de un sistema PXE. LadonOS no
utiliza aplicaciones de clonado, realiza instalaciones limpias con elementos de
post‐instalación,
lo que nos permite que sea instalado en máquinas con
diferente arquitectura de hardware. En caso de fallo de un nodo este queda
repuesto en cuestión de minutos.

Así mismo, en dicho sistema se incluye una red adicional dedicada al
entorno IPMI (Vlan). Con dicha red se obtiene información sobre eventos de
nodos, sensores y es posible en uso de un KVM Over Lan, como si
estuviéramos delante del nodo afectado. Esta tecnología mejora el orden del
cableado, siendo prescindible un entorno KVM físico. La red IPMI puede
instalarse por separado si el cliente lo desea, o bien, entornos bounding o
fault tolerance con redundancia LAN que mejora de rendimiento.

También en entornos HPC. Es plenamente compatible con redes 10G o
Infiniband. Pudiendo gestionar un entorno de cálculo paralelo o archivos
distribuidos en varios nodos con un excelente rendimiento.

Lan Gestión, PXE e IPMI

Redes Baja Latencia

WWW.HPCSIE.COM @hpcsie

Ejemplo de LadonOS instalado en la UAB.
Con conectividad IPMI dedicada para
gestión (cableado amarillo), Lan de gestión
de OS e instalación PXE (cableado azul) y
sistema Infiniband 40gb/s (cableado negro).

En las imágenes inferiores  se puede apreciar la diferencia del mismo HPC usando 
KVM e IPMI. Universidad de Alcalá actualizado a LadonOS con IPMI en Enero 2015.

SISTEMA
LAN  E IPMI

SISTEMA
LAN Y KVM

WWW.HPCSIE.COM @hpcsie

LadonOS es totalmente compatible con entornos de cálculo en GPU.

Ha sido verificado en un sinfín de entornos de producción y actualmente está
en plena productividad en diversos HPC de renombre nacional. La
compatibilidad con CUDA y Nvidia‐SMI es total, permitiendo entornos
híbridos de CPU+GPU.

En la imagen de la izquierda se 
encuentra el HPC del IRB de 
Barcelona instalado con LadonOS. 
15 nodos cálculo en entorno 
híbrido con 4 GTX Titan Black cada 
nodo y CUDA 5.5. Dispone de una 
totalidad de 173280 cores de GPU 
y 300 cores de CPU. 

Han sido utilizadas plataformas 
específicas de alta disipación de 
calor con ventiladores adicionales 
para el óptimo funcionamiento 
24x7.

LadonOS ha sido probado con tecnología Maxwell y 
Kepler. Así como cuda 5.5, 6.5 y el reciente Cuda 7.

WWW.HPCSIE.COM @hpcsie

LadonOS está pensado para entornos de plena producción 24x7. Es por
ello que dispone de una serie de herramientas de control, gestión y
monitorización para el control de los componentes.

La instalación de los nodos se realiza a través de la red principal,
mediante un sistema Kickstart propagado por NFS desde el servidor principal.
Los nodos quedan instalados en minutos.

http://www.hpckp.org/index.php/conference‐training/upcoming‐conference/273‐hpckp14‐sie‐landonos‐
kickstart‐install‐system
(Conferencia de David Ramírez sobre KS en el HPCKP 2014)

realizar

simultaneas

en

Así mismo, se dispone de un entorno multishell (clustershell), el cual
nodos,
permite
independientemente del número. A la hora de actualizar aplicaciones o
entornos de seguridad posibilita realizar la tarea en cientos de nodos en
pocos minutos.

operaciones

diversos

La seguridad ha sido especialmente cuidada; el servidor hace de
pasarela web al resto de nodos para la correcta actualización de parches y
seguridad. Dispone de servidor IPTABLES, y entornos de seguridad tales como
denyhosts o Fail2ban para evitar ataques de terceros.

Se disponen de diversas herramientas de control. Tales como carga de
trabajo (Ganglia), informes de logs (LogAnalyzer), entornos de IPMI, y webs
tipo Nagios o Zabbix

WWW.HPCSIE.COM @hpcsie

WWW.HPCSIE.COM @hpcsie

LadonOS ha sido totalmente desarrollado para el uso de tecnología IPMI. El
entorno de instalación PXE, la conectividad de nodos, la lectura de sensores, la carga de
imágenes…. Todo ha sido configurado para el uso remoto. Bien con tecnología
KVMOverLAN o SOL (Serial Over Lan). El nodo maestro es el encargado de la gestión IPMI
del resto de nodos. Siendo este independiente con una conexión independiente para el
manejo del mismo.

IPMI permite la lectura de sensores, apagado y encendido de máquina, visor de
eventos y configuraciones de BIOS desde el ordenador remoto. Sin necesidad de
desplazamientos al CPD o servidor físico.

KVM

SOL

WWW.HPCSIE.COM @hpcsie

El servidor de LadonOS, será el encargado del manejo en conjunto del entorno
HPC. Dispone de los servicios necesarios para el correcto funcionamiento del entorno.
Siempre apostamos por soluciones sencillas y fiables, que cumplan todas las funciones
necesarias. El servidor dispone de las siguientes soluciones para la gestión del entorno
HPC entre otras.

Además, en entornos críticos, se ofrece la posibilidad de hacer instalaciones en
diversos servidores con tecnología HA, servicios maestro‐esclavo, réplicas o entornos de
virtualización para servicios dedicados por VM, con posibilidad de migrado, snapshot,
HA, etc…

Directorio de Usuarios

Directorio de HOSTS

Directorios compartidos NFS

Directorios compartidos GFS

Routing y NAT Nodos

Servidor WEB

Servicio de Gestor de Colas

Servicio de DMZ Lan

Servicio de IPMI (Nodos)

Servicio de PXE

Servicio IPTables

Servicio Backup

Servicio X11 (Gnome)

Servicio Log

Servicio OFED IB

Servicio Update

WWW.HPCSIE.COM @hpcsie

LadonOS dispone de diversos directorios exportados por NFS, dichos directorios
son utilizados para la instalación y compilación de programas en el entorno HPC, de este
modo el resto de nodos podrá disponer de ellos a la hora de ejecutar programas y cargar
librerías. El entorno usado es NFS (tanto por lan como por Infiniband) dada su
estabilidad.

En entornos de cálculo en Paralelo y sistema de ficheros distribuido de alto

rendimiento se instala la solución BeeGFS.

http://www.beegfs.com/docs/Introduction_to_BeeGFS_by_ThinkParQ.pdf
http://www.beegfs.com/docs/BeeGFS_Flyer.pdf

Se amplia información en la siguiente página

WWW.HPCSIE.COM @hpcsie

BeeGFS es el sistema de ficheros de alto rendimiento del Centro de Computación
de Fraunhofer. La arquitectura distribuida de metadatos BeeGFS ha sido diseñado para
proporcionar la escalabilidad y la flexibilidad que se requiere para ejecutar aplicaciones
HPC más exigentes de hoy en día.

Sistema Distribuido de Almacenamiento y Metadatos

La división de sistema de almacenamiento y metadatos evita importantes cuellos
de botella. Igualmente el sistema Striping permite que varios servidores puedan heredar
dichos roles, aumentando el performing y los IOPS, Los grandes sistemas se benefician
enormemente de estos sistemas gracias a los múltiples servidores de metadatos.

Tecnología HPC

BeeGFS no requiere parches de Kernell,

los componentes son fácilmente
instalables gracias a sus herramientas de gestión.
Igualmente permite añadir más
clientes y servidores en el sistema HPC siempre que se desee. Así mismo el rendimiento
es excepcional dado que dispone de protocolo nativo RDMA. En caso de no disponer de
infiniband el rendimiento en 10G es sobresaliente.

Uso extremadamente sencillo

Toda la instalación se hace GUI, en pocos minutos el sistema queda plenamente

funcionando. Igualmente cuenta con soporte comercial oficial de diversos niveles.

Cliente y servidores en cualquier máquina

A diferencia de otros sistemas como Lustre, BeeGFS no requiere hardware
especifico, incluso en pequeños entornos los servidores puede efectuar funciones de
cliente en pequeños entornos de HPC.

Gran aumento de coherencia

garantiza un aumento de coherencia.

Comparado con el sistema NFS los cambios son inmediatamente visibles, lo que

WWW.HPCSIE.COM @hpcsie

Open Grid Scheduler/Grid Engine es un sistema de colas de código abierto con
soporte comercial para la gestión de recursos distribuidos. OGS/GE se basa en Sun Grid
Engine, es mantenido por el mismo grupo de desarrolladores que comenzaron a
contribuir al código a partir de 2001, y está liberado bajo una licencia libre y de código
abierto.

Las principales características de este gestor de colas son las que se enumeran a

continuación:

‐ Reservas con antelación
‐ Trabajos en matriz, o paramétricos, y trabajos con interdependencias
‐ Control de cuotas de recursos basada en reglas
‐ Verificador de envío de trabajos (tanto el cliente como el servidor)
‐ Planificación teniendo en cuenta la topología (a nivel de nodo)
‐ Tolerancia a fallos

LadonOS se entrega con el entorno de colas plenamente configurado, y se

ofrece siempre