PDF de programación - Estado de la Tecnología Grid

13 de enero de 2005

TÉCNICAS DE COMPUTACIÓN CIENTÍFICA

Estado de la Tecnología Grid

Ignacio Martín Llorente
asds.dacya.ucm.es/nacho

Grupo de Arquitectura de Sistemas Distribuidos y Seguridad
Departamento de Arquitectura de Computadores y Automática

Universidad Complutense de Madrid

Laboratorio de Computación Avanzada y Simulación

Centro de Astrobiología CSIC/INTA

Asociado al NASA Astrobiology Institute

¿Qué?

2/61

¿Qué es la computación en red?

¿Qué alternativas existen?

¿Qué es Grid Computing?

¿Cuál es el estado de la tecnología?

La iniciativa IRISGRID

El banco de pruebas IRISGRID

Estado de la Tecnología Grid

Ignacio Martín Llorente

1

¿Por qué?

3/61

La Tecnología Grid constituirá la
próxima generación de Internet

Estado de la Tecnología Grid

Ignacio Martín Llorente

¿Cómo?

4/61

SUPERCOMPUTADOR

CLUSTER

DEPARTAMENTO

INTRANET

GRID

PORTAL

Estado de la Tecnología Grid

Ignacio Martín Llorente

2

¿Cómo?

5/61

Introducción

Cluster Computing

Intranet Computing

Grid Computing

Computing Portals

Internet Computing

Estado de la Tecnología Grid

Ignacio Martín Llorente

6/61

¿Cuál es la visión clásica de la

supercomputación?

3

Introducción

7/61

Tipos de aplicaciones que requieren potencia computacional

• Ejecución de una aplicación en menos tiempo (Alto Rendimiento)

Paralelización previa de la aplicación

• Ejecución de un número mucho mayor de aplicaciones (Alta Productividad)

Solución clásica

• Computación centralizada basada en servidor

Estado de la Tecnología Grid

Ignacio Martín Llorente

Introducción

8/61

Problemas de la supercomputación basada en servidor

• Falta de escalabilidad

• Equipos muy caros

• Mantenimiento muy caro

• Las demandas de cálculo podrían ser puntuales

• Posibles problemas de fiabilidad

Estado de la Tecnología Grid

Ignacio Martín Llorente

4

9/61

¿Cuál es la diferencia entre una
sistema multiprocesador y un

conjunto de equipos interconectados

por red?

Cluster Computing

10/61

Alternativa económica a la adquisición de un sistema multiprocesador

Cluster de estaciones o computadores personales homogéneo dedicado a

computación paralela

Suele estar dotada de una red avanzada basada en router con Fast

Ethernet (LAN) o Myrinet (SAN)

Rendimiento m uy alto
Precio/rendimiento óptimo

myrinet

Estado de la Tecnología Grid

Ignacio Martín Llorente

5

Cluster Computing

Ventajas:

• Mejor relación coste/rendimiento (3-10 veces)

Inconvenientes:

11/61

• Coste de las comunicaciones muy alto

- Bus lento
- Acceso secuencial al bus
- Sobrecarga TCP/IP

• Mantenimiento
• Modelo de programación

Conclusión:

• Buena solución para aplicaciones con grano medio o HTC (Computación de

Alta Productividad)

Estado de la Tecnología Grid

Ignacio Martín Llorente

Cluster Computing

12/61

Front-end: Alpha DS20 a 500 Mhz

Nodos de trabajo: 30 nodos Alpha DS10 a 466 Mhz

Memoria RAM: 8 Gb

Disco: 300 Gb.

Rendimiento pico: 30 Gflops

Red

• Servicios: Fast-Ethernet (100Mbits/seg)
• Comunicación: ServerNet II (1Gbit/seg)

Babieca

Sistema Operativo: Alpha 7.0 de Suse

Software de gestión de carga:PBS

Librerías de paralelización: MPI

Gestión de usuarios: NFS y NIS

http://dalbe.inta.es/~LCASAT/trab/o_babieca.htm

Estado de la Tecnología Grid

Ignacio Martín Llorente

6

Cluster Computing

13/61

¿Cómo implementar una máquina paralela de bajo coste?

HispaCluster
IEEE TFCC (reports)
Sun BluePrints

Ejemplos

www.hispacluster.org
www.ieeetfcc.org
www.sun.com/blueprints

Beowulf Project en CESDIS
Avalon
Sandia Labs Computational Plant
Coral en ICASE
Babieca en el CAB

www.beowulf.org
cnls.lanl.gov/avalon/
www.cs.sandia.gov
www.icase.edu
dalbe.inta.es/~LCASAT/trab/o_babieca.htm

Software

• Herramientas de distribución de carga, NFS, NIS...
• Interesante el software Mosix de la Universidad de Israel (www.mosix.cs.huji.ac.il)
• Herramientas de gestión de colas (PBS, LSF, SGE...)

Estado de la Tecnología Grid

Ignacio Martín Llorente

14/61

¿Cuánto tiempo al día permanecen

desaprovechados sus recursos ?

¿Si tengo un pico de demanda de
CPU puedo utilizar mis equipos

distribuidos?

7

Intranet Computing

15/61

Utilización de los equipos de una red departamental para ejecutar trabajos

secuenciales o paralelos por medio de una herramienta de gestión de carga

Explotación de potencia computacional distribuida

Estado de la Tecnología Grid

Ignacio Martín Llorente

Intranet Computing

16/61

Ventajas

• Aumentar el aprovechamiento de los recursos informáticos

• Ciclos de CPU a coste bajo

• Mejora de la escalabilidad

• Mejora de fiabilidad

• Facilidad de administración

• Facilidad de sustitución de equipos obsoletos

Estado de la Tecnología Grid

Ignacio Martín Llorente

8

Intranet Computing

17/61

Software disponible

Sun Grid Engine de Sun Microsystems
LSF de Platform Computing
Condor de la Universidad de Wisconsin

www.sun.com/gridware
www.platform.com
www.cs.wisc.edu/condor

Específico para ejecución paramétrica

Ejemplos

InnerGrid de Grid Systems
appLES de la Universidad de California
Nimrod de la Universidad de Monash
Otras herramientas de empresas como Avaki, United Devices, Entropia, Parabon...

www.gridsystems.com
apples.ucsd.edu
www.csse.monash.edu.au/~rajkumar/ecogrid/

Estado de la Tecnología Grid

Ignacio Martín Llorente

Intranet Computing

18/61

Sin embargo:

• No pueden gestionar recursos fuera del dominio de administración

-Algunas herramientas (Condor, LSF o SGE) permiten colaboración
inter-departamental asumiendo la misma estructura administrativa

• No respetan las políticas de seguridad y de gestión de recursos de las

organizaciones

• Protocolos e interfaces básicos no basados en estándares abiertos

• El único recurso que gestionan es la CPU

-¿Qué ocurre con los datos compartidos entre organizaciones?

Estado de la Tecnología Grid

Ignacio Martín Llorente

9

Intranet Computing

19/61

Por tanto:

• Escalabilidad limitada a la organización en picos de demanda

• No puedo amortizar mis recursos cuando están desaprovechados

• No puedo compartir recursos con otras organizaciones

Estado de la Tecnología Grid

Ignacio Martín Llorente

Intranet Computing

20/61

SUPERCOMPUTADOR

CLUSTER

DEPARTAMENTO

INTRANET

Estado de la Tecnología Grid

Ignacio Martín Llorente

10

21/61

22/61

¿Cómo puedo salir de los límites de

mi centro o laboratorio?

¿Puedo ceder mis recursos a otras

organizaciones?

¿Puedo compartir recursos con otras

organizaciones?

“It’s hard to make predictions,
especially about the future”

Yogi Berra

11

Problemas Actuales

23/61

1. Necesito más potencia de cálculo

• La potencia de los supercomputadores solo crece linealmente (dos

órdenes de magnitud cada 10 años) (www.top500.org)

Estado de la Tecnología Grid

Ignacio Martín Llorente

Problemas Actuales

24/61

La capacidad de almacenamiento se dobla cada 12 meses

El ancho de banda de red se dobla cada 9 meses

El rendimiento de un procesador se dobla cada 18 meses

•

•

1986 to 2000
– Computers: x 500
– Networks: x 340,000
2001 to 2010
– Computers: x 60
– Networks: x 4000

Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001)

by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins.

Conclusiones:

Un único sistema no será capaz de analizar los datos que almacenen sus discos

Un único centro no podrá analizar el volumen de información generado

La red permitirá de forma eficiente usar recursos distribuidos
(1 orden de magnitud de diferencia entre procesamiento y red)

Estado de la Tecnología Grid

Ignacio Martín Llorente

12

Problemas Actuales

25/61

2. Los equipos son caros y difíciles de mantener

• ¿Cómo puedo amortizar la inversión realizada?

3. ¿Qué hago si tengo un pico de demanda de cálculo y no tengo
presupuesto para adquirir un supercomputador?

4. Desequilibro de carga en el tiempo

• ¿Cómo puedo conseguir una carga más homogénea?

Estado de la Tecnología Grid

Ignacio Martín Llorente

26/61

“Cuando Internet sea tan rápido como los buses
internos de un computador, éste se desintegrará
en la red en un conjunto de recursos de propósito

específico”

Gilder Technology Report, Junio 2000

13

Grid Computing

27/61

Nueva tecnología cuyo objetivo es la compartición de recursos en Internet de

forma uniforme, transparente, segura, eficiente y fiable

Análoga a las redes de suministro eléctrico:

• Ofrecen un único punto de acceso a un conjunto de recursos distribuidos

geográficamente en diferentes dominios de administración
(supercomputadores, clusters, almacenamiento, fuentes de información,
instrumentos, personal, bases de datos...)

La tecnología Grid es complementaria a las anteriores

• Permite interconectar recursos en diferentes dominios de administración
respetando sus políticas internas de seguridad y su software de gestión de
recursos en la Intranet

Estado de la Tecnología Grid

Ignacio Martín Llorente

Grid Computing

28/61

A three point checklist

A Grid is a system that...

1) ...coordinates resources that are not subject to

a centralized control...

2) ...using standard, open, general-purpose

protocols and interfaces...

3) ...to deliver nontrivial qualities of services.

Ian Foster
What is the Grid? A Three Point Checklist (2002)

Estado de la Tecnología Grid

Ignacio Martín Llorente

14

Grid Computing

Beneficios

29/61

Alquiler de recursos

Amortización de recursos propios

Gran potencia de cálculo a precio bajo sin necesidad de adquirir

equipamiento

Mayor colaboración y compartición de recursos entre varios centros

Creación de organizaciones virtuales

Negocios basados en proveer recursos

Estado de la Tecnología Grid

Ignacio Martín Llorente

Grid Computing

Desafíos técnicos

30/61

Recursos heterogéneos
Descubrimiento,