PDF de programación - Introducción a la Computación Grid

Introducción a la Computación Grid

Introducción a la Computación Grid

Borja Sotomayor

30 de abril de 2004

Computación Grid

Charla organizada por:

Duración aproximada: 45min

Introducción a la Computación Grid

Índice

¿Qué es la Computación Grid?
¿Qué aplicaciones tiene?
¿Cómo funciona la Grid?
¿En qué tecnologías se apoya la Grid?
¿Hacia dónde se dirige la Grid?

Introducción a la Computación Grid

Índice

¿Qué es la Computación Grid?
¿Qué aplicaciones tiene?
¿Cómo funciona la Grid?
¿En qué tecnologías se apoya la Grid?
¿Hacia dónde se dirige la Grid?

Introducción a la Computación Grid

Un problema... (I)

Introducción a la Computación Grid

Un problema... (II)

Mont Blanc, 4810 m

Ginebra

Introducción a la Computación Grid

Un problema... (III)

El LHC (Large Hadron Collider) es un
acelerador/colisionador de partículas de
27km de circunferencia que está siendo
construido en el CERN.
Su objetivo: encontrar el misterioso bosón
de Higgs.
Empezará a funcionar en el 2007, momento
en el cual empezará a producir cantidades
desorbitadas de datos.
Introducción a la Computación Grid

Un problema... (IV)

Partiendo de este evento (1 evento = 1 colisión)...

Hay que buscar esta signatura característica:

1 entre 1013

Cómo buscar a una
persona en mil
poblaciones
mundiales.

Introducción a la Computación Grid

Un problema... (V)

40 millones de colisiones por segundo.
Tras un filtrado inicial, sólo 100 colisiones de
interés por segundo.
Cada colisión genera 1 Megabyte de datos.

100 Megabytes de datos por segundo que
deben ser procesados (de manera no-trivial) y
almacenados para su posterior estudio.
El mayor disco duro actualmente puede
almacenar 400GB: aprox. 1 hora de colisiones
del LHC.

Introducción a la Computación Grid

Un problema... (VI)

El LHC producirá 1010 colisiones cada año.

10 Petabytes de información cada año.

Para que nos hagamos una idea:

1 MB = una foto digital
1 GB = 1024 MB = un DVD
1 TB = 1024 GB = la producción anual total de libros en todo
el mundo
1 PB = 1024 TB = la información que produce uno de los
experimentos del LHC.
1 EB = 1024 PB = la producción anual de información en todo
el mundo.

Introducción a la Computación Grid






  !"#



!% &')(*
$
+,-
"$
)


/.10-








34
-


Un problema... (VII)

La potencia de cálculo y el
almacenamiento necesario
para este problema es
absolutamente inabordable en
un único nodo.

Creedme, que no es coña,
que en serio que NO se
puede hacer.

Se ha estimado que harían
falta 100.000 procesadores de
ultimísima generación.

El CERN “sólo” dispone de 1.000
ordenadores multiprocesador, y
1PB de almacenamiento.

Introducción a la Computación Grid



2
$

5
3
6
La Solución (I)

Problema: Un único nodo no puede
realizar este trabajo.

¡Pero la potencia combinada de varios
nodos trabajando juntos sí!

Solución: Conseguir una mayor
potencia de cálculo, almacenamiento,
aprovechamiento de recursos, etc.
combinando los recursos
computacionales de varias
organizaciones.

Esto, en esencia, es la Computación Grid,
Un nuevo paradigma de computación
distribuida propuesto por Ian Foster y Carl
Kesselman a mediados de los 90.

Introducción a la Computación Grid

La Solución (II)

A

Recurso Computacional

Organización

En la computación 'tradicional' una organización tiene que
hacerse cargo de todas sus necesidades computacionales
utilizando sus propios recursos.

Introducción a la Computación Grid

La Solución (III)

B

A

C

En la computación Grid siempre intervienen varias organizaciones,
cada una con sus propios recursos computacionales.

Introducción a la Computación Grid

La Solución (IV)

VO 8

B

A

VO 7

C

Los recursos se agrupan dinámicamente para resolver
problemas concretos, formando organizaciones virtuales.

Paralelismo (high throughput) y/o

balanceo de carga (high performance)

Introducción a la Computación Grid

La Solución (V)

¡Hacer esto no es trivial!

¿Cómo decido qué recursos forman parte de la VO y
cuales no?
Balanceo de carga: ¿Cómo decido a qué recurso se dirige
un problema (“programa”) concreto?

¡Esto no es un cluster, son recursos heterogéneos de
organizaciones distintas, separados por grandes
distancias!

Paralelismo: ¿Cómo 'troceo' un programa que va a
ejecutarse en estas condiciones?
¿Cómo sabe una organización que sus recursos no están
siendo abusados, o utilizados de manera maliciosa?

Introducción a la Computación Grid

La Solución (VI)

La computación Grid, precisamente, se
centra en solucionar estos problemas.
Más adelante veremos las soluciones
concretas (aplicaciones, plataformas,
estándares, etc.) que han surgido de la
comunidad Grid como respuesta a estos
problemas.

Introducción a la Computación Grid

La Solución (VII)

Volviendo al LHC...

El proyecto EGEE (Enabling Grids for E-science
in Europe) aunará los recursos computacionales
de docenas de centros en toda Europa para
proporcionar potencia de computo y
almacenamiento para el LHC.
Se podrán hacer muchas otras cosas con
EGEE.
http://public.eu-egee.org/

Introducción a la Computación Grid

Índice

¿Qué es la Computación Grid?
¿Qué aplicaciones tiene?
¿Cómo funciona la Grid?
¿En qué tecnologías se apoya la Grid?
¿Hacia dónde se dirige la Grid?

Introducción a la Computación Grid

Aplicaciones

La computación Grid no es ciencia-ficción.
Ya hay muchas aplicaciones reales que utilizan
computación Grid de manera eficaz y eficiente.
Actualmente, mayoritariamente acotadas al ámbito
científico-académico.
Fuera del alcance directo del consumidor final, pero aun
así le afecta indirectamente.
Todavía no existe “La Grid”, sino un montón de “grids”
en todo el mundo para tipos específicos de aplicaciones.

Introducción a la Computación Grid

Proyectos Grid

EEUU

Europa

•EGEE (CERN, ...)
•DataGrid (CERN, ...)
•EuroGrid (Unicore)
•DataTag (CERN,…)
•Astrophysical Virtual Observatory
•GRIP (Globus/Unicore)
•GRIA (Aplicaciones industriales)
•GridLab (Cactus Toolkit)
•CrossGrid (Componentes de infraestructura)
•EGSO (Física Solar)
•UK e-Science Grid

•NASA Information Power Grid
•DOE Science Grid
•NSF National Virtual Observatory
•NSF GriPhyN
•DOE Particle Physics Data Grid
•NSF TeraGrid
•DOE ASCI Grid
•DOE Earth Systems Grid
•DARPA CoABS Grid
•NEESGrid
•DOH BIRN
•NSF iVDGL

Introducción a la Computación Grid

Áreas de Aplicación (I)

Principales áreas de aplicación:

Aplicaciones con grandes necesidades
computacionales.
Aplicaciones con grandes necesidades de
almacenamiento o proceso de datos.
Aplicaciones colaborativas.

Introducción a la Computación Grid

Áreas de Aplicación (II)

Aplicaciones con grandes necesidades
computacionales

Simulaciones, predicción, monitorización, ...
Proyecto Crossgrid

Modelado y simulación de regiones susceptibles de
inundaciones para predecir inundaciones y/o
proporcionar datos a equipos de crisis en caso de
inundación.
http://www.eu-crossgrid.org/

Introducción a la Computación Grid

Áreas de Aplicación (III)

Aplicaciones con grandes necesidades de
almacenamiento o proceso de datos

Aplicaciones que generan un flujo grande y
constante de datos. P.ej. LHC
Aplicaciones que se benefician del acceso a
datos similares situados en distintas
organizaciones. P.ej. Análisis distribuido de
mamografías. http://www.ediamond.ox.ac.uk/

Introducción a la Computación Grid

Áreas de Aplicación (IV)

Aplicaciones colaborativas

Aplicaciones que, por su naturaleza, son multi-
organización y se benefician de una tecnología
que facilita la comunicación entre distintas
organizaciones.
Teleconferencias, reuniones virtuales:
http://www.accessgrid.org/
Colaboración entre sismólogos:
http://www.neesgrid.org/

Introducción a la Computación Grid

Futuras Áreas de Aplicación

La última tendencia es conseguir que la
tecnología Grid dé el salto del mundo
científico-académico al mundo de la
empresa.

Introducción a la Computación Grid

Índice

¿Qué es la Computación Grid?
¿Qué aplicaciones tiene?
¿Cómo funciona la Grid?
¿En qué tecnologías se apoya la Grid?
¿Hacia dónde se dirige la Grid?

Introducción a la Computación Grid

¿Cómo funciona la Grid?

Recordemos: Conseguir distribuir una solución entre
recursos computacionales heterogéneos de
organizaciones distintas y geográficamente separadas
no es trivial.
Las tecnologías Grid ya se utilizan. ¿Cómo
funcionan? ¿Cómo resuelven los problemas
mencionados antes?
Vamos a ver:

Arquitectura especifica de EDG (http://www.eu-datagrid.org/)
Arquitectura general de cualquier grid.

Introducción a la Computación Grid

Lanzar un Job a EDG (I)

Usuario

Una Grid

Un usuario tiene un programa con unas necesidades
computacionales que le sobrepasan, y quiere que ese
programa se “ejecute en la grid” (en este caso, EDG).
Vamos a suponer que el programa no es paralelizable.

Introducción a la Computación Grid

Lanzar un Job a EDG (II)

UI

JDL

EXE

IN

Introducción a la Computación Grid

Lanzar un Job a EDG (III)

RB

INEXE
JDL

UI

Introducción a la Computación Grid

Lanzar un Job a EDG (IV)

RB

JDL

EXE

IN

JOB ID: 42

UI

Introducción a la Computación Grid

Lanzar un Job a EDG (V)

RB

¿Qué recursos cumplen
condiciones del JDL?

Idx

JDL

EXE

IN

UI

Introducción a la Computación Grid

Lanzar un Job a EDG (VI)

UI

RB

Idx

JDL

EXE

IN

NODO 1: ¡Libre!
NODO 2: Ocupado
NODO 3: Poca potencia

CE

WN

WN

WN

CE

CE

WN

WN

WN

WN

Nodo 1

Nodo 2

Nodo 3

Introducción a la Computación Grid

Lanzar un Job a EDG (VII)

RB

Utiliza el NODO 1

Idx

JDL

EXE

IN

UI

CE

WN

WN

WN

CE

CE

WN

WN

WN

WN

Nodo 1

Nodo 2

Nodo 3

Introducción a la Computación Grid

Lanzar un Job a EDG (VIII)

UI

RB

INEXE
JDL

CE

WN

WN

Introducción a la Computación Grid

Idx

WN

CE

CE

WN

WN

WN

WN

Nodo 1

Nodo 2

Nodo 3

Lanzar un Job a EDG (IX)

RB

Idx

UI

CE

WN

WN

INEXE
JDL

WN

CE

CE

WN

WN

WN

WN

Nodo 1

Nodo 2

Nodo 3

Introducción