PDF de programación - Sistemas Paralelos - Computación Matricial y Paralela

Computación Matricial y Paralela

Sistemas Paralelos

Javier Cuenca

Domingo Giménez

Dpto. de Ingeniería y Tecnología de Computadores

Dpto. de Informática y Sistemas

Universidad de Murcia

http://dis.um.es/~domingo

Univ. Politécnica de Cartagena

1

Contenido
 Programación paralela
 Modelos de computadores paralelos
 Sistemas de memoria compartida
 Sistemas de memoria distribuida
 Evolución de los sistemas paralelos

Univ. Politécnica de Cartagena

2

Programación paralela

 Uso de varios procesadores trabajando juntos para

resolver una tarea común:
 Cada procesador trabaja en una porción del

problema

 Los procesos pueden intercambiar datos, a través

de la memoria o por una red de interconexión

Univ. Politécnica de Cartagena

3

Programación paralela

 Posibilidades:

 Segmentación encauzada. Pipeline
 Jerarquía de memorias
 División de memoria en bloques
 Paralelismo a nivel de instrucción
 Ejecución fuera de orden
 Especulación
 Múltiples unidades funcionales
 Unidades vectoriales
 Procesadores de E/S
 Varios procesadores en un chip
 LAN de altas prestaciones
 ...

Univ. Politécnica de Cartagena

4

Programación paralela

 Concurrente: varios procesos trabajando en la

resolución de un problema

 Heterogénea: procesadores con distintas

características

 Adaptativa: durante la ejecución el programa se

adapta al estado del sistema

 Distribuida: procesadores geográficamente distribuidos
 En la web: necesidad de herramientas específicas
 ¿Cuántica o biológica?

Univ. Politécnica de Cartagena

5

Programación paralela

 Límites de sistemas secuenciales:

 Memoria
 Velocidad

 Sistemas paralelos permiten resolver:

 Problemas mayores
 Más problemas
 Más rápidamente

Univ. Politécnica de Cartagena

6

Modelos de computadores
paralelos
SECUENCIAL (SISD)

Instrucciones:

de memoria 
a procesador

Datos:

entre memoria
y procesador

Memoria

Procesador

Univ. Politécnica de Cartagena

7

Modelos de computadores
paralelos

SIMD.
Una única Unidad de Control.
La misma instrucción se ejecuta síncronamente por todas las

unidades de procesamiento.

programa

instrucciones

Procesador

Procesador

Procesador

datos

Univ. Politécnica de Cartagena

8

Modelos de computadores
paralelos

MIMD.
Cada procesador ejecuta un programa diferente 

independientemente de los otros procesadores.

programa

programa

instrucciones

instrucciones

Procesador

Procesador

datos

datos

programa

instrucciones

Procesador

datos

Univ. Politécnica de Cartagena

9

Modelos de computadores
paralelos

P

M

P

M

P

M

P

M

P

M

P

M

Network

Memoria distribuida – 
cada procesador tiene su 
propia memoria local. Se 
utiliza paso de mensajes 
para intercambiar datos. 

P

P

P

P

P

P

B U S

M e m o r y

Memoria compartida – un único 
espacio de memoria. Todos los 
procesadores tienen acceso a la 
memoria a través de una red de 
conexión:
   ­ Bus
   ­ Red de barras cruzadas
   ­ Red multietapa

Univ. Politécnica de Cartagena

10

Sistemas de memoria
compartida

P

P

P
P
BUS
Memory

Uniform memory access (UMA)
Cada procesador tiene acceso uniforme
 a memoria. También se llaman
symmetric multiprocessors (SMPs)

Non­uniform memory access (NUMA)
El tiempo de acceso depende de dónde 
están los datos. El acceso local es más 
rápido. Más fácil y barato de escalar
que SMPs

P

P

P
P
BUS
Memory

P

P

P
P
BUS
Memory

Network

Univ. Politécnica de Cartagena

11

Sistemas de memoria
compartida

NUMA: SGI Origin 2000

Univ. Politécnica de Cartagena

12

Sistemas de memoria
distribuida

red

anillo

Diámetro: p/2

Hipercubo

Malla

Diámetro:  p

Servidor
de ficheros

Estaciones de 
trabajo

Univ. Politécnica de Cartagena

13

Sistemas de memoria
distribuida

El HPC 160 (prometeo.sait.upct.es) es un 
sistema paralelo de memoria distribuida con un 
total de 16 procesadores (4 nodos 
tetraprocesadores) a 1 GHz, con 8MB de caché 
de nivel 2, 16 GBytes de memoria y unos 300 
GBytes de almacenamiento en disco. Su 
rendimiento teórico o pico es de 32 Gflops.

Univ. Politécnica de Cartagena

14

Sistemas de memoria
distribuida

El cluster kefren.dsic.upv.es consta de 20 nodos biprocesadores Pentium Xeon a 2 Ghz, 
interconectados mediante una red SCI con topología de Toro 2D en malla de 4x5. Cada 
nodo consta de 1 Gigabyte de memoria RAM. 19 los nodos están disponibles para 
cálculo científico. El front­end es el punto de entrada al cluster y no se utiliza en 
ejecuciones de trabajos al cluster.

Univ. Politécnica de Cartagena

15

Sistemas de memoria
distribuida

Marenostrum (Barcelona Supercomputing Center):
        42.35 Teraflops de rendimiento de pico teórico 
        4.812 procesadores PowerPC 970FX en 2406 Nodos duales
        9.6 TB de memoria
        236 TB de almacenamiento en disco
        3 redes de interconexión
              o Myrinet
              o Gigabit Ethernet
              o Ethernet 10/100

Univ. Politécnica de Cartagena

16

Sistemas de memoria
distribuida

Marenostrum (Barcelona Supercomputing Center):
        formado por 42 bastidores y ocupa 120 m2. 

Univ. Politécnica de Cartagena

17

Evolución de los sistemas
paralelos

TOP500

Univ. Politécnica de Cartagena

18

UPCT

Empresas

Evolución de los sistemas
paralelos
En Murcia: UMU
1993
1994
1995
1998
2000
2002
2004
2005

transputers
SG PC
Red SUN+HP Red AIX PE
SG Origin 2000

bipros
HP160

HP160

IBM

16 pro.

Univ. Politécnica de Cartagena

19