PDF de programación - Nuevas aproximaciones a la construcción de redes Big Data

Nuevas aproximaciones a la

construcción de redes Big Data

SDNs y visibilidad de aplicaciones

José Carlos García Marcos

Responsable Técnico preventa Extreme España

[email protected]

©2014 Extreme Networks, Inc. All rights reserved.

Un crecimiento explosivo que trae nuevos desafíos
Big Data/HPC

 Dispositivos generadores de datos en todas partes – Explosión de datos

 Complejidad de Integración de aplicaciones cada vez mayor – Big Data, IoT

 Transformar los datos en información – require más rendimiento y más ancho de banda

 Agilidad en la provisión de servicios y orquestación – Computación, almacenamiento y red
– Software Defined X

©2014 Extreme Networks, Inc. All rights reserved.

Agenda

 ¿Big Data, pero cuánto de Big?
 Algunos ejemplos del mundo real
 Transformar datos en información útil
 Arquitecturas HPC y Big Data – Comparar y contrastar

– Virtualización y el rol de las SDN

 Más y más ancho de banda – Requisitos de I/O
 Q & A

3

©2014 Extreme Networks, Inc. All rights reserved.

¿Cuánto de Big?

El mundo genera
• 2,5 trillones de bytes al día… o 57.500 millones de

iPads 32GB diarios (IBM March 2014)

• +30.000 millones de fragmentos de datos se añaden a

Facebook cada mes

(Digital Den 2014)

• Google tenía indexados en 2010 unos 200 Terabytes de
datos, que suponían solo el 0,004% del total en Internet

4

©2014 Extreme Networks, Inc. All rights reserved.

(http://www.webanalyticsworld.net/2010/11/google-indexes-only-0004-of-all-data-on.html)

Relevancia del Big Data

Big Data en Sanidad crece exponencialmente con la inclusión de
historiales electrónicos (EHRs) en los hospitales, que pasaron del 9%
en 2008 a más del 80% en 2013

Forbes.com: Ready for APIs? Three Steps to Unlock the Data Economy's Most Promising Channel – January 2014

Las aplicaciones del Big Data podrían reducir los gastos de Sanidad
en $300-$450 mil millones de dólares

McKinsey & Company: The Big-Data Revolution in US Health Care - April 2013

En 2015, el 85% de las empresas del Fortune 500 habrán
fracasado en la explotación del Big Data para obtener una
ventaja competitiva

5

©2014 Extreme Networks, Inc. All rights reserved.

Forbes.com: Going Beyond Big Data to Knowledge – March 2014

Internet of Things: Datos de cualquier fuente

6

©2014 Extreme Networks, Inc. All rights reserved.

Ejemplo de datos estructurados y no estructurados

Datos estructurados

• Encajan fácilmente en los esquemas de las
bases de datos tradicionales (relacionales)

• Metadatos del email
• Registros de llamadas

• Pueden ser fácilmente

• Almacenados
• Consultados
• Analizados

Datos no estructurados

• Todo lo demás…

• Pueden existir patrones
• ¡O pueden no existir!

• Video
• Audio
• Fotos
• Esta misma presentación

• No encajan en campos de longitud fija

7

©2014 Extreme Networks, Inc. All rights reserved.

Ejemplo: Evaluación de la eficacia de medicamentos

 100s de nuevos medicamentos contra el cáncer

 Millones de combinaciones genéticas

 ¿Qué medicamentos funcionan mejor?

 Paneles de pruebas sobre decenas de muestras
criogenizadas de médula ósea (de un banco de
miles de muestras)

 Qué medicamentos son eficaces, cuáles no lo

son, cuáles son perjudiciales

 Se almacenan los resultados de millones de

permutaciones en una base de datos

 Se pueden identificar los tratamientos con más
posibilidades de éxito para los futuros pacientes

8

©2014 Extreme Networks, Inc. All rights reserved.

Datos no estructurados
2011 Stanley Cup, Game 6 Rogers Arena

Coke or Pepsi?

http://www.gigapixel.com/image/gigapan-canucks-ra.html

9

©2014 Extreme Networks, Inc. All rights reserved.

Datos no estructurados

Coke or Pepsi?

http://www.gigapixel.com/image/gigapan-canucks-ra.html

10

©2014 Extreme Networks, Inc. All rights reserved.

Datos no estructurados

Coke or Pepsi?

http://www.gigapixel.com/image/gigapan-canucks-ra.html

11

©2014 Extreme Networks, Inc. All rights reserved.

Datos no estructurados

Coke or Pepsi?

http://www.gigapixel.com/image/gigapan-canucks-ra.html

12

©2014 Extreme Networks, Inc. All rights reserved.

Datos no estructurados

Coke!

13

©2014 Extreme Networks, Inc. All rights reserved.

http://www.gigapixel.com/image/gigapan-canucks-ra.html

Transformando Datos en Acciones

“Menos del 0.5% de todos
los datos recogidos son
analizados”
Fuente: Digital Universe Study, IDC, Dec 2012

Acción

Conocimiento

Información

Datos

14

©2014 Extreme Networks, Inc. All rights reserved.

Hadoop – Arquitectura de Alto Nivel

http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/yarn_architecture.gif

15

©2014 Extreme Networks, Inc. All rights reserved.

MapReduce – un ejemplo sencillo

Encuentra cuántas veces aparecen las palabras “ski” y
“boot” en el inventario de la tienda.

Paso 1: Mapea los pares
[key/value] en los Worker
Nodes:

[ski; # de instancias]

[boot; # de instancias]

Paso 2: Reduce los resultados
para obtener el resultado final y
reportarlo:

Ski = 18

Boot = 11

16

©2014 Extreme Networks, Inc. All rights reserved.

Hadoop Cluster

Master Node

(NameNode)
(JobTracker)

(ResourceMgr)

Secondary
Master Node

Worker Node1

(DataNode)
(TaskTracker)

Worker Node2

Worker Node3

Worker Node4

[ski; 3]

[boot; 2]

[ski; 3]

[boot; 1]

[ski; 7]

[boot; 2]

[ski; 5]

[boot; 6]

Virtualización vs. HPC/Hadoop Clusters

Una máquina física, múltiples

máquinas virtuales

vs.

Múltiples máquinas físicas, un

sistema virtual

17

©2014 Extreme Networks, Inc. All rights reserved.

Hadoop – Arquitectura de Alto Nivel

Spine Switches

Interconexiones

40GbE or 100GbE

Leaf Switches

Rack o Blade Servers
con Direct Attached
Storage

Interconexión 10GbE

densa utilizando cables
10GbE nativos, 40GbE

QSFP+ y otras

alternativas

18

©2014 Extreme Networks, Inc. All rights reserved.

HPC – Arquitectura de Alto Nivel

Compute Nodes

Cluster

10G

40G

Almacenamiento

centralizado

Sistema de ficheros

en cluster

Conexión al

almacenamiento

40G

Clientes

s
e
d
o
N


r
e

t
s
a
M

Compute Nodes

Cluster

Fabric de interconexión

de alto rendimiento

Front End

Acceso

Back End

19

©2014 Extreme Networks, Inc. All rights reserved.

Big Data/HPC

NetSight

Purview

SDN Platform

Summit

BDX8

Soluciones Hardware

Summit Series

 Equipos a medida
para cada entorno
 Alta densidad de

puertos

 Bajas latencias
 Apilamiento

heterogéneo entre
diferentes gamas de
equipos

 Precision timing

BlackDiamond X8

 Muy alta densidad de

puertos

 Alta capacidad de ancho

de banda

 Baja latencia
 Soporte de interfaces

©2014 Extreme Networks, Inc. All rights reserved.

100GbE

Soluciones Software

NetSight

 Gestión y automatización de

switches físicos y virtuales
 APIs abierta y publicadas

Purview

 Inspección de aplicaciones
para la toma de decisiones

 Permite optimizer el

rendimiento de las
aplicaciones

Plataforma SDN

 Provisión dinámica de la

carga de trabajo

 Abierta y basada en

estándares

Problemas y soluciones en la interconexión del DC

Rendimiento
• Problema: Tiempo en completar trabajos y movimientos de grandes volúmenes de datos
• Soluciones: Alto rendimiento, altos anchos de banda, baja latencia, balanceo de carga inteligente

Escalabilidad masiva
• Problema: Flexibilidad para crecer a grandes niveles, a bajo coste
• Soluciones: arquitectura elástica, densidad de puertos que escale con la demanda de

aplicaciones

Gestión
• Problema: Complejidad de la gestión de los clusters
• Soluciones: Gestión simplificada, provision automática, scripting, integración con racks

Alta disponibilidad
• Problema: Minimizar las disrupciones debidas a eventos no previstos
• Soluciones: Arquitecturas robustas y software de alta calidad

Seguridad
• Problema: Vulnerabilidades en Hadoop
• Soluciones: Proteger la capa de red con la autenticación de servidores, y protección frente a

ataques DoS

21

©2014 Extreme Networks, Inc. All rights reserved.

Ethernet >40% of Top 500 Interconnects

Top 500 Interconnects - June 2014
3.6% 1.0% 0.2%

10.4%

15.0%

44.4%

25.4%

©2014 Extreme Networks, Inc. All rights reserved.

InfiniBand
GigE
10GbE
Custom
Cray Interconnect
Proprietary
Myrinet

Source: www.top500.org June 2014

Purview

Análisis y optimización de aplicaciones basados en red

Captura y analiza el tráfico de aplicaciones de forma
contextual, para proporcionar inteligencia al negocio

©2014 Extreme Networks, Inc. All rights reserved.

Top de aplicaciones por flujos y por volumen

24

©2014 Extreme Networks, Inc. All rights reserved.

Shadow IT/Posible filtración de datos/Aplicaciones maliciosas

25

©2014 Extreme Networks, Inc. All rights reserved.

SDN Open Source
Aumentando la velocidad de
innovación en el CPD

 Aproximación abierta y evolutiva que fomenta la innovación y la diferenciación
 Permite adaptar el ritmo marcado por los fabricantes de aplicaciones del CPD
 Las plataformas que tengan éxito serán aquellas que concentren el talento y los

desarrolladores
©2014 Extreme Networks, Inc. All rights reserved.

SDN platform components

6. Business
Applications

5. Northbound

4. Service
Orchestration &
Network Mgmt.

3. Network
Abstraction

2. Southbound

1. Network &
Infrastructure
Elements

WorkFlows

Analytics

Security

Multi-Tenancy

Performance

On-Premise Mgmt.

OneFabric Connect

NetSight

Other NMS

Platform APIs

Cloud/DC Orchestration

Citrix

VMWare

OpenStack

Others

Microsoft

Purview

NAC

IdentiFi

Network Abstractions
OneController

Brown/Greenfield Element Abstractions

Element-Specific APIs

SDN

Platform

NSX,

FloodLight,

Others.

Wireless

Fixed

Modular

3rd Party

Hypervisors

Virtual Switch

©2014 Extreme Networks, Inc. All rights reserved.

= Extreme Networks

= 3rd Party

C
o

l
l

a
t
e
r
a

l

C
o
m
m
u
n
i
t
i
e
s
,



S
D
K

,


T
o
o
s
,


l

C
e
r
t
i
f
i
c
a
t
i
o
n
s
,


S
u
p
p
o
r
t
,


l



S
D
N
P
a
t
f
o
r
m
E
c
o
s
y
s
t
e
m

–
M
a
r
k
e