PDF de programación - Oracle Big Data

Big Data
Jose Alvarez Gómez [email protected]
OCM - Oracle Database 11g Certified Master – Oracle University

Agenda

• Introducción a Big Data
• Casos de Uso
• Tecnología
• Adquirir
• Organizar
• Analizar y Decidir
• Conclusiones

2

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Introducción a Big Data

3

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Big Data
Reaccionar a eventos

Pro-Activamente poder
cambiar por los resultados

“Technology presents the opportunity

to transform business“*
Mark Hurd, President, Oracle

4

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

* Oracle Profit Magazine, Volume 17, Number 1

5

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Big Data Extiende la Amplitud y Velocidad de los Datos

Video and Images

Big Data:
Decisiones basadas
en todos sus datos

Documents

Social Data

Machine-Generated Data

Arquitecturas de la
información hoy:
Decisiones basadas en
los datos de la base de
datos

6

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Transactions

Big Data Definición

Big Data: Técnicas y tecnologías que
permiten a las empresas a analizar
de forma eficaz y económica todos
sus datos

7

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

¿Qué es Big Data?
• Big data se define como grandes volúmenes de datos no estructurados de

diferentes recursos, como son:
– Redes sociales
– Servicios bancarios y financieros
– Servicios de comercio electrónico
– Servicios centrados en la web
– Búsquedas indexadas de internet
– Búsquedas científicas
– Búsquedas de documentos
– Registros médicos
– Weblogs
– Y muchos mas

8

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

¿Cómo Evoluciona Big Data?

– Muchas personas interactúan con datos

• Smartphones
• Internet

– Grandes volúmenes de datos son generados(generación de

máquina-a-máquina)
• Sensores
• General Packet Radio Services (GPRS)

9

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Características de Big Data 4 Vs

10

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Datos Estructurados & “Big Data”

Los datos estructurados de las
aplicaciones

Semi-estructurados “Big Data” de las
redes sociales, sensores, feeds, etc.

11

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Las Cuatro Fases de la Conversión de Datos

1

Adquirir

2

Organizar

3

Analizar

4

Decidir

12

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Pasos en la Conversión de Datos:

1. Los archivos (session logs) que están en cualquier formato de texto o

binario se cargan inicialmente con HDFS o NoSQL database.

2. El contenido cargado se depura mediante la aplicación del proceso

Hadoop’s map-reduce (repetidamente, si fuera necesario).

3. Datos irrelevantes se eliminan y el contenido se introduce en la base de

datos para analizar cualquier problemática del negocio.

•

Por ejemplo, puede chequear si se han documentado errores de
nuestros productos, o buscar cuales son las páginas menos
visitadas, y así sucesivamente.

4. Estos datos técnicos se pueden ya presentar y las soluciones de

negocio pueden derivarse en base a los resultados del estos análisis.

13

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Una Visión Simplificada de lo Necesario

Datos No

Estructurados/

Escasos Datos de Valor

Datos Estructurados/
Alta Densidad de Datos

Adquirir

Organizar

Analizar & Decidir

14

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Oracle’s Big Data Software Componentes…

Datos No Estructurados/
Escasos Datos de Valor

Datos Estructurados/
Alta Densidad de Datos

Cloudera Hadoop

Oracle NoSQL DB

Oracle
Transactional
Database &
Applications

Endeca

Information
Discovery

Oracle Data
Warehouse
&
Embedded
Analytics

Oracle
BI Foundation

Suite

t

a
r
g
e

t

n

I


l

e
c
a
r
O


/

r
o

a

t

a
D

s
r
o
t
c
e
n
n
o
C

Acquire

Organize

Analyze & Decide

15

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

… & Sistemas forman una Plataforma Big Data

Datos No Estructurados/
Escasos Datos de Valor

Cloudera Hadoop
Big Data Appliance
Big Data Appliance
Oracle NoSQL DB

l

e
c
Oracle
a
Exadata Platforms
Exadata Platforms
r
O
Transactional
Database &
Applications

a

t

a
D

s
r
o
t
c
e
n
n
o
C


/

r
o

t

a
r
g
e

t

n

I



Information
Discovery

Endeca
y
y
r
r
o
o
m
m
e
e
M
M
-
-
n
n
Oracle
BI Foundation
s
s
c
c
Suite
i
i
t
t
y
y
a
a
x
x
E
E

I
I



i
i

e
e
n
n
h
h
c
c
a
a
M
M

l
l

Oracle Data
Warehouse
&
Embedded
Analytics

Datos No Estructurados/
Escasos Datos de Valor

16

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Acquire

Organize

Analyze & Decide

Casos de Uso

17

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Big Data Arquitectura

Capture

Text Analytics

Statistics

Data Mining

Graph Analytics

Spatial Analytics

Integrate into
Applications

Analyze

2 miles

Operational Systems
Back End
Front End

n
o
i
t
c
e
t
e
D


t
n
e
v
E
e
m



i
t
-
l

a
e
R

Low value density data

Organize

Algorithms

High value data

Filter
Index
Classify
Correlate

ETL

HDFS

Low density
value data

NoSQL

Store

Relational

High value

data

Semantic
/Spatial

Acquire
Real-time &
Batch Feeds

l

s
r
e
d
n
a
H
a
t
a
D



18 | © 2012 Oracle Corporation

Casos Reales del Mundo Real

Desafío Hoy

Nuevo Dato

¿Qué es posible?

Salud

Visitas desde la oficina son caras

Monitorización del paciente a

distancia

La atención preventiva, reducción de la

hospitalización, los estudios epidemiológicos

Fabricación

Soporte a la persona
Servicios basados en

localización

Basado en el código postal de su

domicilio

Sensores del producto

Automatizado diagnóstico predictivo, soporte

Tiempo real los datos de ubicación

Geo-publicidad, notificaciones personalizadas

y búsquedas

Venta

marketing a medida

Social media

El análisis del segmento de sentimientos

Utilities

Compleja distribución en grid

Estadísticas de consumo detalladas

Incrementa disponibilidad, reduce costes,

planes de medición de umbrales

19

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Big Data Ejemplos

Seguro
Individualizar las políticas del seguro de coche basados en los datos capturados del coche

Asegurar ganancias basándonos en los hábitos de los clientes

Evaluaciones más precias de los riesgos
Precios individualizados basados en los hábitos de conducción de los clientes
Orientar y motivar a los clientes individualmente para mejorar sus hábitos de conducción

Viajes

Optimizar la compra a través del análisis de web log y social media

Se asignan los viajes sobre los deseos y preferencias de los clientes

Venta de productos asociando ventas actuales con (posterior) comportamientos de navegación
Incrementar navegación-compra a través de ofertas personalizadas y paquetes
Entregar viajes personalizados basados en las recomendaciones del social media

Juegos

Recopilar datos del juego a través del contacto del cliente con el juego

Compañías de juegos ganan a través de gustos, disgustos y las relaciones de usuarios

Mejorar juegos a través de como el cliente juega
Recomendar contenidos basados en el análisis de las conexiones y similares “me gusta”
Crear ofertas especiales o paquetes basados en navegación y (no) el comportamiento de compra

20

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Big Data Caso Uso: Centro Comercial

Punto de Venta Capturado:
• Cupón usado
• 3 artículos comprados
• Incrementado el gasto($10)

120

121

117 118

119

Perfil del Cliente:
Pepe García, 32
años, Casado
2 niños (7&14 años)
Utiliza cupones
116

Enviar cupón:
20% of descuento
cuando sea utilizado
en los próximos 15
minutes

113 114 115

Cliente entra en el
área comercial
basado en los
datos de ubicación
112
del smarphone

127

126

125 124

123

122

21 | © 2012 Oracle Corporation

Big Data Patrón de Tecnología

Usuario Identificado

¿Entregar Cupón?

Recolección &
Punto de Decisión

Filtro

CEP

Big Data
Appliance

Enriquecer

Decisión

Oracle
RTD

Analizar

Big Data
Connectors

Map

Reduce

Modelos
Resultados

Analizar

Recolección &
Punto de Decisión

Streaming

Social
Feeds

22 | © 2012 Oracle Corporation

Tecnología

23 | © 2012 Oracle Corporation

Oracle Big Data soluciones

Endeca Information Discovery

Oracle
Big Data
Appliance

Oracle
Exadata

Oracle
Big Data
Connectors

InfiniBand

InfiniBand

Oracle
Exalytics

CEP

Oracle

Real-Time
Decisions

Acquire Organize & Discover

Analyze

Decide

24

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Oracle Big Data Appliance: Introducción

Oracle Big Data Appliance es un sistema de ingeniería que contiene
ambos componentes hardware y software. Oracle Big Data Appliance
ofrece:
• Una completa y optimizada solución para Big Data
• Soporte de un solo vendedor para hardware y software
• Una solución de fácil implementación
• Totalmente integrado con la Base de Datos Oracle

25

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Oracle Big Data Appliance: ¿Dónde esta?

Variedad
De Datos

Desestructurados

Menos-Esquema

Esquema

Densidad de
Información

Big Data Appliance

Acquire

Organize

Analyze

26

Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

Oracle Big Data Appliance: Hardware Componentes

18 Sun X4270 M2 Nodos

48 GB memoria por nodo

12 Intel cores por nodo

Big Data Appliance

24 TB almacenamiento por nodo

2 - 27

Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

Hardware Comparación
Hasta 2 veces de poder de procesamiento

Component
Memory
Cores
High Performance Drives

SSD Drives
Expansion Storage Shelf

IOPS (F