PDF de programación - 1.5.5) Big Data y Map Reduce

1) Fundamentos sobre

Sistemas Gestores de Bases

de Datos

Administración de Bases de Datos, módulo del ciclo de FP de Grado

Superior, Administración de Sistemas Informáticos en Red

Administración de Bases de Datos
Jorge Sánchez, www.jorgesanchez.net
@jorgesancheznet

1.5.5) Big Data y

Map Reduce

Fundamentos de los SGBD

Administración de Bases de Datos
Jorge Sánchez, www.jorgesanchez.net
@jorgesancheznet

Growth of and Digitization of Global Information Storage Capacity
[source: http://www.martinhilbert.net/WorldInfoCapacity.html]

Administración de Bases de Datos
Jorge Sánchez, www.jorgesanchez.net
@jorgesancheznet

¿Qué es el Big Data?

• Se trata de datos enormes, volúmenes espectaculares de
información
• Se generan continuamente y a tiempo real
• Son muy importantes para las empresas
• Para analizarlos, las bases de datos tradicionales no nos
pueden ayudar

Administración de Bases de Datos
Jorge Sánchez, www.jorgesanchez.net
@jorgesancheznet

¿Cuándo realmente podemos hablar de
Big Data?
• Datos enormes
• Variados en tipo y estructura
• Producidos a gran velocidad
• Veraces

Administración de Bases de Datos
Jorge Sánchez, www.jorgesanchez.net
@jorgesancheznet

MapReduce

• Modelo de programación que facilita el análisis de los
datos
• Usa computación distribuida
• No usa modelos de BD, trabaja con ficheros:

• Google File System (GFS)
• Hadoop File Systema (HFS)

Administración de Bases de Datos
Jorge Sánchez, www.jorgesanchez.net
@jorgesancheznet

MapReduce, funcionamiento

Administración de Bases de Datos
Jorge Sánchez, www.jorgesanchez.net
@jorgesancheznet

Implementaciones de BigData

• Apache Hadoop:

• Framework de trabajo con BigData
• Usa HFS
• Usa MapReduce
• Es el más popular

• Apache Spark:

• Framework similar
• Usa diversos sistemas de archivos (incluido HFS)
• Más rápido que Hadoop: Machine Learning, IA, Real Time,…

Administración de Bases de Datos
Jorge Sánchez, www.jorgesanchez.net
@jorgesancheznet