PDF de programación - PROCESAMIENTO DE GRANDES VOLÚMENES DE DATOS EN ENTORNOS CLOUD COMPUTING UTILIZANDO HADOOP MAPREDUCE

Universidad de Almería

Titulación de Ingeniero en Informática



PROCESAMIENTO DE GRANDES VOLÚMENES DE DATOS EN

ENTORNOS CLOUD COMPUTING UTILIZANDO HADOOP

MAPREDUCE



Autor:
Carlos Gómez Martínez

Directores:
Nicolás Padilla Soriano
Julio Gómez López



Almería, Abril de 2013





















Tanto la memoria de este trabajo como el software desarrollado se distribuyen bajo la

licencia GNU GPL v3.

La Licencia Publica General GNU (GNU GPL) es una licencia libre, sin derechos para software y
otro tipo de trabajos.

Las licencias para la mayoría del software y otros trabajos prácticos están destinadas a
suprimir la libertad de compartir y modificar esos trabajos. Por el contrario, la Licencia Publica
General GNU persigue garantizar su libertad para compartir y modificar todas las versiones de
un programa y asegurar que permanecerá como software libre para todos sus usuarios.

Cuando hablamos de software libre, nos referimos a libertad, no a precio. Las Licencias
Publicas Generales están destinadas a garantizar la libertad de distribuir copias de software
libre (y cobrar por ello si quiere), a recibir el código fuente o poder conseguirlo si así lo desea,
a modificar el software o usar parte el mismo en nuevos programas libres, y a saber que puede
hacer estas cosas.

Para obtener más información sobre las licencias y sus términos puede consultar:

 http://www.gnu.org/licenses/gpl.html (Licencia original en inglés).
 http://www.viti.es/gnu/licenses/gpl.html (Traducción de la licencia al castellano).











Quiero aprovechar estas primeras líneas para
agradecer a mis directores Nicolás Padilla Soriano y Julio
Gómez López su dedicación, su esfuerzo y todo el
conocimiento que me han aportado.

Además, dado que con este documento cerraré un
ciclo, quiero acordarme también de mis compañeros de la
carrera, especialmente de Eugenio, Luismi y Esther, que
son para mí algo mas que simples compañeros, gracias
por todos estos años.

Por supuesto, no puedo dejar de lado a mis padres,
que han sido la principal fuente de apoyo todos estos
años, muchas gracias por vuestra paciencia. Junto con mis
padres hay otra persona que aporta mucho a mi vida,
gracias Ana.









Contenido


Introducción ............................................................................................................................. 5

1. Introducción a Cloud Computing .......................................................................................... 7

1.1. Tipos de Nube ................................................................................................................ 8

1.2. Tipos de servicios ofrecidos por la nube.......................................................................... 9

1.3. Ventajas y desventajas de Cloud Computing ................................................................. 11

1.4. Estudio de las tecnologías Cloud Computing ................................................................. 12

1.4.1. Abiquo ................................................................................................................... 15

1.4.2. Bitnami .................................................................................................................. 15

1.4.3. CA 3Tera AppLogic ................................................................................................. 15

1.4.4. Cloud.com CloudStack ............................................................................................ 15

1.4.5. Convirture ConVirt ................................................................................................. 17

1.4.6. Enomaly plataforma Elastic Computing (ECP) ........................................................ 17

1.4.7. Eucalyptus ............................................................................................................. 18

1.4.8. Extility Flexiant ...................................................................................................... 20

1.4.9. HP CloudSystem ..................................................................................................... 20

1.4.10. IBM CloudBurst .................................................................................................... 21

1.4.11. Incontinuum CloudController ............................................................................... 21

1.4.12. Nimbula Director ................................................................................................. 21

1.4.13. OnApp ................................................................................................................. 21

1.4.14. OpenNebula......................................................................................................... 22

1.4.15. OpenQRM ............................................................................................................ 23

1.4.16. OpenStack ........................................................................................................... 23

1.4.17. Parallels Automation Cloud Infrastructure (CI) ..................................................... 27

1.4.18. VMware vCloud ................................................................................................... 27

1.4.19. Xen plataforma de nube (XCP) ............................................................................. 28

1.4.20. StackOps .............................................................................................................. 28

1.5. Comparativa de las tecnologías Cloud Computing ......................................................... 29

1.6. Elección de la Plataforma Cloud Computing .................................................................. 31

2. Puesta en Marcha del Cloud ............................................................................................... 33

2.1. Introducción ................................................................................................................. 33



1





2.2. Instalación del Sistema Operativo Base......................................................................... 34

2.3. Arquitecturas de Nube StackOps .................................................................................. 43

2.3.1. Single Node............................................................................................................ 44

2.3.2. Dual Node .............................................................................................................. 45

2.3.3. Multinode .............................................................................................................. 46

2.4. Configuración de la Nube ............................................................................................. 49

2.4.1. Configuración del Controlador ............................................................................... 64

2.5. Interfaz Web Horizon. ................................................................................................... 67

2.5.1. System Panel ......................................................................................................... 68

2.5.2. User Dashboard ..................................................................................................... 75

2.6. Desplegando Instancias ................................................................................................ 77

3. Estudio del Entorno Apache Hadoop .................................................................................. 89

3.1. Apache Hadoop ............................................................................................................ 90

3.2. Sistemas de Ficheros Distribuidos ................................................................................. 92

3.3. Hadoop Distributed File System (HDFS) ......................................................................... 96

3.3.1. Comandos para Gestionar el HDFS ......................................................................... 98

3.3.2. Estrategias de Recuperación de Desastres ........................................................... 100

3.4. Configuraciones Apache Hadoop ................................................................................ 102

3.4.1. Configuración Single Node ................................................................................... 104

3.4.2. Configuración Multinode ..................................................................................... 105

3.4.3. Elección de la Topología del Clúster ..................................................................... 107

3.5. Relación Cloud Computing - Apache Hadoop .............................................................. 108

3.6. Aplicaciones de Apache Hadoop ................................................................................. 109

4. Estudio de la Programación MapReduce .......................................................................... 113

4.1. Introducción ............................................................................................................... 113

4.2. Características ............................................................................................................ 115

4.3. Funcionamiento ......................................................................................................... 116

4.3.1. Clase JobConf ...................................................................................................... 118

4.3.2. Función Map ....................................................................................................... 119

4.3.3. Función Reduce ....................................