PDF de programación - Realidad aumentada utilizando un iPad

Centro de Investigación y de Estudios Avanzados

del Instituto Politécnico Nacional

Unidad Zacatenco

Departamento de Computación

Realidad aumentada utilizando un iPad

Tesis que presenta

César David Corona Arzola

para obtener el Grado de

Maestro en Ciencias en Computación

Director de la Tesis

Dr. Luis Gerardo de la Fraga

México, Distrito Federal

Septiembre, 2013

ii

Resumen

La realidad aumentada combina elementos virtuales generados en una compu-
tadora en escenas físicas reales, esto con la finalidad de complementar o facilitar el
entendimiento de la escena real.

En este trabajo se establecen algunos criterios para el desarrollo de sistemas de
realidad aumentada en el iPad, un dispositivo restringido tanto en poder de cómputo
como en memoria. El iPad es una tableta de uso muy intuitivo y posee la ventaja de
incorporar en un solo dispositivo una pantalla de despliegue –de adecuadas dimensio-
nes para desarrollar aplicaciones de realidad aumentada–, una cámara y los sensores
para interactuar tocando la pantalla, un giroscopio y un acelerómetro.

Para lograr llevar al iPad un sistema de realidad aumentada es indispensable
resolver el problema que representa migrar una aplicación demandante en recursos
de un entorno completo a uno limitado, empleando marcadores cuadrados para la
detección de la posición de la cámara y dibujando los objetos virtuales en la esce-
na, mediante la biblioteca OpenGL ES, que está optimizada para dispositivos móviles.

Se realizaron tres aplicaciones con un enfoque educativo para demostrar la me-
todología de diseño: (1) un fascículo de especies para niños, donde el modelo de la
especie aparece de forma virtual sobre un marcador, (2) una aplicación para el apren-
dizaje del lenguaje japonés mediante tarjetas con marcadores, donde el significado
real de los símbolos se indica empleando modelos virtuales y (3) una aplicación que
simula el movimiento de una pelota virtual sobre un laberinto que además usa el
giroscopio y el acelerómetro del iPad.

iii

iv

Abstract

Augmented reality combines computer-generated virtual elements within real-
world physical scenes in order to complement them or to make easier to understand
the scene itself.

In this project we set out some criteria for the development of augmented reality
systems on iPad, a restricted device in both computing power and memory storing.
iPad is a tablet with a very intuitive use and has the advantage of incorporating a
display screen –with the proper size that fits the development of augmented reality
applications–, a camera and the necessary sensors to interact by touching the screen,
a gyroscope and an accelerometer.

In order to program an augmented reality system on iPad, it is essential to solve the
problem of migrating an application that uses lots of resources in a non-constrained
environment to a limited one applying square markers for detecting the camera po-
sition and drawing virtual objects in scene using OpenGL ES, a library which is
optimized for mobile devices.

We made three applications with an educational approach to demonstrate our
design methodology: (1) a booklet of species for children, where the model of the spe-
cies virtually appears on a marker, (2) an application for japanese language learning
through cards with a marker on it, where the meaning of the symbols is shown using
virtual models and (3) an application that simulates the movement of a virtual ball
on a maze, which additionaly uses iPad’s gyroscope and accelerometer.

v

vi

Agradecimientos

Al CONACyT
Pues si no fuera por su apoyo y por el proyecto CB2011/168357, no hubiera ingresado al programa
de Maestría ni realizado este proyecto. Admiro su interés en el fomento a la ciencia.

Al CINVESTAV
Por invitarme cordialmente a formar parte de su programa de Maestría. Este fascinante y
agradable lugar que conocí desde 2003 y en el cual deseaba algún día estudiar. Quién diría que
pasarían 10 años desde ese momento hasta ahora.

Al Dr. Luis Gerardo de la Fraga
Por proponerme este interesante proyecto, por sus comentarios, su apoyo al brindarme todo el
material necesario así como un espacio propio para poder realizar este trabajo, por entenderme y
sobre todo por su gran paciencia, a pesar de mis errores.

A los profesores del Departamento de Computación
Por su ardua labor día a día y su interés en nuestra formación. En especial, gracias a quienes
revisaron la presente tesis: el Dr. José Gpe. Rodríguez y la Dra. Sonia Mendoza.

Al personal del Departamento de Computación
A las tres agradables señoritas que nos facilitan las labores administrativas y a aquellos que forman
la infraestructura del departamento y mantienen limpias nuestras áreas.

A mi familia
Por su apoyo incondicional y por creer en mí en todo momento. Gracias a mis hermanos cuyos
conocimientos en biología y buen gusto en diseño (MoYoW C.C.) influyeron bastante en las
aplicaciones desarrolladas.

A mis amigos
Aquellos que amenizaron mi estancia en el CINVESTAV, en especial Iván y Charly. Y en general
a mis amigos de toda la vida: Angélica, Ana, Dianita, Alma, Toño, Tere, Karmen, Silver, Arturo,
PP, Alex y Ricardito. Nunca los olvidaré, aun si perdemos contacto.

A mis otros amigos
Cuyos maullidos y ladridos que junto con mi música son indispensables en mi día a día.

A todos ustedes les dejo esta frase que habla sobre lo que representa una graducación:

un nuevo comienzo, un viaje.

ᓨʸIJĴĴ௻IJIJİஹ;ijĴ௴஺

௴İ఑ஹA௱௤˲ఔ΂௸௫௺A௱௤ᡩఔξİıఉIJAఔ;ఉఐ௦஺

vii

viii

Índice general

Índice de figuras

Índice de tablas

1. Introducción

1.1. Diferencias (RA, RV) . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2. Breve historia de la RA . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3. Motivación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4. Planteamiento del problema . . . . . . . . . . . . . . . . . . . . . . .
1.4.1. Especificaciones de la cámara del iPad . . . . . . . . . . . . .
1.4.2. Módulo de gráficos . . . . . . . . . . . . . . . . . . . . . . . .
1.5. Retos para los dispositivos móviles ante la RA . . . . . . . . . . . . .
1.6. Objetivos del proyecto . . . . . . . . . . . . . . . . . . . . . . . . . .
1.7. Organización de la tesis
. . . . . . . . . . . . . . . . . . . . . . . . .

2. Marco Teórico

2.1. Tipos de RA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2. Aplicaciones de la RA . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1. Medicina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.2. Construcción, asistencia y mantenimiento . . . . . . . . . . . .
2.2.3. Educación . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.4. Entretenimiento y publicidad . . . . . . . . . . . . . . . . . .
2.3. Trabajos relacionados . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4. Tipos de patrones . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4.1. Marcadores de plantilla . . . . . . . . . . . . . . . . . . . . . .
2.4.2. Códigos de barras uni y bidimensionales
. . . . . . . . . . . .
2.4.3. Marcadores de referencia . . . . . . . . . . . . . . . . . . . . .
2.4.4. Marcas topológicas . . . . . . . . . . . . . . . . . . . . . . . .
2.5. Arquitectura de iOS . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6. Rasgos característicos de Objective-C . . . . . . . . . . . . . . . . . .
2.6.1. Manejo de memoria en Objective-C . . . . . . . . . . . . . . .
2.6.2. Mezclando Objective-C y OpenGL ES . . . . . . . . . . . . .

ix

X

XIII

1
1
2
2
3
4
5
6
7
8

9
9
11
12
12
13
14
16
20
20
20
22
22
22
23
24
26

x

3. Sistema de RA

ÍNDICE GENERAL

3.1. Prácticas recomendadas para RA en dispositivos móviles . . . . . . .
3.2. Espacios de coordenadas . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1. Sistemas de coordenadas en OpenGL . . . . . . . . . . . . . .
3.2.2. Tipos de coordenadas del sistema de RA . . . . . . . . . . . .
3.3. Acciones principales del sistema . . . . . . . . . . . . . . . . . . . . .
3.3.1. Esquema general del sistema de RA . . . . . . . . . . . . . . .
3.3.2. Agregar un patrón . . . . . . . . . . . . . . . . . . . . . . . .
3.3.3. Detectar un marcador
. . . . . . . . . . . . . . . . . . . . . .
. . . . . . .
3.3.4. Calibración de la cámara y estimación de la pose
3.4. Manejo de información previa . . . . . . . . . . . . . . . . . . . . . .

4. Aplicación 1: Fascículo de especies

4.1. Objetos 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1.1. Dibujando el objeto . . . . . . . . . . . . . . . . . . . . . . . .
4.2. Conexión con el sistema de RA . . . . . . . . . . . . . . . . . . . . .
4.3. Controlador principal de la vista . . . . . . . . . . . . . . . . . . . . .
4.3.1. Captura de video . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.2. Reproduciendo audio en la aplicación . . . . . . . . . . . . . .
4.4. Modo de uso de la aplicación . . . . . . . . . . . . . . . . . . . . . . .

5. Aplicación 2: Kanjirama

. . . . . . . . . . . . . . . . .
5.1. Detección de marcadores de referencia
5.2. Nociones básicas de la escritura japonesa . . . . . . . . . . . . . . . .
5.3.
Interfaz de juego . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.4. Modo de uso de la aplicación . . . . . . . . . . . . . . . . . . . . . . .

29
29
31
31
34
36
36
37
40
50
59

61
62
65
68
69
70
71
72

79
80
85
87
89

6. Aplicación 3: Laberinto

97
98
6.1. Sensores del iPad . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
99
6.1.1. Orientación del dispositivo . . . . . . . . . . . . . . . . . . . .
6.1.2. Movimiento de la pelota . . . . . . . . . . . . . . . . . . . . . 102
6.2. Modo de uso de la aplicación . . . . . . . . . . . . . . . . . . . . . . . 107

7. Conclusiones

111
7.1. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
7.2. Trabajo a futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

A. Fascículo