PDF de programación - Marduk: sistema de tecnología de sexto sentido para dispositivos móviles

Centro de Investigacion y de Estudios Avanzados

del Instituto Politecnico Nacional

Unidad Zacatenco

Departamento de Computacion

Marduk: sistema de tecnologa de sexto sentido

para dispositivos moviles

Tesis que presenta

Alberto Beltran Herrera

para obtener el Grado de

Maestro en Ciencias

en Computacion

Directores de Tesis

Dra. Sonia Guadalupe Mendoza Chapa

Dr. Adriano de Luca Pennacchia

México, D.F.

Febrero 2012

ii

iii

Resumen

Las interfaces de usuario fueron creadas con el propósito de facilitar la interacción
hombre-máquina. Así, la evolución de la computación conlleva también a interfaces
de usuario más poderosas, las cuales buscan ser cada vez más naturales y amigables,
adaptándose a las necesidades del usuario mas no inversamente. En la última década
un nuevo tipo de interfaces de usuario, denominadas NUI (Natural User Interface),
empieza a ganar terreno sobre el paradigma GUI (Graphical User Interface), que ha
sido el más popular en la creación de interfaces de usuario. Las interfaces NUI hacen
uso de las gesticulaciones del cuerpo humano como datos de entrada, así el usuario
puede emplear movimientos que le parecen familiares para crear una interacción más
natural, como si estuviera manejando objetos reales. Una sub-categoría de las inter-
faces NUI es la tecnología de Sexto Sentido, la cual busca expandir el concepto de
NUI, añadiendo funciones de movilidad y realidad aumentada. Esta tesis encuentra
un campo fértil en este nuevo tipo de tecnología, ya que los prototipos hasta ahora
propuestos son meramente experimentales e imprácticos en la vida real. En este tra-
bajo llevamos la tecnología de sexto sentido a los dispositivos móviles, permitiendo
que el sistema se vuelva ubiquo y sea facilmente aceptado por los usuarios. Para lo-
grar este objetivo, la presente tesis de maestría aporta una arquitectura desarrollada
a partir de las necesidades de la tecnología de Sexto Sentido y de las capacidades
del cómputo móvil. Adicionalmente, se presentan las especificaciones de cada módu-
lo y los algoritmos de visión por computadora correspondientes (descomposición de
imágenes, reconocimiento de caracteres y tratamiento de imágenes). Los algoritmos
desarrollados responden a un estudio sobre las especificaciones de las imágenes tra-
tadas y las características de los dispositivos móviles, acercándonos lo más posible
a un punto óptimo en las capacidades de procesamiento, velocidad y memoria. El
resultado de nuestro trabajo son: 1) un prototipo de sexto sentido funcional, practico
y fácilmente reproducible, 2) una arquitectura que da sustento a las partes física y
lógica, 3) un software encargado de los procesos de visión por computadora, los cuales
utilizan nuevos algoritmos capaces de realizar su trabajo en los dispositivos móviles
de forma eficiente y finalmente 4) un conjunto de aplicaciones que permiten medir y
experimentar con las capacidades del sistema, constituyendo un conjunto de pruebas
que pueden ser utilizadas como métricas de comparación por cualquier sistema de
Sexto Sentido.

Palabras clave: tecnología de sexto sentido, interacción humano-computadora, natural
user interface, realidad aumentada, cómputo móvil, cómputo ubicúo.

iv

v

Abstract

User interfaces were created with the aim of facilitating human-computer interac-
tion. Thus, the evolution of computing also leads to more powerful user interfaces,
which try to be more and more natural and friendly, adapting themselves to the user’s
needs but not inversely. In the last decade a new type of user interfaces, named NUI
(Natural User Interface), starts gaining ground on the GUI (Graphical User Interface)
paradigm, which has been the most popular in the creation of user interfaces. The
NUI interfaces use human body’s gesticulations as input data, so the user can employ
movements that seem familiar to him in order to create a more natural interaction
as if he were handling real objects. A sub-category of the NUI interfaces is the Sixth
Sense Technology, which aims to extend the concept of NUI by adding mobility and
augmented reality functions. This thesis finds a fertile ground in this new type of
technology because the proposed prototypes are merely experimental and hardly prac-
tical for real life. In this work, we transpose the Sixth Sense technology to the mobile
devices, allowing the system to become ubiquitous and to be well-accepted by the
users. In order to achieve this goal, we proposes an architecture developed from the
Sixth Sense technology needs and the mobile computing capabilities. In addition, we
present each module specifications and the corresponding computer-vision algorithms
(image decomposition, character recognition and image processing). The developed
algorithms respond to a study about the especifications of the processed images and
the characteristics of the mobile devices, approaching as much as possible to an op-
timum point in the processing, speed and memory capabilities. The results of this
work are: 1) a functional, practical, and easily reproducible Sixth Sense prototype, 2)
an architecture that supports the physical and logical parts, 3) a software responsible
for the computer-vision processes, which use new algorithms able to efficiently carry
out their work on mobile devices, and finally 4) a set of applications that allow to
measure and experiment with the system capabilities, constituting a test set that can
be used as comparison metrics by any Sixth Sense system.

Key words: sixth sense technology; human-compueter interaction; natural user inter-
face; augmented reality; mobile computing; pervasive computing.

vi

Agradecimientos

A CONACYT por el apoyo proporcionado para continuar con mis estudios y que
me permitió desarrollarme durante esta etapa de mi vida.

Al CINVESTAV por abrirme sus puertas y procurar mi formación en todos los
aspectos.

A mis directores, la Dra. Sonia Guadalupe Mendoza Chapa y el Dr. Adriano De
Lucca Penniacci, por su labor dirigiendo este documento. Agradezco especialmente
a la Dra. Sonia, a quien considero una excelente directora y una excelente persona.

A todos los profesores del departamento, me enseñaron no sólo lo necesario para ser
un gran computólogo, las lecciones que me dieron me han hecho crecer más como
persona.

A Sofy, tú debes ser la mejor persona del departamento, tú nos hiciste la vida
realmente grata y nos ayudaste más allá de lo que debías. Personas como tú hay
realmente pocas.

A mi madre, que siempre me ha dado todo su apoyo de forma incondicional. Gracias
por la vida que me diste, he aprovechado cada minuto y espero poder retribuirte
todo lo que me has dado.

A mi padre, que ha sido un ejemplo de vida para mí, a quien admiro en demasía. Si
he llevado mi vida bajo los principios de justicia y coraje ha sido por ti, espero
siempre llenarte de orgullo.

A mis hermanas Griselda y Mariana, las cuales me prestan apoyo siempre que lo
necesito, somos muy distintos entre nosotros y al mismo tiempo nos llevamos muy
bien, espero poder ser ejemplo para ustedes y poder ayudarlas también siempre que
lo necesiten.

A Dios, quien este último año me ha mostrado muchos caminos, no siempre te
entiendo, no siempre sé que es lo que debería hacer, sin embargo sé que siempre
estás ahí, cuidando. Seguiré cumpliendo mi promesa y jamás me daré por vencido,
eres un gran amigo.

vii

viii

A todos mis amigos del CINVESTAV, con quienes he pasado dos años y medio
realmente geniales, nos reímos, nos ayudamos, nos apoyamos, hicimos tantas cosas
juntos, vivimos tanto que ahora son parte de mi familia. Con algunos pasará un
tiempo antes de volvernos a ver, pero siempre serán mis amigos.

Indice general

Indice de guras

Indice tablas

Indice algoritmos

1 Introduccion

1.1 Antecedentes

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2 Planteamiento del problema . . . . . . . . . . . . . . . . . . . . . . .

1.3 Objetivos del proyecto . . . . . . . . . . . . . . . . . . . . . . . . . .

1.4 Metodología . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.5 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.6 Organización de la tesis

. . . . . . . . . . . . . . . . . . . . . . . . .

2 Estado del Arte

2.1

Interfaces de usuario . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2 Historia de las interfases de usuario . . . . . . . . . . . . . . . . . . .

2.3 Natural User Interface . . . . . . . . . . . . . . . . . . . . . . . . . .

2.3.1 Definición . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.3.2 La naturalidad de las interfaces . . . . . . . . . . . . . . . . .

2.3.3 Características

. . . . . . . . . . . . . . . . . . . . . . . . . .

2.4 Sexto Sentido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.4.1 Definición . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.4.2 Carcterísticas . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.5 Trabajo Relacionado . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.5.1 Microsoft Surface . . . . . . . . . . . . . . . . . . . . . . . . .

ix

ix

xi

xiii

1

1

2

5

5

8

8

11

11

12

15

17

18

19

20

20

20

21

21

x

INDICE GENERAL

2.5.2 Physic Paper

. . . . . . . . . . . . . . . . . . . . . . . . . . .

2.5.3 Music Scope Headphones . . . . . . . . . . . . . . . . . . . . .

2.5.4 Kinect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.5.5 WUW – Wear Ur World . . . . . . . . . . . . . . . . . . . . .

3 Arquitectura

3.1 Arquitectura del hardware . . . . . . . . . . . . . . . . . . . . . . . .

3.1.1 Entrada física . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.1.2 Procesamiento . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.1.3

Salida física . . . . . . . . . . .