PDF de programación - MOCASYM: Sistema de captura semi-automatica del movimiento para la representacion de la Lengua de Signos Espanola

UNIVERSIDAD DE CASTILLA-LA MANCHA
ESCUELA SUPERIOR DE INFORM ÁTICA

INGENIERÍA

EN INFORM ÁTICA

PROYECTO FIN DE CARRERA

MOCASYM: Sistema de captura semi-automática del

movimiento para la representación de la Lengua de Signos

Española

Roberto Mancebo Campos

Septiembre, 2010

UNIVERSIDAD DE CASTILLA-LA MANCHA
ESCUELA SUPERIOR DE INFORM ÁTICA

Departamento de Informática

PROYECTO FIN DE CARRERA

Autor: Roberto Mancebo Campos
Director: Dr. Carlos González Morcillo

Septiembre, 2010.

TRIBUNAL:

Presidente:
Vocal1:
Vocal2:
Secretario:

FECHA DE DEFENSA:

CALIFICACI ÓN:

PRESIDENTE

VOCAL1

VOCAL2

SECRETARIO

Fdo.:

Fdo.:

Fdo.:

Fdo.:

c Roberto Mancebo Campos. Se permite la copia, distribución y/o modificación de este docu-
mento bajo los términos de la licencia de documentación libre GNU, versión 1.1 o cualquier versión
posterior publicada por la Free Software Foundation, sin secciones invariantes. Puede consultar esta
licencia en http://www.gnu.org.
Este documento fue compuesto con LATEX. Imágenes generadas con OpenOffice.

Resumen

Según datos de la CNSE (Confederación Estatal de Personas Sordas) en España hay más
de 100.000 personas con deficiencias auditivas profundas que emplean la Lengua de Signos
Española (LSE) como medio de comunicación. Actualmente, se están desarrollando las pri-
meras soluciones software de traducción automática a esta lengua.

El presente proyecto fin de carrera consiste en la construcción de un sistema de captura
de movimiento que toma como entrada secuencias de vídeo real en el ámbito de la LSE. En
los vídeos, un intérprete emplea LSE en un entorno controlado (posición de la cámara) pero
sin añadir elementos activos o pasivos que faciliten la captura. Estas restricciones permiten
reducir los tiempos de grabación de los signos sin necesidades de hardware de captura de
movimiento específico.

Así, el objetivo principal del proyecto es la creación de una herramienta de análisis y
edición de movimientos para facilitar la construcción de un diccionario de signos. Esta salida
será en un formato estándar basado en XML que podrá ser utilizado en distintos avatares
virtuales. En concreto, se plantea su utilización en el ámbito del proyecto GANAS (Generador
Automático de la Lengua de Signos Española) de la Cátedra Indra-UCLM.

I

Abstract

According to the information of the CNSE (State Federation of Deaf Persons) there are
more than 100.000 people in Spain with deep auditory deficiencies which use the Spanish
Language of Signs (LSE) as way of communication. Nowadays, the first solutions are deve-
loping software of automatic translation to this language.

This MSc Final Project involves the construction of a motion capture system that takes
real video sequences in the area of the LSE as input. In the videos, an interpreter uses LSE
in an supervised environment (camera position) but without any active or passive elements
that could facilitate the capture. These restrictions can reduce the recording times of the signs
without any hardware specific motion capture hardware.

Thus the main goal of the project is the creation of a tool for analysis and edition of mo-
vement that may facilitate the construction of a dictionary of signs. This output will be in
a standard format based on XML that will be able of being used in different virtual charac-
ters. Specifically, we propose its use in the area of GANAS project (Automatic Generator of
Spanish Sign Language) of the Indra-UCLM research project consortium.

III

Dedicado a mis Padres y a mi Hermana, por su
apoyo, preocupación y ayuda constante, y tratar de
levantarme el ánimo cuando lo necesitaba, y a Cris-
tina, mi otra mitad, por pasar tardes y tardes enteras
junto a mi para que todo me resultara más sencillo y
poder seguir adelante, y por su imaginación y ayuda
para el bautizo de éste, el que ha sido “nuestro hijo”
durante este periodo de tiempo. Os quiero.

Agradecimientos

Quiero mostrar mi más sincero agradecimiento a todas aquellas personas que de manera
directa o indirecta han contribuido al desarrollo de este trabajo, en especial a mi tutor y amigo
Carlos González Morcillo, por su ayuda, ideas y completa disponibilidad para atenderme y
guiarme en la elaboración de este sistema.
A los miembros del grupo ORETO por cederme un lugar en su laboratorio cuando lo he ne-
cesitado, y por su apoyo y amistad.
A mis compañeros y profesores que me han acompañado durante la carrera.
Y a mi familia y amigos, que sin ellos esto no tiene demasiado sentido.

Gracias.

Índice general

Índice de figuras
Índice de tablas
Índice de algoritmos

1. Introducción

Justificación del trabajo .

1.1.
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2. Estructura del documento . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2. Objetivos del proyecto

3. Antecedentes, Estado de la Cuestión

3.1.2. OpenCV .

3.1. Visión por Computador . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1. Técnicas de captura de movimiento . . . . . . . . . . . . . . . . . .
3.1.1.1. Sistemas ópticos . . . . . . . . . . . . . . . . . . . . . . .
3.1.1.2. Sistemas magnéticos . . . . . . . . . . . . . . . . . . . . .
3.1.1.3. Sistemas mecánicos . . . . . . . . . . . . . . . . . . . . .
3.1.1.4. Optical Flow . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2. Técnicas de representación 3D . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1. Métodos de animación basado en curvas de interpolación . . . . . . .
3.2.2. Representación 3D: OpenGL . . . . . . . . . . . . . . . . . . . . . .
3.3. Toolkits para Interfaces Gráficas de Usuario . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .

3.4.1. XML (eXtensible Markup Language)

3.4. Lenguajes de marcas

3.3.1. GTK y glade .

.

.

.

4. Metodología de Trabajo
.

Introducción .

.

.

.

.

.

4.1.
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2. Captura de vídeo y pre-procesamiento de imágenes . . . . . . . . . . . . . .
4.2.1. Descomposición de fichero de vídeo en ficheros de imagen . . . . . .
4.2.2. Pre-procesamiento del vídeo de entrada . . . . . . . . . . . . . . . .
4.3. Segmentación de imágenes y captura de movimiento 2D . . . . . . . . . . .
4.3.1. Proceso de identificación de zonas de interés del personaje . . . . . .

IX

XI

XIII

XV

1
3
4

7

11
11
14
14
17
17
18
20
27
28
46
61
62
73
75

81
81
85
86
87
87
88

X

ÍNDICE GENERAL

4.3.2. Proceso de detección del movimiento con técnicas de Optical Flow .
4.4. Reconstrucción del movimiento en 3D y generación de los ficheros de marcas
4.4.1. Reconstrucción del movimiento capturado en 3D . . . . . . . . . . .
4.4.2. Generación de los ficheros de marcas
. . . . . . . . . . . . . . . . .

91
95
96
97
4.5. Generación y edición de huesos y marcas faciales del modelo 3D . . . . . . . 100
4.5.1. Creación del modelo 3D . . . . . . . . . . . . . . . . . . . . . . . . 101
4.5.2. Edición y ajuste del movimiento . . . . . . . . . . . . . . . . . . . . 103
4.6. Configuración de poses de manos . . . . . . . . . . . . . . . . . . . . . . . . 106
4.7. Generación del fichero XML de salida . . . . . . . . . . . . . . . . . . . . . 109

5. Resultados

113
5.1. Resultados del proceso de detección de movimientos de brazos . . . . . . . . 114
5.2. Resultados del proceso de detección de movimientos faciales . . . . . . . . . 118
5.3. Tiempos empleados en el proceso de captura y detección de movimientos
. . 121

6. Conclusiones y Propuestas
.

. .

.

.

.

.

6.1. Conclusiones
6.2. Líneas de investigación abiertas

123
. . . . . . . . . . . . . . . . . . . . . . . . . . . 123
. . . . . . . . . . . . . . . . . . . . . . . . 126
6.2.1. Módulo de detección de poses de manos . . . . . . . . . . . . . . . . 126
6.2.2. Análisis de expresiones faciales . . . . . . . . . . . . . . . . . . . . 128
6.2.3. Mejora del módulo de edición . . . . . . . . . . . . . . . . . . . . . 128
6.2.4. Traductor de Lenguaje de Signos . . . . . . . . . . . . . . . . . . . . 130

ANEXOS

A. Diagramas

132

133

B. Manual de usuario

135
B.1. Visión general de la Interfaz de usuario . . . . . . . . . . . . . . . . . . . . 135
B.2. Ejemplo de uso de la aplicación . . . . . . . . . . . . . . . . . . . . . . . . 140

C. Manual de Instalación

143

D. Código fuente

D.1. Descripción de los módulos que componen el sistema.
D.2. Código fuente de los módulos más relevantes.

145
. . . . . . . . . . . . 145
. . . . . . . . . . . . . . . . . 146

Bibliografía

171

Índice de figuras

2.1. Esquema General de los Objetivos del proyecto. . . . . . . . . . . . . . . . .

9

13
18

19
31

32

3.1. Esquema de un proceso de análisis de imágenes: adquisición de la ima-
gen, preprocesamiento, segmentación, extracción de características, recono-
cimiento y localización, e interpretación o clasificación.
. . . . . . . . . . .
3.2. Optical Flow. Desplazamiento de dos puntos de un objeto . . . . . . . . . . .
3.3. Optical Flow experimentado por la rotación del observador. La dirección y
magnitud de optical flow de cada punto se representa mediante la dirección
y longitud de cada flecha (extraído de [11])
. . . . . . . . . . . . . . . . . .
3.4.
. . . . . . .
Interpolación (figura superior) y aproximación (figura inferior).
3.5. Las gráficas de la parte superior corresponden (de izquierda a derecha) a la
interpolaciónn de Lagrange con 4, 5 y 10 puntos. Las gráficas de la parte
inferior corresponden a una interpolación con splines cúbicas naturales. . . .
3.6. Continuidad entre segmentos de curva. De izquierda a derecha: continuidad
. . . . . . . . .
. . . . . .

de orden 0, continuidad de orden 1, continuidad de orden 2.
Interpolación por piezas de spline cúbica (n+1 puntos d