PDF de programación - El cálculo de la correspondencia densa y sus aplicaciones al reconocimiento facial

PROYECTO DE FIN DE CARRERA

EL CÁLCULO DE LA

CORRESPONDENCIA DENSA Y SUS

APLICACIONES AL RECONOCIMIENTO FACIAL

Presentado Por

BRUNO A. RECASENS URZI

Director

GINÉS GARCÍA MATEOS



Murcia, 2007



Correspon dencia densa
entre imágenes

Pag. 1 / 57

Bruno A. Recasens Urzi

Resumen del Proyecto

El objetivo que se persigue en este proyecto es elaborar un algoritmo capaz de calcular una función
de correspondencia entre los puntos de dos imágenes. Para ello se han analizado diversos
algoritmos existentes, y se han analizado los resultados que nos ofrecen. Tras observar estos y los
resultados que nos ofrecían, hemos decidido desarrollar un algoritmo nuevo, pensado para trabajar
con la mayor calidad de imagen y el menor tiempo posible.

El algoritmo parte de dos bases sólidas para conseguir por un lado rapidez y por el otro precisión.
Por un lado, el algoritmo está pensado de forma iterativa, para conseguir un proceso que de forma
adaptativa consiga avanzar hacia la solución, permitiendo optimizar cada iteración como unidad, sin
perder con ello potencia en el algoritmo, ya que así se puede elegir el número de iteraciones
dinámicamente.
Al ser el algoritmo iterativo, se han podido realizar optimizaciones sobre cada iteración que van
desde la expresión de las funciones con operaciones estándar de las librarías, pues éstas ya están
optimizadas para el procesamiento visual, hasta la iteración a escalas crecientes, pasando por
reducción de la densidad de búsqueda, eliminación de distorsiones de varios tipos, etc.

Por el otro lado se ha tenido en cuenta el marco de referencia en el que se quería enmarcar el
algoritmo. Puesto que se está trabajando con imágenes reales y objetos reales, se ha partido de la
base de que un conjunto de puntos cercanos pertenecerá a la misma imagen, es decir, se ha hecho
una hipótesis de continuidad en la imagen. Por este motivo se ha añadido al algoritmo un factor de
normalización que hace que la función se modifique punto a punto, pero al mismo tiempo los
puntos permanezcan unidos en forma de malla, de forma que si un punto se mueve en una iteración,
este forzará a los que tiene cercanos a moverse también.
Con esto hemos conseguido reducir la distorsión causada por el ruido de las imágenes, pero que no
pierde precisión puesto que al mismo tiempo los puntos vecinos están intentando moverse hacia su
posición óptima, y únicamente estaríamos dificultando el movimiento. Con esto, además, se
consigue tener la posibilidad de trabajar con imágenes no correspondientes, es decir, que no existe
una correspondencia exacta entre ellas, o bien porque no pertenecen a la misma escena, o bien
porque no corresponden ni siquiera al mismo objeto.

Por otra parte, se ha realizado un estudio de las que podrían ser las aplicaciones más directas de un
algoritmo de correspondencia densa, como son la interpolación de imágenes, la reconstrucción de
modelos tridimensionales o el reconocimiento de objetos. Con respecto a este último, se ha
extendido el desarrollo más concretamente hacia el reconocimiento facial, haciendo un estudio
comparativo de los resultados de la aplicación de un proceso de normalización.

Este proceso de normalización, sería útil para obtener una imagen frontal de la cara con una
iluminación longitudinal a la cámara, mejorando por tanto el proceso de reconocimiento basado en
comparación de imágenes. Este proceso de normalización se ha estudiado a un nivel básico

Correspon dencia densa
entre imágenes

Pag. 2 / 57

Bruno A. Recasens Urzi

obteniendo buenos resultados, y se han estudiado las formas que existen para mejorar el proceso de
forma eficiente, y se ha hecho una aproximación de los resultados que se podrían esperar.

Así mismo se han realizado diversas demostraciones de lo que se podría esperar del proceso de
interpolación de pares de imágenes, aunque no se ha llegado a profundizar en sus aplicaciones, ni se
ha realizado un estudio comparativo de su aplicabilidad a problemas concretos. Y por último, con
respecto a la reconstrucción tridimensional no se ha llegado a realizar ninguna implementación, ya
que el tiempo de procesamiento de este tipo de procesos se traduce en un tiempo de desarrollo y
optimización mucho mayores, que hemos considerado, excesivo para el ámbito del estudio que
queríamos abarcar.

Correspon dencia densa
entre imágenes

Pag. 3 / 57

Bruno A. Recasens Urzi

Índice de contenido
Resumen del Proyecto..........................................................................................................................1
1 Introducción y motivación del proyecto...........................................................................................5
1.1 Flujo óptico y correspondencia densa.......................................................................................5
1.1.1 Concepto de flujo óptico...................................................................................................5
1.1.2 El problema de la correspondencia...................................................................................6
1.2 Algunas aplicaciones de la correspondencia densa..................................................................8
1.2.1 Reconocimiento facial.......................................................................................................8
1.2.2 Interpolación de imágenes..............................................................................................10
1.2.3 Reconstrucción de modelos tridimensionales.................................................................11
2 Objetivos del proyecto....................................................................................................................13
3 Las soluciones actuales...................................................................................................................14
3.1 Thin-Plate Splines (TPS)........................................................................................................14
3.2 Correspondencia densa a partir del Flujo Óptico....................................................................16
3.3 Correspondencia dispersa de Lucas y Kanade piramidal.......................................................16
3.4 Ejemplo del uso de correspondencia densa mediante Lucas&Kanade...................................17
4 Desarrollo del proyecto..................................................................................................................19
4.1 El algoritmo base....................................................................................................................19
4.2 Mejoras sobre el algoritmo base.............................................................................................20
4.2.1 Expresar el algoritmo con funciones sobre imágenes.....................................................20
4.2.2 Obtención de la función de correspondencia inversa......................................................22
4.2.3 Iteración de escalas.........................................................................................................22
4.2.4 Unir puntos intermedios..................................................................................................23
4.2.5 Eliminar gradientes negativos.........................................................................................24
4.2.6 Devolver vecinos más relevantes....................................................................................25
4.2.7 Calcular la variación máxima.........................................................................................26
4.3 Ejemplo de uso del algoritmo correspondencia propuesto.....................................................27
5 Mejoras sobre la solución propuesta..............................................................................................29
5.1 Algoritmos de búsqueda heurísticos más avanzados..............................................................29
5.2 Inicialización mediante modelos............................................................................................30
5.3 Inicialización mediante correspondencias dispersas...............................................................31
6 Aplicación en reconocimiento facial..............................................................................................34
6.1 El reconocimiento facial de personas.....................................................................................34
6.2 Dónde encaja el algoritmo de correspondencia......................................................................35
6.3 Comparativa de soluciones.....................................................................................................38
6.3.1 Conjunto de Pruebas.......................................................................................................38
6.3.2 Resultado de las curvas CMC.........................................................................................40
6.3.3 Resultado de las curvas ROC..........................................................................................46
6.4 Conclusiones...........................................................................................................................52
7 Visión de futuro y conclusiones.....................................................................................................54
8 Bibliografía.....................................................................................................................................56

Correspon dencia densa
entre imágenes

Pag. 4 / 57

Bruno A. Recasens Urzi

Índice de ilustraciones
Fig 1.1.................................................................5
Fig 1.2.................................................................7
Fig 1.3.................................................................7
Fig 1.4.................................................................9
Fig 1.5....