PDF de programación - Seguimiento visual y reconstrucción 3D de múltiples peces en peceras

Universidad de Murcia

Facultad de Informática

Trabajo Fin de Grado

Seguimiento visual y reconstrucción 3D

de múltiples peces en peceras

Autor:

Jose Carlos Miñarro Gil

Director:

Ginés García Mateos

Grado en Ingeniería Informática

Murcia - 5 de septiembre de 2011

3

Importante:

Los derechos de las imágenes usadas en este documento pertenecen a sus respectivos
autores, aunque en algunas situaciones no se haga mención explícita a los mismos.
Las imágenes han sido extraídas de medios públicos como buscadores de contenidos,
webs, etc. Todas ellas se han usado exclusivamente con propósitos académicos.

4

Agradecimientos

Este trabajo final de grado ha supuesto un gran esfuerzo personal y a la vez una
experiencia gratificante. En estos doce meses que ha durado, he recibido apoyo de
muchas personas. Entre ellas tengo que agradecer a Cristóbal Carnero, creador de
la librería cvBlob, por esta librería compartida y su continuo desarrollo, así como
las primeras lecciones dadas para la utilización de la misma.

Continúo con el Dr. Francisco Javier Sánchez Vázquez y Nicolás González por
ser los impulsores del proyecto y colaborar con nosotros manteniendo diversas
reuniones y preparando los diferentes medios multimedia que hemos necesitado
para conseguir nuestro fin.

Por último, y no menos importante, agradecer toda la atención y ayuda
prestada a mi director de proyecto, Ginés García Mateos, quien, teniendo grandes
conocimientos en el tema de la visión por ordenador, me ha guiado en todo el
desarrollo del mismo, resolviendo las dudas que me iban surgiendo y ayudando en
la elaboración de las etapas más difíciles de éste.

Quiero dedicar este trabajo a mis padres y hermanos, sin olvidarme de mi novia
Isa, cuyo apoyo y ánimos en los momentos más difíciles de la carrera han sido la
mejor ayuda y motivación recibida.

ÍNDICE

Índice

1. Resumen

2. Extended Abstract

5

8

9

3. Introducción y referencias históricas

13
. . . . . . . . . . . . . . . . 13
3.1. Reconocimiento de objetos abandonados
3.2. Seguimiento de bigotes de roedores
. . . . . . . . . . . . . . . . . . . 14
3.3. Detección e identificación de animales . . . . . . . . . . . . . . . . . . 15
3.4. Fish Tracker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4. Análisis de objetivos y metodología

19
4.1. Objetivos y motivación del proyecto . . . . . . . . . . . . . . . . . . . 19
4.2. Características de los vídeos de entrada . . . . . . . . . . . . . . . . . 21
. . . . . . . . . . . . . . . . . 24
4.3. Metodología y Herramientas utilizadas
4.3.1. Lenguaje de programación . . . . . . . . . . . . . . . . . . . . 24
4.3.2. Editor (IDE)
. . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.3.3. Librerías utilizadas . . . . . . . . . . . . . . . . . . . . . . . . 25

5. Diseño y resolución del trabajo realizado

27
5.1. Desarrollo del proyecto . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5.1.1. Preprocesamiento . . . . . . . . . . . . . . . . . . . . . . . . . 28
5.1.2. Detección de fondo . . . . . . . . . . . . . . . . . . . . . . . . 30
5.1.3. Selección de objetos de interés . . . . . . . . . . . . . . . . . . 33
5.1.4.
Intersección de vistas y estimación de posiciones 3D . . . . . . 35
5.1.5. Seguimiento en vídeo . . . . . . . . . . . . . . . . . . . . . . . 36
Implementaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
5.2.1. Transformaciones . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.2.2. Modelo de fondo de Gauss . . . . . . . . . . . . . . . . . . . . 41
5.2.3.
Intersecciones . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

5.2.

6. Experimentación y resultados

48
6.1. Test realizados
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
6.2. Resultados obtenidos . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

7. Conclusiones y vías futuras

8. Bibliografía

56

57

ÍNDICE DE FIGURAS

Índice de figuras

6

1.
2.

3.
4.
5.
6.

Resultado del proyecto de reconocimiento de objetos abandonados. . . 13
Ejemplo de segmentación de imagen en el proyecto de Antonio Colla-
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
zos Carrera.
Ejemplo de seguimiento de bigotes en roedores.
. . . . . . . . . . . . 15
Ejemplo del proyecto de detección e identificación de animales. . . . . 16
Ejemplo del proyecto Fish Tracker.
. . . . . . . . . . . . . . . . . . . 17
El escenario para la captura de las peceras y un ejemplo de oclusión
de peces en una de las vistas.
. . . . . . . . . . . . . . . . . . . . . . 20
Ejemplo de segmentación de imagen.
. . . . . . . . . . . . . . . . . . 21
Ejemplo de transformación perspectiva de imagen. . . . . . . . . . . . 21
Ejemplo de distancia de captura de imagen.
. . . . . . . . . . . . . . 22
. . . . . . . . . . . . . . . . 23
. . . . . . 23
. . 27

7.
8.
9.
10. Ejemplo de captura de imagen nocturna.
11. Ejemplo de diferente número de peces dentro de la pecera.
12. Esquema global del sistema de seguimiento 3D de peces diseñado.
13. Capturas de las diferentes cámaras, con un pez, distancia corta y luz

de día.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

14. Delimitación del borde del frente de la pecera sobre la imagen de la

figura 13.

Imágenes máscara que determinan la región de interés.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
. . . . . . . . . . . . . 29
15. Delimitación del borde del fondo de la pecera.
16.
. . . . . . . . 30
17. Modelo de fondo o background inicial. . . . . . . . . . . . . . . . . . . 31
18.
. . . . . . . . . 31
19.
. . . . . . . . . 32
20.

Imágenes diferencia entre background y frame actual.
Imágenes diferencia umbralizadas a un valor mínimo.
Imágenes diferencia tras aplicarle la máscara que define la región de
interés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Imágenes resultado de aplicar morfología. . . . . . . . . . . . . . . . . 33
21.
. . . . . . . . . . . . . . . . . . . 34
22. Objetos en movimiento detectados.
23. Simulación de proyecciones.
. . . . . . . . . . . . . . . . . . . . . . . 36
24. Tipos de transformaciones. . . . . . . . . . . . . . . . . . . . . . . . . 39
25. Curvas gaussianas con diferentes parametros. . . . . . . . . . . . . . . 43
26. Ejemplo de plano de una matriz de intersección de tamaño N = 10

para intersección de centroides.

. . . . . . . . . . . . . . . . . . . . . 45

27. Ejemplo de plano de una matriz de intersección de tamaño N = 10

para intersección de blob completo.

. . . . . . . . . . . . . . . . . . . 47
. . . . . . . . . . . . . . 49
28. Tests realizados sobre el vídeo LSDF101.avi.
. . . . . . . . . . . . . . 51
29. Tests realizados sobre el vídeo LSDF502.avi.
30. Tests realizados sobre el vídeo DSDF101.avi. . . . . . . . . . . . . . . 52
31. Tests realizados sobre el vídeo DSDF501.avi. . . . . . . . . . . . . . . 53
32. Secuencia transformaciones perspectivas para la proyección de un blob

completo.

33. Proyecciones de la traza de un pez.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
. . . . . . . . . . . . . . . . . . . 55

LISTA DE ALGORITMOS

7

Lista de algoritmos

. . . . . . . . . . . . . . . . . . . . 30
1. Obtención de máscara de imagen.
Segmentación de imagen. . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.
3. Obtención de objetos de interés. . . . . . . . . . . . . . . . . . . . . . 35
. . . . . . . . . . . . . . . . 36
4. Obtener posiciones 3D de intersecciones.
5.
. . . . . . . . . . 38
. . . . . . . . . . . . . . . . . . . 38
6.
46
7. Obtener posiciones 3D de las intersecciones de centroides de los blob.
8. Obtener posiciones 3D de las intersecciones de los blob completos.
. . 47

Asociar posiciones 3D a los historiales de los peces.
Corrección de posiciones inválidas.

1 RESUMEN

1. Resumen

8

La finalidad que se persigue con este proyecto es el análisis, diseño e imple-
mentación de un sistema capaz de realizar el seguimiento visual de los peces dentro
de una pecera y la futura reconstrucción del movimiento 3D que estos han realizado
en un vídeo. Para poder conseguir esto se han estudiado e implementado métodos
de segmentación de imagen capaces de distinguir el movimiento en la secuencia de
imágenes del vídeo. A continuación se hace la localización de este movimiento y
una asociación final de ese movimiento a los diferentes peces de la pecera.

Para el funcionamiento de la aplicación final partimos de dos vídeos de la pecera
tomados en posiciones perpendiculares para así poder analizar la posición 3D de los
peces que ésta contiene. La descripción del proceso que se describe a continuación
es realizada sobre ambos vídeos.

El primer paso del proceso consiste en la segmentación del flujo de vídeo en
objetos en movimiento (los diferentes peces) y estáticos (pecera, agua, etc.). Una
vez que tenemos esta segmentación realizada nos centraremos en los diferentes
objetos en movimientos detectados. De todos estos se ha tenido que realizar un
filtrado (por tamaño y posición relativa) para descartar posibles falsos positivos.
Estos falsos positivos son causados por diversos aspectos entre los que se destacan:
ruido del vídeo, reflejos de los peces en los bordes de la pecera producido por el
agua, partículas pequeñas en movimiento en el agua, etc.

Una vez que tenemos la posición en 2D de los diferentes objetos en movimiento
de ambos vídeos, pasamos a realizar una simulación de la proyección que estos
objetos representan en esa imagen estática en cada momento del vídeo. Teniendo las
proyecciones de ambas imágenes para cada instante del vídeo, obtenemos diferentes
puntos de intersección que corresponden con las posiciones 3D de los objetos en
movimiento detectados en la segmentación del vídeo.

Estas posiciones en 3D obtenidas tras el proceso descrito son las que correspon-
den con la posición