PDF de programación - Introducción a la Visión 3D

Visión 3D

Introducción a la Visión 3D

Luis M. Jiménez – José M. Sebastián

Ingeniería de Sistemas y Automática (UMH)

1

Problema Central de la Visión 3D

A partir de una imagen o de una secuencia de imágenes de un

objeto estacionario o en movimiento, tomada desde un
observador monocular (una cámara) o policular (varias
cámaras), la comprensión del objeto o la escena, y sus
propiedades tridimensionales.

Ejemplos:

Medida de distancias
Medida de velocidad y dirección de movimiento
Generación de modelos de superficies 3D
Localizar (‘pose’) de objetos opersonas
Detectar obstáculos
….

Visión 3D: Introducción

1

Visión 3D Humana

Binocularidad de las imágenes. Visión de imágenes

desde distintos puntos de vista.
Mínima distancia para la formación de imágenes

tridimensionales

Rango de máxima utilidad
Máxima distancia de utilización

Visión 3D: Introducción

3

Visión 3D Humana

Binocularidad de las imágenes. Visión de imágenes

desde distintos puntos de vista.

Movimiento del punto de vista. Obtención de una

serie de imágenes consecutivas.
Desplazamiento relativo de objetos
Rango de utilidad

Visión 3D: Introducción

4

2

Visión 3D Humana

Binocularidad de las imágenes. Visión de imágenes

desde distintos puntos de vista.

Movimiento del punto de vista. Obtención de una

serie de imágenes consecutivas.

Solapamientos, reflejos y sombras.

Añaden percepción tridimensional a las imágenes.

Visión 3D: Introducción

5

Visión 3D Humana

Binocularidad de las imágenes. Visión de imágenes

desde distintos puntos de vista.

Movimiento del punto de vista. Obtención de una

serie de imágenes consecutivas.

Solapamientos, reflejos y sombras.
Realismo de las imágenes:

El gradiente de textura o la proyección de perspectiva

permite establecer distancias relativas

Visión 3D: Introducción

6

3

Etapas en la Visión 3D

Recuperación de la estructura tridimensional

de la escena

Modelado y Representación de Objetos

Reconocimiento y localización

Interpretación de la Escena

Visión 3D: Introducción

7

Recuperación de la estructura 3D de
la escena (I)

Métodos activos

Proyectan haces controlados de energía (luz

o sonido sobre la escena).

Utilizan un observador activo

Métodos pasivos.

Los no considerados como activos

Los métodos se basan en principios:
como el de la Triangulación Espacial

Visión 3D: Introducción

8

4

Triangulación Espacial.

L1 cos(a)+L2 cos(b)=D
L1 sen(a)=L2 sen(b)

Visión 3D: Introducción

9

Recuperación de la estructura 3D de
la escena (II)

Tiempo de vuelo
Disparidad, par estereoscópico.
Proyección de luz estructurada.
MOIRÉ
Interferometría, Holografía.
Enfoque.
Forma a partir del sobreado
Flujo óptico.

Visión 3D: Introducción

10

5

Tiempo de vuelo (I)

Se basa en la medida directa o indirecta del tiempo

invertido por una señal de velocidad conocida, en
recorrer la distancia que separa una región de la
escena del dispositivo emisor/sensor.

Visión 3D: Introducción

11

Tiempo de vuelo (II)

Naturaleza del haz de energía.

Acústica (ultrasonidos).
Electromagnética (láser). Presenta una mejor

direccionalidad.

Inconvenientes

Baja direccionalidad (limita resolución angular)
Baja energía reflejada, ocasiona alto tiempo de

integración y un ajuste continuo de los umbrales de
detección.

Visión 3D: Introducción

12

6

Tiempo de vuelo (III)

Visión 3D: Introducción

13

Tiempo de vuelo (IV)

Visión 3D: Introducción

14

7

Tiempo de vuelo V

Visión 3D: Introducción

15

Tiempo de vuelo (VI)

Visión 3D: Introducción

16

8

Disparidad, par estereoscópico (I)

La tercera dimensión es recuperada mediante

triangulación a partir de la escena observada por
dos o más captadores.

Visión 3D: Introducción

17

Disparidad, par estereoscópico (II)

Ventajas

Se emplean soluciones tanto activas como pasivas, en

función de que los captadores posean o no alguna
actividad controlada (convergencia, enfoque o movimiento)

Sólo requiere la captura de una imagen por captador.

Inconvenientes

Las inherentes a toda triangulación, oclusiones.
Correspondencia entre imágenes.
Dispersión del mapa tridimensional(regiones de la escena

con gradientes elevados de luminancia o color.)

Visión 3D: Introducción

18

9

Disparidad, par estereoscópico (III)

Visión 3D: Introducción

19

Disparidad, par estereoscópico (IV)

Visión 3D: Introducción

20

10

Disparidad, par estereoscópico (V)

Visión 3D: Introducción

21

Proyección de luz estructurada (I)

Realiza la triangulación espacial con un captador de imágenes

y un proyector de luz de dirección controlada.

El proyector de elevada potencia lumínica origina fuertes

gradientes de luminancia en zonas arbitrarias de la escena.

Método activo, emplea triangulación.

Visión 3D: Introducción

22

11

Proyección de luz estructurada (II)

Ventajas

Proporciona mapas tridimensionales densos y precisos.
Procesamiento sencillo.

Inconvenientes

Las inherentes de la triangulación, oclusiones.
Elevado número de imágenes requeridas, (alto tiempo de

adquisición)

secuencial.

Mecanismo de barrido que asegure la iluminación

Escenas lejanas, atenuación de energía luminosa.
Entornos donde el empleo de alta potencia sea peligroso.

Visión 3D: Introducción

23

Proyección de luz estructurada (IV)

Rejilla de luz estructurada proyectada

sobre una superficie irregular

24

Visión 3D: Introducción

12

Proyección de luz estructurada (V)

Barrido mediante luz estructurada

Visión 3D: Introducción

25

MOIRÉ I
Se basa en el fenómeno de interferencia de la luz
La superposición de dos motivos de la misma

frecuencia espacial produce una interferencia de
baja frecuencia que únicamente varía con la
diferencia de fase

Se hace pasar la luz a través de dos rejillas
Permite la recuperación de la información

tridimensional

Limitaciones que imponen sobre los gradientes y la

continuidad espacial de la escena

Visión 3D: Introducción

Ventajas:

No emplea triangulación

Inconvenientes:

26

13

Interferometría, holografía.

Se basa en hacer interferir dos haces de luz

coherente que siguiendo caminos ópticos distintos,
iluminan el punto a medir.

La amplitud de la interferencia resulta proporcional a

la diferencia de fase, lo que permite determinar
unívocamente las distancias inferiores a la longitud
de onda utilizada (1 μm lo que es el principal
inconveniente).

Visión 3D: Introducción

27

Enfoque I

Determina la distancia entre sensor y escena

buscando máximo contraste, mediante la variación
del enfoque.

Ventajas

No emplea triangulación.

Inconvenientes

La precisión disminuye con la distancia.
Necesita puntos con alto contraste lumínico

Visión 3D: Introducción

28

14

Enfoque (II)

OBJETO

LENTES

f’

f

IMAGEN SENSOR

F

dext

H

A

H’

F’

P1

P2

dint

p
d

p’

δ

dsen

Visión 3D: Introducción

29

Forma a partir del sombreado (I)

Shape from shading La luminancia medida por un

observador sobre un punto de una superficie se
relaciona con la geometría local a través del
producto escalar entre la normal y la dirección de
iluminación.

Se utiliza esta relación para el cálculo de un campo

de normales asociado a las escena.

La resolución del problema se basa en la

minimización de alguna función de coste (no lineal)
relacionada con la diferencia entre la imagen
original y la esperada

Visión 3D: Introducción

30

15

Forma a partir del sombreado (II)

Visión 3D: Introducción

31

Forma a partir del sombreado (III)

Ventajas

Ideal para cooperar con otros métodos
no emplea triangulación.

Inconvenientes

No es adecuado en escenas con discontinuidades
Requiere un alto tiempo de análisis.

Visión 3D: Introducción

32

16

Forma a partir de la textura

Shape from Patterns Si una superficie se encuentra

cubierta con pequeños patrones (denominados texels), se
puede determinar la forma de la misma en función de la
deformación que sufren los patrones.

Visión 3D: Introducción

33

Flujo óptico

Determina la posición de un punto en el espacio,

basandose en un campo instantáneo de
velocidades. Para determinar este campo se utiliza
una secuencia de imágenes.

Secuencia de imágenes, son distintas imágenes

tomadas en intervalos conocidos de tiempo, y
dotadas de un movimiento también conocido

Visión 3D: Introducción

34

17

Flujo óptico

Visión 3D: Introducción

35

Etapas en la Visión 3D

Recuperación de la estructura tridimensional

de la escena

Modelado y Representación de Objetos

Reconocimiento y localización

Interpretación de la Escena

Visión 3D: Introducción

36

18

Modelado y representación de objetos

Forma en que se almacenan los objetos percibidos y
los modelos conocidos

Características:

Fiabilidad
Mantener la información relevante
Estabilidad ante errores en el proceso de captación
Estabilidad ante distintas vistas
Eficiencia computacional
Soporte local (oclusiones)

Visión 3D: Introducción

37

Modelado y