PDF de programación - Reconocimiento y corrección de errores por ingreso de lenguaje Natural en dispositivos electrónicos

Reconocimiento y Corrección de Errores
Reconocimiento y Corrección de Errores

por Ingreso de Lenguaje Natural
por Ingreso de Lenguaje Natural

en Dispositivos Electrónicos
en Dispositivos Electrónicos

Director
Director
Codirector
Codirector

Andrés T Hohendahl 1,2
Andrés T Hohendahl 1,2

Dr. José F. Zelasco 1
Dr. José F. Zelasco 1
Dr. Ing. Silvano B. Zanutto 2
Dr. Ing. Silvano B. Zanutto 2

1 Laboratorio de Estereología y Mecánica Inteligente
1 Laboratorio de Estereología y Mecánica Inteligente

Facultad de Ingeniería, U.B.A.
Facultad de Ingeniería, U.B.A.

2 Instituto de Ingeniería BioMédica,
2 Instituto de Ingeniería BioMédica,

Facultad de Ingeniería, U.B.A.
Facultad de Ingeniería, U.B.A.

Sistema de Comunicaciones
Sistema de Comunicaciones

Componentes
Componentes

– Datos: Palabras en un Lenguaje Natural
– Datos: Palabras en un Lenguaje Natural

• Formatos: fonético y grafémico
• Formatos: fonético y grafémico

– Emisores
– Emisores

• Moduladores: Voz, Escritura, Pantallas, Máquinas, etc.
• Moduladores: Voz, Escritura, Pantallas, Máquinas, etc.

– Transmisión
– Transmisión

• Medios: Luz, Sonido , Relieves de Superficie, etc.
• Medios: Luz, Sonido , Relieves de Superficie, etc.

– Receptores
– Receptores

• Demoduladores: Oido, Vista, Tacto (biológicos)
• Demoduladores: Oido, Vista, Tacto (biológicos)

– Almacenamiento
– Almacenamiento

• Artificial: Escritura (físico), Audio/Video (electrónico)
• Artificial: Escritura (físico), Audio/Video (electrónico)
• Memoria Humana: Neurológico (electroquímico)
• Memoria Humana: Neurológico (electroquímico)
Existen Errores! Y de muchos tipos diferentes!
Existen Errores! Y de muchos tipos diferentes!

Sistema de Comunicaciones
Sistema de Comunicaciones

Análisis del tipo de Dato
Análisis del tipo de Dato

• Datos
• Datos

– Palabras en un determinado Lenguaje
– Palabras en un determinado Lenguaje

• Formatos
• Formatos

– Fonético (sonidos característicos)
– Fonético (sonidos característicos)
– Grafémico
– Grafémico

» Alfabético (Letras que los Representan Combinadas)
» Alfabético (Letras que los Representan Combinadas)
» Ideográfico (Símbolos Visuales Complejos: Chino)
» Ideográfico (Símbolos Visuales Complejos: Chino)
» Icónico (representación más compleja)
» Icónico (representación más compleja)

• Códigos
• Códigos

Reglas, Lógica, Cognitiva (hipótesis)
Reglas, Lógica, Cognitiva (hipótesis)

¿ Son sistemas Robustos ?
¿ Son sistemas Robustos ?
¿ Hay posibilidad de Métricas ?
¿ Hay posibilidad de Métricas ?

Sistema de Comunicaciones
Sistema de Comunicaciones

Tipos de Emisores de Datos
Tipos de Emisores de Datos

• Emisores
• Emisores

Considerando como Fuente Originaria el Humano
Considerando como Fuente Originaria el Humano
Cognición
Cognición

• Generación de Lenguaje Natural
• Generación de Lenguaje Natural

– Redacción del texto (ideas secuencia de palabras y signos)
– Redacción del texto (ideas secuencia de palabras y signos)
– Reglas del lenguaje, escritura y habla
– Reglas del lenguaje, escritura y habla

– Moduladores Naturales
– Moduladores Naturales

(Los más Comunes)
(Los más Comunes)
• Aparato Fonoarticulador (habla)
• Aparato Fonoarticulador (habla)
• Mano (escritura caligráfica)
• Mano (escritura caligráfica)
• Manos (escritura mecanográfica)
• Manos (escritura mecanográfica)
• Cuerpo y Manos (gestos: amslan)
• Cuerpo y Manos (gestos: amslan)

Introducción de Datos
Introducción de Datos
Interfaz Hombre-Máquina (HCI)
Interfaz Hombre-Máquina (HCI)

Directo
Directo

Movimiento & Posición
Movimiento & Posición

•
•
•
•
•
•
•
•
Indirecto
Indirecto

Teclado (QWERTY, Numérico, etc.)
Teclado (QWERTY, Numérico, etc.)
Mouse (tradicional, posición y accionamiento: clic)
Mouse (tradicional, posición y accionamiento: clic)
Táctil (Touch Screen / Force Feedback )
Táctil (Touch Screen / Force Feedback )
Acelerómetros, Brújula-3D, GPS
Acelerómetros, Brújula-3D, GPS

Reconocimientos (algoritmos ~ Inteligencia Artificial)
Reconocimientos (algoritmos ~ Inteligencia Artificial)

•
•
•
•
•
•
•
•
•
•
•
•

Lectura de Texto (OCR)
Lectura de Texto (OCR)
Auditivo: ASR (Voz a Texto), Entonación, Emoción
Auditivo: ASR (Voz a Texto), Entonación, Emoción
Visual: Caras, Gestos y emoción, etc.
Visual: Caras, Gestos y emoción, etc.
Lápiz Electrónico: Escritura, Dibujo, Firma y Estilo
Lápiz Electrónico: Escritura, Dibujo, Firma y Estilo
Biométrico: Huella digital, Iris, etc.
Biométrico: Huella digital, Iris, etc.
Químico: Gases, Humo, Olores, etc.
Químico: Gases, Humo, Olores, etc.

Sistema de Comunicaciones
Sistema de Comunicaciones

Transporte y Almacén
Transporte y Almacén

• Transmisión
• Transmisión

– Física: Luz, Sonido y Tacto (braile)
– Física: Luz, Sonido y Tacto (braile)

(No nos adentraremos en esto)
(No nos adentraremos en esto)

• Almacenamiento y Reproducción
• Almacenamiento y Reproducción

(No nos adentraremos en esto)
(No nos adentraremos en esto)
• Humano
• Humano

– Memorias Léxica
– Memorias Léxica
– Memoria Fonética
– Memoria Fonética

• Artificial
• Artificial

– Libros y Escritos
– Libros y Escritos

» Grafemas e Imágenes estáticas
» Grafemas e Imágenes estáticas

– Audio y Video
– Audio y Video

» Instantáneas de su emisión.
» Instantáneas de su emisión.

Sistema de Comunicaciones
Sistema de Comunicaciones

Reproducción
Reproducción

Mecanismos = Físicos
Mecanismos = Físicos

•
•
•
•

•
•
•
•

Video: Luces, CRT/LCD, Proyección, algún día.. 3D real.
Video: Luces, CRT/LCD, Proyección, algún día.. 3D real.
Audio: Sonidos, Música, Efectos especiales: 3D (HRTF)
Audio: Sonidos, Música, Efectos especiales: 3D (HRTF)

Habla: TTS (texto a voz), con prosodia y emoción.
Habla: TTS (texto a voz), con prosodia y emoción.
Mecánicos: Vibración, Movimiento & Accionamientos
Mecánicos: Vibración, Movimiento & Accionamientos
Químicos: Perfumes, Olores..?
Químicos: Perfumes, Olores..?

Elaboración ? Mímica !
Elaboración ? Mímica !

•
•

•
•

•
•

Realidad (Memoria Visual y Auditiva)
Realidad (Memoria Visual y Auditiva)
Realidad Virtual (Simulación Visual y Auditiva)
Realidad Virtual (Simulación Visual y Auditiva)
Realidad Aumentada (Suma Datos Representados)
Realidad Aumentada (Suma Datos Representados)

Fotos & Videos
Fotos & Videos
–
–
–
–
–
–
Música & sonidos
Música & sonidos
–
–
Textos
Textos
–
–
– GLN (Generación de Lenguaje Natural)
– GLN (Generación de Lenguaje Natural)

Pre-grabados/compuestos y/o sintetizados.
Pre-grabados/compuestos y/o sintetizados.

previamente escritos… (por otros humanos)
previamente escritos… (por otros humanos)

Sistema de Comunicaciones
Sistema de Comunicaciones

Mecanismos de Recepción
Mecanismos de Recepción

• Receptor
• Receptor

Multi-Etapa (cascada)
Multi-Etapa (cascada)
– Demodulador (parte 1)
– Demodulador (parte 1)
• Oido (acústico-biológico)
• Oido (acústico-biológico)
• Vista (visual-biológico)
• Vista (visual-biológico)
• Tacto (sensitivo-biológico)
• Tacto (sensitivo-biológico)

– Demodulador (parte 2)
– Demodulador (parte 2)

• Reglas Automáticas (neuro-biológicos)
• Reglas Automáticas (neuro-biológicos)

– Demodulador (parte 3)
– Demodulador (parte 3)

• Reglas Cognitivas (neuro-psicológicas)
• Reglas Cognitivas (neuro-psicológicas)

– Lógica y Sentido Común
– Lógica y Sentido Común
– Concordancia: Género, Número, Tiempo
– Concordancia: Género, Número, Tiempo
– Ubicación
– Ubicación

» Deixis, Anáfora, Coreferencia
» Deixis, Anáfora, Coreferencia

Sistema de Comunicaciones
Sistema de Comunicaciones

Teorías a Analizar
Teorías a Analizar

• Texto Escrito
• Texto Escrito

– Análisis de códigos y robustez
– Análisis de códigos y robustez

• Propios del Lenguaje y la Escritura
• Propios del Lenguaje y la Escritura

– Caracterización de los Errores
– Caracterización de los Errores

• Usando modelos y técnicas de telecomunicaciones
• Usando modelos y técnicas de telecomunicaciones

– Medición
– Medición

• Similitud Fonética
• Similitud Fonética
• Similitud Léxica
• Similitud Léxica
• Matriz de Confusión
• Matriz de Confusión
• Estimación de Idioma y su Pronunciabilidad
• Estimación de Idioma y su Pronunciabilidad
• Diversas Tasas de Error
• Diversas Tasas de Error

Qué cosa quiso poner…?

Los Errores de Ortografía

Todo segmento de texto no es más que una chorrera de Letras…
Todo segmento de texto no es más que una chorrera de Letras…
Si no está en el diccionario No se sabe nada a priori, por ej.:
Si no está en el diccionario No se sabe nada a priori, por ej.:

K A V R H O M (7 letras)
K A V R H O M (7 letras)

~ Hay 35 letras diferentes c/signos diacríticos (acentos/diéresis/eñe)
~ Hay 35 letras diferentes c/signos diacríticos (acentos/diéresis/eñe)
» Cambiar 1 letra ~ 7 x 34 ~ 234 intentos de búsqueda en diccionario
» Cambiar 1 letra ~ 7 x 34 ~ 234 intentos de búsqueda en diccionario
» Cambiar 2 letras ~ 7 x 34 x 6 x 34 ~ 5 x 104 intentos
» Cambiar 2 letras ~ 7 x 34 x 6 x 34 ~ 5 x 104 intentos
» Cambiar 4 letras ~ 1.2 1012 intentos (sin contar eliminaciones ni inserciones)
» Cambiar 4 letras ~ 1.2 1012 intentos (sin contar eliminaciones ni inserciones)
» Cambiar 7 letras ~ 9 x 1015 intentos (incluyendo duplicados)
» Cambiar 7 letras ~ 9 x 1015 intentos (incluyendo duplicados)
Es un problema complejo y de orden combinatorio!
Es un problema complejo y de orden combinatorio!
NP Duro = IRRESOLUBLE EN TIEMPOS RAZONABLES (POLINOMIALES)
NP Duro = IRRESOLUBLE EN TIEMPOS RAZONABLES (POLINOMIALES)

Tampoco sabemos
Tampoco sabemos

» El idioma (hoy todo es multilingual-mixto)
» El idioma (hoy todo es multilingual-mixto)
» Si existe, en cuál diccionario está, si es un apellido o nombre propio.
» Si existe, en cuál diccionario está, si es un apellido o nombre propio.
» Cuáles letras están falladas / faltan o sobran (debo probar cada letra)
» Cuáles letras están falladas / faltan o sobran (debo probar cada letra)
» Si se Invirtieron algunas letras y cuáles
» Si se Invirtieron algunas letras y cuáles