PDF de programación - Procesamiento del Lenguaje Natural para recuperación de información

Procesamiento del Lenguaje Natural para recuperación de información

http://pln-ri-hmm.orgfree.com/index.html

free web hosting | free hit counter | report abuse

THE FRUIKIS
The brain never dream´s

Home

Procesamiento del Lenguaje Natural para
recuperación de información

Introducción
Procesadores de lenguaje natural
Modelos ocultos de Markov
Algoritmo de Viterby

Introducción

En el último congreso internacional sobre Web Semántica, celebrado en Osaka, del 18 al 21 del mes
pasado, la presencia de aplicaciones centradas en Procesamiento de Lenguaje Natural (PLN) fue más
que notable. De hecho, Gate, una conocida aplicación para ingeniería lingüística diseñada en la
universidad de Sheffield, fue una de las estrellas invitadas al figurar referenciada en un buen número de
los trabajos presentados al congreso.

Ahora bien, la utilidad del procesamiento natural del lenguaje para la implementación de una Web
Semántica, no es un descubrimiento de este año. En el pasado 2004, Ricardo Baeza-Yates firmo un
interesante trabajo sobre la aplicación de técnicas de procesamiento del lenguaje natural para la
Recuperación de Información donde proponía a la Web Semántica como una de las principales
aplicaciones prácticas de técnicas convinadas de PLN(procesamiento del lenguaje natural) y
RI(recuperación de información).

Muchos pueden argumentar que el propio padre de la idea defiende que la Web Semántica no es una
Web basada en técnicas pertenecientes al área de Inteligencia Artificial (IA), pero esto no significa que
no podamos utilizar estas técnicas como base y apoyo para la implementación de su idea, ya que, más
allá de rencillas de carácter académico, todo lo que nos ayude a hacer realidad una nueva Web es útil
independientemente de conceptualizaciones de
carácter teórico.

Hay que tener en cuenta que, hoy por hoy la Web Semántica no existe como tal, más allá de
implementaciones puntuales de carácter experimental. El hecho de que exista pasa inexorablemente por
la generación de contenidos web semánticos que den cuerpo a la idea de una web más organizada. La
generación de contenidos de carácter semántico no es asimilable de forma manual por lo usuarios y
autores de la Web, por lo que es necesario la automatización de todas, o por lo menos parte de las tareas
de generación de contenidos web semánticos. Es aquí donde
el PLN
y la RI tienen mucho que aportar, ya que permiten la implementación de aplicaciones capaces de generar
información de tipo semántico que dote de cuerpo a la Web Semántica y la conviertan en una realidad.

1 de 8

19/03/2007 18:19

Procesamiento del Lenguaje Natural para recuperación de información

http://pln-ri-hmm.orgfree.com/index.html

Analizadores sintácticos, que permitan comprender la estructura de las frases de forma automática,
etiquetadores léxicos, reconocedores de entidades como nombres, fechas lugares, todas ellas son
herramientas automáticas esenciales para la generación de contenidos web semánticos, es más, me
atrevo a decir que sin ellas no es posible una web semántica real, ya que el coste de elaboración manual
de contenidos semánticos no es asimilable desde ningún punto de vista.

Procesadores de lenguaje natural

Como mencionamos anteriormente el Lenguaje Natural(LN) es el medio que utilizamos de manera

cotidiana para establecer nuestra comunicación con las demás personas



Este tipo de lenguaje es el que nos permite el designar las cosas actuales y razonar a cerca de
ellas, fue desarrollado y organizado a partir de la experiencia humana y puede ser utilizado para
situaciones altamente complejas y razonar muy sutilmente. La riqueza de sus componentes semánticos
da a los lenguajes naturales su gran poder expresivo y su valor como una herramienta para
razonamiento sutil. Por otro lado la sintaxis de un LN puede ser modelada fácilmente por un lenguaje
formal, similar a los utilizados en las matemáticas y la lógica. Otra propiedad de los lenguajes naturales
es la polisemantica, es decir la posibilidad de que una palabra en una oración tenga diversos significados.



En un primer resumen, los lenguajes naturales se caracterizan por las siguientes propiedades:



1.

2.

3.

Desarrollados por enriquecimiento progresivo antes de cualquier intento de formación de
una teoría.
La importancia de su carácter expresivo debido grandemente a la riqueza del
componente semántico(polisemantica).
Dificultad o imposibilidad de una formalización completa.

Las aplicaciones del Procesamiento de Lenguajes Naturales son muy variadas, ya que su alcance es muy
grande, algunas de las aplicaciones del PLN son:



Traducción automática:
se refiere más que nada a
la traducción correcta de
un lenguaje a otro,
tomando en cuenta lo que
se quiere expresar en cada
oración, y no solo palabra
por palabra. Una
aproximación a este tipo
de traductores es el
babylon.

Recuperación de la información: en esta aplicación, un claro ejemplo seria
el siguiente: Una persona llega a la computadora y le dice(en LN) que es lo
que busca, esta busca y le dice que es lo que tiene referente al tema.

2 de 8

19/03/2007 18:19

Procesamiento del Lenguaje Natural para recuperación de información

http://pln-ri-hmm.orgfree.com/index.html

Extracción de Información y Resúmenes: Los nuevos programas, deben
tener la capacidad de crear un resumen de un documento basándose en los
datos proporcionados, realizando un análisis detallado del contenido y no
solo la truncando las primeras Lineas de los párrafos.

Resolución cooperativa de problemas: La computadora debe tener la capacidad
de cooperar con los humanos para la solución de problemas complejos,
proporcionando datos e información, incluyendo también, la demanda de
información por parte del ordenador al usuario, debiendo existir una excelente
interactividad entre el usuario y el ordenador.

Tutores inteligentes: La aplicación del PLN en este aspecto, vienen por
computadora, debiendo esta ser aprox. en un 99%, al tener esta la capacidad de
evaluar al educando y tener la capacidad de adaptándose a cada tipo de alumno.

Reconocimiento de Voz: Esta es una aplicación del PLN que más éxito ha obtenido en
la actualidad, ya que las computadoras de hoy ya tienen esta característica, el
reconocimiento de voz puede tener dos posibles usos: para identificar al usuario o para
procesar lo que el usuario dicte, existiendo ya programas comerciales, que son
accesibles por la mayoría de los usuarios, ejemplo: ViaVoice.

Para continuar nuestro estudio de los lenguajes naturales, es necesario el que conozcamos los niveles del
lenguaje, los cuales serán utilizados para la explicación de el siguiente tema que es la Arquitectura de un sistema
de PLN. Los niveles de lenguaje que daremos a conocer son los siguientes: fonológico, morfológico, sintáctico,
semántico, y pragmático.



Nivel Fonológico: trata de cómo las palabras se relacionan con los sonidos que representan.
Nivel Morfológico: trata de cómo las palabras se construyen a partir de unas unidades de significado
mas pequeñas llamadas morfemas.
Nivel Sintáctico: trata de cómo las palabras pueden unirse para formar oraciones, fijando el papel
estructural que cada palabra juega en la oración y que sintagmas son parte de otros sintagmas.
Nivel Semántico:
trata del significado de las palabras y de cómo los significados se unen para dar significado a una
oración, también se refiere al significado independiente del contexto, es decir de la oración aislada.
Nivel Pragmático: trata de cómo las oraciones se usan en distintas situaciones y de cómo el uso afecta
al significado de las oraciones. Se suele reconocer un subnivel recursivo: discursivo, que trata de
cómo el significado de una oración se ve afectado por las oraciones inmediatamente anteriores.

3 de 8

19/03/2007 18:19

Procesamiento del Lenguaje Natural para recuperación de información

http://pln-ri-hmm.orgfree.com/index.html

La explicación a la arquitectura mostrada para los sistemas PLN es sencilla:

1.
2.

3.

4.

5.

El usuario le expresa a la computadora que es lo que desea hacer.
La computadora analiza las oraciones proporcionadas, en el sentid morfológico y sintáctico,
es decir, si las frases contienen palabras compuestas por morfemas y si la estructura de las
oracioneses correcta.
El siguiente paso, es analizar las oraciones semánticamente, es decir saber cual es el
significado de cada oración, y asignar el significado de estas a expresiones lógicas.
Una vez realizado el paso anterior, ahora podemos hacer el análisis pragmático de la
instrucción, es decir una vez analizadas las oraciones, ahora se analizan todas juntas,
tomando en cuenta la situación de cada oración, analizando las oraciones anteriores, una vez
realizado este paso, la computadora ya sabe que es lo que va a hacer, es decir, ya tiene la
expresión final.
Una vez obtenida la expresión final, el siguiente paso es la ejecución de esta, para obtener así
el Resultado y poder proporcionárselo al usuario.

Uno de los grandes problemas del PLN se produce cuando una expresión en lenguaje natural posee
más de una interpretación, es decir, cuando en el lenguaje de destino se le pueden asignar dos o más
expresiones distintas. Este problema de la ambigüedad se presenta en todos los niveles del lenguaje, sin
excepción. Ejemplo:



"Juan vio a María, con el telescopio"

"Juan vio a María con el telescopio"


En apariencia este problema es demasiado sencillo, pero en realidad, es uno de los mas complicados y
que más complicaciones ha dado para que el PLN pueda desarrollarse por completo, ya que al
presentarse en todos los niveles del lenguaje, se tienen que desarrollar programas( en lenguaje formal)
para solucionarlos en cada caso.

Entre las técnicas inductivas aplicadas para resolver estas tareas de desambiguación se puede
encontrar el aprendizaje basado en ejemplos, aprendiz