PDF de programación - Capitulo 1 - Verificación y validación de sistemas inteligentes

CAPITULO 1



VERIFICACIÓN Y VALIDACIÓN DE SISTEMAS
INTELIGENTES



• Verificación de Sistemas
• Validación de Sistemas
• Métodos Cuantitativos de Validación
• Metodología de Validación
• Herramientas de Validación
• Resumen
• Textos Básicos





1. VERIFICACIÓN
INTELIGENTES

Y

VALIDACIÓN

DE

SISTEMAS

Verificación y validación (V&V) son dos de las etapas más importantes en el
análisis del comportamiento de un sistema experto. Sin entrar en grandes
profundidades, con la verificación trataremos de comprobar si hemos construido nuestro
sistema correctamente. Ello implica asegurarse de que el “software” implementado no
contiene errores, y que el producto final satisface los requisitos y las especificaciones de
diseño. Por otra parte, el término validación se refiere, más bien, a un análisis de la
calidad del sistema inteligente en su entorno real de trabajo, lo que nos permite
determinar si el producto desarrollado satisface convenientemente las expectativas
inicialmente depositadas.

Ambas fases, verificación y validación, forman la base de un entramado más
complejo destinado a evaluar globalmente el comportamiento de un sistema inteligente.
Por simplicidad, las fases posteriores a la V&V se agrupan bajo el termino evaluación.

La evaluación se encarga de analizar aspectos que van más allá de la corrección
de las soluciones finales del sistema. Así analizaría aspectos como utilidad, robustez,
velocidad, eficiencia, posibilidades de ampliación, facilidad de manejo, análisis
coste/beneficio, etc.

Todas estas fases se organizan jerárquicamente como se ilustra en la Figura 1.1.

Evaluación

Validación

Verificación



Figura 1.1

Pirámide del análisis del comportamiento de un sistema inteligente.

1.1. Verificación de Sistemas Inteligentes

La verificación de sistemas expertos es un proceso que incluye las siguientes
tareas: (a) verificación del cumplimiento de las especificaciones, (b) verificación de los
mecanismos de inferencia, y (c) verificación de la base de conocimientos.





1.1.1 Verificación del cumplimiento de las especificaciones

los usuarios,

El análisis del cumplimiento de las especificaciones puede ser llevado a cabo por
los desarrolladores,
los expertos y/o un grupo de evaluadores
independientes. En el software convencional este proceso está cada vez más
automatizado con el advenimiento de las herramientas de ingeniería del software
asistida por ordenador (CASE). Sin embargo, la inclusión de estas herramientas en el
ámbito de la ingeniería del conocimiento es lenta. Las cuestiones a analizar en este
proceso consisten en comprobar si:

• Se ha implementado el paradigma de representación del conocimiento adecuado.

• Se ha empleado la técnica de razonamiento adecuada.

• El diseño y la implementación han sido llevados a cabo modularmente.

• La conexión con el software externo se realiza de forma adecuada.

• El interfaz de usuario cumple las especificaciones.

• Las facilidades de explicación son apropiadas para los potenciales usuarios del

sistema.

• Se cumplen los requisitos de rendimiento en tiempo real.

• El mantenimiento del sistema es posible hasta el grado especificado.

• El sistema cumple las especificaciones de seguridad.

• La base de conocimientos está protegida ante modificaciones realizadas por

personal no autorizado.

1.1.2 Verificación de los mecanismos de inferencia

El uso de shells comerciales ha reducido la dificultad de la verificación de los
mecanismos de inferencia, ya que se asume que ésta ha sido realizada por los
desarrolladores de la herramienta. La responsabilidad del ingeniero del conocimiento
recae fundamental-mente en la elección de la herramienta apropiada.

Sin embargo, esta asunción de correcto funcionamiento no siempre es cierta
(sobre todo en versiones nuevas de la herramienta). Por ello, para aplicaciones que
trabajan en dominios críticos, el funcionamiento correcto debe verificarse a través de
distintas pruebas.

Muchas veces los problemas con las shells comerciales pueden no ser la causa
de errores en su programación. Así, en ocasiones hay que pensar en un desconocimiento
del funcionamiento exacto de la herramienta. Por ejemplo, los procedimientos de
resolución de conflictos o los mecanismos de herencia pueden hacer difícil el





seguimiento del curso exacto de la inferencia. De esta forma, aunque el conocimiento
estático esté verificado, el funcionamiento final del sistema puede no ser el apropiado.

En caso de que decidamos construir nuestros propios mecanismos de inferencia,
será preciso realizar su verificación. Como estamos tratando software convencional
podemos aplicar para su verificación las técnicas diseñadas para la verificación dentro
de la ingeniería del software.

Generalmente se recomienda la utilización, siempre que sea posible, de
mecanismos de inferencia certificados cuyo funcionamiento correcto se haya probado.
Además en caso de utilizar herramientas comerciales aconsejan realizar pruebas para
comprobar que realmente se comportan como indican en sus manuales.

1.1.3 Verificación de la base de conocimientos

La verificación de la base de conocimientos, a diferencia de los mecanismos de
inferencia, es plena responsabilidad del ingeniero del conocimiento. Esta verificación se
basa, generalmente, en el concepto de anomalías. Una anomalía es un uso poco común
del esquema de representación del conocimiento, que puede ser considerado como un
error potencial (existen anomalías que no constituyen errores y viceversa).

La verificación de la base de conocimientos no nos asegura que las respuestas de
nuestro sistema sean correctas, lo que nos asegura es que el sistema ha sido diseñado e
implementado de forma correcta.

La mayoría de los estudios publicados que tratan sobre la verificación de las
bases de conocimientos se refieren a los sistemas basados en reglas, ya que son los más
populares. Por ello en este capítulo nos centraremos en dichos sistemas. Esto no quiere
decir que los sistemas construidos según otros paradigmas no necesiten ser verificados o
que su verificación no sea posible. Así, por ejemplo, Cheng (1989) muestra como se
llevaría a cabo la verificación de un sistema inteligente basado en frames; Shiu et al.
(1997) realizan una verificación formal de un sistema que utiliza reglas y frames; y
Kandelin y O´Leary (1995) realizan la verificación de un sistema orientado a objetos.

Aspectos que se suelen examinar a la hora de verificar una base de
conocimientos son la consistencia y la completitud. En la Tabla 1.1 vemos una serie de
pruebas que se realizan para comprobar que la base de conocimientos es consistente y
completa. En principio supondremos que los sistemas no manejan incertidumbre, luego
veremos como la inclusión de incertidumbre puede afectar a las pruebas desarrolladas.





Reglas redundantes

Reglas conflictivas

Consistencia

Reglas englobadas en otras

Reglas circulares

Condiciones IF innecesarias

p(x) ∧ q(x) → r(x)
q(x) ∧ p(x) → r(x)
p(x) ∧ q(x) → r(x)
p(x) ∧ q(x) → ¬ r(x)
p(x) ∧ q(x) → r(x)

p(x) → r(x)
p(x) → q(x)
q(x) → r(x)
r(x) → p(x)

p(x) ∧ q(x) → r(x)
p(x) ∧ ¬ q(x)→ r(x)

Completitud

Valores no referenciados de atributos

Valores ilegales de atributos

Ocurre cuando algunos valores, del conjunto de posibles
valores de un atributo, no son cubiertos por la premisa de

ninguna regla.

Una regla referencia valores de atributos que no están

incluidos en el conjunto de valores válidos para ese atributo.

Reglas inalcanzables

Reglas sin salida

p(x) → r(x)

p(x) no aparece como conclusión de otra regla ni puede

obtenerse del exterior (raz. progresivo)

p(x) ∧ q(x) → r(x)

r(x) no es una conclusión final y no aparece en la premisa de

ninguna regla (raz. progresivo)

Tabla 1.1

Verificación de la consistencia y la completitud en bases de conocimientos.

Influencia de las medidas de incertidumbre

Las reglas vistas hasta ahora para verificar la consistencia y la completitud son
válidas siempre y cuando los sistemas no incluyan incertidumbre. En caso de que si
exista dicha incertidumbre la validez de las pruebas queda en entredicho, ya que como
veremos situaciones normales pueden ser tomadas como errores.

En sistemas que pretenden medir incertidumbres o grados de asociación
(utilizando factores de certeza, probabilidades bayesianas o cualquier otro método) es
importante verificar que estos valores son consistentes, completos, correctos y no
redundantes. Esta tarea se realiza, en primer lugar, asegurándonos que cada regla
incluye un factor de incertidumbre, y que estos factores cumplen los aspectos de la
teoría en la que se basan.

La búsqueda de anomalías en las medidas de incertidumbre de un sistema
inteligente es un proceso que no ha recibido mucha atención por parte de los
investigadores, quizá debido al limitado número de sistemas expertos que hacen un uso
extensivo de dichas medidas. Un ejemplo de verificación de este tipo es el trabajo que
O’Leary (1990) desarrolló en sistemas que seguían el esquema bayesiano.

El modo en que el uso de medidas de incertidumbre también puede afectar a la
realización de los tests de consistencia y completitud puede verse en los siguientes
ejemplos (Nguyen et al., 1987):

• Redundancia: Si antes la redundancia no afectaba a la salida del sistema ahora
puede causar graves problema ya que, al contar la misma información dos veces, su
pueden modificar los pesos de las conclusio