PDF de programación - METODOS PARA OBTENER CONOCIMIENTO UTILIZANDO REDES BAYESIANAS Y PROCESOS DE APRENDIZAJE CON ALGORITMOS EVOLUTIVOS

METODOS PARA OBTENER CONOCIMIENTO

UTILIZANDO REDES BAYESIANAS Y
PROCESOS DE APRENDIZAJE CON

ALGORITMOS EVOLUTIVOS.

Departamento de Lenguajes y

Sistemas Informáticos.



Memoria de Investigación presentada por

D. Francisco Roche Beltrán

para superar la fase de investigación

del programa de doctorado.

Tutor: Dr. D. José Cristóbal Riquelme Santos.

Sevilla, Septiembre 2002
























INDICE.-



1.- Introducción..................................................................................
2.- Planteamiento y relevancia del problema.....................................
3.- Aspectos resueltos y por resolver.................................................
4.- Comparativa de propuestas..........................................................
4.1.- Árboles de decisión.......................................................
4.2.- Sistemas basados en reglas............................................
4.3.- Listas de decisión..........................................................
4.4.- Redes neuronales...........................................................
4.5.- Aprendizaje basado en ejemplos...................................
4.6.- Redes bayesianas...........................................................
4.7.- Conclusiones.................................................................
5.- Técnicas bayesianas....................................................................
5.1.- Introducción...................................................................
5.2.- Conceptos básicos.........................................................
5.2.1.- V. a. discretas/continuas.................................
5.2.2.- Regla de multiplicación..................................
5.2.3.- Teorema de Bayes..........................................
5.2.4.- Hipótesis MAP y ML.....................................
5.3.- Clasificadores bayesianos.............................................
5.3.1.- Clasificador óptimo........................................
5.3.2.- Clasificador naive...........................................
5.4.- Dependencia/independencia condicional......................
5.5.- Redes bayesianas..........................................................
5.5.1.- Introducción...................................................
5.5.2.- Obtención de redes bayesianas......................
5.5.3.- Cálculo de la red más probable......................
5.5.4.- Cálculo de P(D|M) para una red bayesiana....
5.5.4.1.- V. a. con sólo dos valores................
5.5.4.2.- V. a. con n valores...........................
5.5.4.3.- Métrica BD y K2.............................
5.5.5.- Búsqueda del mejor modelo...........................
5.5.6.- Inferencia........................................................
6.- Proyecto de investigación............................................................
6.1.- Introducción..................................................................
6.2.- Discretización...............................................................
6.2.1.- Caso general..................................................
6.2.2.- Aplicación para un atributo...........................
6.2.3.- Ajuste de parámetros.....................................
6.2.4.- Test de validación cruzada............................
6.3.- Generación de la red bayesiana....................................
6.4.- Trabajos pendientes......................................................

4
8
12
14
15
15
17
17
18
18
19
20
21
22
22
25
26
27
30
30
31
33
35
35
39
40
41
41
45
49
50
51
52
53
56
56
58
62
67
69
78






2

7.- Revisión Bibliográfica................................................................
8.- Personas y foros relacionados....................................................
ANEXO...........................................................................................
1.- Introducción...................................................................
2.- Desarrollo del trabajo...................................................


3.- Ajuste de parámetros....................................................

79
84
90
91
91
92





3


















1.- INTRODUCCIÓN.-




4








Con la revolución digital capturar información es fácil y almacenarla es
extremadamente barato. Almacenamos datos porque pensamos que son un activo
valioso por sí mismos. Para los científicos, los datos representan observaciones
cuidadosamente recogidas de algún fenómeno en estudio. En los negocios, los datos
guardan
informaciones sobre mercados, competidores y clientes. En procesos
industriales recogen valores sobre el funcionamiento de determinados procesos.


Sin embargo, en general, los datos en bruto raramente son provechosos. Su
verdadero valor radica en la posibilidad de extraer información útil para la toma de
decisiones o la exploración y comprensión de los fenómenos que dieron lugar a los
datos. Tradicionalmente, el análisis de estos datos ha sido efectuado mediante técnicas
estadísticas. No obstante, el incremento en la cantidad de datos y en el número de
parámetros hace necesaria la aparición de nuevas metodologías y herramientas para un
tratamiento automático de los registros depositados en bases de datos.


Estas

técnicas se engloban bajo

la etiqueta de machine

learning,

simultáneamente surge el nombre más comercial de minería de datos (data mining).


La automatización de los procesos de aprendizaje por un área de investigación
de la inteligencia artificial se conoce como machine learning (ML) o aprendizaje
automático. En aprendizaje supervisado, las técnicas de ML buscan descripciones para
las clases ya definidas por el usuario, y en aprendizaje no supervisado se construye un
resumen del fichero de entrenamiento como un conjunto de las clases descubiertas junto
con su descripción. Esta búsqueda de descripciones se realiza usando estrategias de
búsqueda iterativa en el conjunto de todas las descripciones posibles. Este proceso
consiste en la formulación de una hipótesis inicial que se verifica mediante alguna
función de calidad. Esta función, normalmente basada en técnicas estadísticas, calcula la
corrección de la hipótesis respecto del conjunto de entrenamiento. Entonces, la hipótesis
puede ser aceptada, rechazada o mejorada hasta que se encuentre una hipótesis correcta.
La mejora de las hipótesis durante este proceso puede ser llevada a cabo mediante la
generalización de condiciones o la adición o sustracción de condiciones sobre atributos.


Un sistema de ML usa un pequeño conjunto de ejemplos de laboratorio
cuidadosamente seleccionados y, algunas veces, tiene la habilidad de interactuar con el
entorno con el fin de conseguir nuevos ejemplos para investigar el comportamiento bajo
condiciones particulares. Un sistema de ML tiene tres componentes básicos: una
representación o modelo del conocimiento aprendido, una función que mida la calidad
de ese aprendizaje y un algoritmo de búsqueda para dado un modelo y una función de
calidad encontrar la mejor instanciación posible.








5

VISION GENERAL





Conocimiento





Decisión

DATOS











4000

3000

2000

1000

0

1

5
9

9
8
1

3
8
2

7
7
3

1
7
4

5
6
5

9
5
6

3
5
7

.-


Información





Data Mining (DM) es la búsqueda de relaciones y patrones globales que existen
en grandes bases de datos pero que se encuentran "ocultas" entre grandes cantidades de
datos. Estas relaciones representan un conocimiento valioso sobre la base de datos y los
objetos de ésta y, si la base de datos es un espejo fiel, del mundo real registrado por la
base de datos.


Uno de los principales problemas del DM es que el número de posibles
relaciones es muy grande, así que la búsqueda de las correctas por validación de cada
una de ellas es computacionalmente prohibitivo. Así que se necesitarán estrategias de
búsqueda inteligente que son tomadas del área de machine learning o aprendizaje
automático.


En general, las tareas de un proceso de DM pueden ser clasificadas en dos
categorías: descriptivas y predictivas. Las primeras describen el conjunto de datos de
una manera resumida y concisa y presentan propiedades generales e interesantes de los
datos. Por el contrario, las tareas predictivas construyen uno o varios modelos que
realizan inferencia sobre el conjunto de entrenamiento para intentar predecir el
comportamiento de nuevos datos.


Un sistema de DM pueden llevar a cabo una o más de las siguientes tareas:


1. Descripción de clases. Mediante esta tarea se proporciona un conciso y sucinto
resumen de una colección de datos o caracterización y la posibilidad de distinguirlos de
otros o discriminación. Un ejemplo simple es obtener la media y la desviación típica de
cada parámetro para cada clase. Un ejemplo más sofisticado lo constituyen las técnicas
de visualización en múltiples dimensiones.




6

2. Asociación o descubrimiento de relaciones o correlaciones entre un conjunto de
datos. Estas normalmente se expresan en forma de regla mostrando condiciones que
relacionan valores de los atributos y que ocurren frecuentemente entre los datos. Una
regla de asociación tiene la forma X fi
Y que debe ser interpretada como "los datos que
satisfacen X probablemente satisfacen Y".

3. Clasificación o análisis de un conjunto de entrenamiento con clase conocida y
construye un modelo para cada clase. Un árbol de decisión o un conjunto de reglas de
clasificación se genera media