PDF de programación - Algoritmos de aprendizaje bioinspirados multi-objetivo para el diseño de modelos de redes neuronales artificiales en clasificación

UNIVERSIDAD DE GRANADA

Escuela Técnica Superior de Ingenierías Informática y de

Telecomunicación

Departamento de Ciencias de la Computación e

Inteligencia Artificial

Programa Oficial de Postgrado Diseño, Análisis y

Aplicaciones de Sistemas Inteligentes

Tesis Doctoral

Algoritmos de aprendizaje bioinspirados

multi-objetivo para el diseño de modelos de
redes neuronales articiales en clasicación

Juan Carlos Fernández Caballero

Granada

2010

UNIVERSIDAD DE GRANADA

Departamento de Ciencias de la Computación e

Inteligencia Artificial

Programa Oficial de Postgrado Diseño, Análisis y

Aplicaciones de Sistemas Inteligentes

Algoritmos de aprendizaje bioinspirados

multi-objetivo para el diseño de modelos de
redes neuronales articiales en clasicación

Memoria de Tesis que prensenta

Juan Carlos Fernández Caballero

como requisito para optar al grado de

Doctor en Informática

Tutor de Tesis

Francisco Herrera Triguero

Directores de Tesis

César Hervás Martínez

Francisco José Martínez Estudillo

Granada

2010

La memoria titulada Algoritmos de apredizaje bioinspirados multiobjetivo pa-
ra el diseño de modelos de redes neuronales articiales en clasicación, que
presenta D. Juan Carlos Fernández Caballero para optar al grado de doctor,
se ha realizado dentro del programa de doctorado Diseño, Análisis y Aplica-
ciones de Sistemas Inteligentes del Departamento de Ciencias de la Compu-
tación e Inteligencia Articial de la Universidad de Granada, bajo la dirección
del Catedrático de Universidad César Hervás Martínez, del Departamento de
Informática y Análisis Numérico de la Universidad de Córdoba, y del Doctor
Francisco Jo±e Martínez Estudillo, del Departamento de Gestión y Métodos
Cuantitativos de ETEA, Córdoba.

Granada, Julio de 2010

El doctorando

El director

Fdo: Juan Carlos Fernández Caballero Fdo: César Hervás Martínez

El director

Fdo: Francisco Jo±e Martínez Estudillo

Esta Tesis Doctoral ha sido subvencionada parcialmente con cargo a los
Proyectos TIN 2005-08386-C05-02 y TIN2008-06681-C06-03 de la
Comisión Interministerial de Ciencia y Tecnología (CICYT) y con fondos

FEDER.

También ha sido subvencionada parcialmente por el Proyecto de Excelencia

P08-TIC-3745 de la Junta de Andalucía.

La investigación de Juan Carlos Fernández Caballero ha sido subvencionada
hasta marzo del 2009 por el programa predoctoral de Formación de Personal
Investigador (FPI, referencia de beca BES-2006-12543) del Ministerio de

Educación y Ciencia.

Si vivimos el presente pensando en el futuro,
y cuando llega el futuro rápidamente lo sentimos
como pasado, volveremos a no vivir el presente.

María Jesús Álava Reyes.

A mi familia, que diariamente me brinda su amor,
cariño y apoyo, y de la cual me siento orgulloso.

Agradecimientos

La presente tesis es el resultado de un gran esfuerzo y uno de los retos más
grandes a los que me he tenido que enfrentar, por lo que resultaría extremada-
mente difícil resumir en unas lineas el agradecimiento que tengo a tanta gente
que me ha ayudado.

Quisiera expresar mi más sincero agradecimiento a mis dos directores,
César Hervás Martínez y Francisco José Martínez Estudillo. Su dedicación,
apoyo, trabajo y calidad humana me han motivado para la nalización de esta
tesis. No menor agradecimiento tengo para mi tutor de tesis, Francisco Herrera
Triguero, uno de los mayores cientícos de nuestro país y del cual he aprendido
muchas cosas.

También quisiera agradecer la acogida que me dieron todos los miembros
del grupo de investigación AYRNA al empezar mi investigación como becario, y
a mis compañeros Pedro Antonio Gutiérrez Peña, Franciso Fernández Navarro,
Manuel Cruz Ramírez y Javier Sánchez Monedero. El ambiente de trabajo y
amistad del que gozamos en el grupo es una motivación adicional para empezar
cada día de trabajo con una sonrisa. Tampoco puedo dejar atrás a Amelia Zafra
Gómez, José Antonio Delgado Osuna y Antonio José Tallón Ballesteros, los
cuales me brindaron la misma acogida y ayuda el tiempo que estuve trabajando
con ellos, y que aún persiste.

Por otro lado, agradecer todo el trato y cariño recibido por parte del De-
partamento de Informática y Análisis Numérico de la Universidad de Córdoba,
donde hay unos grandes profesionales, y también a Sebastian Ventura Soto y
su grupo de investigación.

Muestro mi gratitud a los miembros del grupo de investigación de mi tu-
tor, Francisco Herrera Trigueros, por el trabajo y compañerismo que he compar-
tido durante largo tiempo en el mantenimiento y desarrollo de la herramienta
Keel, de donde he hecho muy buenos amigos.

De manera más personal, y desde un punto de vista más cercano, me gus-
taría agradecer el apoyo, amor y compañía desde que la conocí, a una persona
muy especial, mi novia Marta. Muchas gracias cariño.

Tengo que acordarme necesariamente de mis amigos de la "Banda del
palillo", con los que además de compartir grandes momentos de ocio y diver-
sión, he recibido su apoyo y ánimo, siempre necesarios para desconectar un

xiv

poco de este duro trabajo que es la investigación.

Y nalmente, a mi familia, que es mi mejor compañía, y que me brinda
diariamente su amor y cariño. Papá, mamá, muchas gracias por todo, siempre
os estaré agradecido.

Sinceramente, muchas gracias a todos.

Índice general

Índice de Figuras

Índice de Tablas

1 Introducción

1.1 El hombre y la inteligencia articial . . . . . . . . . . . . . . . .

1.2 Objetivos de esta tesis . . . . . . . . . . . . . . . . . . . . . . .

1.3 Estructura de la memoria . . . . . . . . . . . . . . . . . . . . .

2 Rendimiento en problemas de clasicación

2.1 Métricas de rendimiento . . . . . . . . . . . . . . . . . . . . . .

2.1.1 Métricas para problemas binarios . . . . . . . . . . . . .

2.1.2 Métricas para problemas multiclase . . . . . . . . . . . .

2.2 Curvas ROC . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.3 Mínima Sensibilidad-Precisión (M S, C) . . . . . . . . . . . . . .

2.3.1 Ejemplos

. . . . . . . . . . . . . . . . . . . . . . . . . .

2.4 Propiedades de las medidas (M S, C) . . . . . . . . . . . . . . .

2.5 Problemas no balanceados y/o con gran número de clases

. . .

3 Redes neuronales articiales

3.1 Modelos de redes neuronales articiales . . . . . . . . . . . . . .

3.2 Taxonomía . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

xv

xix

xxiii

1

1

5

7

9

9

11

13

17

20

22

25

31

35

35

38

xvi

ÍNDICE GENERAL

3.2.1 Redes con unidades de base sigmoides

. . . . . . . . . .

3.2.2 Redes con unidades de base producto . . . . . . . . . . .

3.2.3 Redes con unidades de base radial

. . . . . . . . . . . .

3.2.4 Redes híbridas

. . . . . . . . . . . . . . . . . . . . . . .

3.3 Métodos de entrenamiento . . . . . . . . . . . . . . . . . . . . .

3.3.1 Métodos clásicos

. . . . . . . . . . . . . . . . . . . . . .

3.3.2 Métodos heurísticos

. . . . . . . . . . . . . . . . . . . .

4 Redes neuronales articiales evolutivas mono-objetivo

4.1 Motivación . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.2 Entrenamiento de redes neuronales evolutivas . . . . . . . . . .

4.3 Codicación de redes neuronales evolutivas

. . . . . . . . . . .

4.4 El algoritmo CBFEP . . . . . . . . . . . . . . . . . . . . . . . .

4.4.1 Función objetivo . . . . . . . . . . . . . . . . . . . . . .

4.4.2 Operadores . . . . . . . . . . . . . . . . . . . . . . . . .

4.4.2.1 Mutación añadir neurona . . . . . . . . . . . .

4.4.2.2 Mutación eliminar neurona . . . . . . . . . . .

4.4.2.3 Mutación añadir enlace . . . . . . . . . . . . .

4.4.2.4 Mutación eliminar enlace . . . . . . . . . . . .

4.4.2.5 Mutación unir neuronas . . . . . . . . . . . . .

4.4.2.6 Mutación paramétrica . . . . . . . . . . . . . .

4.4.3 Etapas y aspectos relevantes de CBFEP . . . . . . . . .

4.4.4 Diseño experimental

. . . . . . . . . . . . . . . . . . . .

4.4.5 Resultados

. . . . . . . . . . . . . . . . . . . . . . . . .

5 Redes neuronales articiales evolutivas multi-objetivo

5.1 Algoritmos evolutivos multi-objetivo . . . . . . . . . . . . . . .

5.1.1 Optimalidad de Pareto . . . . . . . . . . . . . . . . . . .

5.1.2 Clasicación de MOEAs . . . . . . . . . . . . . . . . . .

5.1.2.1 MOEAs clásicos

. . . . . . . . . . . . . . . . .

39

40

42

44

47

48

51

53

53

53

56

58

59

60

62

63

63

64

64

65

68

71

72

83

83

84

87

87

ÍNDICE GENERAL

5.1.2.2 MOEAs que usan el concepto de dominancia y
óptimo de Pareto . . . . . . . . . . . . . . . . .

5.2 Medidas (M S, C) en redes neuronales articiales

. . . . . . . .

5.3 Trabajos con MOEANNs . . . . . . . . . . . . . . . . . . . . . .

5.4 El algoritmo MPENSGAII . . . . . . . . . . . . . . . . . . . . .

5.4.1 Funciones objetivo . . . . . . . . . . . . . . . . . . . . .

5.4.2 Operadores . . . . . . . . . . . . . . . . . . . . . . . . .

xvii

91

92

94

96

97

99

5.4.3

iRprop+ como búsqueda local . . . . . . . . . . . . . . . 100

5.4.4 Etapas y aspectos relevantes de MPENSGAII . . . . . . 103

5.4.5 Diseño experimental

. . . . . . . . . . . . . . . . . . . . 106

5.4.6 Resultados

. . . . . . . . . . . . . . . . . . . . . . . . . 109

5.5 Ensembles de clasicadores

. . . . . . . . . . . . . . . . . . . . 128

5.5.1 Ensembles con MOEAs

. . . . . . . . . . . . . . . . . . 135

5.5.2 Ensembles con MPENSGAII

. . . . . . . . . . . . . . . 139

5.5.2.1 Resultados

. . . . . . . . . . . . . . . . . . . . 141

6 MOEA memético utilizando evolución diferencial

145

6.1

Introducción a la evolución diferencial

. . . . . . . . . . . . . . 145

6.1.1 Variantes de la evolución diferencial

. . . . . . . . . . . 149

6.2 Evolución diferencial para optimización multi-objetivo utilizan-

do el concepto de dominacia de Pareto . . . . . . . . . . . . . . 152

6.3 Evolución diferencial de Pareto con MOANNs . . . . . . . . . . 154

6.4 Caminos futuros en la evolución diferencial multi-objetivo . . . 157

6.5 El algoritmo MPANN . . . . . . . . . . . . . . . . . . . . . . .