PDF de programación - Sistemas Basados en el Conocimiento II: Introducción a la Neurocomputación

Sistemas Basados en el

Conocimiento II:
Introducción a la
Neurocomputación

Texto base de la asignatura del mismo nombre

perteneciente al Plan de Estudios de la Universidad

Nacional de Educación a Distancia.

Equipo Docente de la Asignatura

Universidad Nacional de Educación a Distancia

2004

II

Sistemas Basados en el Conocimiento II— Equipo Docente de la Asignatura

This work is licensed under the Creative Commons Attribution-NonCommercial-NoDerivs
License. To view a copy of this license, visit http://creativecommons.org/licenses/
by-nc-nd/2.0/ or send a letter to Creative Commons, 559 Nathan Abbott Way, Stan-
ford, California 94305, USA.

Índice general

1. Introducción

1.1.

Introducción . .

. . . .

. . . .

. . .

. . . .

. . . .

. . . .

. . .

. .

1.2. Modelos de neurona . .

. . . .

. . .

. . . .

. . . .

. . . .

. . .

. .

1.3. Arquitecturas . .

. . . .

. . . .

. . .

. . . .

. . . .

. . . .

. . .

. .

1.4. Tareas genéricas en Neurocomputación . . .

. . . .

. . . .

. . .

. .

1.4.1. Redes neuronales en tareas de clasificación .

. . . .

. . .

. .

1.4.2. Redes neuronales para regresión . . .

. . . .

. . . .

. . .

. .

1.4.3. Redes neuronales en tareas de control

. . . .

. . . .

. . .

. .

1.4.4. Redes neuronales en tareas de predicción temporal

.

. . .

. .

2. Retropropagación del error

2.1. El formalismo matemático del algoritmo.

. .

. . . .

. . . .

. . .

. .

2.1.1. La arquitectura de la red . . .

. . . .

. . . .

. . . .

. . .

. .

2.1.2. El algoritmo de ajuste de los pesos . .

. . . .

. . . .

. . .

. .

2.2. Aspectos metodológicos del entrenamiento de una red neuronal.

.

. .

2.2.1.

Preprocesado de las variables de entrada/salida.

. .

. . .

. .

2.2.2. Descomposición del error. Definición de términos. El compro-
. .

miso entre sesgo y varianza

. . . .

. . . .

. . . .

. . .

.

2.2.3. Análisis estadístico: cómo minimizar el error. La validación
. .

cruzada y la regularización.

. . . .

. . . .

. . . .

. . .

.

2.2.4. Tipos de error . .

. . . .

. . .

. . . .

. . . .

. . . .

. . .

. .

2.3. Mejoras del algorimo . .

. . . .

. . .

. . . .

. . . .

. . . .

. . .

. .

2.4. La notación matricial . .

. . . .

. . .

. . . .

. . . .

. . . .

. . .

. .

III

1

1

3

14

15

16

17

17

18

23

23

23

26

35

35

41

43

46

49

52

IV

ÍNDICE GENERAL

3. Los mapas autoorganizados de Kohonen

3.1.

Introducción. Algoritmos de agrupamiento en clases o clustering.

.

3.2. Los mapas autoorganizados de Kohonen. El algoritmo. . . .

. . . .

4. Herramientas de ayuda en el desarrollo de redes neuronales

4.1. Concepto de simulador de redes neuronales . .

. . .

. . . .

. . . .

4.2.

Java Neural Network Simulator (JavaNNS) . .

. . .

. . . .

. . . .

4.2.1.

Instalación . . .

. . . .

. . . .

. . . .

. . .

. . . .

. . . .

4.2.2. Creación de una red neuronal

.

. . . .

. . .

. . . .

. . . .

4.2.3. Entrenamiento .

. . . .

. . . .

. . . .

. . .

. . . .

. . . .

4.3. Herramientas de JavaNNS . . .

. . . .

. . . .

. . .

. . . .

. . . .

4.3.1. Batchman . . .

. . . .

. . . .

. . . .

. . .

. . . .

. . . .

4.3.2.

snns2c .

. . . .

. . . .

. . . .

. . . .

. . .

. . . .

. . . .

4.3.3. Simulación con JavaNNS . . . .

. . . .

. . .

. . . .

. . . .

4.4. SOM_PAK . . .

. . . .

. . . .

. . . .

. . . .

. . .

. . . .

. . . .

4.4.1.

Instalación . . .

. . . .

. . . .

. . . .

. . .

. . . .

. . . .

4.4.2. Uso y ejemplos .

. . . .

. . . .

. . . .

. . .

. . . .

. . . .

5. Aplicaciones

5.1. Aplicación conexionista en tarea de clasificación. . .

. . . .

. . . .

5.1.1.

Planteamiento del problema . .

. . . .

. . .

. . . .

. . . .

5.1.2.

Preprocesado de los datos . . .

. . . .

. . .

. . . .

. . . .

5.1.3. Arquitectura y aprendizaje . . .

. . . .

. . .

. . . .

. . . .

5.1.4. Resumen y propuesta de ejercicio. . . .

. . .

. . . .

. . . .

5.2. Aplicación conexionista en tarea de identificación/regresión. . . . .

5.2.1.

Planteamiento del problema . .

. . . .

. . .

. . . .

. . . .

5.2.2.

Preprocesado de los datos . . .

. . . .

. . .

. . . .

. . . .

5.2.3. Arquitectura y aprendizaje . . .

. . . .

. . .

. . . .

. . . .

5.2.4. Resumen y propuesta de ejercicio . . .

. . .

. . . .

. . . .

5.3. Aplicación conexionista en tarea de predicción. . . .

. . . .

. . . .

55

55

59

73

73

74

74

75

77

81

81

82

82

83

83

84

89

89

89

90

91

91

92

93

94

94

95

96

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

ÍNDICE GENERAL

V

5.3.1.

Planteamiento del problema .

. . . .

. . . .

. . . .

. . .

. .

5.3.2.

Preprocesado de los datos . .

. . . .

. . . .

. . . .

. . .

. .

5.3.3. Arquitectura y aprendizaje . .

. . . .

. . . .

. . . .

. . .

. .

98

98

99

5.3.4. Resumen y propuesta de ejercicio . .

. . . .

. . . .

. . .

. . 100

5.4. Paradigma unificado para tareas con aprendizaje supervisado . . .

. . 100

5.5. Aplicación conexionista en tarea de clustering.

. . .

. . . .

. . .

. . 100

A. Teorema de convergencia de perceptrones

Bibliografía

103

105

VI

ÍNDICE GENERAL

Capítulo 1

Introducción

Objetivo: En este primer capítulo se va a tratar de dar una perspectiva histórica del
desarrollo de las redes neuronales como modelo de computación. Al hilo de este re-
paso histórico, introduciremos los conceptos fundamentales de un modelo general de
neurocomputación. En capítulos siguientes veremos cómo las distintas arquitecturas y
algoritmos de aprendizaje se pueden ver como casos particulares del modelo general.

1.1.

Introducción

Sin que sea éste el propósito principal de este texto, sí es conveniente contextualizar
el campo de la Neurocomputación dentro del marco más general de la Inteligencia
Artificial ayudándonos de algunos conceptos clave de la Ingeniería del Conocimiento.
Desde esta perspectiva, la neurocomputación es una forma, inspirada en la biología, de
resolver algunas tareas encontradas frecuentemente cuando se trata de reproducir me-
diante computadoras habilidades atribuidas a la inteligencia humana. Al analizar estas
habilidades nos encontramos que las más complejas se pueden descomponer en tareas
y subtareas hasta llegar a inferencias primitivas que añaden información a la disponi-
ble inicialmente sin que podamos subdividir el proceso en pasos más simples. A las
distintas formas de implementar una tarea se las conoce como Métodos de Resolución
de Problemas (o Problem Solving Methods en inglés). Estos métodos en la práctica
combinan módulos que pertenen a muchas categorías distintas de entre las que pode-
mos señalar los sistemas basados en reglas, en lógica, en redes o en marcos/objetos.
Para cada módulo se emplea el paradigma que mejor se ajuste a las características de
la subtarea o inferencia que se desea implementar. Aquí vamos a profundizar en los
métodos conexionistas de resolver tareas que se caracterizan por su naturaleza distri-
buida, de grano fino y autoprogramable. Estos métodos nacieron de la apuesta de los
pioneros de la Inteligencia Artificial por intentar resolver los problemas a los que se
enfrenta esta disciplina con la misma metodología de la propia Naturaleza. En otras
palabras, buscaron en la Biología inspiración para resolver con computadoras tareas
propiamente humanas. Esto implica necesariamente recurrir a la Neurobiología para
tratar de entender la forma en que nuestros cerebros realizan esta tareas. Aunque de
forma superficial, dedicaremos lo que resta de esta sección introductoria a resumir lo
que sabemos hoy en día de la forma como funcionan las neuronas biológicas.

1

2

Introducción

Figura 1.1: Esquema-dibujo de D. Santiago Ramón y Cajal de las distintas tipologías
neuronales del cerebelo.

Aunque hay muchos tipos diferentes de neuronas en el sistema nervioso central (SNC,
ver figura 1.1) su estructura funcional es la misma: un cuerpo celular denominado
soma, un conjunto de ramificaciones que parten del soma denominadas dendritas y
una eferencia de mayor longitud y menos ramificada que las dendritas denominada
axón (ver figura 1.2).

Las dendritas funcionan a modo de antenas receptoras de estímulos procedentes de
otras neuronas y dependiendo del número de estímulos recibidos en las dendritas y
trasmitidos al soma, éste a su vez puede generar una señal de activación a lo largo del
axón que termine excitando a otras neuronas. Por lo tanto, podemos considerar que el
soma, respecto de las entradas procedentes de otras neuronas, desempeña una función
de toma de decisión: si el nivel de excitación de dichas neuronas sobrepasa un cierto
umbral el soma se dispara y envía a su vez una señal excitadora a lo largo del axón. Al
lugar donde se produce la transmisión de información entre el axón de una neurona y
la dendrita de otra se lo conoce como sinapsis y, dado que la información siempre se
transmite en un sentido (del axón de una neurona hacia la dendrita de otraa) vamos a
llamar neurona presináptica a aquélla y postsináptica a ésta. La naturaleza exacta de
los términos empleados anteriormente -como estímulo, activación o excitación- está
relacionada con la fisiología de la neurona y, muy particularmente, de su membrana;
con la presencia de numerosos canales iónicos que pueden abrirse y cerrarse como
respuesta a la presencia de determinadas sustancias químicas (los neurotransmisores)
dando lugar a una permeabilidad eléctrica variable y a cambios en la diferencia de
potencial entre el interior y el exterior de la célula. Las señales a las que hacemos
referencia están codificadas en el potencial intracelular y en su evolución temporal. Sin
embargo, y como ocurrirá a menudo a lo largo de los próximos capítulos, no podemos
perseguir hasta sus últimas consecuencias este cuadro general y recomendamos al
lector interesado la lectura de cualquiera de los númerosos textos introductorios al

aDesgraciadamente no podemos matizar adecuadamente esta afirmación por escapar