PDF de programación - Apuntes de Sistemas Conexionistas

Apuntes de Sistemas Conexionistas - Penedo

23 de junio de 2009

2

Índice general

1. Conceptos básicos

1.1.

1.2. Fundamentos

Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.1. Redes neuronales de tipo biológico
. . . . . . . . . . .
1.1.2. Redes neuronales dirigidas a aplicaciones . . . . . . . .
. . . . . . . . . . .
1.1.3. Taxonomía de las redes neuronales
. . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .

7
7
7
7
8
9
1.2.1. Modelo de neurona artificial
9
1.2.2. Arquitecturas o topologías . . . . . . . . . . . . . . . . 10
1.2.3. Tamaño de las redes neuronales . . . . . . . . . . . . . 11
1.2.4. Aproximaciones acon frente a ocon . . . . . . . . . . . 11
. . . . . . . . . . . . . . 11
1.2.5. Número y tipo de conexiones

2. Aprendizaje y entrenamiento

13
2.1. Aprendizaje automático . . . . . . . . . . . . . . . . . . . . . 13
2.2. Tipos o modos de aprendizaje . . . . . . . . . . . . . . . . . . 14
2.2.1. Aprendizaje por corrección de error . . . . . . . . . . . 14
2.2.2. Aprendizaje por refuerzo . . . . . . . . . . . . . . . . . 15
2.2.3. Aprendizaje estocástico . . . . . . . . . . . . . . . . . . 16
2.2.4. Aprendizaje sin supervisar . . . . . . . . . . . . . . . . 16

3. Adaline y Perceptron

19
3.1. Perceptron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.1.1. Descripción del modelo . . . . . . . . . . . . . . . . . . 19
3.1.2. Regla de aprendizaje del Perceptron . . . . . . . . . . . 21
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2.1. Descripción del modelo . . . . . . . . . . . . . . . . . . 22
3.2.2. Regla de aprendizaje del adaline . . . . . . . . . . . . . 23
3.2.3. Diferencias entre el adaline y el perceptron . . . . . . . 25

3.2. Adaline

3

4

ÍNDICE GENERAL

4. Perceptron multicapa

27
4.1. Arquitectura del Perceptron multicapa . . . . . . . . . . . . . 27
4.2. Propagación de los patrones de entrada . . . . . . . . . . . . . 28
4.3. Algoritmo de RetroPropagación . . . . . . . . . . . . . . . . . 31
4.3.1. Obtención de la regla delta generalizada . . . . . . . . 32
4.3.2. Resumen de la regla delta generalizada . . . . . . . . . 36
4.4. Proceso de aprendizaje del Perceptron multicapa . . . . . . . . 38
. . . . . . . . . . . . . . . . . . . . 39
4.5. Consideraciones Prácticas
4.5.1. Capacidad de generalización . . . . . . . . . . . . . . . 40
4.5.2. Dimensionamiento de la red . . . . . . . . . . . . . . . 41
4.5.3.
. . . . 41
4.5.4. Deficiencias del algoritmo de aprendizaje . . . . . . . . 43

Inclusión del momento en la ley de aprendizaje

5. Redes de Base Radial

45
Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.1.
5.2. Funciones de base radial
. . . . . . . . . . . . . . . . . . . . . 46
5.3. Arquitectura de las redes de base radial . . . . . . . . . . . . . 47
5.3.1. Activaciones de los EPs de las redes de base radial
. . 47
5.3.2. Carácter local de las redes de base radial . . . . . . . . 49
. . . . . . . . . . . . . 49
5.4.1. Método de aprendizaje híbrido . . . . . . . . . . . . . . 50
5.4.2. Método de aprendizaje totalmente supervisado . . . . . 55
5.4.3. Resumen de método de aprendizaje totalmente super-

5.4. Aprendizaje de las redes de base radial

visado . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.5. RBFN frente a MLP . . . . . . . . . . . . . . . . . . . . . . . 58

6. Redes Autoorganizativas I

Introducción a las redes autoorganizativas

6.2.1. Carencias del aprendizaje competitivo

61
. . . . . . . . . . . 61
6.1.
6.2. Aprendizaje competitivo . . . . . . . . . . . . . . . . . . . . . 62
. . . . . . . . . 65
6.3. Mapas autoorganizativos de Kohonen . . . . . . . . . . . . . . 65
6.3.1. Descripción del modelo . . . . . . . . . . . . . . . . . . 65
6.3.2. Algoritmo de entrenamiento . . . . . . . . . . . . . . . 67
6.3.3. Propiedades de los mapas topológicos . . . . . . . . . . 69
6.3.4. L.V.Q. . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

7.1.

7. Crecimiento de redes

73
Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
7.1.1.
Inserción de neuronas . . . . . . . . . . . . . . . . . . . 73
7.1.2. Borrado de neuronas . . . . . . . . . . . . . . . . . . . 74
7.1.3. Propiedades comunes y ventajas del crecimiento . . . . 74

ÍNDICE GENERAL

5

7.2. Descripción del problema . . . . . . . . . . . . . . . . . . . . . 75
7.3. Crecimiento de estructuras células (GCS) . . . . . . . . . . . . 75
7.3.1. Definición del problema
. . . . . . . . . . . . . . . . . 75
7.3.2. Estructura de la red . . . . . . . . . . . . . . . . . . . 76
7.3.3. Funcionamiento de la estructura . . . . . . . . . . . . . 76
7.3.4. Crecimiento de la estructura . . . . . . . . . . . . . . . 77
7.3.5. Características
. . . . . . . . . . . . . . . . . . . . . . 79
7.4. Gas neuronal creciente (GNG) . . . . . . . . . . . . . . . . . . 80
7.4.1. Algoritmo de las GNG . . . . . . . . . . . . . . . . . . 81
7.4.2. Funcionamiento del método . . . . . . . . . . . . . . . 83

8. Redes Autoorganizativas II

Instar

87
8.1. Leyes de Grossberg . . . . . . . . . . . . . . . . . . . . . . . . 87
8.1.1.
. . . . . . . . . . . . . . . . . . . . . . . . . . . 87
8.1.2. Redes competitivas . . . . . . . . . . . . . . . . . . . . 89
8.1.3. Outstar
. . . . . . . . . . . . . . . . . . . . . . . . . . 90
8.1.4. Red de contrapropagación o Redes recurrentes . . . . . 91
8.2. Teoría de la resonancia adaptativa . . . . . . . . . . . . . . . . 94
8.2.1. Descripción de la red ART . . . . . . . . . . . . . . . . 96
8.2.2. Funcionamiento del modelo . . . . . . . . . . . . . . . 98
8.2.3. Funcionamiento del modelo según Freeman . . . . . . . 102
8.2.4. Ecuaciones del modelo ART 1 . . . . . . . . . . . . . . 106
8.2.5. ART2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
8.2.6. Limitaciones de la red ART . . . . . . . . . . . . . . . 110

6

ÍNDICE GENERAL

Capítulo 1

Conceptos básicos

1.1.

Introducción

Las redes de neuronas artificiales son una simulación abstracta de un sis-
tema nervioso real. Están formadas por un conjunto de unidades conectadas
unas con otras por medio de conexiones del tipo de los axones de las neu-
ronas, a las que simulan dichas unidades. Estas conexiones, en cuanto a su
comportamiento, tienen una gran semejanza con las dendritas y los axones
presentes en los sistemas nerviosos biológicos.

Los modelos de redes de neuronas artificiales se pueden clasificar como:

Modelos de tipo biológico: Redes que tratan de simular los sistemas
neuronales biológicos como las funciones auditivas o algunas funciones
básicas de la visión.

Modelos dirigidos a aplicaciones: Modelos menos dependientes de
los sistemas biológicos, donde sus arquitecturas están fuertemente liga-
das a las necesidades de las aplicaciones.

1.1.1. Redes neuronales de tipo biológico

Se estima que el cerebro humano contiene más de 100 billones de neuronas
y que en el sistema nervioso humano hay 1014 sinapsis. El objetivo principal
de las redes neuronales de tipo biológico es desarrollar un elemento sintético
para verificar las hipótesis que conciernen a los sistemas biológicos.

1.1.2. Redes neuronales dirigidas a aplicaciones

Las redes neuronales dirigidas a aplicaciones están poco relacionadas con
las redes neuronales biológicas. El conocimiento que se posee sobre el sistema

7

8

CAPÍTULO 1. CONCEPTOS B ÁSICOS

nervioso, en general, no es completo y se deben de definir funcionalidades y
estructuras de conexión distintas a las vistas desde la perspectiva biológica.

Los puntos fuertes de este tipo de redes son:

Auto-organización y adaptabilidad: Ofrecen posibilidades de pro-
cesado robusto y adaptativo, entrenamiento adaptativo y redes auto-
organizadas.

Procesado no lineal: Aumenta la capacidad de la red de aproximar
y clasificar así como su inmunidad frente al ruido.

Procesado paralelo: Normalmente se usa un gran número de células
de procesado con un alto nivel de interconectividad.

1.1.3. Taxonomía de las redes neuronales

Existen dos fases en toda aplicación de las redes neuronales. Estas son
la fase de aprendizaje o entrenamiento y la fase de prueba. En la fase de
entrenamiento, se usa un conjunto de datos para determinar los parámetros
libres que definen el modelo neuronal. Este modelo entrenado se usará pos-
teriormente en la fase de prueba, en la que se procesan patrones de prueba
reales para obtener los resultados definitivos.

Según el tipo de entrenamiento, las redes neuronales se pueden organizar

como sigue:

Entrenamiento fijo:

• Red de Hamming.
• Red de Hopfield.

Entrenamiento supervisado:

• Perceptron.
• Adaline.
• Perceptron multicapa(MLP).
• Modelos dinámicos (temporales).

Entrenamiento sin supervisar:

• Neocognitron.
• Mapas de características.
• Entrenamiento competitivo.
• ART(1 y 2).

1.2. FUNDAMENTOS

1.2. Fundamentos

9

Una red neuronal artificial consiste en un conjunto de elementos de proce-
sado1 (EP) simples conectados entre sí y entre los que se circula información
a través de conexiones.

Cada red neuronal consta de los siguientes elementos:

Un conjunto de unidades de procesamiento (neuronas artificiales).

Conexiones entre las unidades de procesamiento.

Diversas funciones asociadas a cada EP: función neta, de activación y
de salida para cada unidad de procesado.

1.2.1. Modelo de neurona artificial

El modelo de neurona y la arquitectura de una red neuronal describen
como la red transforma sus entradas en las salidas. Todo esto puede ser visto
simplemente como una computación.

Los elementos individuales de cálculo que forman la mayoría de los mo-
delos de sistemas neuronales artificiales reciben el nombre de elemento de
procesado o neurona artificial (Figura 1.1).

Figura 1.1: Estructura de una neurona artificial o elemento de procesado.

Elementos de un elemento de procesado (EP)

Entradas: Cada EP puede tener múltiples entradas, asociadas a di-
ferentes propiedades. Adem´