PDF de programación - Redes de Neuronas Artificiales

Redes de Neuronas Artificiales

Curso: 2001/2002
Cuatrimestre: Primero
Alumna: Laura M. Castro Souto
Profesores: Antonino S´anchez del Riego
Juli´an Dorado de la Calle

´Indice general

I Fundamentos Biol´ogicos de las RNA

3

1. Introducci´on a la neurocomputaci´on

7
1.1. RNA vs. Programaci´on Secuencial . . . . . . . . . . . . . . . . . . . . . . .
8
1.2. Breve historia de las RNA . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3. Esquemas o Paradigmas de Aprendizaje
. . . . . . . . . . . . . . . . . . . 10
1.3.1. Aprendizaje Supervisado . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.2. Aprendizaje No Supervisado . . . . . . . . . . . . . . . . . . . . . . 11
1.3.3. Paradigma H´ıbrido de Aprendizaje . . . . . . . . . . . . . . . . . . 11
1.4. Las RNA m´as utilizadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.1. Redes de Hopfield . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.2. Perceptr´on Multicapa (Multilayer Perceptron) . . . . . . . . . . . . 12
1.5. Clasificaci´on general
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6. Algoritmos de aprendizaje. Clasificaci´on . . . . . . . . . . . . . . . . . . . 14
1.7. Reglas de aprendizaje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.7.1. Regla de Hebb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.7.2. Regla de Boltzmann . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.7.3. Regla del Perceptr´on . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.7.4. Regla Delta Generalizada - Backpropagation . . . . . . . . . . . . . 20
1.8. Estimaci´on del perfomance . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2. Revisi´on de algunos tipos de RNA

29
2.1. Memorias asociativas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.1.1. Conceptos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.1.2. Tipos
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.1.3. Trabajos de Bart Kosho . . . . . . . . . . . . . . . . . . . . . . . . 30
2.1.4. Redes de Hopfield . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2. Redes Competitivas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Interacci´on lateral . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
. . . . . . . . . . . . . . . . 36
2.3. Mapas Autoorganizativos de Kohonen (SOM)
2.4. Radial Basic Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.5. Redes de contrapropagaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . 38

2.2.1.

1

2

´INDICE GENERAL

II Modelos Avanzados de RNA

43

3. Procesado Temporal

45
3.1. An´alisis de Series Temporales con RNA . . . . . . . . . . . . . . . . . . . . 47
3.1.1. Problemas de series temporales abordables con RNA . . . . . . . . 47
3.2. Tipos de RNA aplicables a series temporales . . . . . . . . . . . . . . . . . 48
3.2.1. Redes Feedforward . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.2. Redes Temporales . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.3. Time Delay Neural Networks (TDNN ) . . . . . . . . . . . . . . . . 50
3.2.4. BackPropagation Through Time . . . . . . . . . . . . . . . . . . . . 53
3.2.5. Redes parcialmente recurrentes
. . . . . . . . . . . . . . . . . . . . 54
3.2.6. RealTime Recurrent Learning . . . . . . . . . . . . . . . . . . . . . 54

4. Computaci´on Evolutiva

59
4.1.
Introducci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.2. T´ecnicas de Computaci´on Evolutiva . . . . . . . . . . . . . . . . . . . . . . 61
4.2.1. Algoritmos Gen´eticos . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.2.2. Programaci´on Gen´etica . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.2.3. Vida Artificial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.3. Aplicaci´on de t´ecnicas de Computaci´on Evolutiva en RNA . . . . . . . . . 63
4.3.1. Algoritmos gen´eticos para el entrenamiento de RNA . . . . . . . . . 63
4.3.2. Aplicaciones pr´acticas de Computaci´on Evolutiva en RNA . . . . . 64
4.3.3. RNA y algoritmos gen´eticos: ventajas y problemas . . . . . . . . . . 64
4.4. Sistemas h´ıbridos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.4.1. Definici´on de conjunto borroso . . . . . . . . . . . . . . . . . . . . . 67
4.4.2. Neurona de procesado difuso . . . . . . . . . . . . . . . . . . . . . . 68
4.4.3. Entrenamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.4.4. Aplicaciones de fuzzy RNA . . . . . . . . . . . . . . . . . . . . . . . 69

Parte I

Fundamentos Biol´ogicos de las Redes

de Neuronas Artificiales

3

Cap´ıtulo 1

Introducci´on a la neurocomputaci´on

Entendemos por neurocomputaci´on la utilizaci´on de los sistemas conexionistas o
redes de neuronas artificiales para realizar una computaci´on o procesado de informaci´on.

El principal componente de la neurocomputaci´on son, pues, los sistemas conexio-
nistas o redes de neuronas artificiales, t´erminos an´alogos, y su meta fundamental, atacar
problemas reales. Este tipo de problemas se caracteriza por su incertidumbre, ruido e
imprecisi´on en los datos, etc. Por tanto, los sistemas conexionistas deben reflejar cierta
tolerancia a dicha imprecisi´on e incertidumbre. Es decir, las RNA1 no se aplican a algo
de tipo algor´ıtmico sino todo lo contrario, se vuelven ´utiles frente a problemas para los
que no existe o no se conoce un algoritmo que los aborde, o bien cuando dicho algoritmo
existe pero resulta computacionalmente demasiado lento o caro2 (las RNA suelen ser muy
r´apidas en funcionamiento).

Las RNA est´an inspiradas en las redes de neuronas biol´ogicas, tanto en su estructura
como en su comportamiento (algoritmos gen´eticos, computaci´on molecular). Ahora bien,
una neurona biol´ogica, comparada con cualquier otro dispositivo el´ectrico, es muy lenta.
¿Por qu´e, entonces, funcionan y dan tan buen resultado las RNA? Debido a su alto grado
de paralelismo; su lentitud se compensa con el gran n´umero de componentes que las for-
man y trabajan al un´ısono.

Los neurocomputadores introducen, por tanto, inspirados en esta idea, el paralelis-
mo en su arquitectura, sustituyendo a la cl´asica arquitectura secuencial de Vonn Neumann.

Las RNB3 pueden verse, siguiendo la idea anterior, como dispositivos no lineales con
una alta capacidad de paralelismo caracterizados sobre todo por una gran robustez y to-
lerancia a fallos4. Resultan excepcionalmente buenas en tareas tales como:

1Abreviaremos de este modo “redes de neuronas artificiales”.
2Algo que, por otra parte, cada vez ocurre menos.
3Abreviaremos as´ı “redes de neuronas biol´ogicas”.
4A pesar de que mueren continuamente, las funciones que realizan globalmente no se ven afectadas

por ello. La cuesti´on de si se reproducen o no suscita a´un muchas controversias.

7

8

CAP´ITULO 1. INTRODUCCI ´ON A LA NEUROCOMPUTACI ´ON

Procesos de inferencia.

Tareas de sentido com´un.

Procesado de im´agenes.

y es por ello por lo que las RNA intentan y pretenden emular las RNB. Son tareas
que el ser humano lleva a cabo muy bien y que pretenden ser automatizadas (dominios
de aplicaci´on: reconocimiento de patrones, predicci´on, optimizaci´on, control, memorias
asociativas, etc.).

Deben distinguirse bien los conceptos de emular y simular, que es aplicable a los
sistemas expertos (parte simb´olica). Ambos significan un intento de reproducir el com-
portamiento, pero en la emulaci´on, adem´as, se trata de imitar no s´olo unas reglas de
funcionamiento, sino la estructura interna de algo.

En las RNB, el aprendizaje es el resultado de un complejo proceso qu´ımico-el´ectrico
en la sinapsis, desatado a ra´ız de informaci´on que llega proveniente del exterior por los
sentidos. Las RNA lo hacen modificando sus pesos sin´apticos como consecuencia de la
introducci´on de informaci´on de diversa ´ındole: im´agenes, probabil´ıstica (con ruido, difusa,
imprecisa. . . ), etc.

Pero, ¿qu´e es aprender? Consideramos que el proceso de aprendizaje consiste en,
a partir de mucha y diversa informaci´on que llega por todo tipo de medios, ser capaz
de integrarla y abstraerla para generar nueva informaci´on y conocimientos aplicables a
situaciones nuevas. En suma, es capacidad de generalizaci´on.

1.1. RNA vs. Programaci´on Secuencial

Las RNA almacenan toda la informaci´on en los pesos sin´apticos. Los elementos prin-
cipales de las RNA, llamados elementos de proceso o procesado (EP), disponen de
un conjunto de primitivas que definen su comportamiento y que pueden ser definidas y
pueden ser asim´etricas (no tienen por qu´e ser iguales en todos los PE de todas las capas
de una RNA), como puede ser por ejemplo la funci´on umbral, cuyos valores m´as t´ıpicos
son:

(cid:80)

i xiwij

(cid:80)

 sigmoidal

tangente hiperb´olica
sinoidal
logar´ıtmica

f (

i xiwij)

donde

f funci´on umbral

Otros par´ametros que caracterizan a las RNA son:
√
√

Topolog´ıa.

Propiedades de los EP.

1.1. RNA VS. PROGRAMACI ´ON SECUENCIAL

9

√
√

√

Regla o Esquema de aprendizaje utilizado (algoritmo).

Validaci´on (mediante el uso de ´ındices o indicadores para medir ratios de error):

An´alisis del error.
Capacidad de generalizaci´on.

Ejecuci´on.

Si comparamos una red neuronal (de cualquier tipo) con una m´aquina de Von Neu-

mann veremos que cuenta con:

◦ Mayor grado de paralelismo.
◦ Representaci´on, computaci´on distribuida.
◦ Capacidad de aprendizaje.
◦ Capacidad de generalizaci´on.
◦ Capacidad de adaptaci´on.
◦ Tolerancia a fallos.
◦ Dominios de aplicaci´on con problemas perceptuales5 complejos, problemas de sen-

tido com´un,. . . frente al dominio de computaci´on num´erica.

M´as detalladamente puede verse en la tabla 1.1 (p´agina 10).

Hoy por hoy, en el estudio de las RNA, RNB y la computaci´on, colaboran las siguientes

ramas de la ciencia:
∗ neurofisiolog´ıa6
∗ ciencia cognitiva, psicolog´ıa
∗ f´ısica (mec´anica, termodin´amica)
∗ teor´ıa de contr