PDF de programación - Inteligencia Artificial - Unidad 1 - Tema 2 - Redes Neuronales

Instituto Tecnológico de Nuevo Laredo

Ingeniería en Sistemas Computacionales

Inteligencia Artificial

Ing. Bruno López Takeyas

Unidad I

Tema 2 Redes Neuronales

Sergio Alfredo Santos Ramírez
Gerson Antonio García Carrasco
Renato García Jiménez
Isidro Gómez Rodriguez
Gilberto Antonio Anwar Peña Nuño

01100304
01100208
01100209
01100219
01100275

Nuevo Laredo Tamaulipas a 24 de Agosto del 2005





2

INDICE

Introducción ………………………………………………………………. 3

El modelo Biológico ……………………………………………………… 5

Ejemplos de Problemas de Interés para científicos e ingenieros ………… 7

Elementos de una red neuronal artificial …………………………………. 9

Formas de conexión entre neuronas …………………………………….. 14

Topologías de redes neuronales ……………………………………….....15

Mecanismos de Aprendizaje ……………………………………………. 16

Descripción de las topologías ADALINE y Backpropagation ………….. 20

Características de las redes neuronales ………………………………….. 24

Ventajas de las redes neuronales ………………………………………… 24

Aplicaciones de las redes neuronales ……………………………………. 25

Redes Neuronales y Control ……………………………………………... 26

Futuro de las redes neuronales …………………………………………… 27

Bibliografía ………………………………………………………………. 28





Introducción

3

Las redes neuronales como su nombre lo indica pretenden imitar a pequeñísima escala la
forma de funcionamiento de las neuronas que forman el cerebro humano. Todo el
desarrollo de las redes neuronales tiene mucho que ver con la neurofisiología, no en vano
se trata de imitar a una neurona humana con la mayor exactitud posible. Entre los
pioneros en el modelado de neuronas se encuentra Warren McCulloch y Walter Pitts.
Estos dos investigadores propusieron un modelo matemático de neurona. En este modelo
cada neurona estaba dotada de un conjunto de entradas y salidas. Cada entrada está
afectada por un peso. La activación de la neurona se calcula mediante la suma de los
productos de cada entrada y la salida es una función de esta activación. La principal clave
de este sistema se encuentra en los pesos de las diferentes entradas. Como se ha visto, las
entradas son modificadas por el peso y las salidas son función de estas modificaciones.
Esto nos lleva a concluir que los pesos influyen de forma decisiva en la salida y por lo
tanto pueden ser utilizados para controlar la salida que se desea.

En realidad cuando se tienen interconectadas muchas de estas neuronas artificiales lo que
se hace inicialmente es entrenar el sistema. El entrenamiento consiste en aplicar unas
entradas determinadas a la red y observar la salida que produce. Si la salida que produce
no se adecua a la que se esperaba, se ajustan los pesos de cada neurona para
interactivamente ir obteniendo las respuestas adecuadas del sistema. A la red se le somete
a varios ejemplos representativos, de forma que mediante la modificación de los pesos de
cada neurona, la red va "aprendiendo".

Redes neuronales

Las redes neuronales son sistemas compuesto por un gran número de elementos básicos
(Artificial Neurons), agrupados en capas (Layers) y que se encuentran altamente
interconectados (Synapses); Esta estructura posee varias entradas y salidas, las cuales
serán entrenadas para reaccionar (valores O), de una manera deseada, a los estímulos de
entrada (valores I).

Estos sistemas emulan, de una cierta manera, al cerebro humano. Requieren aprender a
comportarse (Learning) y alguien debe encargarse de enseñarles o entrenarles (Training),
en base a un conocimiento previo del entorno del problema.

Redes neuronales artificiales son redes interconectadas masivamente en paralelo de
elementos simples (usualmente adaptativos) y con organización jerárquica, las cuales
intentan interactuar con los objetos del mundo real del mismo modo que lo hace el
sistema nervioso biológico.

Un poco de historia

En 1956 se organizó en Dartmouth la primera conferencia sobre IA. Aquí se discutió el
uso potencial de las computadoras para simular "todos los aspectos del aprendizaje o



4

cualquier otra característica de la inteligencia" y se presentó la primera simulación de una
red neuronal, aunque todavía no se sabían interpretar los datos resultantes.

En 1959, Widrow (Widrow 1959) publica una teoría sobre la adaptación neuronal y unos
modelos inspirados en esa teoría, el Adaline (Adaptative Linear Neuron) y el Madaline
(Multiple Adaline). Estos modelos fueron usados en numerosas aplicaciones y
permitieron usar, por primera vez, una red neuronal en un problema importante del
mundo real: filtros adaptativos para eliminar ecos en las líneas telefónicas.

En 1962, Rosemblatt (Rosemblatt 1962) publica los resultados de un ambicioso proyecto
de investigación, el desarrollo del Perceptrón, un identificador de patrones ópticos
binarios, y salida binaria. Las capacidades del Perceptrón se extendieron al desarrollar la
regla de aprendizaje delta, que permitía emplear señales continuas de entrada y salida.

1969, Minsky y Papert (Minsky & Papert 1969)) realizan una seria crítica del Perceptrón,
revelando serias limitaciones, como su incapacidad para representar la función XOR,
debido a su naturaleza lineal. Este trabajo creó serias dudas sobre las capacidades de los
modelos conexionistas y provocó una caída en picado de las investigaciones.

Años 70: a pesar del duro golpe que supuso el trabajo de Minsky y Papert para las
investigaciones en computación conexionista, un puñado de investigadores siguió
trabajando y desarrollando nuevas ideas:

Anderson (Anderson, Silverstein, Ritz & Jomnes 1977) estudia y desarrolla modelos de
memorias asociativas. Destaca el autoasociador lineal conocido como modelo brain-state-
in-a-box (BSB).

Kohonen (Kohonen 1984) continua el trabajo de Anderson y desarrolla modelos de
aprendizaje competitivo basados en el principio de inhibición lateral. Su principal
aportación consiste en un procedimiento para conseguir que unidades físicamente
adyacentes aprendieran a representar patrones de entrada similares; a las redes basadas en
este procedimiento se las denomina redes de Kohonen.

Grossberg (Grossberg 1987) realizó un importante trabajo teórico - matemático tratando
de basarse en principios fisiológicos; aportó importantes innovaciones con su modelo
ART (Adaptative Resonance Theory) y, junto a Cohen, elabora un importante teorema
sobre la estabilidad de las redes recurrentes en términos de una función de energía.

Años 80: En esta década se produce el renacimiento del interés por el campo gracias
sobre todo al trabajo del el grupo PDP y las aportaciones de Hopfield.

Rumelhart, McClelland & Hinton crean el grupo PDP (Parallel Distributed Processing).
Como resultado de los trabajos de este grupo salieron los manuales (Rumelhart &
McClelland 1986 y 1988) con más influencia desde la crítica de Minsky y Papert.
Destaca el capítulo dedicado al algoritmo de retropropagación, que soluciona los



5

problemas planteados por Minsky y Papert y extiende enormemente el campo de
aplicación de los modelos de computación conexionistas.

Hopfield (Hopfield 1982) elabora un modelo de red consistente en unidades de proceso
interconectadas que alcanzan mínimos energéticos, aplicando
los principios de
estabilidad desarrollados por Grossberg. El modelo de Hopfield resultó muy ilustrativo
sobre los mecanismos de almacenamiento y recuperación de la memoria. Su entusiasmo y
claridad de presentación dieron un nuevo impulso al campo y provocaron el incremento
de las investigaciones.

Otros desarrollos destacables de esta década son la máquina de Boltzmann (Hinton &
Sejnowski 1986) y los modelos BAM (Kosko 1987)



El modelo biológico

A grandes rasgos, recordemos que el cerebro humano se compone de decenas de billones
de neuronas interconectadas entre sí formando circuitos o redes que desarrollan
funciones específicas.
Una neurona típica recoge señales procedentes de otras neuronas a través de delicadas
estructuras llamadas dendritas. La neurona emite impulsos de actividad eléctrica a lo
largo de una fibra larga y delgada denominada axón.



Neurona y conexiones sinápticas

Las extremidades de estas ramificaciones llegan hasta las dendritas de
otras neuronas y establecen unas conexiones llamadas sinápsis, en las
cuales se produce una transformación del impulso eléctrico en un mensaje
neuroquímico, mediante la liberación de unas sustancias llamadas
neurotransmisor.




6



Detalle de una sinápsis

El efecto de los neurotransmisores sobre la neurona receptora puede ser excitatorio o
inhibitorio, y es variable (la intensidad del efecto depende de numerosos factores que no
sería oportuno describir aquí), de manera que podemos hablar de la fuerza o efectividad
de una sinápsis. Las señales excitatorias e inhibitorias recibidas por una neurona se
combinan, y en función de la estimulación total recibida, la neurona toma un cierto nivel
de activación, que se traduce en la generación de breves impulsos nerviosos con una
determinada frecuencia o tasa de disparo, y su propagación a lo largo del axón hacia las
neuronas con las cuales sinapta.



Activación y disparo de una neurona

De esta manera la información se transmite de unas neuronas a otras y va siendo
procesada a través de las conexiones sinápticas y las propias neuronas. El aprendizaje de
las redes neuronales se produce mediante la variación de la efectividad de las sinápsis, de
esta manera cambia la infl