PDF de programación - Historia de las Redes Neuronales

Historia de las Redes Neuronales

Conseguir diseñar y construir máquinas capaces de realizar procesos con cierta inteligencia ha sido uno
de los principales objetivos de los científicos a lo largo de la historia. De los intentos realizados en este sentido se
han llegado a definir las líneas fundamentales para la obtención de máquinas inteligentes: En un principio los
esfuerzos estuvieron dirigidos a la obtención de autómatas, en el sentido de máquinas que realizaran, con más
o menos éxito, alguna función típica de los seres humanos. Hoy en día se continúa estudiando en ésta misma
línea, con resultados sorprendentes, existen maneras de realizar procesos similares a los inteligentes y que
podemos encuadrar dentro de la llamada Inteligencia Artificial (IA).

La otra línea de la investigación ha tratado de aplicar principios físicos que rigen en la naturaleza para obtener
máquinas que realicen trabajos pesados en nuestro lugar. De igual manera se puede pensar respecto a la forma y
capacidad de razonamiento humano; se puede intentar obtener máquinas con esta capacidad basadas en el
mismo principio de funcionamiento.

No se trata de construir máquinas que compitan con los seres humanos, sino que realicen ciertas tareas de rango
intelectual con que ayudarle, principio b ásico de la Inteligencia Artificial.

Las primeras explicaciones teóricas sobre el cerebro y el pensamiento ya fueron dadas ya por Platón (427-347
a.C.) y Aristóteles (348-422 a.C.). Las mismas ideas también las mantuvo Descartes (1569-1650) y los
filósofos empiristas del siglo XVIII.

La clase de las llamadas máquinas cibernéticas, a la cual la computación neuronal pertenece, tiene más historia
de la que se cree: Herón (100 a.C) construyó un autómata hidráulico.

1936 - Alan Turing. Fue el primero en estudiar el cerebro como una forma de ver el mundo de la
computación. Sin embargo, los primeros teóricos que concibieron los fundamentos de la computación neuronal
fueron Warren McCulloch, un neurofisiólogo, y Walter Pitts, un matemático, quienes, en 1943, lanzaron una
teoría acerca de la forma de trabajar de las neuronas (Un Cálculo Lógico de la Inminente Idea de la Actividad
Nerviosa - Boletín de Matemática Biofísica 5: 115-133). Ellos modelaron una red neuronal simple mediante
circuitos eléctricos.

1949 - Donald Hebb. Escribió un importante libro: La organización del comportamiento, en el que se
establece una conexión entre psicología y fisiología. Fue el primero en explicar los procesos del aprendizaje (que
es el elemento básico de la inteligencia humana) desde un punto de vista psicológico, desarrollando una regla de
como el aprendizaje ocurría. Aun hoy, este es el fundamento de la mayoría de las funciones de aprendizaje que
pueden hallarse en una red neuronal. Su idea fue que el aprendizaje ocurría cuando ciertos cambios en una
neurona eran activados. También intentó encontrar semejanzas entre el aprendizaje y la actividad nerviosa. Los
trabajos de Hebb formaron las bases de la Teoría de las Redes Neuronales.

1950 - Karl Lashley. En sus series de ensayos, encontró que la información no era almacenada en forma
centralizada en el cerebro sino que era distribuida encima de él.

1956 - Congreso de Dartmouth. Este Congreso frecuentemente se menciona para indicar el nacimiento
de la inteligencia artificial.

1957 - Frank Rosenblatt. Comenzó el desarrollo del Perceptrón. Esta es la red neuronal más antigua;
utilizándose hoy en día para aplicación como reconocedor de patrones. Este modelo era capaz de generalizar, es
decir, después de haber aprendido una serie de patrones podía reconocer otros similares, aunque no se le hubiesen
presentado anteriormente. Sin embargo, tenía una serie de limitaciones, por ejemplo, su incapacidad para
resolver el problema de la función OR-exclusiva y, en general, era incapaz de clasificar clases no separables
linealmente. En 1959, escribió el libro Principios de Neurodinámica, en el que confirmó que, bajo ciertas
condiciones, el aprendizaje del Perceptrón convergía hacia un estado finito (Teorema de Convergencia del
Perceptrón).

1960 - Bernard Widrow/Marcial Hoff. Desarrollaron el modelo Adaline (ADAptative LINear
Elements). Esta fue la primera red neuronal aplicada a un problema real (filtros adaptativos para eliminar ecos
en las líneas telefónicas) que se ha utilizado comercialmente durante varias décadas.

1961 - Karl Steinbeck: Die Lernmatrix. Red neuronal para simples realizaciones técnicas (memoria
asociativa).

1967 - Stephen Grossberg. A partir de sus conocimientos fisiológicos, ha escrito numerosos libros y
desarrollado modelo de redes neuronales. Realizó una red: Avalancha, que consistía en elementos discretos con
actividad que varía en el tiempo que satisface ecuaciones diferenciales continuas, para resolver actividades como
reconocimiento continuo de habla y aprendizaje de los brazos de un robot.

1969 - Marvin Minsky/Seymour Papert. En este año surgieron críticas que frenaron, hasta 1982, el
crecimiento que estaban experimentando las investigaciones sobre redes neuronales. Minsky y Papera, del
Instituto Tecnológico de Massachussets (MIT), publicaron un libro Perceptrons. Probaron (matemáticamente)
que el Perceptrón no era capaz de resolver problemas relativamente fáciles, tales como el aprendizaje de una
función no-lineal. Esto demostró que el Perceptrón era muy débil, dado que las funciones no-lineales son
extensamente empleadas en computación y en los problemas del mundo real. A pesar del libro, algunos
investigadores continuaron su trabajo. Tal fue el caso de James Anderson, que desarrolló un modelo lineal,
llamado Asociador Lineal, que consistía en unos elementos integradores lineales (neuronas) que sumaban
sus entradas. Este modelo se basa en el principio de que las conexiones entre neuronas son reforzadas cada vez
que son activadas. Anderson diseñó una potente extensión del Asociador Lineal, llamada Brain State in a
Box (BSB).

1974 - Paul Werbos. Desarrolló la idea básica del algoritmo de aprendizaje de propagación hacia atrás
(backpropagation); cuyo significado quedó definitivamente aclarado en 1985.

1977 - Stephen Grossberg. Teoría de Resonancia Adaptada (TRA). La Teoría de Resonancia
Adaptada es una arquitectura de red que se diferencia de todas las demás previamente inventadas. La misma
simula otras habilidades del cerebro: memoria a largo y corto plazo.

1977 - Teuvo Kohonen. Ingeniero electrónico de la Universidad de Helsinki, desarrolló un modelo similar
al de Anderson, pero independientemente.

1980 - Kunihiko Fukushima. Desarrolló un modelo neuronal para el reconocimiento de patrones
visuales..

1985 - John Hopfield. Provocó el renacimiento de las redes neuronales con su libro: "Computación
neuronal de decisiones en problemas de optimización."

1986 - David Rumelhart/G. Hinton. Redescubrieron el algoritmo de aprendizaje de propagación hacia
atrás (backpropagation). A partir de 1986, el panorama fue alentador con respecto a las investigaciones y el
desarrollo de las redes neuronales. En la actualidad, son numerosos los trabajos que se realizan y publican cada
año, las aplicaciones nuevas que surgen (sobretodo en el área de control) y las empresas que lanzan al mercado
productos nuevos, tanto hardware como software (sobre todo para simulación).

Características de las redes neuronales

Existen cuatro aspectos que caracterizan una red neuronal: su topología, el mecanismo de aprendizaje, tipo de
asociación entre la información de entrada y de salida, y la forma de representación de estas informaciones.

Topología

Consiste en la organización y disposición de las neuronas en la red formando capas o agrupaciones de neuronas.
Los parámetros fundamentales de la red son: número de capas, número de neuronas por capa, grado de
conectividad y tipo de conexión entre neuronas.

Al hacer una clasificación topológica de las RNAs se suelen distinguir:

1. Redes monocapa : se establecen conexiones laterales entre las neuronas que pertenecen a la única capa
que constituye la red. Ejemplos de redes de este tipo son la rede HOPPFIELD y la rede BRAIN -
STATE-IN-A-BOX. Las redes monocapa se utilizan típicamente en tareas relacionadas con lo que
se conoce como autoasociación; por ejemplo, para regenerar informaciones de entrada que se presenta
como incompleta o distorsionada.

2. Redes multicapa : disponen las neuronas agrupadas en varios niveles. Dado que este tipo de redes
disponen de varias capas, las conexiones entre neuronas pueden ser del tipo feedforward (conexión hacia
adelante) o del tipo feedback (conexión hacia atrás).

Mecanismo de aprendizaje

El aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una información de
entrada. Los cambios que se producen durante la etapa de aprendizaje se reducen a la destrucción (el peso de la
conexión toma el valor 0), modificación y creación (el peso de la conexión toma un valor distinto de 0) de
conexiones entre las neuronas.

Podemos considerar que el proceso de aprendizaje ha terminado cuando los valores de los pesos permanecen
estables

dwj / dt = 0

Uns aspecto importante es determinar los criterios de la regla de aprendizaje; cómo se van a modificar los pesos.
De forma general se consideran dos tipos de reglas:



1. Aprendizaje supervisado
2. Aprendizaje no supervisado

La diferencia entre ambos tipos estriba en la existencia o no de una agente externo que controle todo el proceso.

Otro criterio para diferenciar las reglas de aprendizaje se bas a en considerar si la red puede aprender durante su
funcionamiento (aprendizaje ON LINE) o requiere de una fase previa de entrenamiento (aprendizaje OFF
LINE).