PDF de programación - REDES AUTOORGANIZATIVAS

1. Introducción a la Autoorganización.

2. Aprendizaje Competitivo.

3.1. Carácterísticas.
3.2. Ventajas y Limitaciones.

3. Modelo de Kohonen. (Clustering)

4. Mapas Topológicos de Características Autoorganizados de Kohonen.

4.1. Funcionalidad.
4.2. Algoritmo de entrenamiento.
4.3. Propiedades de los mapas topológicos.
4.4. LVQ.
4.5. Aplicaciones de los Mapas Autoorganizados.

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 1

REDES AUTOORGANIZATIVAS



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 2


INTRODUCCIÓN


• Consiste en la modificación repetida de conexiones en respuesta a patrones de
activación y siguiendo unas reglas preestablecidas, hasta el desarrollo final de la
estructura o sistema.



• La organización en las redes neuronales tiene lugar en 2 niveles diferentes, los cuales

están íntimamente interconectados en forma de lazo:

Actividad: Ciertos patrones de actividad son producidos por la estructura en
respuesta a señales de entrada.

Conectividad: Los Pesos de las diferentes interconexiones, son modificados en
respuesta a señales producidas por los PE. (Concepto de Plasticidad).



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 3



PRINCIPIOS:


Principio1: Modificaciones en los Pesos tienden a auto-amplificarse.


El proceso de auto-amplificación está relacionado con el hecho de que las
modificaciones de los Pesos están basadas en señales variables localmente.



Principio 2: Limitaciones debido a la competitividad establecen la selección de
grupos de interconexiones fuertes, a expensas de otras.


Principio 3: Modificaciones en los Pesos tienden a una cooperación entre todos ellos.



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 4

Contexto de las Redes Autoorganizativas.

• Existen problemas donde el conjunto de entrenamiento está formado por un conjunto

de patrones de entrada y donde las salidas deseadas no están disponibles.


• En estos casos la información relevante debe de ser localizada en los propios patrones

de entrada (redundancia).


Problemas tales como:


• Clustering: Los datos de entrada pueden ser agrupados en “clusters” y el sistema

al procesar los datos debe de encontrar los centros de esos clusters.

• Cuantización de Vectores: Este problema ocurre cuando en un espacio continuo
tiene que ser discretizado. La entrada al sistema son vectores n-dimensionales y
la salida es una representación discreta del espacio de entradas.

• Reducción de Dimensionalidad: Los datos de entrada deben de ser agrupados
en un subespacio con una dimensionalidad más baja que la dimensionalidad de
los datos.

• Extracción de Características: El sistema tiene que extraer características de
los datos de entrada (supone casi siempre una reducción de la dimensionalidad).


Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 5

APRENDIZAJE COMPETITIVO

• Esta idea se basa en la existencia de una cierta competitividad entre los PEs de una

cierta capa por la oportunidad de entrenarse (aprender).



• Esto, se refiere a que, el PE que produce la salida mayor se le considera Ganador,
y tiene la capacidad de inhibir a los otros PEs (no presentan activación: salida
nula). Todo ello conlleva que solamente los pesos del PE ganador podrán ser
ajustados.



Cada nodo recibe las mismas entradas de una
capa previa y entre los nodos de la capa
existen conexiones laterales: excitadora (sobre
si mismo), inhibidoras (sobre todos los demás
nodos de la capa).



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 6



MODELO DE KOHONEN. (Clustering)

• Teuvo Kohonen, profesor de la Facultad de Ciencias de la Información (Universidad
de Helsinki), trabajó extensivamente, en lo que se denomina Memorias Asociativas y
en modelos para actividad neurobiológica.

Matlab, Neural Neurocomputing capt. 5


• En líneas generales, las redes entrenadas mediante esta regla se caracterizan por



y1

f = función Competitiva

yp


• Asocian vectores de entrada a

patrones de salida.


• El aprendizaje es Sin Supervisar.

• Las estructuras de las redes las

forman solamente 2 capas.



Se determina la similitud entre los

diferentes factores:

W11

Wp1

x1

W1n

xn

Wpn

1 f

p f

Estructura Competitiva



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 7

PE y el vector de entrada mediante la formula:


x t w t
( )
ji
i

−

2

( ))

d

j

=

(

n
∑
i
1
=


Una vez que se determina cual es el PE ganador (supongamos "k") se aplica la función
de transferencia de tipo competitiva:
y
y

= ∀ ≠

=

=

1

0

k

k

j

j



j

j

Una vez seleccionado el PE ganador se modifican sus pesos mediante la siguiente regla:


w

ki

(

t

+

1
)

=

w

ki

t
( )

t
( )(

x

i

t
( )

−

w

ki

t
( ))



• En algunos casos, la velocidad de aprendizaje, suele ser dependiente del tiempo y
normalmente decrece en cada paso.



+
µ



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 8

CARACTERÍSTICAS

• La velocidad de aprendizaje suele disminuir con el tiempo, hasta que toma un valor

próximo a 0 en cuyo caso el aprendizaje finaliza.

Se trata de asociar cada PE de la capa
de salida a un grupo de vectores de
entrada, con una cierta similitud,
tal manera clases o
generando de
clusters. Así, los pesos de los Pes, son
interpretados como los centros de los
clusters.

Si existen más PE en la capa de salida
que clases de patrones de entrada,
pueden suceder dos cosas:



• quedan PE inactivos, sin asociar a ninguna clase
• una clase tiene asociados más de un PE.



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 9


• Normalmente los patrones de entrada se Normalizan. Razón:


El PE ganador se determina calculando una medida de similaridad entre entrada y
peso. Dicha similaridad se calcula empleando, normalmente, la Distancia
Euclídea y ésta compara magnitudes y orientación espacial.



Patrones y Pesos Normalizados.



• Este hecho supone incrementar la velocidad de aprendizaje ya que, existe menos

variabilidad en el espacio de pesos.

Por ejemplo:(1,1,1,1);(4,4,4,4) son idénticos---- (1/2,1/2,1/2,1/2).



Una Limitación de las redes competitivas es que algunas neuronas pueden no ser
entrenadas. En otras palabras, pueden existir vectores de pesos muy distanciados de las
entradas, con lo cual, nunca ganarán. Importantísimo en estos sistemas es la
inicialización de pesos.



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 10

Demostración de que el aprendizaje competitivo sigue la idea de la Regla Delta.


p

E

=

−∑1
2

w
kj

(

j

x

p
j

)

2



La función error para el patrón p es:


∆

w
ij

p

= −

γ

p

E
∂
w
∂
ij
x
p
−
j

p

E
∂
w
∂
ij
w
ij

∆

p

=





= −

w

i ganadora
ij
0
en otro caso
(
γ

(
γ

w
ij

)

=

−

x

x

p
j





p
j

−

w
ij



)



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 11

MAPAS AUTOORGANIZATIVOS (TOPOLÓGICOS)



MAPAS CEREBRALES



La representación económica de la información es uno de los problemas centrales de las
ciencias de la información.

El cerebro humano posee la capacidad y la habilidad para operar con grandes conjuntos
de datos. Es capaz de obtener representaciones reducidas de hechos relevantes sin que
ello implique pérdida de información en los datos y sus relaciones.

“El supuesto del procesado inteligente de información puede ser visto como la creación
de imágenes simplificadas del mundo real con diferentes niveles de abstracción, en
relación a un subconjunto particular de datos observables” [kohonen].



Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 12


Es conocido que varias áreas del cerebro, especialmente de la corteza cerebral, están
organizadas de acuerdo a diferentes modalidades sensoriales.



Experimentos más recientes han revelado una estructura-fina en muchas áreas. Por
ejemplo: las señales de respuesta en áreas como la visual, son obtenidas en el mismo
orden topográfico sobre la corteza con que éstas fueron recibidas en los órganos
sensoriales.

Manuel F. González Penedo

Tema 5: Redes Autoorganizativas

Sistemas Conexionistas 13

La posibilidad de que la representación del conocimiento en una categoría particular
pueda asumir la forma de un mapa de características y en cierto sentido organizado
geométricamente sobre la corteza del cerebro, ha motivado una serie de investigaciones
que han dado lugar a nuevos modelos de redes neuronales artificiales.

Algunas investigaciones han revelado que ciertas capas de neuronas tienen la habilidad
de cambiar sus respuestas de tal modo que la localización de la neurona en la red donde
la respuesta es obtenida especifica una cierta característica del conjunto de patrones de
entrada. Esta especificación ocurre en el mismo orden topológico que describe la
relación de similaridad entre los patrones de entrada.



Manuel F. González Penedo

Las redes son normalmente bidimensionales:
Existe un mapeado que es capaz de preservar
las
se
consigue una reducción de dimensionalidad
del espacio de entradas.

topológicas mientras

Las neuronas o unidades no se
mu