PDF de programación - REDES DE BASE RADIAL

Tema 5: Redes de Base Radial



Sistemas Conexionistas 1

REDES DE BASE RADIAL



1. Funciones de Base Radial.

2. Derivación del Modelo Neuronal.
2.1. Arquitectura de una RBFN
2.2. Funcionalidad.
2.3. Carácter Local de una RBFN.


3. Entrenamiento. Fases

3.1 Aprendizaje Híbrido.
3.2 Arpendizaje Totalmente Supervisado.


4. RBFN frente a MLP.



Manuel F. González Penedo

Tema 5: Redes de Base Radial



Sistemas Conexionistas 2

FUNCIONES DE BASE RADIAL

Son funciones cuya salida depende de la distancia a un punto denominado Centro.

Características:

- Simétricas respecto de x=0
- Se definen con al menos dos parámetros.

o Centro: Punto donde la función posee un extremo.
o Anchura: Magnitud de la variación de la función según se aleja del centro.



Manuel F. González Penedo



Tema 5: Redes de Base Radial



Sistemas Conexionistas 3

ARQUITECTURA DE UNA RBFN


c11

x1

x2

xp

cpm

z1

z2

Φ

Φ

w2r

w11

w12

w21

w22

wm1

wm2

w1r

Φ

zm

wmr

y1

y2

yr



Caracterísicas:



Manuel F. González Penedo

- Capa de entrada: reciben las señales del exterior, no realizan ningún preprocesado.
- Capa Oculta: reciben las señales de la capa de entrada y realizan una

transformación local y no lineal sobre dichas señales (Diferencia con el MLP).

- Capa de Salida: Se realiza una combinación lineal de las activaciones de las

neuronas de la capa oculta y actúa como salida de la red.

Tema 5: Redes de Base Radial



Sistemas Conexionistas 4

Activaciones de las neuronas en una RBFN

Capa Salida: Cada elemento de procesado calcula su valor neto como una
combinación lineal de las salidas de los elementos de procesado de la capa oculta. La
función de activación y transferencia es lineal, por lo tanto:

Para un patrón n, X(n)=(x1(n),x2(n),…..xp(n)), la salida de la red asociada a cada
elemento k de la capa de salida se obtiene de la siguiente manera:


ny
)(
k

m

= ∑

i

1
=

nzw
)(
ik

i

+

µ
k

para

k

=

,...,2,1

r



Donde los Wik son los pesos asociados al elemento k de la capa de salida y el elemento i
de la capa oculta, que ponderan cada uno las salidas zi(n) del elemento de procesado de
la capa oculta correspondiente.

El término µk es un término denominado umbral y está asociado a cada una de los
elementos de procesado de la capa de salida.


Manuel F. González Penedo

Tema 5: Redes de Base Radial



Sistemas Conexionistas 5

Capa Oculta: Cada elemento de procesado, i, de la capa oculta tiene asociada una
función de base radial de tal manera que representa una clase o categoría, donde dicha
clase viene dada por (Ci, di). Ci representa un centro de cluster (pesos asociados a cada
neurona i) y di representa la desviación, anchura o dilatación de la función de base
radial asociada a dicho elemento.

La salida de cada elemento de la capa oculta zi(n) se calcula como la distancia que
existe ente el patrón de entrada X(n) al centro del cluster Ci ponderada inversamente
por di y aplicando después a ese valor una función de base radial.

Donde Φ es una función de base radial, dentro de éstas la más utilizada es la función

p

∑

j

1
=






1

2

2

)






(
nx
)(
j

−

c

ji

d

i










para

i

=

....2,1

m



nz
)(
i

Φ=










2

r

 −



2





e

.

r
)(

=Φ

Gausiana:


Manuel F. González Penedo

Tema 5: Redes de Base Radial



Sistemas Conexionistas 6

CARACTERÍSTICAS

Las funciones de base radial tienen todas ellas un carácter Local pues son funciones
que alcanzan un nivel cercano al máximo de su recorrido cuando el patrón de entrada
X(n) está próximo al centro de la neurona. A medida que el patrón se aleja del centro, el
valor de la función va tendiendo al valor mínimo de su recorrido.

Las salidas de las redes de neuronas de base radial son, por tanto una combinación
lineal de gausianas, cada una de las cuales se activa para una determinada porción del
espacio definido por los patrones de entrada.



Manuel F. González Penedo



Tema 5: Redes de Base Radial



Sistemas Conexionistas 7

APRENDIZAJE. ENTRENAMIENTO


El entrenamiento de este tipo de redes, determina todos los parámetros de la red.


• Parámetros de la capa de salida: Pesos, W
• Parámetros de la capa Oculta: Centros, C y desviaciones asociadas d.


La determinación de los parámetros de la capa oculta, se realiza mediante la
optimización en el espacio de entradas, ya que cada neurona va a representar una zona
diferente en dicho espacio.

La determinación de los parámetros de la capa de salida, la optimización se realiza en
base a las salidas que se desea obtener (salidas deseadas), ya que en su globalidad, las
redes de base radial se utilizan para aproximar relaciones entre el conjunto de variables
de entrada y salida que definen el problema.



Manuel F. González Penedo

Tema 5: Redes de Base Radial



Sistemas Conexionistas 8

Aprendizaje Híbrido


• Fase No supervisada: Determinación de parámetros de la capa oculta.
• Fase Supervisada: Determinación de pesos en capa de salida.


Fase No Supervisada

Puesto que las neuronas ocultas se caracterizan porque representan zonas diferentes del
espacio de entradas, los centros y las desviaciones deben de ser calculados con este
objetivo (clasificar el espacio de entradas en diferentes clases).

Determinación de Centros:



Determinación de Desviaciones

Se deben de calcular de manera que cada
neurona de la capa oculta se active en
una región del espacio de entradas y de
manera que el solapamiento de las zonas
de activación de una neurona sea lo más
ligero posible, para suavizar así
la
interpolación

• Algoritmo K-medias
• Mapas de Kohonen



Manuel F. González Penedo

Tema 5: Redes de Base Radial



Sistemas Conexionistas 9

Determinación de Desviaciones

Varias aproximaciones:



cercanos.

• Media Uniforme de las distancias euclídeas del centro Ci a los p centros más

d

i

=

1
p

∑ −
CC
i

p

p



• Media geométrica de la distancia del centro a sus dos vecinos más cercanos.



d

i

=

CCCC
i

−

−

i

t

Ccon

t

s

los Cy
más


s

cercanos

C a

i



Manuel F. González Penedo

Tema 5: Redes de Base Radial



Sistemas Conexionistas 10


Fase Supervisada


Se utiliza la técnica de correción de Error (Adaline, Perceptrón Multicapa.)


Minimización de la función error dada por la salida de la red.

Donde N es el número de patrones, y e(n) es el error cometido por la red para el patrón
X(n), que viene dado por:

1
=



n

E

=

ne
)(

N

∑

1
N

ne
)(

=

1
2

r

∑

k

1
=

(
ns
)(
k

−

ny
)(
k

)

2



Donde Y(n) es la salida de la red, S(n) es la salida deseada para un patron X(n)



Manuel F. González Penedo

Tema 5: Redes de Base Radial



Sistemas Conexionistas 11

Determinación de pesos:

nw
)(
ik

nw
(
ik

)1
−−

=

nu
)(
k

=

nu
(
k

)1
−−

µ

µ

ne
)(
δ
w
δ
ik
ne
)(
δ
u
δ

k

Teniendo en cuenta la expresión del error
y que el peso wik y el umbral uk
únicamente afectan a la neurona de salida
k se obtiene que:



−=

ny
)(
k

(
ns
)(
k

ne
)(
δ
w
δ
ik
ne
)(
δ
u
δ

ny
)(
δ
k
w
δ
ik
ny
)(
δ
k
u
δ
k
Quedando las ecuanciones de cambio como:


(
ns
)(
k

ny
)(
k

−=

)

)

k

−

−

ny
)(
δ
k
w
δ
ik
ny
)(
δ
k
u
δ

k

Φ=

i

n
)(

=

1



(
nw
nw
ns
ny
)(
(
)1
)(
)(
+−
=
−
µ
ik
ik
k
k
(
)
nu
nu
ny
ns
(
)1
)(
)(
)(
=
+−
−
µ
k
k
k
k
para
1,2,...,
para
1,2,...m
k
r
y
i
=
=

)
φ
i

n
)(



Manuel F. González Penedo

Tema 5: Redes de Base Radial



Sistemas Conexionistas 12

Aprendizaje Totalmente Supervisado

A diferencia con el método anterior, este tipo de aprendizaje no conserva, en principio,
las propiedades o caracterísicas locales de las redes de base radial. En este caso, todos
los parámetros de la red, centros, amplitudes, pesos y umbrales, se determinan de
manera completamente supervisada y con el objetivo de minimizar el error cuadrático
medio.

En este proceso, en ningún momento se tiene en cuenta que las amplitudes alcancen
valores tales que el solapamiento de las activaciones de las neuronas de la capa oculta
sea lo más suave posible. Así que en principio, esa característica de localidad se puede
perder.

Cálculo de parámetros

µ

ne
)(
δ
w
δ
ik
ne
)(
δ
u
δ

k

µ

nc
)(
ij

=

nc
(
ij

)1
−−



nd
)(
i

=

nd
(
i

)1
−−

µ

µ

ne
)(
δ
c
δ
ij
ne
)(
δ
d
δ

i



nw
)(
ik

=

nw
(
ik

)1
−−

nu
)(
k

=

nu
(
k

)1
−−


Manuel F. González Penedo

Tema 5: Redes de Base Radial



Sistemas Conexionistas 13

de

Funciones

Redes de Base Radial Frente a Perceptron Multicapa

Perceptron Multicapa

Uso
de
Transferencia Sigmoidales.
Relaciones globales entre los
datos de entrada y la salida.

Aprendizaje Lento: Cambio
de un solo peso ante un
patrón, provoca cambios en
todos
la salida para
los
patrones
presentados
anteriormente, reduciéndose
así el efecto de previos ciclos
de aprendizaje y retrasando
la convergencia.



Redes de Base Radial

Cada neurona de la capa oculta se espcializa en una determinada
región del espacio de entradas. La relación entre la entrada y la
salida es una suma de funciones no lineales y locales.

Aprendizaje más rápido: el cambio de peso sólo afecta a la
neurona oculta asociada a dicho peso (sólo a un grupo de
patrones, pertenecientes a la clase que respresenta dicha neurona
oculta.

Es menos sensible al orden de presentación de patrones.

Inconvenientes:


• En ciertos casos, es necesario un elevado número de

neur