PDF de programación - Algoritmos de aprendizaje neurocomputacionales para su implementación hardware

AlgoritmosdeaprendizajeneurocomputacionalesparasuimplementaciónhardwareTesisDoctoralD.FranciscoOrtegaZamoranoDepartamentodeLenguajesyCienciasdelaComputaciónEscuelaTécnicaSuperiordeIngenieríaInformáticaUniversidaddeMálagaJuniode2015




























AUTOR: Francisco Ortega Zamorano
EDITA: Publicaciones y Divulgación Científica. Universidad de Málaga












Esta obra está sujeta a una licencia Creative Commons:
Reconocimiento - No comercial - SinObraDerivada (cc-by-nc-nd):
Http://creativecommons.org/licences/by-nc-nd/3.0/es
Cualquier parte de esta obra se puede reproducir sin autorización
pero con el reconocimiento y atribución de los autores.
No se puede hacer uso comercial de la obra y no se puede alterar, transformar o hacer
obras derivadas.


Esta Tesis Doctoral está depositada en el Repositorio Institucional de la Universidad de
Málaga (RIUMA): riuma.uma.es


AlgoritmosdeaprendizajeneurocomputacionalesparasuimplementaciónhardwareMemoriaquepresentaparaoptaraltítulodeDoctorporlaUniversidaddeMálagaD.FranciscoOrtegaZamoranoDirigidaporlosDoctoresDr.LeonardoFrancoyDr.JoséManuelJerezAragonésDepartamentodeLenguajesyCienciasdelaComputaciónEscuelaTécnicaSuperiordeIngenieríaInformáticaUniversidaddeMálagaJuniode2015 DepartamentodeLenguajesyCienciasdelaComputaciónEscuelaTécnicaSuperiordeIngenieraInformáticaUniversidaddeMálagaElDr.D.LeonardoFranco,ProfesorTitulardeUniversidad,yelDr.D.JoséMa-nuelJerezAragonés,ProfesorTitulardeUniversidad,ambospertecientesaláreadeCienciasdelaComputacióneInteligenciaArticialdelaE.T.S.IngenieraInformáticadelaUniversidaddeMálaga,Certicanque,D.FranciscoOrtegaZamorano,IngenieroenTelecomunicaciones,harealizadoenelDepartamentodeLenguajesyCienciasdelaComputacióndelaUniversidaddeMá-laga,bajosudirección,eltrabajodeinvestigacióncorrespondienteasuTesisDoctoraltitulada:AlgoritmosdeaprendizajeneurocomputacionalesparasuimplementaciónhardwareRevisadoelpresentetrabajo,estimamosquepuedeserpresentadoaltribunalquehadejuzgarlo.Yparaqueconsteaefectosdeloestablecidoenlalegislaciónvigente,autorizamoslapresentacióndeestetrabajoenlaUniversidaddeMálaga.Málaga,Juniode2015Fdo.:Dr.LeonardoFrancoFdo.:Dr.JoséManuelJerezAragonés A toda mi familia por conar en mí.
Sin ellos nada de esto hubiera sido posible.

Agradecimientos

Me gustaría expresar mi más sincero agradecimiento a los directores de mi Tesis
Doctoral, Leonardo Franco y José Manuel Jerez Aragonés, por su inestimable colabo-
ración tanto en mi tesis doctoral como en mi carrera investigadora, gracias a su ayuda
he podido afrontar todos los retos que han ido surgiendo y he podido iniciar una etapa
profesional en la que espero seguir contando con su apoyo y amistad.

Quiero hacer una mención especial a Ignacio Molina por conar en mí y darme la
oportunidad de conocer el mundo de la investigación; a Marcelo Montemurro por su
acogida durante mi estancia de investigación en Manchester, ofreciéndome la oportu-
nidad de disfrutar de una gran experiencia que espero repercutan en futuros lazos de
colaboración y a Paula Monasterio por ofrecerme de forma totalmente desinteresada
su ayuda y sus conocimientos en los inicios de mi etapa doctoral.

Me gustaría también expresar mi más profunda gratitud a mis compañeros de labo-
ratorio de Inteligencia Computacional en Biomedicina (ICB): Subi, Dani, Rafa, Este-
ban, Héctor y Julio; por echarme una mano cada vez que lo he necesitado, por acogerme
con la mejor de las sonrisas y por su amistad que espero perdure en el tiempo.

No podía faltar en estos agradecimientos una mención especial para todos mis
amigos que han soportado estoicamente mis comentarios e historias sobre mi tesis,
Nio, Cristi (ella sabe lo duro que es una tesis), Pablo Tabo, Moni, Pipe, Rake, Nico,
Arturo,... y a los que me dejo seguro en el tintero.

Para terminar, agradecer de una forma muy especial a Sandra el apoyo incondi-
cional, con ella todos los agobios y problemas son más fáciles de llevar. A mis padres
por su cariño y porque siempre han demostrado que puedo contar con ellos. También
a mi Hermana que siempre está en los malos momentos y espero que siempre este en
los buenos; y a mis niñas porque su alegría siempre me contagia. Gracias a todos.

ix

Resumen

Las redes de neuronas articiales son un paradigma de aprendizaje y procesamiento
automático inspirado en el funcionamiento del sistema nervioso central de los animales.
Han tenido una gran evolución desde que en 1943 McCulloch y Walter Pitts introdu-
jeran el concepto de neurona articial, gracias en gran medida a modelos y algoritmos
más complejos publicados con posterioridad como el modelo de Hopeld y el algoritmo
Backpropagation.

Hoy en día los sistemas neurocomputacionales se emplean en toda una variedad
de aplicaciones en sectores tan importantes como el nanciero, medico, energético,
industrial, de la robótica o el cientíco. En la mayoría de estos campos la utilización de
algoritmos neurocomputacionales se han ido extendiendo y ampliando en su uso, y en
todos ellos van apareciendo nuevas aplicaciones donde la utilización de la programación
tradicional sobre ordenadores no puede dar una solución de manera eciente a un
problema dado, ya sea por el elevado tiempo de cómputo en problemas complejos o por
su consumo y dimensiones en sistemas empotrados.

Los sistemas en tiempo real y las redes de sensores son dos de las tecnologías más ex-
tendidas donde la utilización de modelos neurocomputacionales requiere un desarrollo
en dispositivos y el empleo de técnicas de programación diferente a las convenciona-
les. En este tipo de aplicaciones otros dispositivos hardware como las FPGAs (Field
Programmable Gate Array) o microcontroladores son más adecuados a la hora de la
implementación de redes neuronales articiales.

Una FPGA es un circuito integrado semiconductor basado en una matriz de blo-
ques de lógica congurables conectados entre sí y, a su vez, con celdas de entrada y
salida. Dichas interconexiones (también programables) forman una matriz de enrutado
modicable según la funcionalidad necesaria por parte del usuario. La lógica progra-
mable puede reproducir desde funciones tan sencillas como las llevadas a cabo por una
puerta lógica hasta sistemas combinacionales complejos, siendo utilizadas sobre todo
en aplicaciones de sistemas en tiempo real que requieran un alto grado de paralelismo.
Por otro lado, un microcontrolador es un circuito integrado programable capaz de
ejecutar las órdenes grabadas en su memoria. Está compuesto por varios bloques fun-
cionales que cumplen una tarea especíca, como la unidad de procesamiento, memoria,
los puertos de entrada/salida, etc. Por su versatilidad son dispositivo que se encuentran
en todo tipo de aplicaciones, desde instrumentos de la vida cotidiana a la más avanzada
tecnología aeroespacial.

En ciencias de la computación, los sistemas en tiempo real son aquellos sistemas
hardware y software que están sujetos a unas limitaciones temporales dadas por la
naturaleza del propio sistema. Controlan o actúan sobre un entorno mediante la recep-
ción de información, el procesamiento de la misma y la devolución de una respuesta
con la suciente rapidez (en un rango de tiempo determinado) como para actuar sobre

xi

xii

Resumen

el entorno. Las respuestas en tiempo real a menudo son del orden de milisegundos y en
ocasiones microsegundos. Por el contrario, un sistema sin restricciones temporales no
puede garantizar una respuesta dentro de un período de tiempo prejado.

La estructura y operatividad de las FPGAs ofrecen la posibilidad de realizar dise-
ños ecientes de sistemas en tiempo real debido a que se pueden implementar funciones
complejas para que sean ejecutadas de forma simultánea aprovechando su paralelismo,
superando en potencia de cómputo a los procesadores digitales convencionales con para-
digma de ejecución secuencial. De esta forma se pueden controlar las señales de entradas
y salidas del dispositivo a nivel hardware, consiguiendo unos tiempos de respuesta muy
acotados que coinciden con los requerimientos de una aplicación en tiempo real.

Existen multitud de aplicaciones en tiempo real y en muchas de ellas se emplean
modelos neurocomputacionales. La FPGAs son dispositivos muy adecuados para im-
plementaciones de algoritmos de redes neuronales ya que el tratamiento de información
en este tipo de algoritmos se realiza de forma paralela motivando su utilización, más
aún cuando se imponen restricciones temporales que las conviertan en un sistema neu-
rocomputacional en tiempo real.

Existen diferentes estrategias de implementaciones neurocomputacionales en fun-
ción de si se desarrolla o no el proceso de aprendizaje dentro de la FPGA, llamándose
on-chip y o-chip. En aplicaciones donde no se incluyan el proceso de aprendiza-
je en el propio dispositivo (o-chip) todo el proceso se realiza generalmente en un
ordenador personal, transmitiendo la red resultante a una FPGA que actúa a modo
de acelerador hardware en la fase de explotación del modelo. Este tipo de implemen-
tación es más fácil de desarrollar ya que se puede reutilizar el software ya diseñado
para trabajos previos, por el contrario ofrece una estructura muy rígida que no permite
cambiar ni la arquitectura de la red ni modicar los pesos sinápticos de forma ágil y
eciente. Por otro lado, si el proceso de aprendizaje está incluido dentro de la propia
FPGA (on-chip) los recursos hardware utilizados son superiores, pero se obtienen es-
tructuras exibles que posibilitan hacer modicaciones de forma sencilla. La elección
del algoritmo utilizado es determínate en este último tipo de sistemas ya que inuirá
en el tiempo de aprendizaje y la complejidad de la arquitectura a utilizar.

Por este motivo, una de las nalidades principales de esta tesis es el análisis y de-
sarrollo de implementaciones hardware para sistemas neurocomputacionales en tiempo
real con estructura de aprendizaje on-chip. En esta línea de investigaci