PDF de programación - Estudio de los Procesos de Decisión Markoviana para los Sistemas de Control en Red

Estudio de los Procesos de Decisión Markoviana para los Sistemas de

Control en Red

Study of Markovian Decision Processes for Network Control Systems



Carlos Pillajo A.

Universidad Politécnica Salesiana
[email protected]

Roberto Hincapié

Universidad Pontificia Bolivariana
[email protected]

Resumen

Actualmente estamos migrando de un mundo digital a un mundo cibernético en
donde muchas acciones de monitoreo y control se están realizando a través de
redes compartidas como el internet, de ahí surgen los sistemas de control en
red para lo cual se necesita saber cómo implementar procesos de decisión
Markoviana en este tipo de sistemas, por lo tanto, vamos a realizar un estudio
de cómo aplicar la teoría de los Procesos de Decisión Markoviana en los
Sistemas de Control en Red, esperamos con este estudio dar un aporte de
actualización de la teoría de control para procesos sujetos a restricción de
comunicación entre el sensor, el controlador y el actuador, los que no se
encuentran físicamente en un mismo sitio y se comunican mediante canales de
comunicación compartida.

Los Sistemas de control en red (NCS) han sido una de las principales líneas de
investigación donde se centra el mundo académico, así como en aplicaciones
industriales. Los NCS ha tomado la forma de un área multidisciplinar.
Presentamos las diferentes formas de Procesos de Decisión de Markov con
aplicaciones en los NCS, desde los recientes resultados en este campo, así
como los sistemas de NCS basado en modelo, realizando una revisión de la
estabilidad en los NCS

Palabras claves: Sistemas de Control en Red, Procesos de Decisión

Markoviana.



INTRODUCCION

Un sistema de control es un dispositivo o conjunto de dispositivos para
administrar, comandar ó regular el comportamiento de otros dispositivos a
través de canales de comunicación compartido. Durante muchos años, los
investigadores nos han dado las estrategias precisas y óptimas de control que

salen de la teoría de control clásica, a partir del control de lazo abierto a las
estrategias de control sofisticados basados en algoritmos genéticos.

comunicación,

El advenimiento de las redes
de
sin
embargo, introdujo el concepto
de controlar de forma remota
un sistema, que dio a luz a los
sistemas de control en red
(NCS). La definición clásica de
NCS puede ser como sigue:
Cuando un sistema de control
de realimentación tradicional
está cerrado a través de un canal de comunicación, que puede ser compartida
con otros nodos fuera del sistema de control, entonces el sistema de control se
llama un NCS (Liu, 2008). Un NCS también se puede definir como un sistema
de control de retroalimentación en el que los bucles de control están cerrados a
través de una red en tiempo real. La característica definitoria de un NCS es que
la información (entrada de referencia, producción de la planta, entrada de
control, etc.) se intercambian utilizando una red entre los componentes del
sistema de control (Figura N1).

Figura N1. Sistema de control en red NCS



Ventajas y aplicaciones de control sobre la Red

Desde hace muchos años, las tecnologías de redes de datos se han aplicado
ampliamente en aplicaciones de control industrial y militar. Estas aplicaciones
incluyen plantas de fabricación, automóviles y aviones. Conexión de los
componentes del sistema de control en estas aplicaciones, tales como
sensores, controladores, y actuadores, a través de una red puede reducir
eficazmente la complejidad de los sistemas, con inversiones económicas
nominales. Además, los controladores de red permiten que los datos sean
compartidos de manera eficiente, eliminan cableado innecesario. Es fácil
agregar más sensores, actuadores y controladores con muy poco costo y sin
cambios estructurales pesados a todo el sistema. Lo más importante es que se
conectan al ciberespacio para la ejecución de tareas en un espacio físico desde
una distancia de fácil acceso (una forma de tele-presencia). Estos sistemas son
cada vez más realizables hoy y tienen una gran cantidad de posibles
aplicaciones, incluyendo exploraciones espaciales, la exploración terrestre, la
automatización de fábrica, el diagnóstico remoto y resolución de problemas,
entornos peligrosos, las instalaciones experimentales, los robots domésticos,
automóviles, aviones, monitoreo de la planta de fabricación, hogares de
ancianos u hospitales, tele-robótica y tele-operación, sólo para nombrar unos
pocos.

PROCESOS DE DECISION DE MARKOV EN LOS SISTEMAS DE CONTROL
EN RED (NCS)
Los NCS funcionan como sistemas estocásticos debido a la aleatoriedad en los
ambientes controlados. Para el tiempo de servicio largo y bajo costo de
mantenimiento, NCS requieren métodos adaptativos y sólidos para abordar el
intercambio de datos. Este estudio examina numerosas aplicaciones de la
plataforma de procesos de decisión de Markov (MDP), una herramienta de
toma de decisiones de gran alcance para el desarrollo de algoritmos
adaptativos. (Abu Alsheikh, Hoang, Niyato, Tan, & Lin, 2015)

El modelado de MDP ofrece los siguientes beneficios generales para
operaciones con NCS:
1) Los Sistemas Controlados en Red (NCS´s) son sistemas que deben
optimizar los recursos , por lo que no es posible que un sensor en una planta
este emitiendo datos al controlador remoto si no existe cambio en la planta, eso
provoca consumo de ancho de banda innecesario. Por lo tanto, el uso de PDM
para optimizar dinámicamente las operaciones de red para adaptarse a las
condiciones
la utilización de recursos mejorando
significativamente.

físicas resultados en

2) El modelo MDP permite un diseño equilibrado de diferentes objetivos, por
ejemplo, minimizando el consumo de energía y maximizar el uso del canal de
comunicación sujeto a restricciones, limitaciones en cuanto a su uso, perdida
de paquetes y retardos

3) Nuevas aplicaciones de NCS interactúan con entidades móviles que
aumentan significativamente la dinámica del sistema. Por ejemplo, utilizando
una pasarela móvil de recogida de datos introduce muchas retos de diseño. En
este caso, el método MDP puede explorar la correlación temporal de los
objetos en movimiento y predecir sus posiciones futuras.

4) La solución de un modelo de MDP, referido como una política, se puede
implementar en base a una tabla de consulta. Esta tabla se puede almacenar
en la memoria del nodo sensor para realizar operaciones en línea con mínima
complejidad. Por lo tanto, el modelo MDP se puede aplicar incluso para nodos
diminutos y limitados de recursos sin ningún requisito de alta computación. Por
otra parte, las soluciones casi óptimas se pueden derivar para aproximar las
políticas óptimas de decisión que permite el diseño de algoritmos para NCS
con menos cargas de cálculo.

5) Los Procesos de Decisión Markoviana (MDP) son flexibles con muchas
variantes que pueden caber las condiciones distintas en las aplicaciones NCS.
Por ejemplo, nodos sensores generalmente producen lecturas ruidosas, por lo
tanto, dificulta el proceso de toma de decisiones. Con estas observaciones
imprecisas, una de las variantes del MDP, es decir, proceso de decisión de

Markov parcialmente observable (POMDP), se puede aplicar para alcanzar la
mejor política operacional.

Este trabajo se centra en las aplicaciones de MDP en NCS. La principal
diferencia entre un MDP y una cadena de Markov es que la cadena de Markov
no considera las acciones y recompensas. Por lo tanto, sólo se utiliza para
análisis de rendimiento. Por el contrario, el MDP se utiliza para la optimización
estocástica, es decir, para obtener las mejores acciones a tomar dada objetivos
particulares y, posiblemente un conjunto de restricciones. (Abu Alsheikh,
Hoang, Niyato, Tan, & Lin, 2015)

Procesos de Decisión Markoviana
Un proceso de decisión de Markov (MDP) es un modelo de optimización para la
toma de decisiones bajo incertidumbre (Inria, 2004). El MDP describe un
proceso de decisión estocástico de un agente de interacción con un entorno o
sistema. En cada momento de la decisión, el sistema se mantiene en un cierto
estado s y el agente elige una acción a que está disponible en este estado.
Después se realiza la acción, el agente recibe una R recompensa inmediata y
el sistema transita a un nuevo estado s0 estado de acuerdo con la probabilidad
de transición Pa s y; s0. Por ejemplo, el MDP puede optimizar la decisión de
envíos de paquetes de control en un NCS.

A. El proceso de Decisión Markoviana El Marco
El MDP se define por una tupla [S; A; P; R; T ] donde,

 S es un conjunto finito de estados,
 A es un conjunto finito de acciones,
 P es una función de probabilidad de transición de estado s para el

estado So después de que se tome la acción a,

 R es la recompensa que se obtiene inmediatamente después de la

acción de una se hace,

 T es el conjunto de la decisión, que puede ser finito o infinito.

π denota una "política", que es un mapeo de un estado a una acción. El
objetivo de un MDP es encontrar una política óptima para maximizar o
minimizar una cierta función objetivo. Un MDP puede ser horizonte temporal
finito o infinito. Para el tiempo finito horizonte MDP, una política óptima