Search

[Resumen] La energía solar es una fuente de energ´ıa renovable prometedora que se puede utilizar para experimentos de resistencia de materiales mediante el uso de hornos solares. Sin embargo, la operación manual de este tipo de sistemas requiere de operadores muy entrenados y capacitados. Este artículo analiza la aplicación de controladores óptimos basados en seguimiento cuadr´atico lineal con acción de control por adelanto (LQT-FF, por sus siglas en inglés, Linear Quadratic Tracking-FeedForward) para el control de hornos solares utilizados para pruebas de estrés térmico de materiales. El controlador LQT-FF propuesto se basa en estudios anteriores que proporcionan una solución analítica que utiliza un modelo lineal del horno solar, lo que reduce el costo computacional del algoritmo de control óptimo. La principal contribución del trabajo radica en la formulación de este modelo en forma incremental, añadiendo un integrador artificial a los estados originales, eliminando así el error de seguimiento para diferentes puntos de operación del sistema no lineal. El controlador propuesto ha sido implementado y validado sobre el modelo de horno solar SF60 de la Plataforma Solar de Almería. Los resultados obtenidos permiten establecer que las contribuciones del artículo avanzan el estado del arte de los controladores óptimos propuestos hasta ahora en la literatura, presentando una ley de control óptima con rechazo de perturbaciones formulada con una forma incremental de las entradas para eliminar el error de seguimiento de referencia. Además, la solución se resuelve de manera eficiente y presenta un esfuerzo computacional menor, lo que es fundamental para una implementación práctica real., [Abstract] Solar energy is a promising renewable energy source that can be used for material resistance experiments in solar furnace systems. However, the manual operation of such facilities requires highly experienced operators. Therefore, this paper discusses the application of optimal controllers based on Linear Quadratic Tracking with Feedforward action (LQT-FF) to control solar furnaces used for thermal stress testing of materials. Herein, the proposed LQT-FF controller builds on previous studies by providing an analytical solution that uses a linearized model of the solar furnace, reduces the computational cost of the optimal control algorithm, and a model formulation in the incremental form, including an artificial integrator to the original states, which eliminates the tracking error for different operating points of the nonlinear system. The proposed controller has been implemented and validated on the SF60 solar furnace model of the Plataforma Solar de Almer´ıa, southern Spain. The paper’s contributions advance the state of the art of optimal controllers proposed so far in the literature, presenting an optimal control law with disturbance rejection formulated with an incremental form of the inputs to eliminate the reference tracking error. Moreover, the solution is efficiently solved and presents a minor computational effort, promising for actual implementation.

At present, the use of alternative energy systems is a major growth due to high pollution and mismanagement of non-renewable energy. The basis of the implementation of these new systems is evaluating the performance of the same, so that in the case of thermosyphon solar collectors for water heating sanitary data collection for further study is required. This paper seeks to apply the method of Optimal Control in a heating system used in drinking water installations, adopted as an alternative method of obtaining energy known as Termosyphon modifying its maximum efficiency point when the device is programmed to mode of operation in favorable weather conditions, taking into account as a starting point the total control of disturbances that directly affect the system generating energy lost to this. This research is framed as descriptive, stated in no experimental design and transactional field in which systematic software tools to model and simulate the system performance with the proposed control type used. Throughout the project phases to achieve meet each of the proposed objectives which were developed: Stage 1 description of the process and study of the variables involved in the operation of the system; Phase 2: Mathematically the process the boiler; Phase 3: Design the proposed for peak efficiency and optimal controller Phase 4: Evaluation and analysis of results. From this investigation it is worth noting the importance in the application and implementation of energy efficiency and the use of solar energy from radiation factors generated in the replacement of the reference to the search for alternative energy sources, En la actualidad, el uso de sistemas de energías alternativas tiene un crecimiento preponderante debido a la alta contaminación y mal manejo de las energías no renovables. La base de la implementación de estos nuevos sistemas es la evaluación del rendimiento de los mismos, es así que para el caso de los colectores solares termosifón para calentamiento de agua de uso sanitario se requiere la recopilación de datos para su posterior estudio. Este artículo persigue la aplicación del método de Control Optimo en un sistema de calefacción utilizado en instalaciones de agua sanitaria, adoptado como un método de obtención de energía alternativa conocido como Termosifón modificando su punto máximo de eficiencia cuando el dispositivo se encuentra programado para modo de operación en condiciones climáticas favorables, tomando en cuenta como punto de partida el control total de las perturbaciones que directamente afectan al sistema generando pérdidas de energía para este. Esta investigación está enmarcada como tipo descriptiva, expuesta en un diseño de campo no experimental y transeccional, en el cual se utilizan herramientas de software sistematizado para modelar y simular el funcionamiento del sistema junto a el tipo de control propuesto. A lo largo del proyecto se desarrollan las fases para poder lograr cumplir cada uno de los objetivos propuestos las cuales fueron: Fase 1 Descripción del proceso y estudio de las variables que intervienen en el funcionamiento del sistema; Fase 2: Matemáticamente el proceso del termosifón; Fase 3: Diseñar el controlador óptimo propuesto para el punto máximo de eficiencia y fase 4: Evaluación y análisis de los resultados. De dicha investigación cabe resaltar la importancia en la aplicación y la implementación de la eficiencia energética y el aprovechamiento de la energía solar proveniente de factores de radiación que se generan en el remplazo de los combustibles fósiles referentes a la búsqueda de energías alternativas.

In the present work, necessary and sufficient optimality conditions are presented for the solution to a mínimum time problem. These conditions are established by the principle of the Pontryagin maximum, as a necessary and sufficient condition. In addition, the principle of the Pontryagin maximum is used in the search for the solution to an optimal control problem of mechanical origin., En el presente trabajo se presentan condiciones necesarias y suficientes de optimalidad para la solución a un problema de tiempo mínimo. Estas condiciones son establecidas por el principio del máximo de Pontryagin, como condición necesaria y suficiente. Además, se utiliza el principio del máximo de Pontryagin en la búsqueda de la solución a un problema de control óptimo de origen mecánico.

El objetivo de este proyecto es la realización de movimientos en el robot humanoide Talos de PAL Robotics. Este robot dispone de seis grados de libertad en cada pierna y sus actuadores soportan control por torque. Se ha realizado un estudio del estado del arte tanto en la planificación de movimientos de robots con patas como de los controladores utilizados para seguir con fidelidad dichas trayectorias. Seguidamente, se ha incluido al robot Talos en la aplicación towr, un framework de generación de trayectorias para robots con patas con soporte para ROS. Para obtener las trayectorias articulares se ha usado IKFast, una utilidad de OpenRAVE, que obtiene la cinemática inversa analítica de cada pierna. Además, para el cálculo de la trayectoria del centro de masas se usa la biblioteca Pinocchio. Una vez obtenidas las trayectorias articulares y del centro de masas, junto con la secuencia de contactos de los pies con el suelo, se crea un mensaje de ROS con toda esa información y se manda a un controlador de cuerpo completo implementado desde cero. Dicho controlador se ejecuta a una frecuencia de 1KHz y teniendo como entrada las consignas de cada variable en el instante de tiempo correspondiente, intenta llevar al robot al estado deseado creando y resolviendo un problema de programación cuadrática que busca minimizar los errores en el espacio de la tarea. Del controlador se obtienen las señales de control en forma de torques a aplicar a cada actuador. Se realizan todas las pruebas en simulación ya que no se ha tenido acceso al robot real. Aunque los resultados finales no son tan prometedores como se esperaba en un inicio, sí que se consigue un controlador capaz de realizar ciertas tareas.

This paper is one of the few attempts to use the optimal control theoryto find optimal quarantine strategies for eradication of the spread of theCOVID-19 infection in the Mexican human population. This is achievedby introducing into the SEIR model a bounded control function of timethat reflects these quarantine measures. The objective function to be min-imized is the weighted sum of the total infection level in the populationand the total cost of the quarantine. An optimal control problem reflectingthe search for an effective quarantine strategy is stated and solved analyti-cally and numerically. The properties of the corresponding optimal controlare established analytically by applying the Pontryagin maximum princi-ple. The optimal solution is obtained numerically by solving the two-pointboundary value problem for the maximum principle using MATLAB soft-ware. A detailed discussion of the results and the corresponding practicalconclusions are presented., En este trabajo empleamos la teoría de control óptimo para encon-trar una cuarentena óptima y estrategias para la erradicación de la propa-gación de la infección por COVID-19 en la población humana mexicana.En un modelo SEIR, introducimos un control acotado que es una fun-ción respecto del tiempo, la cual refleja las medidas de la cuarentena. Lafunción objetivo a minimizar es la suma ponderada del nivel total de in-fección en la población y el costo total de la cuarentena. Planteamos unproblema de control óptimo que representa la búsqueda de una estrate-gia eficaz de una cuarentena. Resolvemos este problema analíticamente ynuméricamente. Establecemos analíticamente las propiedades del controlóptimo correspondiente aplicando el principio del máximo de Pontryagin.La solución óptima se obtiene resolviendo un problema de valor de fron-tera de dos puntos asociado al principio del máximo. Usamos el softwareMATLAB. Presentamos una discusión detallada de los resultados y lascorrespondientes conclusiones prácticas

[EN] Coalitional control is a fairly new branch of distributed control where the agents merge dynamically into coalitions according to the enabled/disabled communication links at each time instant. Therefore, with these schemes there is a reduction of the communication burden without compromising the system performance. In this tutorial, the main features of these schemes will be introduced in the framework of cooperative game theory, being the game related to the cost function that is optimized by the control approach, and with the players corresponding to either the communication links or the agents involved. In this context, several cooperative game theory tools will be considered in order to: rank the players, impose constraints on them, provide more effcient ways of calculation, perform system partitioning, etc., hence analyzing the main features related to each tool., [ES] El control coalicional es una rama incipiente del control distribuido donde los distintos agentes se agrupan de forma dinámica en coaliciones en función de los enlaces de comunicación activos/inactivos en cada instante de tiempo. Gracias a ello, se reduce la carga de comunicación sin comprometer las prestaciones del sistema. En este tutorial, se analizan las principales características de estos esquemas dentro del marco de la teoría de juegos cooperativos, estando el juego definido por la función de coste a optimizar en el esquema de control, y correspondiendo los jugadores bien a los enlaces de comunicación o bien a los propios agentes. En este contexto, se estudiarán diversas herramientas de teoría de juegos cooperativos, con objeto de clasificar jugadores, imponer restricciones en los mismos, proponer vías de cálculo más eficientes, realizar particionado de sistemas, etc., examinando las características más relevantes presentadas por cada herramienta.

[EN] Optimal control and reinforcement learning have an associate “value function” which must be suitably approximated. Value function approximation problems usually have different precision requirements in different regions of the state space. An uniform gridding wastes resources in regions in which the value function is smooth, and, on the other hand, has not enough resolution in zones with abrupt changes. The present work proposes an adaptive meshing methodology in order to adapt to these changing requirements without incrementing too much the number of parameters of the approximator. The proposal is based on simplicial meshes and Bellman error, with a criteria to add and remove points from the mesh: modifications to proposals in earlier literature including the volume of the affected simplices are proposed, alongside with methods to manipulate the mesh triangulation., [ES] El control óptimo y aprendizaje por refuerzo lleva asociada una "función de valor'' que debe ser adecuadamente aproximada. Estos problemas de aproximar funciones de valor tienen, usualmente, diferentes requerimientos de precisión en diferentes regiones del espacio de estados. Un mallado uniforme tiene problemas porque desperdicia recursos en regiones en las que la función de valor es suave, mientras que no tiene la suficiente resolución en zonas con grandes cambios en dicha función. El presente trabajo propone una metodología de programación dinámica aproximada con mallado adaptativo, para poder adaptarse a dichos requerimientos cambiantes sin incrementar en exceso el número de parámetros del aproximador. La propuesta se basa en mallados simpliciales y en el error en la ecuación de Bellman con un criterios para añadir y quitar puntos del mallado: se modificarán propuestas de la literatura incluyendo el volumen de los símplices afectados en los criterios, y se detallarán las manipulaciones de la triangulación necesarias.

[ES] La necesidad de mejorar el consumo de combustible y las emisiones de los sistemas propulsivos de automoción en condiciones reales de conducción es la base de esta tesis. Para ello, se exploran dos ejes: En primer lugar, el control de los sistemas de propulsión. El estado del arte de control en los sistemas propulsivos de automoción se basa en gran medida en el uso de técnicas de optimización que buscan las leyes de control que minimizan una función de coste en un conjunto de condiciones de operación denidas a priori. Estas leyes se almacenan en las ECUs de producción en forma de mapas de calibración de los diferentes actuadores del motor. Las incertidumbres asociadas al conjunto limitado de condiciones en el proceso de calibración dan lugar a un funcionamiento subóptimo del sistema de propulsión en condiciones de conducción real. Por lo tanto, en este trabajo se proponen métodos de control adaptativo que optimicen la gestión de la planta propulsiva a las condiciones esperadas de funcionamiento para un usuario y un caso determinado en lugar de a un conjunto genérico de condiciones. El segundo eje se reere a optimizar, en lugar de los parámetros de control del sistema propulsivo, la demanda de potencia de este, introduciendo al propio conductor en el bucle de control, sugiriéndole las acciones a tomar. En particular, este segundo eje se reere al control de la velocidad del vehículo (conocido popularmente como Eco-Driving en la literatura) en condiciones reales de conducción. Se proponen sistemas de aviso en tiempo real al conductor acerca de la velocidad óptima para minimizar el consumo del vehículo. Los métodos de control desarrollados para cada aplicación se describen en detalle en la tesis y se muestran ensayos experimentales de validación en los casos de estudio diseñados. Ambos ejes representan un problema de control óptimo, denido por un sistema dinámico, unas restricciones a cumplir y un coste a minimizar, en este sentido las herramientas desarrolladas en, [CA] La necessitat de millorar el consum de combustible i les emissions dels sistemes propulsius d'automoció en condicions reals de conducció és la base d'aquesta tesi. Per a això, s'exploren dos eixos: En primer lloc, el control dels sistemes de propulsió. L'estat de l'art de control en els sistemes propulsius d'automoció es basa en gran manera en l'ús de tècniques d'optimització que busquen les lleis de control que minimitzen una funció de cost en un conjunt de condicions d'operació denides a priori. Aquestes lleis s'emmagatzemen en les Ecus de producció en forma de mapes de calibratge dels diferents actuadors del motor. Les incerteses associades al conjunt limitat de condicions en el procés de calibratge donen lloc a un funcionament subòptim del sistema de propulsió en condicions de conducció real. Per tant, en aquest treball es proposen mètodes de control adaptatiu que optimitzen la gestió de la planta propulsiva a les condicions esperades de funcionament per a un usuari i un cas determinat en lloc d'un conjunt genèric de condicions. El segon eix es refereix a optimitzar, en lloc dels paràmetres de control del sistema propulsiu, la demanda de potència d'aquest, introduint al propi conductor en el bucle de control, suggerint-li les accions a prendre. En particular, aquest segon eix es refereix al control de la velocitat del vehicle (conegut popularment com Eco-*Driving en la literatura) en condicions reals de conducció. Es proposen sistemes d'avís en temps real al conductor sobre la velocitat òptima per a minimitzar el consum del vehicle. Els mètodes de control desenvolupats per a cada aplicació es descriuen detalladament en la tesi i es mostren assajos experimentals de validació en els casos d'estudi dissenyats. Tots dos eixos representen un problema de control òptim, denit per un sistema dinàmic, unes restriccions a complir i un cost a minimitzar, en aquest sentit les eines desenvolupades en la tesi són comunes als dos eixos: Un model de vehicle, una eina de pr, [EN] The need of improving the real-world fuel consumption and emission of automotive applications is the basis of this thesis. To this end, two verticals are explored: First is the online control of the powertrain systems. In state-of-the-art Optimal Control techniques (such as Dyanmic Programming, Pontryagins Minimum Principle, etc...) are extensively used to formulate the optimal control laws. These laws are stored in the production ECUs in the form of feedforward calibration maps. The unaccounted uncertainities related to the real-world during the powertrain calibration result in suboptimal operations of the powertrain in actual driving. Therefore, adaptive control methods are proposed in this work which, optimise the energy management of the conventional and the HEV powertrain control on real driving mission. The second vertical is regarding the vehicle speed control (popularly known as Eco-Driving in the literature) methods in real driving condition. In particular, speed advisory systems are proposed for real time application on a vehicle. The control methods developed for each application are described in details with their verication and validation on the designed case studies. Apart from the developed control methods, there are three tools that were developed and used at various stages of this thesis: A vehicle model, A driving cycle prediction tool and optimal control methods (dynamic programming, PMP and ECMS). Depending on the application, the developed methods were implemented on the Hardware-In-Loop Internal Combustion Engine testing setup or on a real vehicle. The results show signicant improvements in the performance of the powertrain in terms of fuel economy and emissions in comparison to the state-of-the-art methods.

[EN] Coalitional control is a fairly new branch of distributed control where the agents merge dynamically into coalitions according to the enabled/disabled communication links at each time instant. Therefore, with these schemes there is a reduction of the communication burden without compromising the system performance. In this tutorial, the main features of these schemes will be introduced in the framework of cooperative game theory, being the game related to the cost function that is optimized by the control approach, and with the players corresponding to either the communication links or the agents involved. In this context, several cooperative game theory tools will be considered in order to: rank the players, impose constraints on them, provide more effcient ways of calculation, perform system partitioning, etc., hence analyzing the main features related to each tool., [ES] El control coalicional es una rama incipiente del control distribuido donde los distintos agentes se agrupan de forma dinámica en coaliciones en función de los enlaces de comunicación activos/inactivos en cada instante de tiempo. Gracias a ello, se reduce la carga de comunicación sin comprometer las prestaciones del sistema. En este tutorial, se analizan las principales características de estos esquemas dentro del marco de la teoría de juegos cooperativos, estando el juego definido por la función de coste a optimizar en el esquema de control, y correspondiendo los jugadores bien a los enlaces de comunicación o bien a los propios agentes. En este contexto, se estudiarán diversas herramientas de teoría de juegos cooperativos, con objeto de clasificar jugadores, imponer restricciones en los mismos, proponer vías de cálculo más eficientes, realizar particionado de sistemas, etc., examinando las características más relevantes presentadas por cada herramienta.

[EN] Coalitional control is a fairly new branch of distributed control where the agents merge dynamically into coalitions according to the enabled/disabled communication links at each time instant. Therefore, with these schemes there is a reduction of the communication burden without compromising the system performance. In this tutorial, the main features of these schemes will be introduced in the framework of cooperative game theory, being the game related to the cost function that is optimized by the control approach, and with the players corresponding to either the communication links or the agents involved. In this context, several cooperative game theory tools will be considered in order to: rank the players, impose constraints on them, provide more effcient ways of calculation, perform system partitioning, etc., hence analyzing the main features related to each tool., [ES] El control coalicional es una rama incipiente del control distribuido donde los distintos agentes se agrupan de forma dinámica en coaliciones en función de los enlaces de comunicación activos/inactivos en cada instante de tiempo. Gracias a ello, se reduce la carga de comunicación sin comprometer las prestaciones del sistema. En este tutorial, se analizan las principales características de estos esquemas dentro del marco de la teoría de juegos cooperativos, estando el juego definido por la función de coste a optimizar en el esquema de control, y correspondiendo los jugadores bien a los enlaces de comunicación o bien a los propios agentes. En este contexto, se estudiarán diversas herramientas de teoría de juegos cooperativos, con objeto de clasificar jugadores, imponer restricciones en los mismos, proponer vías de cálculo más eficientes, realizar particionado de sistemas, etc., examinando las características más relevantes presentadas por cada herramienta.

[EN] Coalitional control is a fairly new branch of distributed control where the agents merge dynamically into coalitions according to the enabled/disabled communication links at each time instant. Therefore, with these schemes there is a reduction of the communication burden without compromising the system performance. In this tutorial, the main features of these schemes will be introduced in the framework of cooperative game theory, being the game related to the cost function that is optimized by the control approach, and with the players corresponding to either the communication links or the agents involved. In this context, several cooperative game theory tools will be considered in order to: rank the players, impose constraints on them, provide more effcient ways of calculation, perform system partitioning, etc., hence analyzing the main features related to each tool., [ES] El control coalicional es una rama incipiente del control distribuido donde los distintos agentes se agrupan de forma dinámica en coaliciones en función de los enlaces de comunicación activos/inactivos en cada instante de tiempo. Gracias a ello, se reduce la carga de comunicación sin comprometer las prestaciones del sistema. En este tutorial, se analizan las principales características de estos esquemas dentro del marco de la teoría de juegos cooperativos, estando el juego definido por la función de coste a optimizar en el esquema de control, y correspondiendo los jugadores bien a los enlaces de comunicación o bien a los propios agentes. En este contexto, se estudiarán diversas herramientas de teoría de juegos cooperativos, con objeto de clasificar jugadores, imponer restricciones en los mismos, proponer vías de cálculo más eficientes, realizar particionado de sistemas, etc., examinando las características más relevantes presentadas por cada herramienta.

[EN] Coalitional control is a fairly new branch of distributed control where the agents merge dynamically into coalitions according to the enabled/disabled communication links at each time instant. Therefore, with these schemes there is a reduction of the communication burden without compromising the system performance. In this tutorial, the main features of these schemes will be introduced in the framework of cooperative game theory, being the game related to the cost function that is optimized by the control approach, and with the players corresponding to either the communication links or the agents involved. In this context, several cooperative game theory tools will be considered in order to: rank the players, impose constraints on them, provide more effcient ways of calculation, perform system partitioning, etc., hence analyzing the main features related to each tool., [ES] El control coalicional es una rama incipiente del control distribuido donde los distintos agentes se agrupan de forma dinámica en coaliciones en función de los enlaces de comunicación activos/inactivos en cada instante de tiempo. Gracias a ello, se reduce la carga de comunicación sin comprometer las prestaciones del sistema. En este tutorial, se analizan las principales características de estos esquemas dentro del marco de la teoría de juegos cooperativos, estando el juego definido por la función de coste a optimizar en el esquema de control, y correspondiendo los jugadores bien a los enlaces de comunicación o bien a los propios agentes. En este contexto, se estudiarán diversas herramientas de teoría de juegos cooperativos, con objeto de clasificar jugadores, imponer restricciones en los mismos, proponer vías de cálculo más eficientes, realizar particionado de sistemas, etc., examinando las características más relevantes presentadas por cada herramienta.

[EN] Coalitional control is a fairly new branch of distributed control where the agents merge dynamically into coalitions according to the enabled/disabled communication links at each time instant. Therefore, with these schemes there is a reduction of the communication burden without compromising the system performance. In this tutorial, the main features of these schemes will be introduced in the framework of cooperative game theory, being the game related to the cost function that is optimized by the control approach, and with the players corresponding to either the communication links or the agents involved. In this context, several cooperative game theory tools will be considered in order to: rank the players, impose constraints on them, provide more effcient ways of calculation, perform system partitioning, etc., hence analyzing the main features related to each tool., [ES] El control coalicional es una rama incipiente del control distribuido donde los distintos agentes se agrupan de forma dinámica en coaliciones en función de los enlaces de comunicación activos/inactivos en cada instante de tiempo. Gracias a ello, se reduce la carga de comunicación sin comprometer las prestaciones del sistema. En este tutorial, se analizan las principales características de estos esquemas dentro del marco de la teoría de juegos cooperativos, estando el juego definido por la función de coste a optimizar en el esquema de control, y correspondiendo los jugadores bien a los enlaces de comunicación o bien a los propios agentes. En este contexto, se estudiarán diversas herramientas de teoría de juegos cooperativos, con objeto de clasificar jugadores, imponer restricciones en los mismos, proponer vías de cálculo más eficientes, realizar particionado de sistemas, etc., examinando las características más relevantes presentadas por cada herramienta.

El objetivo de este proyecto es la realización de movimientos en el robot humanoide Talos de PAL Robotics. Este robot dispone de seis grados de libertad en cada pierna y sus actuadores soportan control por torque. Se ha realizado un estudio del estado del arte tanto en la planificación de movimientos de robots con patas como de los controladores utilizados para seguir con fidelidad dichas trayectorias. Seguidamente, se ha incluido al robot Talos en la aplicación towr, un framework de generación de trayectorias para robots con patas con soporte para ROS. Para obtener las trayectorias articulares se ha usado IKFast, una utilidad de OpenRAVE, que obtiene la cinemática inversa analítica de cada pierna. Además, para el cálculo de la trayectoria del centro de masas se usa la biblioteca Pinocchio. Una vez obtenidas las trayectorias articulares y del centro de masas, junto con la secuencia de contactos de los pies con el suelo, se crea un mensaje de ROS con toda esa información y se manda a un controlador de cuerpo completo implementado desde cero. Dicho controlador se ejecuta a una frecuencia de 1KHz y teniendo como entrada las consignas de cada variable en el instante de tiempo correspondiente, intenta llevar al robot al estado deseado creando y resolviendo un problema de programación cuadrática que busca minimizar los errores en el espacio de la tarea. Del controlador se obtienen las señales de control en forma de torques a aplicar a cada actuador. Se realizan todas las pruebas en simulación ya que no se ha tenido acceso al robot real. Aunque los resultados finales no son tan prometedores como se esperaba en un inicio, sí que se consigue un controlador capaz de realizar ciertas tareas.

[EN] Optimal control and reinforcement learning have an associate “value function” which must be suitably approximated. Value function approximation problems usually have different precision requirements in different regions of the state space. An uniform gridding wastes resources in regions in which the value function is smooth, and, on the other hand, has not enough resolution in zones with abrupt changes. The present work proposes an adaptive meshing methodology in order to adapt to these changing requirements without incrementing too much the number of parameters of the approximator. The proposal is based on simplicial meshes and Bellman error, with a criteria to add and remove points from the mesh: modifications to proposals in earlier literature including the volume of the affected simplices are proposed, alongside with methods to manipulate the mesh triangulation., [ES] El control óptimo y aprendizaje por refuerzo lleva asociada una "función de valor'' que debe ser adecuadamente aproximada. Estos problemas de aproximar funciones de valor tienen, usualmente, diferentes requerimientos de precisión en diferentes regiones del espacio de estados. Un mallado uniforme tiene problemas porque desperdicia recursos en regiones en las que la función de valor es suave, mientras que no tiene la suficiente resolución en zonas con grandes cambios en dicha función. El presente trabajo propone una metodología de programación dinámica aproximada con mallado adaptativo, para poder adaptarse a dichos requerimientos cambiantes sin incrementar en exceso el número de parámetros del aproximador. La propuesta se basa en mallados simpliciales y en el error en la ecuación de Bellman con un criterios para añadir y quitar puntos del mallado: se modificarán propuestas de la literatura incluyendo el volumen de los símplices afectados en los criterios, y se detallarán las manipulaciones de la triangulación necesarias.

[EN] Optimal control and reinforcement learning have an associate “value function” which must be suitably approximated. Value function approximation problems usually have different precision requirements in different regions of the state space. An uniform gridding wastes resources in regions in which the value function is smooth, and, on the other hand, has not enough resolution in zones with abrupt changes. The present work proposes an adaptive meshing methodology in order to adapt to these changing requirements without incrementing too much the number of parameters of the approximator. The proposal is based on simplicial meshes and Bellman error, with a criteria to add and remove points from the mesh: modifications to proposals in earlier literature including the volume of the affected simplices are proposed, alongside with methods to manipulate the mesh triangulation., [ES] El control óptimo y aprendizaje por refuerzo lleva asociada una "función de valor'' que debe ser adecuadamente aproximada. Estos problemas de aproximar funciones de valor tienen, usualmente, diferentes requerimientos de precisión en diferentes regiones del espacio de estados. Un mallado uniforme tiene problemas porque desperdicia recursos en regiones en las que la función de valor es suave, mientras que no tiene la suficiente resolución en zonas con grandes cambios en dicha función. El presente trabajo propone una metodología de programación dinámica aproximada con mallado adaptativo, para poder adaptarse a dichos requerimientos cambiantes sin incrementar en exceso el número de parámetros del aproximador. La propuesta se basa en mallados simpliciales y en el error en la ecuación de Bellman con un criterios para añadir y quitar puntos del mallado: se modificarán propuestas de la literatura incluyendo el volumen de los símplices afectados en los criterios, y se detallarán las manipulaciones de la triangulación necesarias.

[EN] Optimal control and reinforcement learning have an associate “value function” which must be suitably approximated. Value function approximation problems usually have different precision requirements in different regions of the state space. An uniform gridding wastes resources in regions in which the value function is smooth, and, on the other hand, has not enough resolution in zones with abrupt changes. The present work proposes an adaptive meshing methodology in order to adapt to these changing requirements without incrementing too much the number of parameters of the approximator. The proposal is based on simplicial meshes and Bellman error, with a criteria to add and remove points from the mesh: modifications to proposals in earlier literature including the volume of the affected simplices are proposed, alongside with methods to manipulate the mesh triangulation., [ES] El control óptimo y aprendizaje por refuerzo lleva asociada una "función de valor'' que debe ser adecuadamente aproximada. Estos problemas de aproximar funciones de valor tienen, usualmente, diferentes requerimientos de precisión en diferentes regiones del espacio de estados. Un mallado uniforme tiene problemas porque desperdicia recursos en regiones en las que la función de valor es suave, mientras que no tiene la suficiente resolución en zonas con grandes cambios en dicha función. El presente trabajo propone una metodología de programación dinámica aproximada con mallado adaptativo, para poder adaptarse a dichos requerimientos cambiantes sin incrementar en exceso el número de parámetros del aproximador. La propuesta se basa en mallados simpliciales y en el error en la ecuación de Bellman con un criterios para añadir y quitar puntos del mallado: se modificarán propuestas de la literatura incluyendo el volumen de los símplices afectados en los criterios, y se detallarán las manipulaciones de la triangulación necesarias.