带Markov跳的离散时间随机控制系统的最大值原理

本文研究一类同时含有Markov跳过程和乘性噪声的离散时间非线性随机系统的最优控制问题,给出并证明了相应的最大值原理.首先,利用条件期望的平滑性,通过引入具有适应解的倒向随机差分方程,给出了带有线性差分方程约束的线性泛函的表示形式,并利用Riesz定理证明其唯一性.其次,对带Markov跳的非线性随机控制系统,利用针状变分法,对状态方程进行一阶变分,获得其变分所满足的线性差分方程.然后,在引入Hamilton函数的基础上,通过一对由倒向随机差分方程刻画的伴随方程,给出并证明了带有Markov跳的离散时间非线性随机最优控制问题的最大值原理,并给出该最优控制问题的一个充分条件和相应的Hamilto...

Full description

Saved in:
Bibliographic Details
Published in控制理论与应用 Vol. 41; no. 5; pp. 895 - 904
Main Authors 蔺香运, 王鑫瑞, 张维海
Format Journal Article
LanguageChinese
Published 山东科技大学数学与系统科学学院,山东青岛 266590%山东科技大学电气与自动化工程学院,山东青岛 266590 01.05.2024
Subjects
最优控制
Markov跳
Markov jump
倒向随机差分方程
optimal control
Hamilton-Jacobi-Bellman equations
maximum principle
backward stochastic difference equations
最大值原理
Hamilton-Jacobi-Bellman方程
Online AccessGet full text
ISSN1000-8152
DOI10.7641/CTA.2022.10807

Cover

More Information
Summary:本文研究一类同时含有Markov跳过程和乘性噪声的离散时间非线性随机系统的最优控制问题,给出并证明了相应的最大值原理.首先,利用条件期望的平滑性,通过引入具有适应解的倒向随机差分方程,给出了带有线性差分方程约束的线性泛函的表示形式,并利用Riesz定理证明其唯一性.其次,对带Markov跳的非线性随机控制系统,利用针状变分法,对状态方程进行一阶变分,获得其变分所满足的线性差分方程.然后,在引入Hamilton函数的基础上,通过一对由倒向随机差分方程刻画的伴随方程,给出并证明了带有Markov跳的离散时间非线性随机最优控制问题的最大值原理,并给出该最优控制问题的一个充分条件和相应的Hamilton-Jacobi-Bellman方程.最后,通过一个实际例子说明了所提理论的实用性和可行性.
ISSN:1000-8152
DOI:10.7641/CTA.2022.10807