基于最优预测状态估计的网络化最优控制
唐 斌1, 2，刘国平2, 3，桂卫华2
(1. 广东工业大学 自动化学院，广东 广州，510006；
2. 中南大学 信息科学与工程学院，湖南 长沙，410083；
3. Department of Engineering, University of Glamorgan, Pontypridd CF37 1DL, UK)
摘 要：
摘 要： 针对网络化控制系统中存在的时变网络诱导时延和数据包丢失，提出基于最优预测状态估计的网络化线性二次型高斯(LQG)最优控制算法。对于存在网络诱导时延的情况，考虑反馈信号的网络诱导时延大于1个采样周期的情况，把网络化最优预测状态估计算法与传统最优控制算法结合，补偿网络诱导时延的影响。对于存在时变数据包丢失的情况，把时变数据包丢失的状态描述为1个二元赋值变量，假定当数据包丢失时目标节点保持上一时刻的值，给出相应的最优预测状态估计器和线性二次型(LQ)最优控制器的设计方法。研究结果表明：分离定理成立；网络化最优预测状态估计方法的缺点在于随着网络诱导时延增大或数据包丢失数目增加，其预测估计误差协方差阵略微增大，从而导致最优控制系统的代价略微增长。仿真和实验验证了算法的有效性和理论分析的正确性。
关键词：
网络化控制系统； 网络诱导时延； 数据包丢失； 最优预测状态估计； LQG最优控制；
中图分类号：TP273 文献标识码：A 文章编号：1672-7207(2009)04-0993-10
Networked linear quadratic Gauss optimal control based on optimal predictive state estimation
TANG Bin1, 2, LIU Guo-ping2, 3, GUI Wei-hua2
(1. Faculty of Automation, Guangdong University of Technology, Guangzhou 510006, China;
2. School of Information Science and Engineering, Central South University, Changsha 410083, China;
3. Department of Engineering, University of Glamorgan, Pontypridd CF37 1DL, UK)
Abstract: A networked linear quadratic Gauss (LQG) optimal control algorithm based on optimal predictive state estimation was proposed for networked control systems with network-induced time delay and packet loss. In the case of network-induced time delay in which the feedback delay is longer that a sampling period, the optimal predictive state estimator was designed to combine the traditional optimal controller to compensate the influence of network-induced time delay and the separation theorem was proved to hold. In the case of packet loss, it is assumed that the receiving nodes hold the last value when packet loss occurs, the design method of the corresponding optimal predictive state estimator and linear quadratic (LQ) optimal controller is derived by modeling the state of packet loss as a binary variable. The results show that the separation theorem holds between the optimal predictive estimator and the designed optimal controller. With the increment of network-induced time delay and packet loss, the predictive estimation error covariance matrix and the cost of the related optimal control system appreciably increase. Simulation and experiment results show the effectiveness of the proposed algorithm.
Key words: networked control systems; network-induced time delay; packet loss; optimal predictive state estimation; LQG optimal control
网络化控制系统适应了工业控制系统逐渐地向分散化、网络化、智能化的方向发展的趋势，具有成本低、质量小、功耗低、安装维护简单等优势，在运动体控制、楼宇自动化、航空航天等领域得到了广泛应用，从而成为控制领域的研究热点[1-7]。目前，人们对网络化LQG(Linear quadratic Gauss)最优控制问题研究较多。如对于存在随机网络诱导时延的情况，Nilsson等[8-10]基于随机时间离散化方法研究了网络化控制系统的LQG问题，分别考虑了网络诱导时延不超过1个采样周期[8]和大于1个采样周期[9-10]的情况，但是两者都没考虑网络反馈时延大于1个采样周期的情况。对于存在数据包丢失的情况，Sinopoli等[11]考虑在数据包丢失情况下的时变最优控制问题，对于网络化控制系统存在数据包丢失的情况，把基于数据包丢失概率设计的离散时间 Kalman 滤波器应用于LQG最优控制问题，并证明了在网络存在数据包丢失的情况下分离原理仍然成立。Imer等[12]考虑基于数据包丢失概率的二次型最优控制问题，给出了基于控制数据包丢失概率的网络化最优控制器的设计方法。然而，对于存在大范围时变数据包丢失的情况，基于数据包丢失概率的网络化LQG控制不能取得满意的性能。孔德明等[13]假定延时恒定且小于1 个采样周期，采用Lyapunov 函数、线性矩阵不等式以及区间矩阵的概念，对状态反馈回路网络化的控制系统控制器增益进行设计，以寻求某个局部最优控制器增益，使网络化控制系统渐近稳定并同时使该控制器增益可变区间达到最大。
本文作者针对网络化控制系统中存在的确定的时变网络诱导时延和数据包丢失，考虑基于最优预测状态估计的网络化LQG最优控制问题。对于存在网络诱导时延的情况，考虑反馈信号的网络诱导时延大于1个采样周期的情况，把网络化最优预测状态估计算法与传统最优控制算法结合，补偿网络诱导时延的影响，证明分离定理成立。对于存在时变数据包丢失的情况，假定当数据包丢失时目标节点保持上一时刻的值，并把时变数据包丢失的状态描述为1个二元赋值变量，求导了相应的最优预测状态估计器和LQ最优控制器的设计方法，证明两者满足分离定理。通过仿真和实验验证算法的有效性。
1 问题描述
考虑如下的离散时间线性系统：
假定：
a. ω(t)和v(t)均为零均值的白噪声向量，且两者相互独立，即
b. x(t)的初始值x(0)是1个随机变量，x(0)的统计特性是已知的，即
，
。
其中：P(0)是初始滤波估计误差方差阵的期望值。
c. x(0)与ω(t)和v(t)相互独立，即
，
。
1.1 存在网络诱导时延的情况
对于离散时间线性系统(1)和(2)，定义
为测量值y(t)经历的从传感器到控制器之间的网络诱导时延，
为相应控制信号u(t)经历的从控制器到执行器之间的网络诱导时延，
为相应的闭环网络诱导时延。
1.1.1 定常网络诱导时延
假定当前时步为t，则控制器接收的测量值序列
。假定uc(t+τca)为t时步控制器生成的控制量，则控制器已生成的控制量序列
。由此可得：
由(6)可知，对于当前时步t，x(t+τca)对于控制器是不可行的，因此，控制量uc(t+τca)的计算将通过最优预测状态估计量
来计算。此时，网络化LQG最优控制问题描述为：对于扩展的离散时间线性系统(3)~(5)，求解最优控制律(6)，使得二次代价函数
1.1.2 时变有界网络诱导时延
由于网络诱导时延是时变的，网络中难免存在数据包次序混乱的现象。为了克服这种时变时延和数据包次序混乱的对控制性能的影响，在执行器端设置1个缓冲器，用于存储从控制器端发送来的控制量序列。定义
为从控制器到执行器的网络诱导时延的上界，并假定该控制量序列的长度为，则该控制量序列
，其中，
。当
时，表示相应的控制量还未到达执行器，否则，表示相应的控制信号已到达执行器。显然，对于当前时步t，
总是成立。
考虑时变有界网络诱导时延的影响，可得系统(1)~(2)的扩展系统：
需要注意是：最新的数据包是针对采样时步而言的，最新接收的数据包是针对数据包到达目标节点的顺序而言的。若网络中存在数据包次序混乱，则采样时步的顺序与相应数据包被接收次序不相同。
对于当前时步t，控制器接收的测量值序列Yk={ y(i1), …, y(ik)}，相应的时延序列为Tk。假定t时步控制器生成的控制量为
，则控制器已生成的控制量序列
。由此可得：
关系。同理，控制量的计算将通过最优预测状态估计量来计算，因而，时变网络诱导时延的影响可以通过执行器的缓冲器和最优预测状态估计得到补偿。
对于时变有界网络诱导时延，网络化最优控制问题描述为：对于扩展的离散时间线性系统(8)~(10)，(12)，求解最优控制律(11)，使得二次代价函数
最小。
1.2 存在数据包丢失的情况
当控制量数据包丢失现象发生时，假定执行器保持上一时步的控制量。
1.2.1 不存在网络诱导时延的情况
对于系统(1)~(2)，考虑存在数据包丢失且被接收的数据包不经历时变网络诱导时延的情况，可得扩展系统：
对于当前时步t，控制器接收的测量值序列
。定义
表示控制量数据包的发送状态，其取值是时变且事先已知，
表示执行器接收到了控制器生成的控制量
，
表示执行器没有接收到
。假定t时步控制器生成的控制量为，则控制器已生成的控制量序列
。由此可得：
为了简化问题，假定测量值和控制量数据包的丢失状态是同步的，即
。因此，网络化最优控制问题描述为：对于扩展的离散时间线性系统(14)~(16)和(18)，求解最优控制律(17)，使得二次代价函数
最小。
1.2.2 存在网络诱导时延的情况
对于网络中同时存在数据包丢失和网络诱导时延的情况，由系统(1)~(2)可得：
对于当前时步t，控制器接收的测量值序列Yk={y(i1), …, y(ik)}，相应的时延序列为Tk。假定t时步控制器生成的控制量为
，控制器已生成的控制量序列
。类似可得：
由于在时步t，
对于控制器是不可行的，因此，控制量的计算通过的估计值来实现。
同样地，假定测量值和控制量数据包的丢失状态是同步的，即。因此，网络化最优控制问题描述为：对于扩展的离散时间线性系统(20)~(22)和(24)，求解最优控制律(23)，使得二次代价函数
最小。
2 网络化LQG最优控制
2.1 传统LQG最优控制
对于离散时间线性系统(1)~(2)和二次代价函数
传统LQG最优控制为：
2.2 存在网络诱导时延的情况
2.2.1 定常网络诱导时延
在定常的网络诱导时延情况下，LQG问题的最优控制策略与传统的相同，不同点在于网络诱导时延存在时，要通过最优预测状态估计方程对时延进行补偿。假定当前时步为t，定常网络诱导时延情况下的最优预测状态估计为：
相应的预测估计误差方差阵为
由式（29）可知，由于网络诱导时延的存在，最优预测状态估计
与滤波估计
，控制量
(j=0, …, τsc+τca-1)有关。当闭环网络诱导时延为0，即τsc+τca =0时，由式(29)可得传统的Kalman滤波估计值。
由式(30)可知，由于网络诱导时延的存在，最优预测状态估计误差方差阵与滤波估计误差方差阵
和网络诱导时延τsc和τca有关。当A矩阵存在大于0的特征值时，式(30)右边的第1项会随着时延的增大而递增；反之，则递减，当网络诱导时延足够大时，该项将趋于0。无论A矩阵的特征值是否大于0，式(30)右边的第2项随着时延的增大而非递减。因此当A的特征值大于0时，
是递增的；当A的特征值小于0，且网络诱导时延足够大时，
同样是递增的。
根据以上最优预测状态方法，考虑不完全状态信息反馈情况下的分离定理。对于当前时步t，反馈信号为，所求最优预测控制信号为
，而该控制信号依赖于
。
以下采用数学归纳法证明分离定理和求解最优控制律。定义未来时刻的代价为：
。
其中：
；初始条件
。
由
的定义可得：
。
由上式可得最优控制律：
。 (31)
相应的最小代价为：
。
其中：
，
。
综上所述，定常网络诱导时延情况下基于最优预测状态估计的网络化LQG最优控制满足分离定理。
根据式(31)可知，由于网络诱导时延的存在，最优控制律
与最优预测状态估计和相应的有关。当网络诱导时延等于0时，网络化LQG最优控制律转化为传统的情况。
当A存在大于0的特征值时，
表达式右边的所有项都随网络诱导时延的增大而递增，因而，和相应的最小代价也是递增的。当A的特征值小于0时，表达式右边的第3项和第4项随着网络诱导时延的增大而趋于0，但是，由于在网络诱导时延足够大时， 必定随时延的增大而递增，和相应的最小代价在网络诱导时延足够大时必定递增。
2.2.2 时变有界网络诱导时延
与式(29)~(30)类似，时变有界网络诱导时延情况下的最优预测状态估计为：
，
相应的最优预测估计误差方差阵
。
其中：
为Kalman滤波估计误差方差阵。
与式(31)类似，时变有界网络诱导时延情况下，基于最优预测状态估计的网络化LQG最优控制满足分离定理，最优控制律给定如下：
。
相应的最小代价为
。
其中：
；
?
。
2.3 存在数据包丢失的情况
2.3.1 不存在网络诱导时延的情况
对于仅存在数据包丢失的情况，首先给出最优预测状态估计算法，然后，证明最优预测估计器与网络化最优控制器是否满足分离定理。
由(14)和(18)可得扩展系统：
在存在数据包丢失并且数据包没有网络诱导时延的情况下，假定当前时步t接收1个新的数据包，其采样时步为ik，即t=ik，则网络化最优预测状态估计算法给定如下：
由式(33)~(37)可得，当t=ik-1+j＜ik时，随着数据包丢失量的增大，即j递增，最优预测状态估计算法的特性与仅存在网络诱导时延的情况相似。在当前时刻t=ik，即控制器接收到反馈信号y(ik)时，最优预测状态估计算法与传统Kalman滤波算法类似，不同之处在于这里以
作为当前时刻滤波状态估计方程中的预测状态估计值。
由于最优控制信号只在的时步生成，而在的时步不生成控制信号，且执行器保持上一时步的实际控制信号，因此，只考虑的两个相邻时步之间的关系。类似地，可得最小化代价函数
的最优控制律：
相应的最小代价为：
综上所述，在仅存在数据包丢失的情况下，最优预测状态估计器与网络化LQG最优控制器满足分离定理，且给定最优控制律见式(38)。
由以上理论分析可知，在假设反馈通道和控制通道的数据包丢失状态一致，且当数据包丢失时接收节点保持上一时步值的情况下，网络化LQG最优控制算法的性能显然低于传统算法的性能，原因在于：首先最优预测状态估计算法的性能低于传统算法的性能；再者，网络化LQG最优控制算法仅在时步ik(k={1, 2, …})进行最优控制，根据最优性原理，采用该方法所得算法性能明显低于在传统情况下每一时步都进行最优控制的传统LQG最优控制算法的性能。
2.3.2 存在网络诱导时延的情况
对于网络中存在数据包丢失，发送的数据包经历网络诱导时延，且不存在数据包次序混乱的情况，最优预测状态估计要同时用于补偿时变数据包丢失和网络诱导时延的影响。
假定当前时步为t，最新接收的测量值数据包为第k个，相应的采样时步为ik。为了补偿网络的影响并且实现最优控制，此时欲获得的最优状态估计对应的时步
。该估计分2步进行：第1步，根据反馈的测量值信号y(ik)获得x(ik)的最优滤波估计
，可以通过式(33)~(37)获得；第2步，根据和
，获取时步的最优预测估计
。对在时步的状态的最优预测状态估计：
相应的预测状态估计误差方差阵为：
在最优控制律的求解过程中，采用预测状态估计值替代相应时步的滤波状态估计值
，此时相应的滤波状态估计误差方差陈
被
替代，通常来说要小于。网络化最优控制律的具体求解过程与不存在网络诱导时延的情况 相同。
3 仿 真
以1个二阶振荡电路环节为对象，考虑网络化LQG最优控制的仿真，以验证本文理论分析与控制器设计方法的有效性。给定二阶振荡环节的离散时间状态空间方程如下：
采样周期为0.2 s。加载的系统扰动和测量噪声分别为
，
。仿真中，ω(t)和v(t)的实际统计特性为：
；
。
3.1 传统LQG最优控制
二阶振荡环节的传统LQG最优控制算法的仿真结果如图1所示。由仿真结果可知，在传统情况 下，采用传统LQG最优控制算法能够获得满意的效果；在存在网络诱导时延和数据包丢失的情况下，采用传统LQG最优控制算法的控制性能下降，状态响应的振荡加剧，状态估计偏差增大。实际上，随着网络诱导时延的增大，状态响应甚至发散。
3.2 网络化LQG最优控制
二阶振荡环节的网络化LQG最优控制算法的仿真结果如图1所示。由图1可知，二阶振荡环节在存
在网络诱导时延和数据包丢失的情况下网络化LQG最优控制算法的状态响应经过一个短暂的振荡之后收敛，状态估计偏差也在初始时刻短暂上升之后收敛，控制性能相对于传统LQG最优控制算法明显改善，获得了满意的控制效果，但相对于传统情况下的传统LQG最优控制算法，控制性能略微下降。
曲线“—，…，---”为传统LQG最优控制算法仿真结果；“☆，○”为网络化LQG最优控制算法仿真结果
图1 传统的和网络化LQG最优控制算法的仿真结果
Fig.1 Simulation results of traditional and networked LQG optimal control algorithms
4 实 验
实验在中科院自动化所开方的NetCon系统上的实现。由于在实验过程的初始阶，最优预测状态估计利用了初始时步以前的控制量序列，该序列中控制量u(t)=5，而不是仿真过程中假定的u(t)=0，因此，实验结果与仿真结果的状态估计值在初始阶段存在明显的差别。
4.1 传统LQG最优控制
二阶振荡环节的传统LQG最优控制算法的实验结果如图2所示。与仿真结果类似，二阶振荡环节在传统情况下，采用传统LQG最优控制算法能够获得满意的控制性能。在存在网络诱导时延和数据包丢失情况下，采用传统LQG最优控制算法的状态响应振荡加剧，状态估计偏差增大，控制性能明显降低。
曲线“—，…，---”为传统LQG最优控制算法仿真结果；“☆，○”为网络化LQG最优控制算法仿真结果
图2 传统的和网络化LQG最优控制算法的实验结果
Fig.2 Experiment results of traditional and networked LQG optimal control algorithm
4.2 网络化LQG最优控制
二阶振荡环节的网络化LQG最优控制算法的实验结果如图2所示。与仿真结果类似，相对于传统LQG最优控制算法，在存在网络诱导时延的情况下，状态响应轨迹和估计偏差快速收敛，能够获得满意的控制效果；在存在数据包丢失的情况下，状态响应轨迹和估计偏差经过短暂的振荡之后收敛，控制性能明显改善，获得了满意的控制效果。
5 结 论
a. 针对网络化控制系统中存在的时变网络诱导时延和数据包丢失，提出基于最优预测状态估计的网络化LQG最优控制算法。
b. 对存在网络诱导时延的情况，考虑了反馈信号的网络诱导时延大于1个采样周期的情况，把网络化最优预测状态估计算法与传统最优控制算法结合，补偿网络诱导时延的影响，证明了分离定理成立。
c. 对于存在时变数据包丢失的情况，把时变数据包丢失的状态描述为1个二元赋值变量，假定当数据包丢失时目标节点保持上一时刻的值，给出了相应的最优预测状态估计器和LQ最优控制器的设计方法。仿真和实验结果验证了算法的有效性和理论分析的正确性。
参考文献：
[1] Gupta V, Hassibi B, Murray R M. Optimal LQG control across packet-dropping links[J]. Systems & Control Letters, 2007, 56: 439-446.
[2] Hu S, Yam W Y. Stability robustness of networked control systems with respect to packet loss[J]. Automatica, 2007, 43: 1243-1248.
[3] Huang M, Dey S. Stability of Kalman filtering with Markovian packet losses[J]. Automatica, 2007, 43: 598-607.
[4] Imer O C, Yuksel S, Basar T. Optimal control of LTI systems over unreliable communication links[J]. Automatica, 2006, 42: 1429-1439.
[5] Liu G P, Mu J X, Rees D, et al. Design and stability analysis of networked control systems with random communication time delay using the modified MPC[J]. International Journal of Control, 2006, 79: 288-297.
[6] Xiong X L, Lam J. Stabilization of linear systems over networks with bounded packet loss[J]. Automatica, 2007, 43: 80-87.
[7] Yang F W, Wang Z D, Huang Y S, et al. H-inf control for networked systems with random communication delays[J]. IEEE Transactions on Automatic Control, 2007, 51: 511-518.
[8] Nilsson J, Bernhardsson B, Wittenmark B. Stochastic analysis and control of real-time systems with random time delays[J]. Automatica, 1998, 34(1): 57-64.
[9] 于之训, 陈辉堂, 王月娟. 基于Markov延迟特性的闭环网络控制系统研究[J]. 控制理论与应用, 2002, 19(2): 263-267.
YU Zhi-xun, CHEN Hui-tang, WANG Yue-juan. Research on markov delay characteristic-based closed loop network control system[J]. Control Theory and Applications, 2002, 19(2): 263-267.
[10] Hu S S, Zhu Q X. Stochastic optimal control and analysis of stability of networked control systems with long delay[J]. Automatica, 2003, 39: 1877-1884.
[11] Sinopoli B, Schenato L, Franceschetti M, et al. Time varying optimal control with packet losses[C]//43rd IEEE Conference on Decision and Control, Piscataway: IEEE, 2004, 2: 1938-1943.
[12] Imer O C, Yuksel S, Basar T. Optimal control of LTI systems over unreliable communication links[J]. Automatica, 2006, 42: 1429-1439.
[13] 孔德明, 方华京, 蹇继贵, 等. 一类网络化控制系统的局部最优控制器设计[J]. 中南大学学报: 自然科学版, 2006, 37(2): 352-355.
KONG De-ming, FANG Hua-jing, JIAN Ji-gui, et al. Design of local optimal controller for a class of network control systems[J]. Journal of Central South University: Science and Technology, 2006, 37(2): 352-355.
[14] 王志贤. 最优状态估计与系统辨识[M]. 西安：西北工业大学出版社, 2004.
WANG Zhi-xian. Optimal state estimation and system identification[M]. Xi’an: Northwestern Polytechnical University Press, 2004..
收稿日期：2008-12-26；修回日期：2009-03-05
基金项目：国家自然科学基金资助项目(60634020, 60874008)；广东省自然科学基金研究团队资助项目(8351009001000002)
通信作者：唐 斌(1979-)，男，湖南永州人，博士，讲师，从事网络化控制系统等研究；电话：13242877870；E-mail: tangbin316@163.com
