发动机支持向量机建模及精度影响因素

陈然，孙冬野，秦大同，罗勇，胡丰宾

(重庆大学 机械传动国家重点实验室，重庆，400030)

摘 要：

摘  要：针对发动机具有非线性、时变性的特点以及采用常规神经网络辨识时的过学习等问题，提出基于支持向量机(SVM)的发动机模型辨识方法。该方法以大量实测数据为基础，采用结构风险最小化准则(SRM)，保证网络具有很强的推广特性。以MATLAB为平台，依据实测试验数据，研究核函数、损失函数及惩罚参数对系统辨识精度的影响，确定各参数对模型精度影响的程度。在充分考虑各参数之间交互作用的前提下，利用循环嵌套查找方法，获得使支持向量机网络辨识精度达到最优时的各参数值，并以此建立发动机转矩及油耗模型。研究结果表明：基于支持向量机的发动机模型具有较强的泛化能力，为实现发动机与传动系统共同工作的最佳匹配控制奠定了基础。

关键词：

支持向量机；发动机模型；辨识精度；参数选择；

中图分类号：TP391.9；U464.12          文献标志码：A         文章编号：1672-7207(2010)04-1391-07

A novel engine identification model based on support vector machine and analysis of precision-influencing factors

CHEN Ran, SUN Dong-ye, QIN Da-tong, LUO Yong, HU Feng-bin

(State Key Laboratory of Mechanical Transmission, Chongqing University, Chongqing 400030, China)

Abstract: Focus on the nonlinearity and time-varying properties of engine and the existence of local minima, over-learning of conventional neural networks engine, a novel engine identification model was proposed based on support vector machine (SVM). Using the MATLAB，many precision influencing factors of engine torque were analyzed, and the precision influencing sequence of these parameters was confirmed. Considering the interaction among the parameters, the optimal parameters of SVM engine model was found out using loop nest program method. Testing results show that the engine identification model based on engine test data and structure risk minimization (SRM) principle has very strong generalization ability. The SVM engine reveals high precision and strong generalization ability, which provides a foundation for engine matching power train.

Key words: support vector machine; engine model; identification precision; parameters selection

精确的发动机模型不仅是制定自动变速车辆控制策略并实现车辆动力传动系统最佳匹配的基础^[1]，而且通过模型在线预测可以实现混合动力系统发动机和电动机协调控制^[2]。目前，发动机模型总体可分为基于经典方法的模型和基于现代神经网络方法的模型。经典的方法主要有平均值模型^[3]和利用多项式曲线拟合插值查表^[4-5]的发动机的转矩模型、油耗率模型。由于经典方法是基于样本数趋于无穷大时的渐近理论和线性理论，需要大量的试验标定才能得到很高的精度，而试验测试样本往往有限，同时，此种方法缺乏自学习功能，不能反映发动机各工作参数之间存在的非线性、时变特性关系，因此，常用的查表模型精度较低、泛化能力较弱，用于动力协调控制误差大。杜常清   等^[5-8]利用神经网络具有大规模并行处理、自组织、自适应、非线性映射及较强泛化能力的特点建立发动机转矩及油耗的神经网络模型，取得了一定的效果。杨伟斌等^[9]在发动机神经网络模型基础上，以均方误差为标准分析了神经网络各参数对发动机模型精度的影响，并对神经网络各参数进行了综合寻优处理，提高了模型辨识精度。但由于这些神经网络是建立在经验风险最小化原则的基础之上，缺少理论指导，对使用者“技巧”过分依赖^[10-11]。在使用过程中，神经网络受网络结构复杂性和样本复杂性的影响较大，容易出现过学习或者低泛化能力，同时，随着输入维数的增加，神经网络的神经元个数急剧增加，会导致“维数灾难”^[12]，导致神经网络推广泛化能力较弱且不易控制。支持向量机(Support vector machine, SVM)是在基于有限样本统计学习理论(Statistical learning theory, SLT)和结构风险最小化(SRM)原则上发展而成的一种新的机器学习方法^[13]。SRM比传统的神经网络中所用的经验风险最小化原则(ERM)更优越，这使SVM具有更强的泛化能力^[14]。由于SVM有严格的理论和数学基础，不存在局部极小的问题，小样本学习也具有很强的泛化能力，因此，较好地解决了小样本、非线性、高维空间等机器学习中的难点问题，克服了神经网络中一些固有问题，比神经网络有更强的泛化推广能力，广泛应用于模式识别、控制理论和系统辨识^[15]。在此，本文作者在发动机大量测试试验数据基础上，提出基于支持向量机的发动机模型辨识方法。研究支持向量机的核函数、损失函数及惩罚参数对系统辨识精度的影响，确定各参数对模型精度影响的程度，提出支持向量机进行系统辨识各参数的确定方法，对发动机转矩及油耗进行辨识。

1  SVM理论基础

1.1  ERM原则和SRM原则

         系统辨识问题可以形式化表示为已知变量y与输入x之间存在的一定未知依赖关系，即存在一个未知的联合概率F(x, y)，辨识就是根据n个独立同分布观测样本(x₁, y₁), (x₂, y₂), …, (x_n, y_n)，在一组函数{f(x)}中求1个最优的函数f(x)，使预测的期望风险

            (1)

最小。其中：L为误差(损失函数)；F(x, y)为联合分布函数^[16]。

在实际应用时，F(x, y)一般未知，不能直接用式(1)计算。常用做法是用经验风险R_emp代替R进行风险计算，其中，经验风险定义为：

          (2)

用经验风险R_emp代替R称作经验风险最小化原则(ERM原则)，传统神经网络及部分最小二乘法辨识方法大多基于ERM原则。然而，在很多情况下，经验风险R_emp不能完全代替真实风险R，有时R_emp过小反而会导致R增大，即存在过学习问题，同时也增加了学习的复杂性。

统计学习理论证明了影响真实风险R的因素有2部分：一部分是经验风险R_emp，另一部分被称作置信范围，与学习机器的VC维h和训练样本数n有关，其表示形式为：

R≤             (3)

式(3)综合考虑了经验风险和置信范围的结构风险最小化原则(SRM)，本质上是在系统辨识的复杂性和推广性之间寻找一个平衡。支持向量机方法正是基于SRM原则而提出的^[17]。

1.2  SVM系统辨识算法

SVM的基本思想就是通过一个非线性映射将输入数据映射到一个高维的特征空间H，然后，在空间H中解决一个线性回归问题^[18]，即在高维空间里考虑用函数拟合数据{x_i, y_i}，其中，i=1, 2, …n，x_i∈R^d，y_i∈R；w为权向量；b为通过风险函数估计得出的阈值。这样，高维空间的线性回归便对应于低维空间的非线性回归。考虑到允许拟合误差的情况，引入松弛因子≥0，≥0，优化问题转化为以下最小化函数：

其中：为函数的平坦度。

采用优化方法即可得优化问题的对偶形式，最大化函数为：

          (6)

约束条件为：

其中：C为误差惩罚函数；为拉格朗日乘子。

由式(7)即可得到支持向理机拟合函数为：

   (8)

其中：b为通过风险函数估计得出的阈值。

在高维特征空间用核函数来代替线性问题的内积运算，即：

            (9)

其中：称为核函数，它是满足Mercert条件的任何对换核函数，对应于特征空间的点积。则支持向量机按拟合函数有以下形式：

  (10)

令，则训练样本中不为0的样本就是支持向量^[19]。

2  发动机SVM网络拓扑结构

2.1  样本数据采集及处理

发动机输出包括转矩输出、燃油消耗，它们直接与仿真中不同工况下车辆动力学有关。发动机数学模型有稳态模型和动态模型之分。建立精确的稳态模型是提高动态模型精度的基础。油耗的动态与静态模型基本相似，而转矩的动态模型通常是根据稳态模型修正而得到的，故可以采用以下方程来预测发动机转矩的瞬态变化^{[7, 20]}：

         (11)

式中：M_N为由模型计算出来的发动机转矩，用函数f_N表示；和分别代表发动机油门开度和转速；为时间常数；为转矩下降系数。

根据汽车发动机性能试验方法，对JL474Q1发动机进行动力性性能测试，分别测试了油门开度在1%，2%~40%(每隔2%)，40%~100%(每隔5%)，发动机转速在800~1 000 r/min(每隔100 r/min)、1 000~6 000 r/min(每隔250 r/min)时，发动机的输出转矩。根据试验数据，剔除个别误差点以及油门较小、转速较高时转矩为0 N?m的点，可以得到575个试验数据点。其中，从速度矢量间隔取12个数据点，油门矢量间隔取13个数据点，组成156个数据，作为测试数据点。其他的419个点作为训练数据点。

2.2  SVM网络拓扑结构

发动机转矩影响因素由油门开度和发机的转速n_e组成。令每组(, n_e)对应于1个输入样本x_i，对应的转矩为y_i，则建立支持向量机模型即为寻找函数关系为：

          (12)

发动机SVM辨识结构如图1所示。在形式上类似于神经网络，输出向量为中间节点的组合，每个中间节点对应1个支持向量。将训练数据输入支持向量机网络，经训练找出最佳的支持向量机网络，并用测试数据点进行网络测试样本。

图1  发动机支持向量机的结构

Fig.1  Architecture of engine SVM

3  各参数的确定

SVM发动机建模的品质不在于样本本身的拟合误差，关键在于其泛化效果(预测精度)。若样本点以外的其他输入点均较好地拟合，则说明网络模型结构合理。SVM模型影响因素有3种：(1) 核函数类型及其参数选择；(2) 损失函数类型及其参数选择；(3) 惩罚参数C的选择。系统的性能不仅受这3种因素的单独影响，而且某些因素之间会互相促进、互相制约影响性能，有时整体的影响远大于各因素单独的影   响。在选择核函数、损失函数及C时，应综合考虑3种因素的交互作用对系统辨识精度的影响。

为了衡量支持向量机网络拟合精度和预测精度的高低，在此定义均方误差s作为评定指标，均方误差越小，精度越高：

            (13)

定义一个量化指标即平均相对误差为：

           (14)

其中：为拟合时第i个学习样本的拟合值或预测时第i个测试样本的预测值；Y_i为拟合时第i个学习样本的样本值或预测时第i个测试样本的样本值。

3.1  核函数

由于核函数的引入，所需的特征空间并不需要明确的定义，而是通过核函数推导得出，因此，核函数的选择是决定特征空间的关键因素^[21-23]。常见的核函数有多项式核函数(Polynomial核函数)、径向基函数核函数(RBF核函数)、Sigmoid核函数和线性核函数(Linear核函数)。经过大量的试验和理论分析^[24-26]，采用RBF核函数时拟合和预测精度较高，本文对RBF核函数进行研究，其他核函数方法类似。

3.2  RBF核函数及参数影响

RBF核函数的影响参数主要有损失函数、宽度参数σ和惩罚参数C。损失函数有Quadratic损失函数和ε-insensitive损失函数，其形式分别为：

其中：为不敏感系数。

3.2.1  Quadratic损失函数

         对模型精度有影响的变量有宽度参数σ和惩罚参数C。基于MATLAB平台，设计支持向量机算法程序，采用二层循环嵌套查找的算法如图2所示。图3所示为辨识均方误差随参数变化的三维图，由图3可以算出泛化效果最好时的σ=2.7，C=176。图4(a)所示为σ=2.7时，C对模型均方误差的影响。可见：当C增大时，对误差惩罚越严，模型拟合精度提高，预测精度在C=176时达到最高，随后基本保持不变，此后容易出现过学习。图4(b)所示为C=176时，σ对模型均方误差的影响。可见：σ较小时，拟合曲线的均方误差小，拟合精度高，但泛化能力差，σ增大时，模型拟合曲线均方误差增大，即拟合精度越来越低，容易出现“欠拟合”，但预测精度反而有所提高；当σ＞3之后，随着σ改变，预测精度基本保持不变。由图4可以看出：宽度参数σ对预测精度的影响比惩罚参数C敏感。

图2  二层循环嵌套查找算法

Fig.2  Two loop nest program method

图3  辨识均方误差与参数的关系

Fig.3  Relationship between identification error and parameters

Fig.4  Effect of C and σ on error

3.2.2  ε-insensitive损失函数

模型精度影响变量因素有宽度参数σ，惩罚参数C和不敏感系数ε。采用三层循环嵌套查找算法，可以查找出泛化效果最好时的σ=1.4，C=193，ε＝0.23。图5(a)所示为σ=1.4和ε＝0.23时，C对模型均方误差的影响。可见：随着C的增大，拟合均方误差和预测均方误差均有所降低，即拟合精度和预测精度提高，在达到193以后，预测精度基本不再变化，拟合精度继续提高。图5(b)所示为C=193，ε＝0.23时，σ对模型均方误差的影响。可见：拟合精度随着σ增加而减小，预测精度先提高，然后减小。图5(c)所示为C=193，σ＝1.4时，不敏感系数ε对模型均方误差的影响。可见：拟合精度和预测精度都是随着ε增大而提高。由图5可以看出：不敏感系数ε对预测精度的影响最大，其次是宽度参数σ和惩罚参数C。

Fig.5  Effect of C, σ and ε on error

根据上述分析可知，采用ε-insensitive损失函数的辨识精度比采用Quadratic损失函数的辨识精度高。

3.3  核函数对精度影响分析

按上述方法可以对多种核函数进行计算，模型预测精度计算结果如表1所示。

表1  预测精度计算结果

Table 1  Results of forecast precision

由表1可以得出：采用不同的核函数，其精度相差较大。采用相同核函数，不同的损失函数引起的精度较接近。采用RBF核函数和Linear核函数时预测精度较高，这说明核函数比损失函数对拟合精度的影响更大。

4  发动机模型

根据以上分析结果，以319个样本点和156个测试点组成的网络为考察对象，按照上述的参数寻优方法，获得使其泛化效果最优时对应的各项参数：σ=1.4，C=193，ε＝0.23。此时，泛化效果的均方误差为0.89。利用最优参数值建立发动机支持向量机模型，并对新的转速800~6 000 r/min(间隔100 r/min)、油门0~100% (间隔2%)进行仿真，得到发动机转矩模型如图6所示。采样相同的方法，可以建立发动机油耗模型，如图7所示。

图6  三维转矩模型图

Fig.6  3D map of engine torque

图7  三维油耗模型

Fig.7  3D map of engine fuel consumption

5  结论

(1) 依据发动机的试验数据，把支持向量机应用于发动机建模，以MAILAB为平台，编制了算法程序。与神经网络相比，该方法建立的模型推广能力强，可信度高，可以满足传动系统匹配控制。

(2) 在充分考虑各参数之间的交互作用对系统辨识精度影响的前提下，采用循环嵌套查找方法，综合考虑各参数对系统辨识精度的影响，容易获取较高的收敛精度及较好的泛化效果。

(3) 发动机精确建模所涉及的工作很多，本文只对支持量机应用于发动机模型辨识的可行性进行了研究，建立满足传动控制需要的模型。若要提高模型的精度和对工况的适应性，还应考虑发动机冷却水温度、大气压力和温度，需要更复杂的模型，这有待进一步研究。

参考文献：

[1] 阴晓峰, 谭晶星, 雷雨龙. 基于神经网络发动机模型的动态三参数换挡规律[J]. 机械工程学报, 2005, 41(11): 174-178.

YIN Xiao-feng, TAN Jing-xing, LEI Yu-long. Dynamic shift schedule with 3-parameter based on neural network model of engine[J]. Chinese Journal of Mechanical Engineering, 2005, 41(11): 174-178.

[2] 杜常清, 颜伏伍, 严运兵. 用于控制的发动机转矩估计方法研究[J]. 内燃机学报, 2008, 26(5): 446-451.

DU Chang-qing, YAN Fu-wu, YAN Yun-bing. Methods of engine torque estimation for control algorithms[J]. Transactions of CSICE, 2008, 26(5): 446-451.

[3] 鹿笑冬, 欧阳明高, 白露. 用于发动机控制模型的基于循环的平均值离散建模方法[J]. 内燃机学报, 2001, 19(1): 80-83.

LU Xiao-dong, OUYANG Ming-gao, BAI Lu. Control-oriented engine modeling with cycle-based mean-value discrete modeling method[J]. Transactions of CSICE, 2001, 19(1): 80-83.

[4] 权龙, 王巍巍. 金属带式无级变速传动研究中的发动机建模[J]. 农业机械学报, 2004, 35(1): 44-47.

QUAN Long, WANG Wei-wei. Development of engine model in the study of metal belt CVT[J]. Transactions of CSICE, 2004, 35(1): 44-47.

[5] 杜常清, 颜伏伍, 杨平龙, 等. 基于BP神经网络的发动机转矩估计[J]. 汽车工程, 2008, 30(7): 588-591.

DU Chang-qing, YAN Fu-wu, YANG Ping-long, et al. Engine torque estimation based on BP neural networks[J]. Automotive Engineering, 2008, 30(7): 588-591.

[6] 邓元望, 王耀南, 陈洁平. 神经网络方法在发动机特性仿真中的应用研究[J]. 湖南大学学报: 自然科学版, 2007, 34(6): 28-32.

DENG Yuan-wang, WANG Yao-nan, CHEN Jie-ping. Investigation on neural network methods applied in engine performance simulation[J]. Journal of Hunan University: Natural Science, 2007, 34(6): 28-32.

[7] 胡建军, 秦大同, 杨为. 神经网络的BP算法在发动机建模中的应用[J]. 重庆大学学报: 自然科学版, 2004, 27(7): 18-20.

HU Jian-jun, QIN Da-tong, YANG Wei. Application of BP NN for engine modeling[J]. Journal of Chongqing University: Natural Science Edition, 2004, 27(7): 18-20.

[8] 侯志祥, 申群太, 吴义虎. 基于Elman神经网络的汽油机过渡工况空燃比多步预测模型[J]. 中南大学学报: 自然科学版, 2006, 37(5): 981-985.
HOU Zhi-xiang, SHEN Qun-tai, WU Yi-hu. Multi-step predictive model of air fuel ratio of gasoline engine based on Elman neural network in transient condition[J]. Journal of Central South University: Science and Technology, 2006, 37(5): 981-985.

[9] 杨伟斌, 吴光强, 秦大同. 人工神经网络的各参数对系统辨识精度的影响分析及各参数的确定方法[J]. 机械工程学报, 2006, 42(7): 217-221.

YANG Wei-bin, WU Guang-qiang, QIN Da-tong. Influence and analysis of artificial neural network’s parameters on system identification accuracy and determination method of parameters[J]. Chinese Journal of Mechanical Engineering, 2006, 42(7): 217-221.

[10] Capparuccia R, De Leone R, Marchitto E. Integrating support vector machines and neural networks[J]. Neural Networks, 2007, 20(5): 590-597.

[11] WANG Wen-jian, MEN Chang-qian, LU Wei-zhen. Online prediction model based on support vector machine[J]. Neurocomputing, 2008, 71(4/6): 550-558.

[12] Anguita D, Ghio A, Pischiutta S. A support vector machine with integer parameters[J]. Neurocomputing, 2008, 72(1/3): 480-489.

[13] 张浩然, 韩正之, 李昌刚. 基于支持向量机的非线性模型预测控制[J]. 系统工程与电子技术, 2003, 25(3): 330-334.

ZHANG Hao-ran, HAN Zheng-zhi, LI Chang-gang. Support vector machine based nonlinear model predictive control[J]. Systems Engineering and Electronics, 2003, 25(3): 330-334.

[14] 王宇红, 黄德先, 高东杰, 等. 基于支持向量机的非线性预测控制技术[J]. 信息与控制, 2004, 33(2): 133-136.

WANG Yu-hong, HUANG De-xian, GAO Dong-jie. Nonlinear predictive control based on support vector machine[J]. Information and Control, 2004, 33(2): 133-136.

[15] 边肇祺, 张学工. 模式识别[M]. 2版. 北京: 清华大学出版社, 2000: 295-304.
BIAN Zhao-qi, ZHANG Xue-gong. Pattern recognition[M]. 2nd ed. Beijing: Tsinghua University Press, 2000: 295-304.

[16] 马勇, 黄德先, 金以慧. 基于支持向量机的软测量建模方法[J]. 信息与控制, 2004, 33(4): 417-421.

MA Yong, HUANG De-xian, JIN Yi-hui. Soft-sensor modeling method based on support vector machine[J]. Information and Control, 2004, 33(4): 417-421.

[17] 张学工. 关于统计学习理论与支持向量机[J]. 自动化学报, 2000, 26(1): 32-42.

ZHANG Xue-gong. Introduction to statistical learning theory and support vector machines[J]. Acta Automatica Sinica, 2000, 26(1): 32-42.

[18] 荣海娜, 张葛祥, 金炜东. 系统辨识中支持向量机核函数及其参数的研究[J]. 系统仿真学报, 2006, 18(11): 3204-3208.

RONG Hai-na, ZHANG Ge-xiang, JIN Wei-dong. Selection of kernel functions and parameters for support vector machines in system identification[J]. Journal of System Simulation, 2006, 18(11): 3204-3208.

[19] 刘开云, 乔春生, 田盛丰, 等. 边坡角设计的支持向量机建模与精度影响因素研究[J]. 岩石力学与工程学报, 2005, 24(2): 328-335.

LIU Kai-yun, QIAO Chun-sheng, TIAN Sheng-feng, et al. Research on model construction of support vector machine and precision influencing factors of slope angle design[J]. Chinese Journal of Rock Mechanics and Engineering, 2005, 24(2): 328-335.

[20] 黎苏, 黎晓鹰. 汽车发动机动态过程及控制[M]. 北京: 人民交通出版社, 2001: 132-149.
LI Shu, LI Xiao-ying. Automotive engine control[M]. Beijing: China Communication Press, 2001: 132-149

[21] Lin S W, Lee Z J, Chen S C. Parameter determination of support vector machine and feature selection using simulated annealing approach[J]. Applied Soft Computing, 2008, 8(4): 1505-1512.

[22] Widodo A, Yang B S. Application of nonlinear feature extraction and support vector machines for fault diagnosis of induction motors[J]. Expert Systems with Applications, 2007, 33(1): 241-250.

[23] PAI Ping-feng. System reliability forecasting by support vector machines with genetic algorithms[J]. Mathematical and Computer Modeling, 2006, 43(3/4): 262-274.

[24] Rakotomamonjya A, Le Richeb R, Gualandrisc D, et al. A comparison of statistical learning approaches for engine torque estimation[J]. Control Engineering Practice, 2008, 16(1): 43-55.

[25] 刘春波, 王鲜芳, 潘丰. 基于蚁群优化算法的支持向量机参数选择及仿真[J]. 中南大学学报: 自然科学版, 2008, 39(6): 1309-1313.
LIU Chun-bo, WANG Xian-fang, PAN Feng. Parameters election and stimulation of support vector machines based on ant colony optimization algorithm[J]. Journal of Central South University: Science and Technology, 2008, 39(6): 1309-1313.

[26] ZHONG Wei-min, PI Dao-ying, SUN You-xian. Support vector machine based nonlinear model multi-step-ahead optimizing predictive control[J]. Journal of Central South University of Technology, 2005, 12(5): 591-595.

收稿日期：2009-10-11；修回日期：2010-01-18

基金项目：国家高技术研究发展计划(“863”计划)项目(2006AA110114)；国家自然科学基金资助项目(50475066)

通信作者：陈然(1978-)，男，湖北襄阳人，博士研究生，从事车辆动力传动控制、机电液控制研究；电话：13272725417；E-mail: sanshyuan@163.com

(编辑 赵俊)