提升小波尺度自适应非线性预测算子构造方法

张鹏，倪世宏，谢川

(空军工程大学 工程学院，陕西 西安，710038)

摘要：提出一种提升小波尺度自适应非线性预测算子的构造方法。通过相空间重构将剖分信号转换成训练样本，采用基于高斯核函数的支持向量回归机算法进行回归训练，给出所构造预测算子的结构，并说明基于高斯核函数实现最小均方误差原则的机理。通过仿真实验验证用所构建预测算子在故障诊断时具有较好的识别能力和较强的抗噪能力，在信号降噪时信噪比较高、效果良好。

关键词：提升小波变换；尺度自适应；非线性预测算子；支持向量回归机；最小均方误差原则

中图分类号：TP391         文献标志码：A         文章编号：1672-7207(2012)03-0992-05

Design of scale adaptive nonlinear prediction operator of lifting scheme based on SVR

ZHANG Peng, NI Si-hong, XIE Chuan

(Institute of Engineering, Air Force Engineering University, Xi’an 710038, China)

Abstract: A new method of the construction of scale adaptive nonlinear prediction operator was proposed. The split signal was translated into training sample by the reconstruction method of phase space. Support vector regression (SVR) with the gauss kernel was used to construct prediction operator. The construction of scale adaptive nonlinear prediction operator was given. And the reason for achieving minimize mean squared error (MMSE) was derived. The simulation result shows that this method has good recognition ability and noise immunity at fault diagnosis, and has better SNR at denoising.

Key words: lifting scheme; scale adaptive; nonlinear prediction operator; support vector regression (SVR); minimize mean squared error (MMSE)

提升小波变换是一种不依赖Fourier变换的小波构造方法^[1]。为了解决小波函数的选择问题，Roger提出了自适应的提升小波变换方法，根据分析信号的特点构造预测算子和更新算子，以获得具有期望特性的小波函数^[2]，并将构造自适应算子的方法分为2   类^[3]。第1类是尺度自适应^[4]，用优化算法在信号分解的每一层构造最优的算子，使得每一个尺度下的分解都满足最小均方误差原则，适用于故障诊断等领域^[5]。第2类是空间自适应^[6]，以局部信号的误差均值最小为优选原则，从一组算子中选择一个最优的算子，使其适应信号的局部特点，适用于非平稳信号分析。当前自适应提升变换主要用的是传统的线性算子，还没有摆脱传统小波变换的局限性，由于物理世界特征具有非线性特性，采用非线性算子在某些情况下会取得更好的效果^[7]。Koger等^[8]提出用非线性算子实现提升小波变换，用于图像压缩性能良好。李宏亮等^[9]根据统计特征构造了一种新的非线性算子，并在边缘检测中取得了良好效果。许悦雷等^[10]提出一种非线性更新算子的构造方法，该方法具有较强的空间自适应能力。本文作者根据尺度自适应的原理提出一种非线性预测算子构造方法。用剖分信号建立训练样本，以最小均方误差原则为目标，通过支持向量回归机非线性拟合的方式构造预测算子。该方法用于故障诊断、信号消噪时，能够根据给定的信号结构特征构造自适应预测算子，使提升小波变换能够较好地适应信号特征的变化。仿真测试验证了该方法的可行性和有效性。

1  提升小波原理与尺度自适应

假设一个信号序列为，提升小波变换的分解过程由剖分、预测和更新3部分组成^[11]。

(1) 剖分：将信号序列按奇偶样本分成2个部分。

，            

，           

(2) 预测：使用相邻N个(N=2D，D为正整数)偶样本s_e估计奇样本s_o。

预测误差d被称为小波的细节信号。式(3)中P为预测算子，表示如下：

      (4)

其中：p_i为预测算子系数。

(3) 更新：用个(，为正整数)细节信号更新偶样本。

更新后的信号序列称为小波的逼近信号。式中为更新算子，表示如下：

             (6)

其中：u_i为更新算子系数。

提升小波的重构由恢复更新、恢复预测和合并3个部分组成，是分解的逆运算。整个提升过程的结构框架如图1所示。

用最小二乘法求解尺度自适应的算子系数，其优化准则^[4]为：

              (7)

式中：d_k等于预测误差d(k)。加入拉格朗日系数并令偏导等于0：

图1  提升小波变换的结构框架

Fig.1  Framework of lifting scheme

              (8)

              (9)

解方程组(8)和(9)，可得最优的预测算子系数。

2  支持向量回归机原理

支持向量机回归(Support vector regression, SVR)的基本思想^[12]是通过一个非线性映射将数据x映射到高维特征空间(Hilbert空间)，然后在这个空间中寻找满足某个条件的线性函数：

              (10)

式中：为输入向量x的非线性函数，同时又是的线性函数；为权值矢量；为阈值。这样，在高维特征空间建立的线性回归就对应于低维输入空间的非线性回归。

设给定训练集，根据结构风险最小化准则，在特征空间进行最优化逼近的应使得以下风险函数最小^[13]：

       (11)

式中：L为惩罚函数，用于描述预测误差的影响，有多种形式可以选择；C为平衡因子，C越大，逼近性能越好，扩展性越差，反之亦然。

通过采用核函数技术、不敏感惩罚函数、拉格朗日乘子法及对偶原理，将式(11)的二次规划寻优问题的等价为如下对偶泛函形式^[14]：

；，。       (12)

式中：和为拉格朗日乘子；为不敏感值；为核函数，是一个满足Mercer条件的对称函数，用于将低维数据映射到高维空间，可表达为：

           (13)

核函数的形式有许多种，最常用的高斯核函数表达式为：

         (14)

式中：为核宽度，是高斯核函数唯一可调的参数。

求解式(12)可得和，然后结合KKT(Karush-Kuhn-Tucker)条件可得阈值b。此时拟合值可表示为：

       (15)

3  基于SVR的自适应预测算子构造方法

为使提升小波变换性能最佳，根据尺度自适应原理，预测算子要尽量满足均方误差最小原则^[3]，即。可将其看成一个非线性函数拟合问题，利用SVR的函数逼近能力，构造一个s_e的非线性函数，使其逼近s_o。本文设计了一种基于SVR的尺度自适应非线性预测算子的构造方法，具体实现步骤如下：

(1) 根据式(1)和(2)的剖分方法，将信号剖分成偶样本和奇样本。

(2) 用相邻个(，为正整数)偶样本生成维相空间：

       (16)

 (3) 设为SVR训练样本的维输入，为训练样本的变量，选取合适的，C和核函数，代入式(12)解出拉格朗日乘子和阈值，代入式(15)得非线性回归训练结果如图2所示，表达为：

          (17)

式中：为用对的拟合值；SVRP为拟合函数，形式见式(15)。

图2  尺度自适应非线性预测算子的结构

Fig.2  Construction of scale adaptive nonlinear prediction operator

根据式(3)可知，细节信号的值等于支持向量机的预测误差：

      (18)

根据SVR的数学描述可知，当核函数采用高斯核函数形式时，损失函数为^[15]：

        (19)

式(11)的求解包括2个方面，既要求VC维的上界

小(即)，又通过最小化损失函数满足经验风险最小化(由式(19)得)。式(18)中

为训练样本，为拟合值，故有。由此可得式(7)中尺度自适应算子的优化准则等于，即。综上所述，选用高斯核函数可实现尺度自适应算子的最小均方误差原则。

为方便描述，将这种基于SVR的自适应预测算子构造方法简称为SVRP法。

4  仿真测试分析

4.1  故障诊断性能分析

构造一个仿真信号：

     (20)

其中：f₁=25 Hz，f₂=50 Hz，f₃=100 Hz。信号的采样频率为1 000 Hz，数据长度为1 024，其中，第200，400，600和800个数据为故障点，见图3(a)。采用SVRP法构，维数取6，训练样本取前100个信号，平衡因子C取100，核宽度取0.1，得到细节信号见图3(b)。对仿真信号添加振幅等于0.1和0.2的高斯白噪声后，用同样的方法重新构造预测算子，得到的细节信号分别见图3(c)和(d)。

图3  原始信号和3种噪声情况下分解得到的细节信号

Fig.3  Base signal and detail signals

从图3可以准确地得到故障点所在位置，说明  所构造的预测算子可用于故障诊断。随着噪声幅值的增大，故障点信息逐渐混入噪声信号中，而该方法仍具有一定的识别能力，说明该方法具有较强的抗噪  能力。

4.2  消噪性能分析

为了验证SVRP方法在消噪方面的有效性，选取耗电量的测量数据leleccum作为测试样本，原始信号见图4(a)。用SVRP法构造自适应算子，维数等参数取值与上一个实验一致。选用db5小波变换与SVRP法做比较，均在5尺度上采用软阈值法进行消噪。

软阈值法的函数表达式为：

             (21)

式中：为细节信号；为软阈值；为噪声估计方差；为信号采样数。

采用信噪比r_SNR作为衡量消噪效果的标准，其定义如下：

          (22)

式中：为真实信号；为消噪后信号。

用db5小波通过5尺度分解消噪后的重组信号见图4(b)，用SVRP法消噪后信号见图4(c)。

图4  耗电量信号与消噪结果

Fig.4  Electrical consumption signal and de-noised signal

从图4可以看出：SVRP法构造的预测算子进行消噪时，重构信号呈现出较好的平滑效果。对比2种方法消噪后的信噪比，说明SVRP法用于信号消噪有着良好效果。

5  结论

(1) 采用支持向量回归机的非线性函数拟合方法，为提升小波变换构造自适应预测算子提供了一种有效的手段。

(2) 通过信号消噪和故障诊断2个仿真测试，验证了所提算法所构建预测算子用于故障诊断时较好的识别能力和较强的抗噪能力，用于信号降噪时的良好效果。但在构造过程中，对于维数N的选取及核宽度的确定，目前主要还是依靠经验，理论依据不够充分，需做进一步的研究。

参考文献：

[1] Sweldens W. The lifting scheme: A custom-design construction of biorthogonal wavelets[J]. Applied and Computational Harmonic Analysis, 1996, 3(2): 186-200.

[2] Sweldens W. The lifting scheme: A construction of second generation wavelet[J]．SIAM Journal on Mathematical Analysis, 1998, 29(2): 511-546.

[3] Roger L C. Adaptive wavelet transforms via lifting[D]. Texas: Rice University. Department of Electrical and Computer Engineering, 1999: 31-51.

[4] Annabelle G, Marc A, Michel B, et al. Design of signal-adapted multidimensional lifting scheme for lossy coding[J]. IEEE Transactions on Image Processing, 2004, 13(12): 1589-1603.

[5] LI Zhen, HE Zheng-jia, ZI Yan-yang, et al. Rotating machinery fault diagnosis using signal-adapted lifting scheme[J]. Mechanical Systems and Signal Processing, 2008, 22(22): 542-556.

[6] Heijmans H, Piella G, Pesquet P B. Adaptive wavelets for image compression using update lifting: Quantization and error analysis[J]. International Journal of Wavelets, Multiresolution and Information Processing, 2006, 4(1): 41-63.

[7] Gameroa L G, Plastinob A, Torresa M E. Wavelet analysis and nonlinear dynamics in a nonextensive setting[J]. Physica A: Statistical and Theoretical Physics, 1997, 246(3/4): 487-509

[8] Roger L C, Davis G M, Sweldens W, et al. Nonlinear wavelet transforms for image coding via lifting[J]. IEEE Transactions on Image Process, 2003, 12(12): 1449-1459.

[9] 李宏亮, 刘贵忠, 侯兴松, 等. 一种新的二维非线性提升小波变换方法[J]. 电子学报, 2003, 31(1): 21-24.
LI Hong-liang, LIU Gui-zhong, HOU Xing-song, et al. A new method for 2D nonlinear lifting wavelet transform[J]. Acta Electronica Sinica, 2003, 31(1): 21-24.

[10] 许悦雷, 马时平, 朱立民, 等. 基于提升的自适应非线性小波变换研究[J]. 系统仿真学报, 2009, 21(16): 5141-5144.
XU Yue-lei, MA Shi-ping, ZHU Li-min, et al. Adaptive nonlinear wavelet transform based on lifting schemes[J]. Journal of System Simulation, 2009, 21(16): 5141-5144.

[11] 何正嘉, 訾艳阳, 张西宁. 现代信号处理及工程应用[M]. 西安: 西安交通大学出版社, 2007: 195-200.
HE Zheng-jia, ZI Yan-yang, ZHANG Xi-ning. Application of modern signal processing and engineering[M]. Xi’an: Xi’an Jiaotong University Press, 2007: 195-200.

[12] Vapnik V N. 统计学习理论[M]. 许建华, 张学工, 译. 北京: 电子工业出版社, 2004: 181-223.
Vapnik V N. The nature of statistical learning theory[M]. XU Jian-hua, ZHANG Xue-gong, trans. Beijing: Publishing House of Electronics Industry, 2004: 181-223.

[13] Vapnik V N. An overview of statistical learning theory[J]. IEEE Transactions on Neural Networks, 1999, 10(5).

[14] CAO Li-juan. Support vector machines experts for time series forecasting[J]. Neurocomputing, 2003, 51(4): 321-339.

[15] 李应红, 尉询楷, 刘建勋. 支持向量机的工程应用[M]. 北京: 兵器工业出版社, 2004: 30-34.
LI Ying-hong, WEI Xun-kai, LIU Jian-xun. Engineering application of support vector machines[M]. Beijing: Weapon Industry Press, 2004: 30-34.

(编辑 陈爱华)

收稿日期：2011-04-17；修回日期：2011-06-22

基金项目：国家高技术研究发展计划(“863”计划)项目(2010AA8090514-C)

通信作者：张鹏(1982-)，男，四川成都人，博士研究生，从事飞行器状态监控与健康管理研究；电话：13720584426；E-mail：zhangpeng25@gmail.com