基于模糊自适应变权重算法的函数链神经网络预测方法

罗周全，左红艳，王爽英，王益伟

(中南大学 资源与安全工程学院，湖南 长沙，410083)

摘要：为提高复杂工业系统非线性时间序列预测精度，将工业系统非线性时间序列不同的单个预测模型预测值作为函数链神经网络的原始输入值，并将原始输入值按正交的三角函数扩展得到的数值作为函数链神经网络扩展输入值，在分析函数链神经网络拟合充要条件的基础上，结合模糊自适应变权重算法计算函数链神经网络权重，建立基于模糊自适应变权重算法的函数链神经网络预测模型。研究结果表明：基于模糊自适应变权重算法的函数链神经网络预测方法的预测精度较高，并且平均误差和预测平方根误差均较小，具有较强的泛化能力；该模糊自适应变权重函数链神经网络预测模型可用于复杂非线性工业系统决策。

关键词：函数链神经网络；模糊自适应变权重算法；预测；模糊；神经网络

中图分类号：TP183；TD75         文献标志码：A         文章编号：1672-7207(2011)09-2812-07

Functional link neural network forecasting method based on fuzzy adaptive variable weight algorithm

LUO Zhou-quan, ZUO Hong-yan, WANG Shuang-ying, WANG Yi-wei

(School of Resource and Safety Engineering, Central South University, Changsha 410083, China)

Abstract: In order to enhance forecasting precision problem about nonlinear time series in complex industry system, a functional link neural network forecasting model was established based on fuzzy adaptive variable weight algorithm by using of making some forecasting values from different single forecasting models of nonlinear time series in complex industry system as original input values of functional link neural network, making the original input values as patulous input values of functional link neural network after the original input values being extended according to orthogonal trigonometric function, analyzing necessary and sufficient conditions of functional link neural network fitting and calculating the weight of functional link neural network based on fuzzy adaptive variable weight algorithm. The simulation analysis results and forecasting results of the severe harm rate in some mine reveal that the functional link neural network forecasting method based on fuzzy adaptive variable weight algorithm has higher accuracy than that of every single combined forecasting model or other forecasting model. The functional link neural network forecasting is of good extensive capability and is very useful for requirement decision in complex industry system.

Key words: functional link neural network; fuzzy adaptive variable weight algorithm; forecast; fuzzy; neural network

对于许多复杂工业系统来说，由于往往内部结构复杂，影响因素和评价指标较多，预测总是在不确定并且不稳定的环境下进行^[1-2]，信息集和处理信息能力有限等，都会导致预测模型的不确定性和预测风险。如果采用不同的单个预测模型或部分因素和指标来对其输入、输出进行模拟、预测和调控，然后按照预测精度从众多的预测方法中选择预测结果最好的单项预测方法，并非提高预测精度的好办法^[3]。不同的定性预测方法各有其优点和缺点，它们之间并不是相互排斥的，而是相互联系、相互补充的，Bates等提出的组合预测方法^[4-5]为复杂工业系统预测精度提高提供了新思路。利用组合预测方法的关键是确定单个模型的权重^[6-9]。由于不同预测方法特点存在差异及现实世界复杂多变，每种模型往往有“时好时坏”的现象，故变权组合预测成为提高精度的有效途径。在现有的成果中，变权组合预测权重的确定以观测期的观测值为基础，主要以预测误差最小或精度最大为目标求得各期权重^[6-9]。在已有的变权重确定方法中，因预测期无观测值，有些方法不能使用；即使有些方法可用，也没有将已获得的预测信息充分用于确定后期的权重。而由Pao等^[10-12]提出的函数链神经网络(Functional link neural network，FLNN )通过对原来的输入模式进行扩展增强，可在更高维空间中描述该模式，将增强后的模式作为神经网络的输入，即使在没有加入任何新的“特定”信息条件下也能增强模式的表达，从而使原来在低维空间中不可分的模式在增强的空间里获得可分性，并具较强的非线性逼近能力，因而可视为复杂工业系统预测的一种有效途径。考虑到复杂工业系统观测值需进行长时间检测或人工分析和计算得到，为减少样本获取过程中多次改变系统控制量的设定点，影响实际系统的正常运行，需要一种只需少量样本就能获得较好性能的预测方法。为此，本文作者提出一种模糊自适应变权重函数链神经网络预测方法，将模糊自适应变权重算法^[13]引入函数链神经网络，以提高函数链神经网络的泛化能力。

1  非线性模糊自适应变权重函数链神经网络预测模型

1.1  函数链神经网络结构

BP神经网络具有一定的非线性逼近能力，但存在着固有的缺陷，如：学习收敛速度慢，中间隐层节点数的选择无规律，易于陷入计算能量局部极小，因而只能用于粗略回归，难以实现精确拟合，且不易由硬件实现。而函数链神经网络通过对输入的函数扩展，将多层网络缩为单层网络，使该网络具有极强的非线性映射能力，达到了快速、高效的学习目的，避免了陷于局部最小的问题，从而成为一个应用极广的神经网络模型。

函数链神经网络具有很强的映射功能，能构造出任意复杂的连续函数。其基本思想是通过采用一组线性无关(或正交)函数将原输入样本扩展模式矢量，在维数更高的空间上对模式进行表示和区分，得到了在增强的空间里多个独立的新输入样本，将其再输入到单层前向网络。函数扩展采用模式识别的思想，在没有引入新的信息条件下，将低维模式变换到高维模式，增强了模式的表达，使原来在低维空间中的非线性问题在高维空间中得到解决。由于增加了扩展过程，函数链神经网络能实现多层感知机的功能；同时，在学习中仅为单层运算，故其收敛速度极快，且不会陷入局部最小，因此，能用于精确估计和拟合。

函数链神经网络在结构上由函数扩展和单层感知器2部分组成，分别如图1和图2所示。对函数扩展部分进行某种非线性变换，由此将每一输入分量X_k变换为一系列线性独立函数f_l(x_k)，f₂(x_k)，…，f_n(x_k)，从而将模式矢量的空间维数变为独立函数的高空间维数，这样，新的信息表述空间被扩展，使单层网络具有了分辨复杂对象的能力。

图1  函数链神经网络函数扩展

Fig.1  Functional extending of functional link neural network

图2  单层感知器

Fig.2  Single-layer perception

1.2  函数链神经网络预测模型建立

对于复杂工业过程非线性时间序列X=(x₁, x₂, …, x_m)所组成的m维相空间的预测问题，设有K(K＞2)种常规预测方法f₁(x_i), …, f_j(x_i), …, f_K(x_i)(i=1, 2, …, m; j=1, 2, …, K)作为如图3所示的函数链神经网络的K个原始输入u₁=f₁(x_i), …, u_i= f_i(x_i), …, u_K= f_K(x_i)，经函数扩展后可得到一系列的扩展输入值，其综合结果是形成实际的函数链神经网络输入v_m(m=1, 2, …, K+N)。从均方值的意义考虑，可采用比其他正交基函数位函数逼近简洁的正交三角函数来完成函数展开。

图3  函数链神经网络预测模型

Fig.3  Forecasting model of functional link neural network

对于一个事先定义好的函数展开阶次S，这个神经元的实际输入v为：{u_k，{cos (sπu_k)，sin (sπu_k)}}(其中：k=1, 2, …, K; s=1, 2, …, S)。通过这种方式，将增加N=2×S×K辅助输入。单神经元的激活函数为Sigmoid函数，则函数链神经网络的输出Y可表示为：

Y=1/(1+e^-z)                 (1)

式中：z=θ₀+y，θ₀为神经元的阈值；

                (2)

式中：v_m为原始各个输入u_n经过函数展开式{u_k,   {cos (sπu_k), sin (sπu_k)}}而获得。

1.3  函数链神经网络拟合充要条件

设K个原始输入u_i(i=1, …, K)经函数扩展后有N+K个分量：v_1i, v_2i, …, v_(N+K)i，以及N+K+1个权分量：w₀, w₁, …, w_(N+K)。

根据函数链神经网络输出Y=1/(1+e^-z)，欲使Y_i=x_i，则z_i=ln[x_i/(1-x_i)]，x_i与z_i呈一一对应关系。而∑w_i·v_i-θ=z_i，令w₀=-θ，则w₀+∑w_i·v_ii=z_i。

对于复杂工业过程非线性时间序列X=(x₁, x₂, …, x_m)，有：

      (3)

从而，使网络输出Y=[Y₁, Y₂, …, Y_m]拟合非线性时间序列X=[x₁, x₂, …, x_m]的问题就变成求解权系数W=[w₀, w₁, …, w_(N+K)]的问题。

(1) 若N+K+1=m，即扩展函数的个数N+K加1与输入样本个数m相等，这时，由于扩展函数均选为正交或线性无关的函数，所以，X=[x]_(N+K)K阵是正定的，X≠0，则W=X^-1Z有唯一封闭解。

(2) 若N+K+1＞m，则可将X矩阵分块，得到分块阵X_B，其维数为m×m，X_B≠0。令w_m+1=w_m+2=…= w_N+K=0，则W=X_B^-1?Z。若不对X进行分块，则W有无穷多解。

(3) 若N+K+1＜m，则式(1)无精确封闭解。

因此，只要在扩展函数集中使用足够多的附加正交函数，使N+K+1≥m，则FLNN就能由单层网络解决非线性估计和拟合问题。此外，网络采用具有平滑特性的函数Y=1/(1+e^-z)输出，有利于插值点之间的光滑过渡。

1.4  模糊自适应变权重算法

以上分析表明，在函数链神经网络预测模型中，关键是确定函数链神经网络预测模型的权系数，从而真正达到综合不同预测方法的信息，提高预测精度的目的。为此，设函数链神经网络经函数扩展后在i时刻第j个输入值的相对误差e_j(i)以及预测对象在i时刻的实际值x_i相对于前t个时刻的实际值的算术平均值的变化量c_j(i)，由式(4)可以确定：

                (4)

           (5)

式中：j=0, 2, …, N+K；i＝1, 2, …, t；t为一确定值，由具体预测对象决定；f_j(i)为函数链神经网络经函数扩展开后在i时刻第j个输入值的预测值。

1.4.1  模糊运算器

函数链神经网络经函数扩展开后在i时刻第j个输入值的相对误差e_j(i)(j=1, 2, …, N+K；i＝1, 2, …, t)的模糊化过程为^[13]：先把e_j(i)的变化范围统一设为[-1，1]，将连续论域[-1，1]划分为若干段，每一段对应一个离散点，由此得到e_j(i)的离散论域U。并用A表示相对误差的语义变量，令其在离散论域U上取5个语义值，如表1所示。

在实际情况中，由于函数链神经网络经函数扩展后的输入值在i时刻的实际值相对于前t个时刻的实际值的变化量c_j(i)的变化范围不在连续论域[-1, 1]之间，而在[-M, M]之间( M为正整数，其取值由具体问题确定)，则可通过下列变换式(3)将在[-M, M]之间变化的变量c_j(i)转化为连续论域[-1, 1]之间的变量c_j(i)。

           (6)

表1  相对误差离散论域上对应的语义值

Table 1  Corresponding semantic value in relative errors’ discrete region

此外，归一化前的函数链神经网络经函数扩展后输入值的权重l_j (i)的变化范围为[0, 1]，故只要在l_j (i)所对应的连续论域上进行相应的离散化，得出离散论域上的相应语义值即可。

令E 为函数链神经网络经函数扩展后i时刻第j种输入值偏离真实值的大小，C 为函数链神经网络经函数扩展后i时刻第j种输入值偏离或趋向于真实值的程度，K_ij为函数链神经网络经函数扩展后i时刻第j种输入值的模糊权重，根据事先制定的控制规则(若E= e_j(i)和C= c_j^/(i)，则K_ij= k′_j (i))，这样就设计了一个双输入(e_j(i)和c′_j(i))单输出(K_ij)的模糊运算器，然后，在对输出的模糊权重K_ij进行模糊判决，将其转化为精确权重k′_j(i)，最后进行归一化处理，得到在函数链神经网络经函数扩展开后i时刻第j种输入值的模糊权重为：

             (7)

1.4.2  模糊变权重组合方法

若用i时刻前t个时期实际值x(i-t)，x(i-t+1)，…，x(i-1)来预测i时刻的值x(i)，则函数链神经网络经函数扩展开后i时刻第j个输入值的误差e_j(i)以及预测对象在i时刻的实际值相对于前t个时刻的实际值的变化量c′_j(i)、相对于t时刻的实际值的灰色基本权重p[e_j(i)]和q[e_j(i)]分别为^[11]：

           (8)

           (9)

式中：；；δ为灰色关联度分辨系数，此处取δ=0.5； ；。

则函数链神经网络经函数扩展开后第j个输入值的基本权重l_j(i)由下式确定：

      (10)

式中：β_i为自适应调节系数，0＜β_i＜1。

自适应调节系数β_i采用如下方法进行自适应确定：

              (11)

式中：G为一正数，一般按式(12)取得。

           (12)

式中：ε=p[e_j(i)]/q[e_j(i)]。

因此，进行归一化处理，可得函数链神经网络经函数扩展开后在i时刻第j个输入值的模糊自适应权重为：

            (13)

式(13)刻画了函数链神经网络经函数扩展后各种输入值在某时刻前一段时期内全面的、平均的预测效果对加权系数的影响，它使得函数链神经网络经函数扩展后各种输入值的权重分配更合理，大大提高了预测精度。

求得归一化后的函数链神经网络经函数扩展开后各种输入值的权重w_j (i)后，利用f_j(i)，就可以对i时刻作出预测，i时刻的预测值由下式决定：

           (14)

式中：j=0, 2, …, N+K；i＝1, 2, …。

2  基于模糊自适应变权重算法的函数链神经网络预测方法仿真分析

以三维非线性函数为例，采用本文方法进行仿真分析。使输入z₁，z₂和z₃的取值区间均为[0, 5]，在此区间内产生90个数据对，其中40个用作训练数据对，50个用作测试数    据对。

2.1  函数链神经网络拟合充要条件分析

选用灰色系统预测方法(用F₁表示)、指数回归预测方法(用F₂表示)和指数平滑预测方法(用F₃表示)分别对40个训练数据进行预测，则有3个原始输入，设函数展开阶次S=7，则辅助输入量的数目N=2×S×K=2×7×3=42，故经函数扩展后有49个输入分量以及50个权向量。

由于N+K+1=50＞40，则可有无穷多解，满足函数链神经网络拟合充要条件。

2.2  预测结果分析

基于40组训练数据对，采用本文方法经约12 min训练后，总体误差为0.000 868，较容易达到期望输出，其训练效果与预测效果分别如图4和图5所示。从图4和图5可见：采用本文方法所得输出无论在精度上，还是泛化能力上都有很大提高。

图4  本文方法计算值与实际值比较

Fig.4  Comparison of calculating values of forecasting method with factual values

图5  本文方法预测值与实际值比较

Fig.5  Comparison of forecasting values of forecasting method with factual values

3  基于模糊自适应变权重算法的函数链神经网络预测方法应用实例

根据如表2所示的某矿山1998—2009年的千人重伤率为基础数据，对该矿山的重伤千人率进行预测。

3.1  函数链神经网络拟合充要条件分析

选用灰色系统预测方法(F₁)、指数回归预测方法(F₂)和指数平滑预测方法(F₃)分别对表2所示的某矿山1998—2007年的千人重伤率为基础数据进行预测，则有3个原始输入u₁，u₂和u₃。设函数展开阶次S=2，则辅助输入量的数目N=2×S×K=2×2×3=12，故经函数扩展后有15个输入分量以及16个权向量。

某矿山1998—2007年的千人重伤率时间序列X=[x₁, x₂, …, x₁₀]的预测问题就变成求解权系数W= [w₀, w₁, …, w₁₅]的问题。

由于N+K+1=16＞10，故可将X矩阵分块，得到分块阵X_B，其维数为10×10，X_B≠0。令w₁₁=w₁₂=…= w₁₅=0，则W=X_B^-1?Z。可见某矿山1998—2007年的千人重伤率时间序列X=[x₁, x₂, …, x₁₀]能由单层网络解决非线性估计和拟合问题。

表2  某矿山千人重伤率数据

Table 2  Severe harm rate for 1000 men in some mine datum

3.2  预测结果分析

将灰色系统预测方法、指数回归预测方法、指数平滑预测方法的单个预测结果作为函数链神经网络预测模型的原始输入，经函数扩展后，采用模糊自适应变权重组合方法(用F₆表示)来进行组合预测，其预测结果与文献[14]中方法(用F₄表示)、文献[15]中方法(用F₅表示)的预测结果进行对比。各种预测结果误差情况如图6所示。

图6  某矿山千人重伤率历史数据与预测值比较

Fig.6  History datum of severe harm rate for 1 000 men datum in comparison with other forecasting values in some mine

从图6可以看出：指数回归预测方法(F₂)、指数平滑预测方法(F₃)的单个预测误差较大，且指数平滑预测方法(F₃)的单个预测误差尤其明显，灰色系统预测方法(F₁)对于短期预测而言，其预测误差较小，但其预测误差随着预测步长的增加而显著增加。

采用文献[14]中方法(F₄)、文献[15]中方法(F₅)和本文提出的预测模型所得预测精度都较高，均能满足非线性的预测要求，可解决由于系统状态安全指标数量随机变动而造成的预测困难，但本文提出的预测模型的预测平均误差(E_M)和预测平方根S误差均较小，如表3所示。

表3  本文预测方法与其他预测方法的误差比较

Table 3  Error of forecasting method in this paper in comparison with those of other forecasting methods

4  结论

(1) 将工业系统非线性时间序列不同的单个预测模型的预测值作为函数链神经网络的原始输入值，并将原始输入值按正交的三角函数扩展得到的数值作为函数链神经网络扩展输入值，在分析函数链神经网络拟合充要条件的基础上，建立了函数链神经网络预测模型；结合模糊自适应变权重算法计算函数链神经网络权重，提出了基于模糊自适应变权重算法的函数链神经网络预测方法。应用结果表明：该预测模型克服了单一预测模型的缺点，能满足非线性的预测要求，并具有较高的预测精度和较强的泛化能力。

(2) 基于模糊自适应变权重算法的函数链神经网络预测方法建模数据少，计算简便，预测结果精度较高，方法简便，易于实际应用，具有广泛的适用性，为复杂工业过程非线性时间序列更为合理、准确的预测提供了新思路。

参考文献：

[1] 程卫民, 苏绍桂, 辛嵩. 系统安全性预测模型与系统的建立[J]. 辽宁工程技术大学学报, 2003, 22(4): 533-535.

CHENG Wei-min, SU Shao-gui, XIN Song. System safety forecast models and forecast system[J]. Journal of Liaoning Technical University, 2003, 22(4): 533-535.

[2] 曾康生, 胡乃联. 煤矿系统安全预测模型与组合预测[J]. 煤炭学报, 2008, 33(10): 1122-1125.
ZENG Kang-sheng, HU Nai-lian. Model of system safety forecasting and combination forecasting[J]. Journal of China Coal Society, 2008, 33(10): 1122-1125.

[3] 刘素兵. 组合预测模型的构建及其应用[D]. 西安: 西安理工大学理学院, 2008: 11-20.
LIU Su-bing. The establishment and application of combination forecasting model[D]. Xi’an: Xi’an University of Science and Technology. College of Science, 2008: 11-20.

[4] Bates J M, Granger C W J. Combination of forecasts[J]. Operations Research Quarterly, 1969, 20(4): 451-468.

[5] Aksu C, Gunter S I. An empirical analysis of the accuracy of SA, OLS, ERLS and NRLS combination forecasts[J]. International Journal of Forecasting, 1992, 8(1): 27-43.

[6] Harvey N, Harries C. Effects of judges’ forecasting on their later combination of forecasts for the same outcomes[J]. International Journal of Forecasting, 2004, 20(3): 391-409.

[7] Palit A K, Popovic D. Nonlinear combination of forecasts using artificial neural network[C]//Proceedings of 2000 the Ninth IEEE International Conference on Fuzzy Systems. San Antonio: The IEEE Neural Networks Council, 2000: 566-571.

[8] ZOU Hui, YANG Yu-hong. Combining time series models for forecasting[J]. International Journal of Forecasting, 2004, 20(1): 69-84.

[9] Tang X W, Zhou Z F, Shi Y. The variable weighted functions of combined forecasting[J]. Computers & Mathematics with Application, 2003, 45(4/5): 723-730.

[10] CHEN Yu, ZHANG Qi-sen. Application of functional-link neural network in evaluation of sublayer suspension based on FWD test[J]. Journal of Central South University of Technology, 2004, 11(2): 225-228.

[11] 鄂加强, 张华美, 龚金科, 等. 基于函数链神经网络的管道煤气流量计量系统[J]. 中南大学学报: 自然科学版, 2006, 37(5): 976-980.

E Jia-qiang, ZHANG Hua-mei, GONG Jin-ke, et al. Measurement system for gas flux in pipeline based on function chain neural network[J]. Journal of Central South University: Science and Technology, 2006, 37(5): 976-980.

[12] 胡力耘, 谷强, 卢杰持. 函数链神经网络在火箭大喷管加工中的应用[J]. 大连理工大学学报, 1997, 37(4): 443-446.

HU Li-yun, GU Qiang, LU Jie-chi. Application of functional-link neural networks to machining rocket jet[J]. Journal of Dalian University of Technology, 1997, 37(4): 443-446.

[13] 鄂加强, 王耀南, 龚金科, 等. 一种新的非线性模糊自适应变权重组合预测模型[J]. 模糊系统与数学, 2006, 20(4): 123-127.
E Jia-qiang, WANG Yao-nan, GONG Jin-ke, et al. A new nonlinear combined forecasting model based on method of fuzzy adaptive variable weight[J]. Fuzzy Systems and Mathematics, 2006, 20(4): 123-127.

[14] Tsekouras G J, Dialynas E N, Hatziargyriou N D, et al. A non-linear multivariable regression model for midterm energy forecasting of power systems[J]. Electric Power Systems Research, 2007, 77(12): 1560-1568.

[15] Hillel B G, David B. Solving a non-convex combined travel forecasting model by the method of successive averages with constant step sizes[J]. Transportation Research Part B: Methodological, 2006, 40(5): 351-367.

(编辑 陈灿华)

收稿日期：2010-09-28；修回日期：2010-12-01

基金项目：国家“十一五”科技支撑计划项目(2007BAK22B04-12，2006BAB02B05-01-02-01)

通信作者：左红艳(1975-)，女，湖南湘潭人，博士研究生，从事安全管理管理非线性研究；电话：15084931748；E-mail: zuohongyan18@126.com