基于一类模糊神经网络的控制图模式识别方法

徐文，李宏光

(北京化工大学 信息科学与技术学院，北京，100029)

摘要：针对控制图模式识别，提出将控制图判别准则转换为符号化模糊规则，指导模糊神经网络的建模及初始化过程。建立一类融合先验知识的模糊神经网络，给出网络结构设计方法和网络学习算法，对于青霉素发酵过程进行实例研究。研究结果表明：所提出方法的模糊神经网络比传统方法的BP神经网络具有更简单的网络结构、更合理的参数初值，能够获得更准确的控制图模式识别率，具有广阔的应用前景。

关键词：控制图模式识别；模糊神经网络；判别准则；模糊规则

中图分类号：TP273          文献标志码：A         文章编号：1672-7207(2011)S1-0041-07

Control chart pattern recognition: A fuzzy neural network approach

XU Wen, LI Hong-guang

(College of Information Science and Technology, Beijing University of Chemical Technology, Beijing 100029, China)

Abstract: In regard to control chart pattern recognition, a novel method to convert control chart discriminant criterions is proposed to symbolized fuzzy rules, which help guide to model and initialize a specific fuzzy neural network. Therein, a fuzzy neural network able to combine prior knowledge is explicitly introduced, along with approaches to structure design and training algorithms. Case studies are carried out on a simulation platform concerning penicillin fermentation, leading to satisfying results. The results show that the proposed fuzzy neural networks enjoy simpler structures and more adaptable initial parameters compared to BP networks, which contributes to recognizing control chart patterns accurately as well as expecting more promising applications.

Key words: control chart pattern recognition; fuzzy neural networks; discriminant criterions; fuzzy rules

控制图是统计过程控制中最常用的一种监控分析和故障诊断工具，控制图模式识别通过识别控制图数据点的特征分布判断过程状态，从而有效地指导工业生产的稳定运行。早期的控制图模式识别方法主要是依靠专家系统技术，如Lucy-Bouler^[1]的连串法则专家系统以及Swift等^[2]提出的多种相应的知识库设计方法，却仍未能解决对相似模式的误识别问题。之后，神经网络由于其强大的自组织和学习能力，成为了处理控制图模式识别问题的有效方法，如Guh等^[3-4]提出了神经网络检测分析模型，El-Midany等^[5]提出了基于神经网络的多元模式识别方法，郑中玉等^[6]对复合神经网络识别模型进行了相应研究。然而，基于神经网络的控制图模式识别技术普遍存在对网络的结构过于敏感以及对新数据的适应性不佳等问题。此外，神经网络的内部过程难于表达、透明度差也是影响控制图模式识别准确率的主要问题。由于模糊逻辑和神经网络特点的互补优势，两者结合形成的模糊神经网络近年来倍受关注^[7-8]。由于模糊逻辑的加入，使神经网络工作机制可表达且更逼近人脑这一最佳识别器，对不确定性的真实数据具有更好适应性。如Kim等^[9]提出了HyFIS系统，Meng等^[10]给出了广义模糊神经网络模型等，这些系统在非线性动态系统预测、机器人控制等领域获得了满意性能。此外，Huang等^[11-12]针对神经网络的知识提取问题进行了相关研究。在此，本文作者以1个5层前馈神经网络结构^[13]为原型，将控制图经验判别准则转换为模糊规则，指导模糊神经网络的建模及初始化过程，形成一类融合先验知识的模糊神经网络。它具有收敛速度快、识别率高以及泛化能力强的特点，能够更好地适应控制图模式识别问题的处理。

1  过程控制模式及其判别准则

在过程控制领域，控制图的模式反映了控制图数据点排列的特征，图1所示为过程控制中常见的8类控制图模式。

在统计分析和专家经验等知识基础上可以形成对于控制图的判别准则，包括判稳准则(准则0₁和0₂)和判异准则(准则1，2和3)。其中：判稳准则认为当大多数点在控制限内且呈现随机性排列时过程处于稳态，判异准则是对于数据点的排列规律判别，如表1所示(其中，r和s是根据生产过程的实际需要而设定的具体参数)。

表1  控制图判别规则

Table 1  Discriminant criterions for control chart patterns

图1  基本控制图模式

Fig.1  Typical patterns in control charts

针对图1给出的控制图基本模式，结合表1中的判别规则，整理得到控制图模式判别的模糊规则，如表2所示。其中：Mi表示点i在中心线附近(middle)；S_i表示点位于中心线下侧(small)；L_i表示点位于中心线上侧(large)；逗号运算符表示“且”，即模糊规则中的积运算。

表2  控制图判别模糊规则

Table 2  Discriminant fuzzy rules for control chart patterns

2  一类模糊神经网络的构造

2.1  网络结构

以1个具有5层前馈结构的RBF神经网络为原型，通过基于控制图判别准则的模糊规则，确定网络模型结构和参数初始化过程，由此构造融合先验知识的模糊神经网络HyIntNet(Hybrid intelligent network)，网络结构描述为HyIntNet(r-r×u-u-q)，如图2所示。其中：第1层为输入层，用于接收并传递控制模式；第2层为模糊语义层，计算各个控制点的单点隶属度；第3层为特征激活层，以RBF神经元为单位完成单点隶属度的特征加权；第4层为比例量化层，对加权后的特征进行比例量化处理；第5层为输出层，给出线性加权后的识别结果。

2.2  网络设计

基于控制图模式判别模糊准则，可以确定HyIntNet的输入神经元P=(p₁, p₂, …, p_r)^T(其中，r为输入神经元的个数)。网络的输出是待识别的控制图模式，为Y=(y₁, y₂, …, y_q)^T(其中，q为模式类型数)。HyIntNet特征激活层的每个RBF神经元代表一类输出模式，即u=q(其中，u为特征激活层神经元个数)。于是，网络的第2层由r×u个高斯核神经元组成，每个输入p_i对应u个高斯神经元，这u个高斯核函数分别对应一类待识别模式，第i个输入对第j类模式的单点隶属度为：

；

i=1, 2, …, r; j=1, 2, …, u        (1)

图2  HyIntNet结构

Fig.2  Structure of HyIntNet

另外，对应同一类模式的r个高斯神经元，将输入空间划分为与控制图判别准则中Middle，Small和Large相似的若干模糊子区域，高斯中心即表征这些模糊子空间的中心，而这r个高斯神经元的整体分布曲线则体现了该类模式的加权特征，高斯函数的可分解性即相当于模糊规则中的积操作，实现基于控制图判别准则的IF-前件与网络输入的对应，将这些规则转化为由高斯中心描述的可被机器理解并学习的模糊规则，形式如：

IF {p₁ is near c_1j} AND … AND {p_i is near c_ij} AND … AND {p_r is near c_rj}

特征激活层实现对同类模式单点隶属度的特征加权，从而得到输入对各类模式的特征激活度z_j(j=1, 2, …, u)，并找出具有最大特征激活度的神经元RBF_j，再经过比例量化层处理后在输出层给出最终的识别结果，同时形成规则的THEN-后件。因此，由HyIntNet得到完整的模糊规则，形式如：

IF {p₁ is near c_1j} AND … AND {p_i is near c_ij} AND … AND {p_r is near c_rj}

THEN P is y _l (Type l) l=j

在构建HyIntNet模糊神经网络过程中，属于相同模式的高斯函数形成了该模式的特征激活函数分布曲线，通过观察分布曲线能够更加直观并清晰地掌握网络针对不同模式的输入空间划分情况，帮助理解模式识别过程。

综上所述，HyIntNet的模糊语义层与特征加权层之间通过先逐点扩展再对应加权的方式进行连接，这样不仅摆脱了传统BP神经网络的全连接结构，减少了结构和计算复杂度，也无需像典型FIS系统那样通过学习和修减技术动态确定规则数量，有效避免了可能出现的知识爆炸现象。

2.3  参数初始化及学习算法

HyIntNet包括3类参数的学习：输出连接权值W、高斯中心C以及高斯宽度D。学习过程由初始化和迭代更新2个步骤组成。由于高斯核函数的中心即为表1中各规则划分的模糊子区域中心，因此，可用各模式类的训练样本均值直接对其进行初始化，即：

；

 i=1, 2, …, r; j=l; l=1, 2, …, q       (2)

HyIntNet模式识别的本质是对输入的各个单点隶属度按模式类特征进行加权再权重输出。因此，通过样本均值方法初始化得到的高斯中心更加合理，不需要太多学习即可达到最优值。在确定高斯中心的基础上，高斯宽度可按照式(2)进行初始化：

；

i=1, 2, …, r; j=l; l=1, 2, …, q      (3)

其中：d_f为宽度调节系数(取值小于1)；n^l为各模式类对应的训练样本总数。最后，采用随机方法初始化连接权值W。基于Monte-Carlo方法产生仿真数据(r=10)，通过上述方法初始化得到HyIntNet激活函数分布曲线如图3所示。

在HyIntNet中，第n组输入样本对应的输出误差为：

；n=1, 2, …, N       (4)

这里选择Eⁿ作为网络的性能评价函数，采用增量修正形式的最小梯度下降法调整参数，通过学习来自适应调节到最优值，更新公式分别为：

 (5)

  (6)

 (7)

3  实例研究

图4所示是1个青霉素发酵过程仿真平台Pensim^[14-15]，在此应用所提出的控制图模式识别方法。以搅拌功率为例，在正常初始条件下，反应时间为400 h，采样时间为0.02 h，搅拌功率设定值为30 W(允许在20~50 W间变化)，其状态曲线如图5(a)所示。加入幅度为设定值±20%的阶跃干扰后，其状态曲线分别如图5(b)和图5(c)所示。

图3  控制模式的特征激活函数分布曲线

Fig.3  Membership functions of control chart patterns

图4  青霉素发酵过程

Fig.4  Schematic of penicillin

图5  青霉素发酵过程的搅拌功率状态曲线

Fig.5  Profiles of agitator power over penicillin process

以识别正常、正向阶跃和负向阶跃3类模式为例，进行模糊神经网络的设计。基于表2中的R₀~R₂，可得到HyIntNet网络结构为(10-10×3-3-3)，训练误差曲线如图6(a)所示，训练步长epochs=7。在相同条件下，传统BP神经网络(24-20-3)的训练误差曲线如图6(b)所示，训练步长epochs=13。对比训练误差曲线可知，HyIntNet具有更小的训练误差起点(10^-1附近)，且训练过程更快速。这表明HyIntNet初始化得到的参数比传统BP神经网络更加接近最优值，能够实现快速收敛。

图6  识别网络训练误差曲线

Fig.6  Error curves of network training

另外，在结构复杂度及神经元消耗方面，由于基于先验知识的模糊规则对模型结构进行有效指导，使HyIntNet摆脱神经元间的复杂全连接，结构复杂度显著降低，尽管是5层结构，其神经元总量仍比仅有3层结构的BP神经网络的少。此外，在与训练样本幅值相同的阶跃干扰测试下，已训练的HyIntNet和BP神经网络都得到了正确的识别结果。但是，当干扰的阶跃值提高到设定值的±40%时，BP神经网络的识别性能明显下降，甚至无法正确识别某些模式，而同等条件下HyIntNet的识别性能则无明显变化。也就是说，与传统BP神经网络相比，加入模糊逻辑的HyIntNet识别网络对新数据表现出更好的适应性。

4  结论

(1) 提出了将控制图判别准则符号化为模糊规则，并给出了基于这些先验知识构建一类模糊神经网络的具体方法，在其指导下获得了更合理的参数初值，有效简化了识别网络的结构及计算复杂度，实现了快速训练和识别。

(2) 模糊规则的引入使模糊神经网络对新数据具有良好的适应性，而网络给出的模式特征激活函数分布曲线，形象地描述了其运作机制，提高了模式识别过程的透明度。对青霉素发酵过程中搅拌功率的3类模式进行了仿真测试，获得了良好的结果。

(3) 扩展模糊神经网络对具有不同特性的过程进行控制图模式识别的方法和实现技术有待进一步研究。

参考文献：

[1] Lucy-Bouler T L. Using autocorrelations, CUSUMs and runs rules for control chart pattern recognition: An expert system approach[D]. USA: University of Alabama, 1991.

[2] Swift J A, Mize J H. Out-of-control pattern recognition and analysis for quality control charts using Lisp-based systems[J]. Computers and Industrial Engineering, 1995, 28: 81-91.

[3] Guh R S, Zorriassatine F, Tannock J D T. On-line control chart pattern detection and discrimination-a neural network approach[J]. Artificial Intelligence in Engineering. 1999, 13: 413-425.

[4] Guh R S. A hybrid learning-based model for on-line detection and analysis of control chart patterns[J]. Computers & Industrial Engineering, 2005, 49: 35-62.

[5] El-Midany T T, El-Baz M A, Abd-Elwahed M S. A proposed framework for control chart pattern recognition in multivariate process using artificial neural networks[J]. Expert Systems with Applications, 2010, 37(2): 1035-1042.

[6] 郑中玉, 白雪, 李宏光. 基于神经网络的几种控制图表模式的识别研究[J]. 贵州工业大学学报: 自然科学版, 2008, 37(1): 63-67.
ZHENG Zhong-yu, BAI Xue, LI Hong-guang. Research on several pattern recognitions for control chart based on neural network[J]. Journal of Guizhou University of Technology: Natural Science Edition, 2008, 37(1): 63-67.

[7] 刘良江, 侯拥和. 模糊神经网络技术的发展与应用[J]. 矿冶工程, 2002, 22(1): 66-68.
LIU Liang-jiang, HOU Yong-he. Process and application in fuzzy neural network technology[J]. Mining and Metallurgical Engineering, 2002, 22(1): 66-68.

[8] Sushmita M, Sankar K P. Fuzzy sets in pattern recognition and machine intelligence[J]. Fuzzy Sets and Systems, 2005, 156: 381-386.

[9] Kim J, Kasabov N. HyFIS: Adaptive neuro-fuzzy inference systems and their application to nonlinear dynamical systems[J]. Neural Networks, 1999, 12: 1301-1319.

[10] Meng J E, ZHOU Yi. A novel framework for automatic generation of fuzzy neural networks[J]. Neurocomputing, 2008, 71: 584-591.

[11] Huang S H, HAO Xing. Extract intelligible and concise fuzzy rules from neural networks[J]. Fuzzy Sets and Systems, 2002, 132: 233-243.

[12] Kolman E, Margaliot M. Extracting symbolic knowledge from recurrent neural networks: A fuzzy logic approach[J]. Fuzzy Sets and Systems, 2009, 160: 145-161.

[13] 伍世虔, 徐军. 动态模糊神经网络: 设计与应用[M]. 北京: 清华大学出版社, 2008: 27-28.
WU Shi-qian, XU Jun. Fuzzy neural network: Design and application[M]. Beijing: Tsinghua University Press, 2008: 27-28.

[14] Gulnur B, Cenk U, Ali C. A modular simulation package for fed-batch fermentation: penicillin production[J]. Computers and Chemical Engineering, 2002, 26(11): 1553-1565.

[15] 刘毅, 王海清. Pensim仿真平台在青霉素发酵过程的应用研究[J]. 系统仿真学报, 2006, 18(12): 3524-3527.
LIU Yi, WANG Hai-qing. Pensim simulator and its application in penicillin fermentation process[J]. Journal of System Simulation, 2006, 18(12): 3524-3527.

(编辑 陈灿华)

收稿日期：2011-04-15；修回日期：2011-06-15

通信作者：李宏光(1963-)，男，辽宁人，博士，教授，从事智能控制研究；电话：010-64434797；E-mail: lihg@mail.buct.edu.cn