基于灰关联规则的回转窑火焰图像检索方法

张红亮¹，李  劼¹，陈湘涛²，邹  忠¹

(1. 中南大学 冶金科学与工程学院，湖南 长沙，410083；

2. 中南大学 信息科学与工程学院，湖南 长沙，410083)

摘  要：将数据挖掘中的灰关联分析引入基于内容的图像检索中，提出一种基于灰关联度的回转窑火焰图像的检索方法。通过分析火焰图像特征值，并结合生产运行数据挖掘得到关联规则；应用灰关联度作为加权因子计算被检索图像与数据库中图像的相似度，从而得到一系列相近检索结果；根据用户的相关反馈，查询得到更优结果；设计和实现了检索系统的原型机，并应用从某氧化铝厂采集的图像和生产数据进行图像检索实验。实验结果表明：该方法能够较快而有效地从图像数据库中检索得到较满意的结果。

关键词：回转窑；火焰图像；基于内容的图像检索；灰关联度；相似度

中图分类号：TP391       文献标识码：A         文章编号：1672-7207(2008)05-0881-06

Gray association rule based on rotary kiln flame image retrieval

ZHANG Hong-liang¹, LI Jie¹, CHEN Xiang-tao², ZOU Zhong¹

(1. School of Metallurgical Science and Engineering, Central South University, Changsha 410083, China;

2. School of Information Science and Engineering, Central South University, Changsha 410083, China)

Abstract: The association analysis of data mining was introduced into the content based image retrieval (CBIR), and a novel CBIR method was put forward. The features of the flame image were analyzed, from which the gray association rules were mined; the similarities between the queried images and the images in database were calculated based on the weight factors that were derived from the gray association rules, and as a consequence, several relevant flame images were retrieved; through the user’s relevance feedbacks, the final optimal results were achieved. A prototype machine was designed, and the image retrieval experiments were carried out based on the images and production data sampled from an alumina plant. The results show that the proposed method can achieve the satisfactory results efficiently and promptly.

Key words: rotary kiln; flame image; content based image retrieval; gray association rule; similarity

近年来，随着回转窑自动控制水平、计算机软硬件及数字图像处理技术的不断发展，在回转窑生产中计算机看火正在逐渐取代或辅助人工看火。这样，会产生海量的数字火焰图像数据，如何有效地检索和应用这些图像则成为一个重要的研究课题。

基于内容的图像检索(Content based image retrieval, CBIR)是对描述图像的各种底层特征进行检索，通过计算这些特征值相似性，返回近似的结果。目前，该课题已经成为一个研究热点，在医学图像数据检索领域^[1-4]、人脸数据库领域^[5]、交通工具数据库领域以及其他众多的图像数据库领域^[6]中获得广泛应用并取得了较好效果。在CBIR中，相似度计算为最重要的步骤之一。而目前大部分是应用特征向量的欧氏距离或Manhattan距离作为相似度量度。该方法尽管简单实用，但没有考虑各特征值相对于相似度的贡献，因此，所计算的相似度不能完全与实际情况相符。由于我国回转窑工业水平所限，这些研究在回转窑火焰图像数据库领域开展得很少。在此，本文作者针对图像检索过程中相似度计算的不足，应用灰关联规则改进相似度量度，并以回转窑火焰图像为对象，提出一种基于灰关联度的火焰图像的检索方法，实现系统原理机。通过对实际采集的图像数据和生产数据进行实验，验证本文所提出方法的有效性。

1  火焰图像特征值提取

用来描述图像的特征值，是通过图像处理技术结合其他学科的相关知识进行计算得到的结果。本文中，选取的特征值包括纹理特征、火焰及物料特征。其中，被检索图像的特征为实时计算，而数据库中图像的特征则为建库时候预处理得到，并存入特征数据库中。

1.1  纹理特征

尽管纹理没有正式定义，但在直观上，这种描述提供了对诸如平滑度、粗糙度和规律性等特性的量度。在图像处理中用于描述区域纹理的3种主要方法是统计方法、结构化方法和频谱方法^[7]。本文应用统计方法，即应用灰度共生矩阵^[8-10] (Gray level co-occurrence matrix, GLCM)计算4个图像纹理的二次统计量，即以下4个特征值：熵(Entropy)、能量(Energy)、反差分矩(Inverse differential moment)和对比度(Contrast)。

1.2  火焰及物料特征

火焰的特征主要包括灰度和形状。灰度是火焰的颜色特征，主要反映火焰燃烧温度等信息，而形状则是火焰燃烧状况信息。回转窑物料是回转窑中烧结的对象，其状态直接关系烧结的效果，因此，也是火焰图像中的重要目标之一。本文所用到的物料特征包括物料区灰度均值和物料高度，即以下5个特征值：火焰区的灰度均值、火焰的长度、物料区灰度均值、物料高度和火焰图像整体灰度均值。

2  基于灰关联度的相似度计算与相关反馈

通过计算被检索图像的特征矩阵F_q与数据库中任意图像相对应的特征矩阵F_DB[j]，来比较2幅图像的相似度。但由于每个特征所表示的意义不一样，其幅度差别也可能较大，因此，在进行比较之前，需要对特征进行归一化。

2.1  灰关联度概念

在回转窑控制系统中包含多种因素，其共同作用的结果决定了窑的发展态势。而在这些因素中有一些是主要因素，有一些是次要因素，它们对窑的状态的影响各不相同。

根据灰色系统的理论^[13-14]，从广义上讲，任何客观事物的发展过程都是时间的函数，灰色关联分析是根据序列曲线几何形状的相似程度来判断其联系紧密程度。为此，在回转窑系统中，将其中的某个重要的参数作为主要参数，考察其他非主要参数与这个参数的关系，从而可判断非主要参数的重要性。下面给出灰关联度的定义。

定义1(灰关联度)  设在事物拓扑空间中的系统行为序列为：

，

，

。

其中：X₀是关于时间⊕的主属性序列；X₁~X_m是关于时间⊕的非主属性序列；时间⊕为属性集中需考察的某一给定的时间区间，序列中n的取值由⊕确定。令

则γ(X₀, X_i)满足灰色四公理，即为X_i相对于X₀的灰色关联度。

2.2  基于灰关联度的相似度计算

令数据库中共有N副火焰图像，则所有图像的  第i个单特征元可构成N维序列 ，可得到其最大值和最小值：F_MAX和F_MIN，根据下式便可将该特征元归一化为[0, 1]分布的序列。

。              (3)

令已归一化后被检索图像的特征矩阵F_q和数据库中第j幅图像对应的特征矩阵F_DB[j]分别如下：

，

。     (4)

其中：M为特征元的数目，本文中取9个特征用于图像检索，故M=9。则对于传统CBIR方法，其相似度S(F_q, F_DB[j])可用以下欧氏距离来表示：

S(F_q, F_j)越小，表明两幅图像越相似，查询得到的结果按照相似度的大小排序。

该相似度计算方法尽管简单易用，但它忽略了各属性的物理性质，没有考虑各属性对于相似度的贡献，而灰关联规则恰好能弥补这方面缺陷，故本文将灰关联度作为距离计算中的加权因子。设g[i] (i=1, 2, …, M)为样本中各非主属性(火焰长度、火焰亮度等特征值)相对于主属性(窑头温度)在某时间的灰色关联度，则由这些灰关联度计算得到的灰关联度权值W_gray[i]为：

改进的相似度S′(F_q, F_DB[j])计算式为：

本文的图像检索中，采用的是这种改进的相似度。

2.3  相关反馈

相关反馈的目的就是通过人机交互的方式，检索结果的方法，通过多次检索，得到与用户实际需求尽可能相吻合的检索结果。目前，大部分相关反馈的研究集中在2个方向上：移动查询点(Query point movement)和再加权/调整权重(Reweighting)^[13-14]。本文通过移动特征向量的查询点来实现反馈效果。即通过Rocchio算法^[15]调整查询点。该算法调整过程为一个迭代公式：

本文根据文献[13]及试验结果选择α=0.5，β=0.75和γ=0.25。

2.4  图像检索步骤

与其他的图像检索系统类似，本文的图像检索主要包括以下几个步骤：

Step 1  初始化各参数：日期、属性选择等；

Step 2  计算被检索图像的特征值；

Step 3  计算灰关联规则和灰关联加权因子；

Step 4  计算被检索图像和数据库中图像的灰关联加权相似度；

Step 5  根据结果，用户进行相关反馈，若满意则退出检索，否则重复Step 4。

3  火焰图像系统实现、实验及结果 评价

3.1  火焰图像检索系统的实现

本文所提出的系统原型机采用VC++6.0实现，数据库利用Microsoft SQL Server 2000实现，其中的数据为应用CCD和数字图像采集卡对某氧化铝厂的回转窑窑头火焰图像进行采样，得到2006-12-25至2006-12-27约506幅图像和其他的生产历史数据，图像大小为768×576像素，256色灰度图像，BMP格式。图像采集后，对这些图像进行预处理，提取各特征值，再将火焰图像和特征值分别存入相应的图像数据库和特征数据库中，生产数据则存入生产参数数据库中。系统处理流程如图1所示，系统原型界面如图2所示。

图1  检索系统处理流程图

Fig.1  Flow chart of retrieval system

图2  回转窑火焰图像检索系统原型机用户界面

Fig.2  Prototype machine GUI of rotary kiln flame image retrieval system

3.2  实验及结果

利用灰关联规则挖掘器进行关联规则的挖掘，得到各非主属性(火焰长度、火焰亮度等)相对于主属性(窑头温度)的灰关联度，如表1所示。

表1  回转窑火焰图像特征值的灰关联规则

Table 1  Gray association and weight of rotary kiln flame image features

根据表1中的数据可知，在时间段[2006-12-25，2006-12-27]内，火焰图像的灰关联度由小到大为：反差分矩，物料高度，熵，火焰长度，火焰面积，物料亮度，火焰亮度，能量，局部稳定性。这表明对主属性窑头温度影响最大的非主属性(特征值)为局部稳定性，其次为能量，其余可依此类推。因此，可以应用这个灰关联度作为加权因子来表示各属性对相似度的贡献。

为比较本文所提出系统的性能，任意选取2幅实验图像(如图3所示)分别对基于传统检索方法和本文所提出的检索方法进行检索实验。检索结果的程序截图如图4和图5所示。同时，对任意选取的10幅图像进行检索试验，计算2种检索方法的平均精度，如图6所示。检索精度η的计算公式为

图3  检索实验用图像

Fig.3  Images for retrieval experiments

图4  传统CBIR检索结果

Fig.4  CBIR results of traditional method

图5  本文所提出的方法检索结果

Fig.5  Retrieval results of the proposed method

图6  2种检索方法的平均精度

Fig.6  Average precisions of two methods

3.3  实验结果讨论

图4所示为传统CBIR检索结果，即直接以特征之间的欧式距离为相似度量度的检索方法。图5所示为本文提出的检索结果，应用了表1中的灰关联度作为图像相似度的加权因子。图6所示为不同的反馈次数下的二者平均检索精度。

从图4和图5 可以看出，采用这2种方法基本能够检索到一系列与被检索图像相似的图像，且经过相关反馈后，相似的图像数目增多。比较图4和图5还可以看出，对于2幅被检索图像，图5中未经过反馈检索的结果(图5(a)和5(c))要好于图4中的检索结果，而对于反馈后的结果，图5中的结果也要好于图4中的结果。从图6则可以更加清楚地看出这2种检索方法的精度都随着迭代反馈次数的增加而增加，且本文提出的方法要稍优于传统法。由此可以看出，本文所提出的方法要比传统方法有所改进。这主要是因为在本文的方法中，综合考虑各图像特征值(火焰长度、火焰灰度均值、物料高度等)对于主属性的影响，从而计算得到的相似度能较好地反映实际情况。

然而，由于火焰图像的特殊性，它与料浆情况、喷煤情况、煤的灰度、窑转速和燃烧情况等都有关，而检索的结果为近似检索，故要精确判别被检索图像是否与检索结果完全相同存在一定困难。本文以现场看火工的经验结合专家知识作为基准，利用以下方法从火焰形状和物料状况判断火焰图像是否相似：首先判断火焰的形状属于哪一类(一般来说，火焰形状包括正常火焰，细长的慢火，短粗火焰和偏向的火焰)；再判断物料区的状态，主要为物料的高度及物料亮度区域等。
 

4  结  论

a. 提出和实现了一种基于灰关联度的回转窑火焰图像检索的方法，并以实际生产火焰图像为基础，设计了检索系统的原型机。

b. 改进了图像检索过程中相似度的量度，即应用灰关联度加权的距离作为相似度。实验结果表明，该方法能更好地反映各特征值对于主属性的影响，从而计算得到的图像间的相似度能较好地反映实际情况。

c. 通过与传统方法比较，采用本文所提出的方法能够更准确地检索得到与被检索图像相似的图像。因此，它能为回转窑生产决策和管理提供支持，且可以推广至其他图像检索领域中。

参考文献：

[1] Keysers D, Dahmen J, Ney H, et al. A statistical framework for model-based image retrieval in medical applications[J]. Journal of Electronic Imaging, 2003, 12(1): 59-68.

[2] Chi R S, Christina P, Avinash C K, et al. Using human perceptual categories for content-based retrieval from a medical image database[J]. Computer Vision and Image Understanding, 2002, 88(3): 119-151.

[3] Peng Y C, Masao H, Kouhei A, et al. An integrated medical image database and retrieval system using a web application server[J]. International Journal of Medical Informatics, 2003, 71(1): 51-55.

[4] Henning M, Nicolas M, David B, et al. A review of content-based image retrieval systems in medical applications-clinical benefits and future directions[J]. International Journal of Medical Informatics, 2004, 73(1): 1-23.

[5] 刘 燕, 张星明, 郭宇聪. 基于聚类的大型人脸检索系统[J]. 计算机工程, 2005, 31(15): 162-164.
LIU Yan, ZHANG Xing-ming, GUO Yu-cong. Cluster-based face recognition system[J]. Computer Engineering. 2005, 31(15): 162-164.

[6] 刘海峰. 治安卡口系统中基于内容的图像数据库的应用[J]. 计算机工程与应用, 2002, 38(17): 251-253.
LIU Hai-feng. Application of content-based image database in secure-access system[J]. Computer Engineering and Application, 2002, 38(17): 251-253.

[7] 拉菲尔?冈萨雷斯, 理查德?伍德. 数字图像处理[M]. 2版. 阮秋琦, 阮宇智, 译. 北京: 电子工业出版社, 2003: 540-545.
Rafael C G, Richard E W. Digital image processing[M]. 2nd ed. RUAN Qiu-qi, RUAN Yu-zhi, translate. Beijing: Electronics Industry Press, 2003: 540-545.

[8] 林 剑, 鲍光淑, 林 强. 基于模糊分析的多光谱遥感图像的纹理特征[J]. 中南大学学报: 自然科学版, 2004, 35(2): 281-284.
LIN Jian, BAO Guang-shu, LIN Qiang. The texture feature of multi-spectral remote sensing images based on fuzzy analysis[J]. Journal of Central South University: Science and Technology, 2004, 35(2): 281-284.

[9] Shang C, Brown K. Feature-based texture classification of side-scan sonar images using a neural network approach[J]. Electronics Letters, 1992, 28(23): 2165-2167.

[10] Manesh K, Biwas P K, Chatterji B N. Texture image retrieval using rotated wavelet filters[J]. Pattern Recognition Letters, 2007, 28(10): 1240-1249.

[11] 刘思峰, 郭天榜, 党耀国, 等. 灰色系统理论及应用[M]. 2版. 北京: 科学出版社, 1999: 50-96.
LIU Si-feng, GUO Tian-bang, DANG Yao-guo, et al. Theory and applications of grey systems[M]. 2nd ed. Beijing: Science Press, 1999: 50-96.

[12] 刘业翔, 陈湘涛, 张更容, 等. 电解控制中灰关联规则挖掘算法的应用研究[J]. 中国有色金属学报, 2004, 14(3): 494-498.
LIU Ye-xiang, CHEN Xiang-tao, ZHANG Geng-rong, et al. The research and application of the mining algorithm based on gray association rule in aluminum electrolysis control[J]. The Chinese Journal of Nonferrous Metals, 2004, 14(3): 494-498.

[13] Ciocca G, Schettini R. A relevance feedback mechanism for content-based image retrieval[J]. Information Processing and Management, 1999, 35(1): 605-632.

[14] YIN Peng-yeng, LI Shi-hui. Content-based image retrieval using association rule mining with soft relevance feedback[J]. Journal of Visual Communication and Image Representation, 2006, 17(5): 1108-1125.

[15] Rocchio J J. Relevance feedback in information retrieval[C]// Salton G. The SMART Retrieval System SMART Retrieval System-Experiments in Automatic Document Processing. New York: Prentice-Hall, 1971: 313-323.

通信作者：张红亮(1979-)，男，湖南岳阳人，博士研究生，从事有色冶金图像处理、图像识别和图像检索研究；电话：0731-8876454；E-mail: net_hotang@163.com