基于信息融合的高炉料面红外图像分割方法

安剑奇，吴敏，何勇，许永华

(中南大学 信息科学与工程学院，湖南 长沙，410083)

摘要：针对高炉料面红外图像特征难以准确提取的问题，提出一种基于多源信息融合和免疫遗传算法的最大模糊熵分割方法。根据专家经验和多源过程检测信息，将高炉料面图像分为高温和低温子图像，采用免疫遗传算法和最大模糊熵分别对子图像进行分割，再将分割后的图像融合。采用国内某钢铁公司高炉炉顶摄像机拍摄的图像进行图像分割比较实验。研究结果表明：该方法有效地利用多源信息和高低温图像特征，充分发挥最大熵法分割精度高和受目标大小影响小等优点，通过免疫疫苗接种提高遗传算法搜索最佳阈值的收敛速度；该方法能高效准确地提取高炉料面温度特征，及时发现高炉异常炉况，更符合工业实际应用要求。

关键词：图像分割；信息融合；免疫遗传算法；最大模糊熵

中图分类号：TP18；TP391          文献标志码：A         文章编号：1672-7207(2011)02-0391-07

Segmentation method for burden surface infrared image in BF based on multi-source information fusion

AN Jian-qi, WU Min, HE Yong, XU Yong-hua

(School of Information Science and Engineering, Central South University, Changsha 410083, China)

Abstract: Considering the fact that the fact that the feature of image for burden surface temperature profile in BF can not be accurately extracted, a kind of maximum fuzzy-entropy image segmentation method based on the multi-source information fusion and the immune genetic algorithm for burden surface infrared image was proposed. Firstly, according to the expert experience and the multi-source detected information of the BF, the image of burden surface was divided into two sub-images, named as high or low temperature sub-image. Then the two sub-images were segmented respectively by using the maximum fuzzy-entropy and the immune genetic algorithm. Finally, the two segmented sub-images were fused into one image. The results show that since both the multi-source information and the temperature feature of the image are thoroughly taken into account, this method makes full use of the advantages of maximum fuzzy-entropy with the high precision and less influence from the target size, and by adopting the immune algorithm, it also improves the convergence speed of genetic algorithm for searching optimal segmentation threshold. The method is effective and accurate to obtain its temperature feature and more timely to discover its abnormal conditions. It is proved to be a better method to meet the demands of the industrial application.

Key words: image segmentation; information fusion; immune genetic algorithm; maximum fuzzy-entropy

高炉是一个巨大的密闭反应容器，无法直接观测到其内部复杂的生产反应过程，通常通过多尺度的多源信息去了解炉况^[1-3]。高炉料面温度分布情况是指导生产的重要依据，实时准确地建立料面温度场是了解炉内状况的直接手段，可以使人们有效地了解高炉内部煤气分布、煤气利用状况，进而判断炉况和决策布料制度^[4-5]。目前国内大部分高炉都在炉顶安装了红外摄像头，利用辐射测温技术和数字图像处理技术，通过光学法来测量温度场。在一般情况下，红外摄像仪把高炉内的工况拍摄下来，变成灰度视频图像，利用不同的灰度表征不同的温度，从而建立高炉料面温度场^[6-8]。由于高炉炉况非常复杂，导致红外图像特征难以提取，需要进行大量的预处理工作。如何进行有效的图像分割，是进一步利用红外图像建立料面温度场的前提。目前广泛采用的是基于全局信息的单一静态分割阈值法对图像分割，没有充分利用高炉料面图像的特征、多源信息和生产经验^[9-10]。由于料面有些区域温度高，有些区域温度相对较低，不同区域的信息特征不同，例如高温度区域信息量大干扰信息多，容易产生光晕现象；低温度区域信息量小，干扰信息较小。基于全局的阈值法没有考虑高炉料面温度分布特点，往往会使分割后的图像保留一些无用信息或者丢失一些重要的生产过程信息。Pal等^[11]将模糊集理论和熵理论相结合，引入图像灰度的模糊数学描述，通过计算图像灰度的最大模糊熵对图像进行分割，可以针对全局信息有效地区分目标和背景。但是，穷举法计算模糊参数存在计算复杂度高，占用存储空间大的缺点^[12]。在此，本文作者采用信息融合的思想，根据安装在料面上方的十字测温装置所测量的温度以及料线深度，将图像按照温度分布的不同动态的分为几个相互关联的区域(子图像)，分别在高温和低温区域中提取不同的免疫疫苗，采用基于免疫遗传算法和模糊熵的方法分别对高温子图像和低温子图像进行分割。这一方面有效克服了高低温图像特征差异大的问题，在子图像中发挥了最大熵分割的全局性优点；另一方面充分利用了免疫遗传算法的空间搜索能力，减少了求取模糊参数的计算量，大大提高了分割效率。实验证明：该方法能准确地提取高炉图像的特征，为进一步建立温度场提供基础。

1  高炉炉顶红外图像特点

目前，高炉对料面温度的监测装置有炉顶的红外摄像机和安装在炉喉位置的十字测温装置，如图1  所示。

根据热辐射原理、高炉炼铁原理以及现场数据和经验，高炉红外图像具有如下特点：

(1) 在料线一定的情况下，十字测温测得高温的热电偶对应图像的位置灰度较高，测定低温的热电偶对应的图像位置灰度较低；在炉况一定的情况下，料线越浅，十字测温整体的温度越高；料线越深，十字测温整体的温度越低。

图1  高炉红外摄像机与十字测温装置示意图

Fig.1  Sketch map of position of infrared camera and cross-temperature device in blast furnace

 (2) 由于高炉生产存在大量粉尘，炉顶红外图像容易产生随机耀斑。

(3) 由于高炉底部鼓风以及混合煤气的光辐射的影响，在高炉料面温度高的区域和温度低的区域灰度差别很大时(例如高炉生产发展中心气流时，中心温度很高，图像很亮，但是，周边气流不发展图像则很暗)，很容易在灰度高的图像周围产生次高灰度的大量光晕。实际上，这种光晕对应的区域温度并不高。

(4) 高温度区域的图像中有用的信息较多，但是干扰也较多；低温度区域的图像中有用信息较少，干扰也较少。

显然，红外摄像机拍摄的料面的图像特征和对应温度有很强的关联性；因此，根据十字测温和料线深度等多源信息融合的方法采用免疫遗传算法，利用最大熵法对红外图像进行分区域双阈值分割，可以有效地提取图像的特征，能够更准确地建立料面的温度场，反映高炉炉况。

2  图像分割的总体设计方案

由于料面红外图像与十字测温有很强的关联性以及高低温区域对应图像具有的不同的特征，本文研究了基于信息融合技术的高炉料面红外图像分割技术。图2所示为整体设计方案。首先对原始图像进行滤波消除干扰信息；其次，根据十字测温将图像分为高温区域和低温区域，利用基于免疫遗传算法的最大模糊熵原理分别对高低温图像进行阈值分割；最后，对高温区域和低温区域的交接处进行处理，消除突变点。

图2  基于信息融合及最大熵的图像分割方案

Fig.2  Segmentation method based on multi-source information fusion and maximum fuzzy-entropy

3  基于信息融合的图像分区

由于高炉红外图像的特殊情况造成高温度区域与低温度区域的有明显的特性差异，如果按照常规的图像分割方法，整体考虑图像的灰度差异，容易导致低温区域信息丢失，高温区域信息过剩，因此，本文提出首先融合其他过程信息，在图像中划分开高低温  区域。

3.1  基于时间和空间的图像滤波

由于高炉生产过程很复杂，一方面有很多灰尘在底部鼓风的作用下，飘向摄像机，在图像上造成一些随机的耀斑，另一方面矿石突然喷燃，也会使图像上出现比较多的细小亮斑，因此，采用基于时间尺度和空间尺度^[13]的滤波消除图像中的脉动干扰和椒盐  噪声。

步骤1：将采集的一组图像存入图像数组    P[k][i][j](其中，k为帧号，i为一帧图像的行号，j为一帧图像的列号)。为了方便寻找中间值，取k为奇数，进行时间尺度的中值滤波：

       (1)

步骤2：将进行完中值滤波后的图像，进行基于空间尺度的均值滤波：

      (2)

通过时间和空间尺度2个方面的滤波后，图像质量有了明显提高，在抑制噪声的同时还保持图像边沿清晰。

3.2  根据十字测温和料尺对图像进行分区

根据十字测温测得的温度，将图像分为若干个区域，再将这些区域由根据料线深度动态计算的温度阈值分为高温区域和低温区域。具体步骤如下。

步骤1：按照十字测温将图像分为24个区域，如图3所示，每1/4圆中有6个区域。

图3  根据十字测温的分割区域

Fig.3  Segmentation area based on cross-temperature

步骤2：利用料尺深度按照气流热传导原理将十字测温温度折算到料面对应点。

             (3)

式中：t_i为十字测温温度；为折算到料面对应点的温度；l为料现深度；Δt为单位深度的温度变化。

步骤3：用每个区域4个顶点的十字测温的平均值表征该区域的温度。用阴影区域来说明：

         (4)

步骤4：根据经验计算高低温度区域的阈值，按照阈值将24个区域分为高温区域和低温区域。

步骤5：将所有高温区域合并成为区域Q_h，将   所有低温区域合并成为区域Q_l，这样就形成了2个子  图像。

4  基于免疫遗传算法和最大模糊熵的阈值计算

4.1  最大模糊熵阈值分割

在本文中，分别对高温区域图像Q_h和低温区域图像Q_l进行最大熵阈值分割。为了描述方便，本文以Q_h图像为例介绍。设Q_h为1幅M×N的图像，灰度级别为k(k=0，1，…，K-1；其中，K取256)。设q_h,mn为图像Q_h中点(m，n)的灰度。令n_k为Q_h中灰度为k的像素点个数，则

             (5)

因此，为图像的直方图，其概率分布为。

根据Shannon熵的概念^[14]，图像总熵为：

            (6)

由信息论可知：一个事件的熵越大，所包含的信息越大，为了达到分割最佳效果，应选取信息熵最大的分割阈值。

同时根据模糊理论，图像Q_h可以看成为一个模糊事件，可以将某点按照灰度值表示为属于某种语言变量(特征)的隶属度。对于单阈值分割，设分割阈值为t，根据灰度，将高温图像Q_h分为2个模糊集，即亮和黑2个集合，亮对应Q_h中灰度较高的部分，主要针对炉心等；黑对应的区域是Q_h中灰度较低的部分，主要针对光晕等。这2个模糊集的隶属度函数和可分别定义为^[15]：

     (7)

    (8)

其中：为图像灰度；a，b和c为参数，满足0≤       a≤b≤c≤255。因此，亮和暗的发生概率可由下式计算得到：

           (9)

           (10)

每个模糊集的熵可以根据式(6)得到：

    (11)

   (12)

则图像Q_h的总模糊熵为：

          (13)

根据信息论的最大熵原理，最佳分割阈值T_opt应该使H_h(a,b,c)最大，则满足条件：

         (14)

故

    (15)

由此可见：选取图像的最佳分割阈值可以转化为求最优的参数a，b和c使满足H_h(a,b,c)最大的优化  问题。

4.2  遗传算法

遗传算法是一种基于空间搜索的方法，它通过自然选择、遗传=变异等操作以及达尔文的适者生存的理论，模拟自然进化过程寻找所求问题的最优解，因此，遗传算法的求解过程也可以看作是求解最优化  过程^[16]。

求取图像的最大模糊熵问题可以转化为以H_h(a,b,c)为适应度函数，参数a，b和c作为染色体，0≤a≤b≤c≤255作为约束条件的遗传算法求解过程，本文采用精英保留策略可以有效地保证算法收敛。

具体的算法过程如下。

步骤1：以a，b和c为染色体，它们的均在      [0，255]区间内，采用8位二进制进行串序编码，得到有24位的染色体基因。

步骤2：群体初始化，随机产生120个染色体，每条染色体为1个24位的二进制数X。为了满足0≤a≤b≤c≤255的条件，重新排列染色体，令最小的8位为a，其次为b，最大的为c，则

     (16)

其中：和 ()为二进 制数。

步骤3：以为适应度函数，计算每个染色体的适应度。

步骤4：采用精英保留策略，将适应度高的染色体保留进行复制到下一代染色体，适应度低的染色体按照交叉概率P_c和变异概率P_m产生新一代的染色体，然后重新按照a，b和c的大小排列。

步骤5：若达到繁衍代数或者适应度连续5代进化无变化则算法停止，得到最佳系数a，b和c使适应度最大；否则转到步骤3。

4.3  免疫疫苗接种

由于遗传算法利用全局空间搜索的方法，不依赖任何已知经验，导致系统计算复杂度高、占用内存空间大、容易陷入局部最优解得缺点。

免疫算法是一种模拟生物体的免疫机制的算法，其目标是对系统受侵害的部分进行保护，屏蔽^[17]。将免疫算法应用到遗传算法中，可以利用局部信息特征以一定的强度干预搜索过程，根据专家知识在最优个体当中自动提取疫苗，通过接种疫苗对染色体中的基因进行某种特殊形式的变异，抑制或避免求解过程中一些重复和无效的工作，从而克服原遗传算法后期收敛速度慢的缺点，避免染色体遗产操作发生退化，更有利于寻找全局最优解。

因此，本文对遗传算法中的染色体进行基于高、低温图像特征的疫苗接种。下面仍然以高温图像Q_h为例说明，具体步骤如下。

步骤1：构造初始疫苗。根据高炉图像的经验，构造高温图像的初始疫苗。由于高温图像亮度较高，分割阈值很大，即a，b和c都较大，因此，应该在高灰度值范围中增大染色体所占的比例。构造疫苗为：

    (17)

低温图像的疫苗为。

步骤2：初始疫苗接种。在遗传算法步骤2中对初始化后的基因进行初始疫苗接种。按照较大的概率P_ova (本文取70%)对染色体进行疫苗接种：

              (18)

低温图像的疫苗接种方式为。“&”表示“与操作”。

步骤3：疫苗自动更新。为了提高遗传算法后期的收敛速度，在遗传算法步骤4中保留的“精英”染色体中提取疫苗。将所有“精英”染色体进行同或操作，找到相同基因位后在与任意一个“精英”染色体进行“与操作”，从而得到新一代疫苗：

       (19)

其中：I(k+1)为得到的图像疫苗，为第k代进化时的精英染色体，精英染色体的总数为n。

步骤4：疫苗判断。如果时，认为存在有效疫苗，更新原有疫苗；否则，认为没有有效疫苗，不更新原有疫苗。

步骤5：疫苗接种。对遗产算法步骤4中产生的新一代染色体按照概率P_va对非复制的染色体进行疫苗接种。

步骤6：疫苗选择。计算疫苗接种后的染色体的适应度，若比父代的适应度大，则保留；若比父代的适应度小，则说明产生了退化，取消疫苗接种。

采用基于知识和特征信息的免疫疫苗接种加快了原有遗传算法的收敛速度，得到最佳a，b和c，从而计算得到最佳分割阈值T_opt。

5  高低温区域交界处修正

由于光晕和耀斑可能跨越高温子图像和低温子图像，这样就会造成2个子图像的交接处出现灰度突变，需要对子图像交界处进行处理。具体步骤如下。

步骤1：在图像交界两边扫描从高温区域到低温区域是否有灰度从0到1的突变。若没有，则结束。

步骤 2：若有突变，则确定突变的范围。

步骤3：在原始图像中找到突变范围的灰度。若原始灰度超过100，则认为是耀斑或者光晕，在低温子图像中将该范围的灰度变为0，因为在低温区域不可能出现如此高的灰度；若低于100，则认为是低温有效图像，保留原有状态。

6  结果与分析

利用本文采用的图像分割技术对某钢铁公司大高炉炉顶料面红外图像进行分割。并将分割效果与普通最大熵法进行比较，如图4所示。图4(a)所示为原始图像；图4(b)所示为没有分高、低温区域时在整个图像上进行最大熵分割的结果；图4(c)所示为对低温图像采用最大熵方法进行分割后的结果。

图4(b)中的分割阈值为85；图4(c)中高温部分的分割阈值为147，低温部分的分割阈值为0。

采用免疫操作与没有采用免疫操作的遗传算法相比，分割阈值没有太大的变化，但是收敛时间提高20%左右，加快了系统得收敛时间。

图4  图像分割实验结果比较

Fig.4  Experimental results and performance comparisons of image segmentation

7  结论

(1) 针对高炉料面红外图像特征难以提取得问题，提出了一种基于多源信息融合的方法。其步骤为：根据十字测温和料线深度等过程数据将高炉料面红外图像按照温度分为高温子图像和低温子图像；根据高低温图像的特征提取免疫疫苗；然后，采用基于免疫遗传算法的最大模糊熵方法分别对高低温子图像分别进行分割；最后，将分割好的图像融合起来。

(2) 采用国内某钢铁公司的高炉料面红外图像进行分割实验对比，本文提出的方法与基于全局信息的分割方法相比，采用本文所提出的方法可有效地抑制高温区域的信息过剩和避免低温信息的丢失等问题，从而更有效地提取了特征，有利于高炉工长及时发现偏心和管道的异常炉况。

参考文献：

[1] 冯晶, 李福全. 现代大型高炉的检测、数据采集和控制[J]. 钢铁技术, 2006(5): 24-28.
FENG Jing, LI Fu-quan. Detection, data collection and control of modern large BF[J]. Iron and Steel Technology, 2006(5): 24-28.

[2] Akira U, Masaaki S. New technologies for steel manufacturing based upon plant engineering[J]. NKK Technical Review, 2003(88): 37-45.

[3] 曲飞, 吴敏, 曹卫华, 等. 基于支持向量机的高炉炉况诊断方法[J]. 钢铁, 2007, 42(10): 17-19.
QU Fei, WU Min, CAO Wei-hua, et al. BF status diagnosis approach based on SVM[J]. Iron and Steel, 2007, 42(10): 17-19.

[4] Yoshimasa K, Takao J. Development of a simulation model for burden distribution at blast furnace top[J]. ISIJ International, 1983, 23(12): 1045-1052.

[5] Yingda D, Konishi M, Imai J. Temperature distribution control in blast furnace by RNN[C]//Proceedings of the 3rd International Conference on Innovative Computing Information and Control. Dalian: IEEE Computing Society, 2008: 475-476.

[6] 刁日升, 王戈, 刘传胜, 等. 炉顶红外摄像监控系统在攀钢高炉上的应用[J]. 钢铁钒钛, 2002, 23(3): 54-58.
DIAO Ri-sheng, WANG Ge, LIU Chuan-sheng, et al. Use of infrared monitored control system at furnace top in PZH steel[J]. Iron Steel Vanadium Titanium, 2002, 23(3): 54-58.

[7] 刘振焘, 吴敏, 曹卫华, 等. 一种基于信息融合的高炉料面温度场建模方法[C]//第27届中国控制会议论文集, 北京: 北京航空航天大学出版社, 2008: 285-289.
LIU Zhen-tao, WU Min, CAO Wei-hua, et al. A novel method based on information fusion for modeling burden surface temperature field in blast furnace[C]//Proceedings of the 27th Chinese Control Conference. Beijing: Beihang University Press, 2008: 285-289.

[8] 涂春林, 毕学工, 周勇. 高炉炉顶温度分布模式识别神经元网络的研究[J]. 河南冶金, 2004, 12(1): 10-13.
TU Chun-lin, BI Xue-gong, ZHOU Yong. Study on neural network for the recognition of blast furnace top temperature distribution[J]. Henan Metallurgy, 2004, 12(1):10-13.

[9] 朱寅, 吴敏, 曹卫华, 等. 基于小波分解与图像增强的高炉红外图像处理方法[C]. 第27届中国控制会议论文集, 北京: 北京航空航天大学出版社, 2008: 699-703.
ZHU Yi, WU Min, CAO Wei-hua, et al. An image processing method based on wavelet decomposition and image enhancement for blast furnace infrared image[C]//Proceedings of the 27th Chinese Control Conference. Beijing: Beihang University Press, 2008: 699-703.

[10] 许永华, 吴敏, 曹卫华, 等. 高炉温度场的红外图像识别检测方法及应用[J]. 控制工程, 2005, 12(4): 354-356.
XU Yong-hua, WU Min, CAO Wei-hua, et al. Measurement of the temperature profile based on infrared image processing and its application in blast furnace[J]. Control Engineering of China, 2005, 12(4): 354-356.

[11] Pal K, King A, Hashim A. Fuzzy set theoretic measure for automatic feature evaluation[J]. IEEE Trans on Systems, Man and Cybernetics, 1986, 16(5): 754-760.

[12] 宗凡, 赵大炜, 訾方, 等. 基于模糊熵的红外图像分割方法[J]. 弹箭与制导学报, 2008, 28(3): 223-226.
ZONG Fan, ZHAO Da-wei, ZI Fang, et al. Infrared image segmentation based on fuzzy entropy[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2008, 28(3): 223-226.

[13] 安剑奇, 吴敏, 何勇, 等.基于专家评估和信息融合的高炉料面温度场智能建模[J]. 计算机与应用化学, 2008, 25(7): 782-786.
AN Jian-qi, WU Min, HE Yong, et al. Intelligent modeling based on expert evaluation and information fusion for burden surface temperature field of blast furnace[J]. Computers and Applied Chemistry, 2008, 25(7): 782-786.

[14] 金振玉. 信息论[M]. 北京: 北京理工大学出版社, 1991: 11-20.
JIN Zhen-yu. Information theory[M]. Beijing: Beijing Institute of Technology Press, 1991: 11-20.

[15] Zenzo D, Cinque L. Image thresholding using fuzzy entropies[J]. IEEE Trans on Systems, Man and Cybernetics-Part B: Cybernetics, 1998, 28(1): 15-23.

[16] Lewin D, Parag A. A constrained genetic algorithm for decentralized control system structure selection and optimization[J]. Automatica, 2003, 39(10): 1801-1807.

[17] Kalinili A, Karaboga N. Artificial immune algorithm for IIR filter design[J]. Engineering Applications of Artificial Intelligence, 2005, 18(8): 963-972.

(编辑 陈爱华)

收稿日期：2009-11-07；修回日期：2010-03-03

基金项目：国家高技术研究发展计划(“863”计划)项目(2007AA04Z177)；国家杰出青年科学基金资助项目(60425310)

通信作者：吴敏(1963-)，男，广东化州人，教授，博士生导师，从事鲁棒控制、复杂工业过程控制和智能控制研究；电话：0731-88836091；E-mail：min@mail.csu.edu.cn