基于多特征融合的药用植物标本识别
叶锋1，蔡光东2，郑子华1，亓晓旭3，尹鹏3
(1. 福建师范大学 数学与计算机科学学院，福建 福州，350007；
2. 福建省中医药研究所，福建 福州，350001；
3. 国家知识产权局专利局，北京，100088)
摘要：提出一种基于多特征融合的药用植物标本识别的新方法。首先，从标本图片的底层纹理特征入手，研究标本图像的边缘方向直方图、LBP以及SIFT特征；然后提出基于准确率类别加权的融合模型以确定出最好的融合策略。最后，比较了多特征融合方法和单一特征方法的优劣。通过对21种植物1 470份药用植物标本的测试，证实了本文提出方法的有效性。
关键词：标本识别；多特征融合；边缘方向直方图；LBP；SIFT
中图分类号：TP391.41 文献标志码：A 文章编号：1672-7207(2011)S1-0656-05
Medicinal plant specimen recognition based on multi-features fusion
YE Feng1, CAI Guang-dong2, ZHENG Zi-hua1, QI Xiao-xu3, YIN Peng3
(1. School of Mathematics and Computer Science, Fujian Normal University, Fuzhou 350001, China;
2. Fujian Academy of Traditional Chinese Medicine, Fuzhou 350001, China;
3. State Intellectual Property Office of China, Beijing 100088, China)
Abstract: A new method for medicinal plants specimen recognition was presented based on multi-feature fusion. Firstly, the bottom feature of the specimen image, such as edge orientation histogram, LBP and SIFT features was studied and extracted. Then, the accuracy-class-weighted algorithm was proposed to determine the best integration strategy. Furthermore, the comparison between the multi-feature fusion methods and a single feature method was done. Finally, the performance of this system was evaluated, which consisted of 21 kinds of plants including 1 470 specimens of medicinal plants. The results confirm the effectiveness of the proposed method.
Key words: specimen recognition; multi-features fusion; edge orientation histogram; LBP; SIFT
药物植物的识别与采集是发挥中草药药用价值作用的重要前提。传统的药物植物识别与鉴定主要依靠操作者的眼看、手摸、口尝、鼻闻的方式进行，其重要的环节在于对药用植物外部形态的观察，经过判断得到的结果的准确性则取决于该工作者所积累的经验。随着现代电子技术、计算机技术的发展以及图像采集设备性能的提高，研究基于图像内容的药用植物分类、识别和检索技术有着重要的学术价值和应用 意义。
在对药用植物标本进行识别和分类时，叶片特征通常被作为首选特征，植物学中叶片的形状、颜色和脉络通常都可以作为分类依据。在对植物叶片图像特征研究方面，李然[1]提出了基于数学形态学的植物叶片图像的预处理方法，运用数学形态学中的开运算和闭运算消除图像中的孤立噪声点并填补叶片内部孔洞。该方法保持了原图像的基本形状特征并能获得清晰的边缘，为叶片特征提取创造了良好的前提。Guyer等[2]分析植物叶片形状，用专家系统对提取的几何参数特征进行处理，可以对8种植物进行识别，其正确率达到69%。McDonald等[3]利用数学形态学数字图像处理技术，分析了植物的叶片形状特征，鉴别了非洲紫罗兰和常春藤叶片。上述文献研究的核心问题重点集中在以下3个方面：1) 图像的特征提取与表示；2) 图像的相似性比较；3) 多种分类检索方法结合。结合模式识别技术的最新进展，本文作者从叶片形状底层特征入手，提出一种基于多特征融合的药用植物标本识别的新方法。首先提取植物标本图片的底层纹理特征，包括边缘方向直方图、LBP以及SIFT特征，然后使用SVM分类器进行标本分类，并采用4种融合策略对结果进行处理。
1 底层特征提取
1.1 边缘方向直方图特征
边缘方向直方图 (Edge orientation histogram，EOH) 通过将图像中边缘点的方向离散化，统计落入每个离散方向的像素点个数计算图像的边缘方向直方图[4]。它使得高层的模式识别问题通过相对简单的低层特征来实现。一幅灰度边缘图像的m维边缘方向直方图定义如下：
(1)
其中：方向空间被划分成m个不同方向；p代表每一个边缘点，而O(p)表示点p的边缘方向；Ei表示边缘点中具有边缘方向i的所有点的比重，所有m个方向的比重之和为1。
如图1所示，本文作者将植物标本图片在水平方向上分割为4块，垂直方向上分割为3块。一幅图像被分割为12个子图像。每个子图像被分割成多个图像块，每个图像块又分成4个子块用于提取边缘直方图。图2所示为计算图像块的边缘直方图子图像的5类边缘检测运算符，分别为垂直方向、水平方向、45°斜方向、135°斜方向和无方向。每个子图像的直方图体现了该子图像5种边缘的相对出现频率。
图1 EOH示意图
Fig.1 EOH diagram
图2 5类边缘检测运算符
Fig.2 Five types of edge detection operators
计算边缘方向直方图需要将空间划分为若干个小的边缘方向区间，每个边缘方向区间成为边缘方向直方图的一个bin。这里，每个局部直方图都包含5个bins，每个bin表示5种边缘类型中的1种。本系统中，每幅图像有12个子图像，因此，每幅图像总共有5×12=60个直方图bins。在边缘直方图的计算中，图像块是2×2像素，用0~3标记图像块中的每一个子块(如图2所示)，用g0(i，j)，g1(i，j)，g2(i，j)，g3(i，j)分别表示(i，j)位置处图像块中4个子块的平均灰度值。用fv(k)，fh(k)，fd45(k)，fd135(k)，fnd(k)分别表示垂直方向、水平方向、45°斜方向、135°斜方向和无方向的边缘检测运算符，k=0，1，2，3分别表示子块的位置(如图2所示)。可得，(i，j)处图像块的各个边缘强度mv(k)，mh(k)，md45(k)，md135(k)，mnd(k)的计算如式(2)所示：
(2)
1.2 LBP特征
LBP(Local binary patterns)纹理分析算子是由Ojala等[5]首先提出，作为局部图像对照的一种补充度量，其理论及计算简单，且对尺度、旋转和灰度变化不敏感。为了降低算法复杂度，本文作者将旋转不变LBP 特征引入特征点的描述中，为植物标本特征点构造了一种计算简单及维数低的描述方法。采用的LBP定义如下：
，
(3)
其中：gc代表局部邻域中心点像素C的灰度值；gp(p=0，…，P-1)表示邻域中与中心点C距离为R的P个采样像素点的灰度值；s(x)是符号函数，s(gp-gc)表示周围像素点与中心点灰度值的比较；二项权重2P被分配给邻域中每个环绕像素点，将局部邻域的对比度信息转换为LBP特征值。特征值计算过程如图3所示：
图3 LBP特征提取
Fig.3 Extraction of LBP feature
LBP的模板可以扩展到不同的邻域尺寸，本文中，采用P=8，R=1.0，计算当前像素点周围8邻域内的纹理对比度信息。通过构建一个256维的直方图，统计当前图片中LBP特征值出现的次数，将这一直方图作为最终的局部二值模式(LBP)特征。
1.3 SIFT特征
基于局部特征的SIFT(Scale invariant feature transform)算法[6]对图像中的平移、旋转、尺度缩放、亮度变化具有不变性，对视角变化、3D仿射变化也具有一定的稳定性，能够被很好地应用在图像配准中。该算法包括以下步骤：
1.3.1 高斯差分(Difference of Gaussian，DoG)算子
DoG算子常用于检测图像边缘，定义为2个不同尺度高斯核的差分，如式(4)~(6)所示。
(4)
(5)
(6)
式中：I(x，y)是输入图像；*代表卷积运算；G(x，y，σ)是卷积核可变的高斯函数。在SIFT特征提取算法中，利用DoG算子作为检测子，建立尺度空间。同时，DoG是尺度归一化LoG(Laplacian on Gaussian)算子的近似，具有良好的稳健性。
1.3.2 尺度空间的极值检测
建立SIFT尺度空间的过程如图4所示。左边表示高斯尺度空间，右边表示DoG尺度空间。为了近似高斯拉普拉斯函数，需要将相邻层之间的高斯图像相减建立高斯差分尺度。空间尺度空间分为n阶，每一阶有s层。
图4 SIFT尺度空间的建立过程[6]
Fig.4 Process of building SIFT scale space
图5 尺度空间极值点的确定[6]
Fig.5 Determination of extreme point in scale space[6]
如图5所示，在检测尺度空间极值时，需要将DoG尺度空间图像中的每个像素跟同一尺度的周围邻域8个像素和相邻上、下2个尺度对应位置的周围邻域9×2个像素共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值(如图中叉号像素点)。
1.3.3 特征点的位置确定
极值检测得到的是候选特征点的集合，为了得到稳健的特征点，还必须进行两步检测。1) 特征点不能是低对比度的点，即特征点的像素值必须与周围的点有明显的差异。通过拟合三维二次方程搜索低对比度的特征点，并从特征点中剔除；2) 特征点不能是不稳定的边缘点，因为DoG算子会产生较强的边缘响应，由此产生的边缘点是不稳定的。去除边缘点有助于增强匹配的稳定性，提高抗噪声能力。
1.3.4 特征点的方向参数
为了使算子具备旋转不变性，需要给每个特征点指定一个方向参数。特征点(x，y)处梯度的模值m和方向θ定义如下式：
(7)
实际计算时，在特征点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0~360°，其中每10°一个柱，总共36个柱。直方图的峰值则代表该特征点处邻域梯度的主方向，即作为该特征点的方向。在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是特征点的辅方向。图像的SIFT特征点检测完毕，每个特征点有3个信息：位置、所处尺度和方向。
1.3.5 生成SIFT特征向量
特征向量的描述要具有较高的独特性和鲁棒性，以便提高后续特征点匹配的正确率。因此，通过将坐标轴旋转为特征点的方向，以确保SIFT特征的旋转不变性。以特征点为中心，取8×8的窗口，将这个窗口切成2×2的子窗口。然后，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点。在实际计算过程中，本文作者对每个特征点使用4×4共16个种子点来描述，这样就128维的SIFT特征向量。此时，SIFT特征向量已经去除了尺度变化和旋转等几何变形因素的影响，将特征向量的长度归一化，则可以进一步去除光照变化的影响。
2 分类器以及结果融合策略
植物标本的识别是一个典型的学习分类问题，使用带有监督的机器分类是一个有效的方法。支撑向量机(Support vector machine, SVM)是一种适用于小样本、高维数据特征的分类方法，并且不需要样本分布情况的先验知识[7]。本文作者用SVM作为分类器，先通过上述不同的底层特征训练出不同的SVM模型。实验基于开源软件LIBSVM，其中训练参数为C-SVC与RBF核。在训练阶段，用到“一对多”规则，并且通过5折交叉验证的网格搜索方法决定SVM的参数。通过交叉验证，每个分类器会产生一个准确率，然后用于结果的融合。通常，融合的分类器较单个判别分类器能获得更好的结果。本文作者提出4种融合策略去测试不同分类器间的相关性以获得更好的分类结果。这4种方法分别是最大值融合、线性融合、准确率加权融合以及平均准确率加权融合，分别用Pmax, Paverr, PpWeight和PapWeight表示：
(8)
(9)
(10)
(11)
其中：i是分类器标志；PEDH(i)，PLBP(i)和PSIFT(i)分别表示第i个分类器的输出结果概率。在式(10)中，pW(i)是和训练时的分类准确率相等的加权值。式(11)中apW(i)表示考虑了返回结果排名的平均准确率(Average precision)[8]。
3 结果与分析
为了测试4种融合策略的性能，本实验对自建的中医药用植物标本图像数据库进行测试。从标本数据库中取21个预先定义的植物类别，如银杏、红枫、芍药、阔叶樟科等，每类由70幅语义相近的标本图组成(见图6)。标本图片通过扫描仪制成数字图像，由于原有标本数据存在大量干扰噪声如标本标签、条形码、扫描残影等，需先对图像进行前期预处理，包括阈值分割、形态学处理等。然后利用提取的轮廓计算叶片各种底层特征，并使用SVM生成的特征结果进行 分类。
采用查准率(precision)和查全率(recall)作为系统的评价标准，从上述1 470种标本图像中随机抽取10类植物标本，每类随机选取100幅图像作为查询图像，总共构成1 000次查询。考察的是平均查准率和查全率，即对于每类图像综合1 000次查询的查准率，4种融合策略的结果比较如表1所示。
从表1可见：4种融合计划中，最大值融合方法的查全率以及查准率都比较低。另外，平均准确率加权融合方法最好，有最高的查全率和查准率，这说明平均准确率比准确率更适合对药用植物标本的检索。同时，将多特征融合的方法与单一特征的方法进行了比较，结果如表2所示。
图6 标本库示例
Fig.6 Medicinal plant specimen dataset
表1 4种融合策略特征识别率
Table 1 Recognition rate of 4 kinds of features fusion strategies
表2 多特征与单特征识别率比较
Table 2 Comparison of recognition rate between single-feature and multi-feature
从表2中看出：本文作者提出的基于准确率类别加权融合方法标本识别算法取得最高的查全率和查准率，验证了该方法的有效性。
4 结论
提出了一种基于多特征融合的药用植物标本识别的新方法。首先由实验确定出最好的融合方法，准确率类别加权的融合方法；然后，比较了多特征融合方法和单一特征方法的优劣。通过对银杏、红枫、芍药、阔叶樟科等多种药用植物标本的测试，实验结果证实了所提出方法的有效性，并且平均识别率达到了93.3%。下一步的工作重点是如何在较低计算复杂度情况下进一步地提高植物标本的识别率。
参考文献：
[1] 李然. 基于数学形态学的植物叶片图像的预处理[J]. 农业网络信息, 2008(1): 43-45.
LI Ran. Preprocessing of leaf image based on mathematical morphology[J]. Agriculture Network Information, 1008(1): 43-45.
[2] Guyer D E, Miles G E, Gaultney L D, et al. Application of machine vision to shape analysis in leaf and plant identification[J]. Transactions of ASAE, 1993, 36(1): 163-171.
[3] McDonald T, Chen Y R. Application of morphological image processing in agriculture[J]. Transactions of ASAE, 1990, 33(4): 1345-1352.
[4] Zhu W, Levinson S E. Edge orientation-based multiview object recognition[C]//Proceedings of ICPR00．Barcelona: IEEE CS Press, 2000: 1936-1939.
[5] Ojala T, Pietik?inen M, M?enp?? T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.
[6] Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.
[7] Vapnik V N. 统计学习理论的本质[M]. 张学工, 译. 北京: 清华大学出版社, 2000.
Vapnik V N. Statistical learning theory[M]. ZHANG Xue-gong, trans. Beijing: Electronic Industry Press, 2000: 136-139.
[8] Andrew A, Falk S. User performance versus precision measures for simple search tasks[C]//Proceedings of the 29th Annual international ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM, 2006: 11-18.
(编辑 陈卫萍)
收稿日期：2011-04-15；修回日期：2011-06-15
基金项目：福建省教育厅基金资助项目(JB09063，JB09064)；福建省高校服务海西建设重点项目—基于数学的信息化技术研究资助项目
通信作者：叶锋(1978-)，男，福建福州人，博士研究生，从事视频压缩及模式识别等研究；电话：010-62285471；E-mail: yef279@163.com
