自然场景中字符型交通标志的检测算法
谷明琴1，蔡自兴1，任孝平2
(1. 中南大学 信息科学与工程学院，湖南 长沙，410083；
2. 中国计量科学研究院 力学与声学计量科学研究所，北京，100013)
摘 要：
市和高速公路环境中字符型交通标志的新方法。首先，在输入图像中分割出蓝色和墨绿色区域，用形态滤波和形状标记图判断交通标志的候选区域；其次，将候选区域的彩色图像灰度化，用Otsu算法计算候选区域灰度分布直方图的阈值，并对其进行分割，得到包含字符的二值图像；然后，将候选区域的二值图像向垂直方向上投影，用3次样条拟合算法对其进行拟合，利用曲线的性质，找到拟合曲线中的局部极小值点，分割出包含字符条形区域；最后，将条形区域向水平方向上进行投影和曲线拟合，查找局部极小值点并分割出单个字符区域，再进行形态过滤，分割并定位交通标志中的字符。实验结果表明：该算法的字符查全率高于84%，准确率超过92%。
关键词：
中图分类号：TP391.2 文献标志码：A 文章编号：1672-7207(2013)05-1861-08
Detection algorithm of traffic sign with character in nature scenes
GU Mingqin1, CAI Zixing1, REN Xiaoping2
(1. School of Information Science and Engineering, Central South University, Changsha 410083, China;
(2. Division of Mechanics and Acoustics, National Institute of Metrology, Beijing 100013, China)
Abstract: A novel detection algorithm for traffic signs with character in the urban and highway scenes was proposed. Firstly, blue and green regions were segmented from the input image, and candidates of traffic sign were obtained by morphology filter and signature of shape. Then, color image of candidate was coverted to gray image, and binary images contain characters were obtained by segmentation with threshold of gray distribution histogram computed by Otsu algorithm. Thirdly, the binary image of candidate was projected to vertical orientation and fitted a curve with cubic spline interpolation. The local minimum points were found using the nature of the curve, and the bar region with character rows were segmented from binary image. Finally, bar region was projected to horizontal orientation and fitted a curve, the local minimum points were found to segment the single character regions. The characters in traffic sign were segmented and localized by morphology filter. The results indicate that recall rate of character exceeds 84%, and precision rate is more than 92%.
Key words: traffic sign detection; character localization; curve fitting; signature
近年来，智能车辆研究逐渐受到重视，道路环境信息的感知要求也日益增加。字符型的交通标志提供了道路的导引信息、路况，注意事项等辅助车辆行驶的信息。而现有研究对字符型交通标志的自动检测则很少涉及。自动检测道路环境中的交通标志主要有3种常见的方式：(1) 在灰度图像上检测交通标志的边缘。Overett等[1]用方向梯度直方图来检测行人和标 志，用Sobel和Canny等算子来检测灰度图像中的边缘，并查找交通标志的候选区域[2-3]。Belaroussi等[4]构建图像梯度方向的几何模型来检测三角形交通标志。但是，这些方法过于关注形状分析，对噪声非常敏感。(2) 用聚类分析和智能特征来提取感兴趣区域。以Haar小波等特征，用智能分类器如Adaboost来检测交通标志[5]。然而，这种方式过于依赖弱分类器。Ruta等[6]用图像表示和分辨力强的特征选择方法来识别交通标志。但是，该方法会过度搜索特征集，随着特征数量的增加，所耗费的训练时间会大量增加。(3) 以交通标志的颜色和几何形状来检测交通标志。常用的颜色空间为RGB[7]，HSI[8]和YUV[9]等。该方法能够较好地检测交通标志，但是，如何选择1个合适的分割阈值则非常困难。Maldonado-bascon等[10]用感兴趣区域的边缘到边界距离作为形状识别的特征，分别检测交通标志。Gil等[11]用快速傅里叶变换的绝对值作为形状识别特征，对旋转、缩放、遮挡、投影形变和噪声等有较好的鲁棒性，但计算复杂度高。然而，上述方法主要检测内部图形简单的交通标志，而对含有字符的交通标志检测研究则很少。Chen等[12]用多尺度的LOG边缘检测子、自适应搜索、颜色分析及仿射矫正算法来检测文字。刘富强等[13]提出用滑动同心窗口的方法来定位道路交通标志中的文字。上述算法检测速度较慢，无法应用到智能车载系统中。Hanif等[14]用AdaBoost算法检测灰度图像中的文本。本文提出一种检测城市和高速公路环境中字符型交通标志的新方法。首先，从输入图像中分割出蓝色和墨绿色区域，用形态滤波和形状标记图来判断交通标志的候选区域；其次，用Otsu算法计算候选区域灰度分布直方图的阈值，并分割出包含字符的二值图像；然后，将用3次样条拟合算法拟合出候选区域垂直方向上投影的投影曲线，利用曲线的性质，找到拟合曲线中的局部极小值点，以分割出包含字符条形区域；最后，将条形区域向水平方向上投影和曲线拟合，查找局部极小值点来分割出单个字符区域，并进行形态过滤，定位出交通标志中的字符。
1 交通标志区域检测
图1所示为高速公路和城市环境中较为常见的交通标志样例。从图1可见：含有字符的交通标志在城市中一般是蓝底白字，而高速公路是墨绿色底白字的矩形标识牌，指示了车辆行驶中前方的道路名称、限制信息、路况信息及其他一些指示性信息，悬挂在车辆行驶的道路右方。为此，本文提出如图2所示框架来检测城市和高速公路环境中一些常见的且含有丰富信息的字符性交通标志，并分割其中的字符区域，以便为后续字符识别提供基础。
图1 城市和高速公路环境中的字符型交通标志样例
Fig.1 Examples of traffic signs in urban and highway environment
图2 字符型交通标志的检测算法框架
Fig.2 Detection framework of traffic sign with character
1.1 颜色分割
针对采集到的视频图像，利用下列公式分割出蓝色和墨绿色为底的交通标志感兴趣区域。假设RGB空间图像的每个像素值为：
对其进行如下变换：
(1)
其中：
为RGB通道像素值之和，为像素点坐标：
对变换后的图像分别进行阈值分割，可得包含交通标志感兴趣区域的二值图像：
(2)
其中
。针对交通标志的底色蓝色和墨绿色，分别选用阈值为0.15，0.15对图像进行分割，得到蓝色和墨绿色的2幅二值图像，该二值图像中包含交通标志的感兴趣区域；用结构元素相同的腐蚀和膨胀形态学滤波，以消除杂质，并恢复图像区域。
1.2 形状特征提取与判断
对形态学滤波后的蓝色和墨绿色通道的二值图像，填充图像中的空洞，并查找其连通区域，记为
，j=1, …, NR，；令
，
和
分别是其面积、宽度和高度，宽高比
，占空比
。若区域满足：
(3)
则采用双线性插值算法将区域归一化为50×50的二值图像。其中
，
，
，
和
为对应的阈值。用下列步骤来判别区域是否符合含有字符的交通标志形状特征。
(1)首先提取形状的顺时针边界，记为
，i=1, …, N，N是形状的边界点数。
(2) 求取其重心：
(3) 将边界序列转换到以重心为原点的坐标系中，得到新边界序列：
(4) 将新边界点
到重心的半径作为其与正向水平轴夹角的函数，得到1个半径随角度变化的数值序列
，
，并归一化为
。
(5) 采用3次样条插值算法
归一化为长度为360的列特征向量
；
(6) 求取感兴趣区域形状特征
与矩形样本库特征
之间的最小Euclidean距离：
(4)
其中：NS为矩形样本库中样本的个数。
若
＜Td，则区域是交通标志的候选区域；否则，从候选区域列表中剔除。
图3 交通标志感兴趣区域提取过程
Fig.3 Extracting process of traffic sign ROIs
2 交通标志中的字符检测
含有字符的交通标志中，字符的颜色一般为醒目的白色，与背景差异较大。因此，可以用灰度图像上的阈值分割，将其与背景完全分开。
2.1 交通标志感兴趣区域阈值分割
首先，将候选区域的彩色图像从原图中剪切出来，灰度化为
。统计出如图5(a)中的候选区域白色点的灰度分布直方图，如图4所示。
用Otsu方法获取灰度分布直方图中的最佳分割阈值VLevel，在图4中用黑线标示，以分割出候选区域中字符区域。假设候选区域的内部像素坐标是(xin, yin)，而图像
是大小与相同的二值图像：
(5)
用具有相同结构元素的腐蚀和膨胀操作来消除二值图像噪声和较小的区域。
图4 候选区域的灰度分布直方图及分割阈值
Fig.4 Gray distribution histogram of candidate region
图5 交通标志内部字符区域分割过程
Fig.5 Segmentation processes of inner region of character in traffic sign
2.2 字符检测与定位
首先，将分割后的感兴趣区域二值图像向垂直方向上进行投影，得到由每行上非零元素个数组成的序列xV,i, i=1, …, NV。其中：NV是感兴趣区域的行数。然后，用3次样条曲线拟合方法[15]，拟合出一个三阶的函数
，含有一阶和二阶连续导数，其一阶和二阶导数分别记为
和
。根据函数局部极值判断定理：
定理1[16](第二种充分条件)设函数在点x 0处具有二阶导数且=0，
，那么，
(1) 当
＜0时，函数在x 0处取极大值；
(2) 当＞0时，函数在x 0处取极小值；
令
=0，找到1个拟合函数稳定点值xj, j=1, …, L，L为一阶导数为零的点个数，并计算
的值：若＞0.3，则认为
是拟合函数的一个极小值，将xj作为交通标志候选区域上行的分割点，从而候选区域划分为含有字符条形区域，完成了字符区域的行定位，如图5所示。图6所示为候选区域二值图像图5(c)中垂直方向投影的拟合函数及导数的图形，黑色垂直直线表明了分割点在各个图形上的对应关系。
对每个含有字符的条形区域，向水平方向上投影，点序列为
(k=1, …, NH)，其中NH是字符的条形区域的列数。用3次样条曲线拟合方法拟合出处处可导的函数，并求取其一阶导数和二阶导数。令=0，找到拟合函数的稳定点
(p=1, …, Lh，Lh为一阶导数为零的点个数)。并计算
，根据函数局部极值判断定理，若
(6)
则认为
是拟合函数的极小值，将看作该条状区域的1个分割点，划分出单个字符的区域。图7所示为1个含有字符的条状区域对应的拟合函数及其导数，对应的分割点用垂直的黑色直线表示。
汉字的宽高比一般为1，倾斜时会达到1.2。可以通过字符区域的形态进一步过滤得到汉字候选区域。假设
(i=1, …, NC)为分割后的字符区域，
，
和
分别为区域的宽、高和面积，区域的宽高比和占空比分别定义为
，
。
若区域满足：
(7)
则区域是1个字符的候选区域，
，
，
，
和
是分割阈值，根据实验分析，本文取50，1500，0.5，1.5，0.5。
图6 二值图像垂直方向投影曲线及分割点
Fig.6 Projective curves of binary image in vertical direction and segmentation points
图7 字符行图像水平方向的投影曲线及分割点
Fig.7 Projective curves of character image in horizontal direction and segmentation points
3 实验分析
3.1 实验数据
为测试本算法检测字符型交通标志的性能，用配备工业相机的智能车在湖南省长沙市市区及长沙至湘潭的高速公路上采集51段视频，其中在长沙市区18段，高速公路33段。每段视频的采集帧率为20帧/s，分辨率为1 392×1 040像素，时长为5 s。将这些视频数据分为4个测试集，分别对应不同的环境和天气条件，如表1所示。
表1 交通标志检测算法测试集
Table 1 Test sets of traffic sign detection algorithm
3.2 字符型交通标志检测算法性能分析及实验结果
为分析所提算法在检测字符型交通标志的性能，定义如下类别：
(1) 正确检测区域(ATD)，即正确检测到的含有字符的交通标志区域；
(2) 错误检测区域(AFD)，即检测到的非含有字符交通标志区域；
(3) 漏检区域(AMD)，即没有检测到含有字符的交通标志区域；
(4) 真正的字符区域(AAT)，即图像序列中含有字符的交通标志区域；
(5) 正确检测字符(CTC)，即正确检测到的字符；
(6) 错误检测字符(CFC)，即检测到的非字符；
(7) 漏检字符(CMC)，即没有检测到的字符；
(8) 真正的字符区域(CAC)，即图像中交通标志含有的字符。
对交通标志区域的检测性能测量标准定义如下。
(1) 查全率：
；
(2) 准确率：
；
(3) 漏检率：
。
对字符区域的检测性能测量标准定义如下。
(1) 查全率：
；
(2) 准确率：
；
(3) 漏检率：
。
表2所示为在4个测试集中，交通标志检测和字符检测的性能。从表2可知：在城市环境中，交通标志的查全率和准确率均达到97%以上，而字符的查全率超过88%，而准确率则在92%以上，而在高速公路环境中，交通标志的查全率和准确率则达到98%以上；而字符的查全率超过84%，准确率则超过98%。这是因为在城市环境中，疑似字符型交通标志较多，且环境复杂多变，系统的检测准确率则偏低。而高速公路环境中，路况简单，周围的干扰也非常少，且采集到的图像质量随光照和天气变化较小，故检测算法的性能高于城区环境的性能。交通标志检测失效的原因主要为交通标志表面的镜面反射、图像的曝光过度等；而字符定位失败主要是字符所占像素较少，与摄像头的间距过大及车辆快速移动时造成的图像运动模糊等。
图8(a)~(c)所示分别显示高速公路环境中字符型交通标志中第7，57和87帧的检测结果；图8(d)~(f)所示分别为长沙市区内拍摄的字符型交通标志中为第1，31和43帧图像的检测结果。在图8中用黑色矩形框出交通标志的检测结果。实验结果表明：本文算法能有效地检测出高速公路和城市内交通标志，且能够有效地分割出交通标志中的字符。
表2 字符型交通标志检测算法性能
Table 2 Performances of detection algorithm for traffic sign
图8 视频序列中字符型交通标志检测结果
Fig.8 Detection results of text traffic sign in video sequences
3.3 计算时间分析
交通标志字符定位系统用MATLAB实现，测试环境为2.5 GHz Pentium(R)双核CPU，3 GB内存。表3所示为检测过程的平均计算时间。从表3可见：单帧图像的总处理时间为546 ms。若用VC++实现，则耗费时间将会大量降低，能够满足智能车辆实时处理的需要。
表3 计算时间分析
Table 3 Computation time analysis
4 结论
(1) 根据交通标志的底色特征分割输入图像，用形态滤波和形状标记图来判断交通标志的候选区域。用Otsu算法计算候选区域内部灰度分布直方图的阈值，以分割出包含字符的二值图像。
(2) 用3次样条拟合算法拟合出候选区域垂直和水平方向上的投影曲线，根据局部极值定理来找到拟合曲线中的局部极小值点，分割出候选区域中所包含的单个字符。该方法在字符间有少量黏连，字符较小时都具有良好的适应能力。实验表明：该方法检测高速公路上交通标志内字符的查全率达到84%以上，准确度达到98%以上；而在城市环境中，查全率超过88%，准确度则在92%以上。
(3) 在距离较远时，交通标志中包含的字符所占像素很少，在定位到交通标志时，也难以有效地分割出其中的字符区域，也为后续光学字符识别(OCR)造成困难。车辆行驶时，图像的采集环境变化强烈，光照、天气都影响到采集图像的质量。如何提高字符定位的准确度和对环境条件的适应性，如何理解交通标志包含的字符含义以及如何有效地识别和理解字符等有待进一步研究。
参考文献：
[1] Overett G, Petersson L, Andersson L, et al. Boosting a heterogeneous pool of fast hog features for pedestrian and sign detection[C]//IEEE Intelligent Vehicles Symposium. Piscataway, USA: IEEE, 2009: 584-590.
[2] Nunn C, Kummert A, Muller-Schneiders S. A two stage detection module for traffic signs[C]//2008 IEEE International Conference on Vehicular Electronics and Safety. Piscataway, USA: IEEE, 2008: 248-252.
[3] Garca-Garrido M A, Sotelo M A, Martn-Gorostiza E. Fast road sign detection using Hough transform for assisted driving of road vehicles[C]//10th International Conference on Computer Aided Systems Theory. Germany: Springer, 2005: 543-548.
[4] Belaroussi R, Tarel J. Angle vertex and bisector geometric model for triangular road sign detection[C]//2009 Workshop on Applications of Computer Vision. Piscataway, USA: IEEE, 2009: 1-7.
[5] de la Escalera A, Moreno L E, Salichs M A, et al. Road traffic sign detection and classification[J]. IEEE Transactions on Industrial Electronics, 1997, 44(6): 847-859.
[6] Ruta, Li Y, Liu X. Towards real-time traffic sign recognition by class-specific discriminative features[C]//Proceeding of the 18th British Machine Vision Conference. UK: BMVA Press, 2007: 399-408.
[7] Andrey V, Kang-Hyun J. Automatic detection and recognition of traffic signs using geometric structure analysis[C]//2006 SICE-ICASE International Joint Conference. Piscataway, USA: IEEE, 2006: 1451-1456.
[8] Nguwi Y, Kouzani A, Automatic road sign recognition using neural networks[C]//IEEE International Conference on Neural Networks. Piscataway, USA: IEEE, 2006: 3955-3962.
[9] Shadeed W, Abu-Al-Nadi D, Mismar M. Road traffic sign detection in color images[C]//Proceedings of 10th IEEE International Conference on Electronics, Circuits and Systems. Piscataway, USA: IEEE, 2003. 890-893.
[10] Maldonado-bascon S, Lafuente-arroyo S, Gil-jimenez P, et al. Road-Sign Detection and Recognition Based on Support Vector Machines[J]. IEEE Transactions on Intelligent Transportation Systems, 2007, 8(2): 264-278.
[11] Gil J E, Nez P, Basc O N S M, et al. Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2D homographies[J]. Signal Processing, 2008, 88(12): 2943-2955.
[12] CHEN Xilin, YANG Jie, ZHANG Jing, et al. Automatic detection and recognition of signs from natural scenes[J]. IEEE Transactions on Image Processing, 2004, 13(1): 87-99.
[13] 刘富强, 沙浩. 基于改进SCW的道路标志牌字符定位算法[J]. 中国图像图形学报, 2007, 12(10): 1869-1872.
LIU Fuqiang, SHA Hao. An algorithm for the detection of text on road signs based on improved SCW[J]. Journal of Image and Graphic, 2007, 12(10): 1869-1872.
[14] Hanif S M, Prevost L. Text detection and localization in complex scene images using constrained adaboost algorithm[C]//10th International Conference on Document Analysis and Recognition. Piscataway, USA: IEEE. 2009: 1-5.
[15] 李庆扬, 王能超, 易大义. 数值分析[M]. 北京: 清华大学出版社, 2001: 51-59.
LI Qingyang, WANG Nengchao, YI Dayi. Numerical analysis[M]. Beijing: Tsinghua University Press, 2001: 51-59.
[16] 同济大学数学教研室. 高等数学[M]. 4版. 北京: 高等教育出版社, 1996: 183-190.
Mathematics Staff Room of Tongji University. Advanced Mathematics[M]. 4th ed. Beijing: Higher Education Press, 1996: 183-190.
(编辑 邓履翔)
收稿日期：2012-07-04；修回日期：2012-09-03
基金项目：国家自然科学基金资助项目(90820302，60805027)；国家博士点基金资助项目(195470)；湖南省院士基金资助项目(20010FJ4030)；湖南省自然科学基金资助项目(12JJ6058)
通信作者：蔡自兴(1938-)，男，福建莆田人，教授，从事机器人，智能控制，图像处理和模式识别研究；电话：0731-88877355；E-mail: zxcai@csu.edu.cn
摘要：提出一种检测城市和高速公路环境中字符型交通标志的新方法。首先，在输入图像中分割出蓝色和墨绿色区域，用形态滤波和形状标记图判断交通标志的候选区域；其次，将候选区域的彩色图像灰度化，用Otsu算法计算候选区域灰度分布直方图的阈值，并对其进行分割，得到包含字符的二值图像；然后，将候选区域的二值图像向垂直方向上投影，用3次样条拟合算法对其进行拟合，利用曲线的性质，找到拟合曲线中的局部极小值点，分割出包含字符条形区域；最后，将条形区域向水平方向上进行投影和曲线拟合，查找局部极小值点并分割出单个字符区域，再进行形态过滤，分割并定位交通标志中的字符。实验结果表明：该算法的字符查全率高于84%，准确率超过92%。
