第一部分:车牌识别
1、总体结构
车牌自动识别系统主要分为三大模块:(1)触发:即前端设备的数据入口处,如测速系统等。(2)图像处理部分:分为图像采集、车牌定位、字符分割和字符识别四部分。(3)无线传输系统将所处理得的数据传送至后端应用系统,如交通违规管理系统,只能停车场系统,安检系统等。
2、算法部分
①前端CCD摄像机:
原始图像获取
由CCD摄像机及辅助照明装置组成。获取图像质量的好坏直接影响到后端处理和识别的效果. 要获得比较清晰的图像, 需要考虑许多影响图像质量的因素, 主要包括: 摄像头和图像卡的选取, 摄像机的位置标定, 汽车的车速, 出入单位的汽车车队之间的距离, 天气、光线等情况对摄像机所摄图像曝光量的影响。
判断是否有车辆进入观测区
采用图像差值法来判断监测区是否有目标进入,即首先将视频图像灰度化,然后比较两幅图像对应像素点的灰度值,看是否有变化以及变化有多少。
图像差分只能测定监测区中是否有物体经过,但它是否交通车辆,尚未可知。鉴于图像差分所产生的噪声、行人、自行车比汽车所占区域小得多,设计尺度滤波器将尺度较小的物体及噪声滤掉。
②车牌定位及预处理
左图为车牌定位的主要算法。完成基本的车牌定位后,还需要对车牌进行一些基本的预处理。包括倾斜矫
正与铆钉和边框的去除。
I、车牌字符的倾斜矫正
车牌字符分割的难点在有些车牌是倾的,直接分割效果不好,需要做校正。首先求出车牌的倾斜率,根据此斜率对车牌做旋转校正。
II、车牌边框和铆钉的去除
先验知识:对于标准车牌,字符间间距为12mm,第2、3个字符间间距为34mm,其中,中间小圆点l0mm宽,小圆点与第2、3个字符间间距分别为12mm。在车牌边框线的内侧,通常有四个铆钉,他们不同程度地与第2个字符或第6个字符粘连,如果不去除铆钉,将给第2和第6在字符的识别造成困难。
将车牌图像进行二值化后,图像仅黑、白二值。白色像素点(灰度值255)取1,黑色像素点(灰度值0)取0,这里采用的是白底黑字模式。对车牌图像逐行进行从内向外式扫描,当扫描到车牌图像某一行中,白色像素点的宽度大于某一阀值时(第一个符合条件的行),则认为是车牌字符的边沿处,切除这一行以上或以下的所有行。
③车牌字符分割
右图为车牌
字符分割的主要
算法。
在此,由于
我们的知识有限
就不对这些算法
做具体介绍了。
④字符识别方法
字符
识别是车
牌识别的
核心部分。
常见的车
牌字符识
别算法包
括六种。
我们将他
们罗列在
右图中。
其中,我们比较感兴趣的是基于神经网络的字符识别算法。下面,我们具体介绍两种比较简单且普遍的算法以及基于神经网络的字符识别算法。
I、模板匹配车牌字符识别
中国车牌的字符模板分为汉字、英文字母和数字模板,由统计方法构造并保存到数据库中。模板匹配是将字符模板和标准化了的车牌字符进行匹配来识别字符。
II、特征匹配车牌字符识别
车牌识别的方法中,可利用的字符特征很多,大致可以分为结构特征、象素分布特征及其他特征。
在这里,我们拟重点突破神经网络法,因为人工神经网络技术具有非线性描述、大规模并行分布处理能力、高度鲁棒性和自学习与联想等特点,适用于非线性时变大系统的模拟与在线控制。具体步骤如下图所示:
此外,我们还会尝试将各种算法结合起来,以扬长避短,如:将遗传算法与人工神经网络结合起来,既能利用遗传算法能并行计算且能快速、全局搜索的优点又能克服神经网络固有的搜索速度慢且易陷入局部旱热的缺点等。
由于我们还在大学二年级学习专业基础课程,对图像处理的最新算法还不够了解,我们会在实际操作过程中,选择一种最优的方案并且结合我们的系统特征提出改进意见。
第二部分:车色以及车标识别
①、车身颜色识别
颜色特征具有对图像本身的尺寸、方向、视角等依赖小、鲁棒性高等优点,因此在基于内容的图像索引技术和智能交通系统以及众多的I业(如造纸、纺织、印刷等)系统中有着极其重要的应用。长期以来,由于各种原因,人们提出了数量众多的彩色空间模型,主要可分为三类:第一类是基于人类视觉系统(HumanV isionS ystem,H VS)的彩色空间,它包括RGB,H SI,M unsell彩色空间等;第二类是基于特定应用的彩色空间,它包括电视系统中所采纳的YUV和YIQ、摄影行业如柯达的YCC、打印系统的CMY (K)彩色空间;第三类是CIE彩色空间(包括CIE XYZ, CIE Lab和CIE Luv等)。这些彩色空间各有优缺点,它们在各自的领域里发挥了重要的作用。
我们拟采用RGB彩色空间完成我们的系统。RGB彩色空间在计算机相关领域里应用广泛,例如用于常见的CRT显示器等。在RGB彩色空间中,各彩色值用R、G、B三通道值的组合来共同表示,而其相应的通道值是通过图形采集卡或者CCD传感器等类似器件中的光感受器来获得的。其中,各通道值用入射光及其相应光感受器的光敏函数值之和来表示:
R=
G=
B=
其中,S (A)是光谱,R(A)、G(A)和B(A)分别是R,G,B传感器的灵敏度函数。从上式可以看出,该彩色空间是设备相关的,它与具体捕获设备的光敏函数相关。然而,由于RGB值易于获得和在计算机中计算和表示,因此通常可以用来表示其他各彩色空间,即把RGB值转换为其他彩色空间值。RGB彩色空间的标准色差定义为:
)
由于不同的彩色对人主观感受的影响不同,为了更好的表示色差,在本颜色识别子系统中使用经验色差公式:
对于我们拟设计的车身颜色识别系统主要分以下四大步骤完成车身颜色识别
1.识别区域的选取
为了准确识别出车身颜色,识别区域的选取至关重要。本实验选取车脸前部靠近排气扇的部分
2.颜色直方图计算
对所选区域,计算出现次数最多的颜色。在实际应用中,由于其他彩色空间模型的分量值均可用RGB值来表示,为了计算简便,在计算颜色直方图时可仅针对RGB彩色空间模型进行。
3.色差计算
根据相应彩色空间模型的色差计算公式,计算其与 颜色模板间的色差。
4、颜色识别
在得到样本色与标准色在各个彩色空间模型中的对应色差后,就可以根据其结果进行颜色识别。即选取前一步计算得到的色差中的最小值,作为识别结果。
②、车标识别部分
毋庸质疑,车牌和车标的自动、实时识别是运动车辆类型精确识别系统中至关重要的两个部分。目前人们已经提出了众多的车牌定位算法,主要可以分为两大类:基于黑白图像的车牌定位算法和基于彩色图像的车牌定位算法。基于黑白图像的车牌定位算法又可以分为多类,如基于特征的车牌定位算法基于自适应能量滤波的车牌定位算法,基于小波变换和形态学处理相结合的车牌定位算法,基于二值投影的车牌定位算法,以及基于遗传算法的车牌定位算法等。
这些车牌定位算法各有优缺点,但他们都可以在一定程度上作为车标定位的参考。
车标定位与识别无论在国内还是国外都是一个较为崭新的领域。由于车标本身固有的特殊性:目标小、相似性大、受尺寸和光照影响大、背景不统一,以及不同汽车公司的车标形状大小不一致等,使得其精确定位识别成为一个难点。
我们将车标识别分为以下几个主要步骤:
(l)车牌定位:根据车牌的纹理特征,基于多分辨率分析快速获取车牌区域 ;
(2)车头定位:根据车头区域能量较高且较为集中的特点,通过OTSU二值化算法 进 行 图像二值化,然后利用二值投影,并结合车牌位置信息进行车头快速定位 ;
(3)中轴定位:在车头区域内,根据轴对称性定位车头中轴;
(4)车标粗定位:在定位出车头的基础上,根据车标与车牌的先验知识,得到车标经验搜矩形;
(5)车标精确定位:在第(4)步的基础上,利用车标纹理特征进行车标的精确定位。主要包括两步:一是根据车标区域在垂直方向上具有能量高且相对集中的特点,利用能量增强和自适应形态学滤波进行车标的一次定位;二是利用改进的模板匹配算法进行车标的精确定位。车标识别系统是运动车辆识别系统中的重要组成部分,与车牌识别一样,它也包括了定位和识别两项关键技术。
上图为车标识别系统结构示意图,与典型的目标识别系统一样,它包括了离线的训练过程和在线的识别过程。在训练过程中,首先将手工采集得到的车标样本进行图像归一化、尺度归一化等预处理,然后分别进行模板提取以得到车标标准模板库。车标标准模板库中的模板不仅用于车标定位,还用于进行特征提取以得到车标特征模型库用于车标识别。在定位过程中,除了输入汽车图像外,还需输入车牌的位置信息。这是因为各类车标不具有稳定的纹理特征,且大小、形状各不相同,所以在复杂的背景下直接利用特征匹配或模板匹配进行车标定位是非常困难的。因此必须利用车牌位置、车辆对称性等先验信息进行粗定位,在此基础上再利用相关图像处理技术和模板匹配进行精确定位。车标定位以后,车标识别问题就转化为一个2D形状的识别问题,这可以通过模板匹配的方法实现。但是在实际采集的图像中,往往存在光照、噪声、部分遮挡和形状相似等问题的影响,常规的模板匹配方法难以达到满意的识别效果。因此通常还需要一种合适的特征提取和识别方法来辅助进行车标识别,以提高系统的识别率。
第三部分:嵌入式
按照历史性、本质性、普遍性要求,嵌入式系统应定义为:“嵌入到对象体系中的专用计算机系统”。“嵌入性”、“专用性”与“计算机系统”是嵌入式系统的三个基本要素。对象系统则是指嵌入式系统所嵌入的宿主系统。
嵌入式系统的核心是嵌入式微处理器,它有4个优点:
(1) 对实时和多任务有很强的支持能力,能完成多任务并且有较短的中断响应时间,从而使内部的代码和实时操作系统的执行时间减少到最低限度;
(2) 具有功能很强的存储区保护功能。
(3) 可扩展的处理器结构,可以迅速地扩展出满足应用的高性能的嵌入式微处理器;
(4) 嵌入式微处理器的功耗很低,尤其是用于便携式的无线及移动的计算和通信设备中靠电池供电的嵌入式系统更是如此,功耗只能为 mW甚至μ W级,这对于能源越来越稀缺昂贵的时代,无疑是十分诱人的。
另外,嵌入式实时操作系统提高了系统的可靠性。这些都值得我们去做一个嵌入式车牌识别系统。
考虑到通常车牌以及车标识别算法的运算量大,同时又要满足实时性要求。因此,我们准备采用32位ARM嵌入式微处理器作为核心单元,以CPLD作为时序控制单元,采用基于ARM 9 S3C 241 C的嵌入式图像采集处理系统,在内嵌Linux操作系统的草础上,充分利用了ARM器件体积小、能力强以及功耗低的特点,实现并行数据总线/USB日接口图像接入、图像快速处理、图像信息的本地压缩存储和IP化数数据传输。该系统可使整个系统简化电路并且减少占用资源。
系统设计构成
整个系统由USB图像采集子系统,ARM处理子系统和网络数据传输子系统成摄像头采集现场视频数据通过U SB传输至ARM处理板;ARM处理板内嵌Linux操作系统,采用快速图像算法对图像序列进行处理,并根据处理结果采取相应的措施;网络传输子系统可以处理数据上传监控中心做进一步后续处理,系统结构下图所示。
ARM图像处理子系统拟采用S3C 2410处理器,能满足图像处理速度的要求;USB图像接入,可以保证图像传输速度;扩展64M SD RAM与64M Flash,大容量的RAM能够保存多幅图像,便于图像的分析与处理;无线网络接口实现了数据信息的网络化管理。
当然,以上只是我们的初步设想这些设想都将在我们以后的大量实验过程中得到论证和优化! |