新型车牌识别系统及其在车型判别上的应用

《新型车牌识别系统及其在车型判别上的应用》由会员分享，可在线阅读，更多相关《新型车牌识别系统及其在车型判别上的应用（6页珍藏版）》请在金锄头文库上搜索。

1、第七届中国高速公路信息化管理及技术研讨会 T h e7 t hS e m i n a ro fC h i n aE x p r s s w a yB - i n f o r m a t i o nM a n a g e m e n ta n dT e c h n o l o g is 新型车牌识别系统及其在车型判别上的应用 武汉理工大学理学院数学系黄樟灿王宗跃 浙江沪杭甬高速公路股份有限公司陈建新 应用计算机图像处理的基本原理，分析了车牌的颜色特征和几何特征后，建立了彩色到灰度 转换的模型，提出了一套包括车牌定位、二值化、字符分割和字符识别的汽车牌照识别的核心算 法，该算法简单、占用资源少，运

2、行速度快，并具有较强的抗干扰能力。在字符识别应用多个神 经网络。整个车牌识别系统具有较高的识别率。将它应用在车型识别上将有巨大的经济效果。 引言 目前全国高速公路网建设非常迅猛，越来越多的省进行联网收费。在高速公路的收费管理中， 各省均遇到了中途换卡、车型判别等较难处理的问题。利用车牌识别技术，可以从根本上解决上 述问题，从而保证各高速公路公司的利益不受损失。武汉理工大学理学院数学系和浙江省沪杭甬 高速公路股份有限公司监控中心进行了合作研究，取得了比较好的成果。本车牌识别系统的基本 流程如图1 ： 车牌识别的方法千变万化，但总结车牌识别的本质特征就是字符和背景的对比度。基于这个 本质特征，我们

3、应用计算机图像处理的基本原理，建立了从彩色到灰度的转换函数，提高了车牌 区域的背景和字符的对比度，提出了灰度跳变的二值化图分析法定位车牌，该定位算法无需复杂 的数学运算，具有速度快、鲁棒性好的特点。用两种二值化方法结合进行车牌的二值化提高了二值 化的效果也使得去噪变得容易。用字符中心矩验证分割。在字符识别中应用多个神经网络进行识 别，提高了识别的可信度。本文将重点介绍车牌定位、二值化、字符分割和字符识别的算法及其 在高速公路车型判别上的应用前景。 本车牌识别系统的基本原理 车牌定位 灰度转换 不同的灰度转换公式适用不同的环境，同一灰度转换公式无法适用不同环境。为了在不同的 环境下使车牌的背景和

4、字符得到有效区分，本系统建立了一个彩色到灰度变化的函数 f ( R ，G ，曰) ，使其能够自适应进行转换，在转换后的图像中车牌区域的前后景对比度得到了明显 的改善，为车牌定位、二值化、分割提供了便利，它为整个车牌识别奠定了坚实的基础。 车牌定位 车牌定位是自动车牌识别的难点，是车牌识别首先需要解决的问题，其定位时间和精度直接影 响整个车牌识别系统的性能，关系到整个车牌识别系统的成败【l 】。本系统采取的车牌定位算法是根 1 7 8 T 第七届中国高速公路信息化管理及技术研讨会 T h e7 t hS e m i n a ro fC h i n aE x p r s s w a yE i n

5、f o r m a t i o nM a n a g e m e n ta n dT e e h n o l o g is 据车牌的背景和字符具有一定对比度的特点得出的。 在经过前面的灰度处理之后，灰度图像中车牌处灰度变化剧烈，车牌字符与背景之间存在灰度 跳变，一般而言两者差值的绝对值至少在5 0 以上。而车牌图像中其他各处的灰度变化则相对比较 平缓，虽然有个别例外情况，但若只考虑水平方向各相邻象素点的灰度差时，车牌处灰度变化剧烈的 特征便更突出，而其他区域灰度变化造成的影响便因此削弱。 因此，可对图像在水平方向进行差分以突出车牌的特征【2 】，设灰度图像为f ( x ，Y ) ，差：分函数如

6、 下式所示： g ( i ，J ) = 1 2 f ( i ，J ) 一f ( i ，J + 1 ) 一f ( i ，J 一1 ) I ( 1 ) 将g ( i ，7 ) 5 0 对应的灰度图中的像素点赋值为2 5 5 ，其它的像素点赋值为0 。则得到了对应的二 值化图。对得到的二值化图进行水平扫描，可以确定在图像水平方向牌照的上下边界。 然后进行垂直投影分析，以找出车牌可能区域的左右边界。 这样得到了所有可能的候选区域。由于前视车牌，车灯位置、汽车发动机的散热孔、档栅、 车身广告等都很容易被当作车牌检测出来，要从含有伪目标的多个区域中找到真正的车牌位置， 需要根据车牌的所处的位置信息、车牌的

7、底色、及宽高比等信息去除伪车牌区域。经过去除后选 取最后一块进行下一步的处理。定位过程如图2 ： ( a ) 原始图像( b ) 灰度图像( c ) 二值化图 鬻严 j j 囊辫一 鼷I ： 蘩灌兰兰兰：一鬣 l l 黧鬣l l 。黢甏毳 豢装三；一一一鼷 鬻辫三二二一隧 鼗鬻鬻黎察鬃熬熬蠹隳 ( d ) 水平投影图 ( e ) 垂直投影图 ( f ) 定位结果 图2 车牌定位过程示意图 在车牌粗定位完成，为了更好的实现分割算法，在进行二值化之前还需对车牌灰度图像进行倾 斜校正及进一步的定位，以改善分割效果，最大程度的消除上、下边界的影响。然后进行二值化。 二值化与分割 车牌图像二值化 车牌图

8、像二值化遇到的困难之一是阈值的选择。对牌照的二值化方法一般分为两类，即全局阈 值和局部阈值。全局阈值如O s t u 算法，局部阈值如B e r s e n 算法。这两类算法各有利弊。全局阈值 方法速度较快，但是容易造成牌照笔画的丢失。局部阈值方法则有可能造成伪影、笔画断裂等现象。 本系统采用了全局动态法与局部自适应相结合的方法。在二值化过程首先采用L E V B B 算法 3 】一种 较好的局部自适应的二值化方法。但有时候会造成笔画断裂的现象导致进一步用连通去噪的困难， 因此本系统在反色处理后如果这种二值化方法黑点比例不到一定值时我们采用了另一种全局动态 二值化【4 J 。两种方法的结合取得

9、了较好的二值化效果。 1 7 9 礤 = ；Idm刑啪共芎誊 p 簿遨一删褒 簟 fli二纛| j | 黩蘩。淆瀚熬 T 第七届中国高速公路信息化管理及技术研讨会 T h e7 t hS e m i n a ro fC h i n aE x p r s s w a yE i n f o r m a t i o nM a n a g e m e n ta n dT e c h n o l o g is 二值化时的另一个困难是牌照类型的多样化。例如，在中国，牌照主要分为黄底黑字、蓝底白字、 黑底白字、白底黑字4 种，表现为灰度图像则分为白底黑字和黑底白字两类。在二值化时必须将其 统一，以便后续处理

10、。本系统采用颜色特征与字符结构来判断反色。 采用四连通算法将字块提取出来，依据连通域的大小进行分类，通常分为字符和噪声两类。 区分字符和噪声只要根据它们的像素点的多少和所占高度来判断即可，像元个数少或高度的是字 符图像。然后进行去噪。见图3 。 图3 车牌灰度图像二值化及初步去噪 字符分割 本系统对上面得到的二值化图像进行垂直投影。然后采用“峰一谷”检测法，由于我们对二 值化图像进行了去噪处理，投影图中的峰谷明显，这种方法可以较好的实现字符分割，为了进一 步提高分割的准确率，我们利用了字符中心距的方法进行验证并纠正。验证方法如下： 算出各个字的中心位置，由于车牌字符的高度一样，因此只需计算他们

11、在X 轴的位置置。再 求出相临两个字符的中心距离d f = x f + 1 一鼍，如图4 0 ) ，然后算出平均中心距d ，则有： r一一 1 分割正确o 8 d d ； 1 2 d 1 1 分割错误否则 a 竖直投影图 l 箍BC 5 盯0 l 飞+ t q b 中心距 图4 字符识别 目前，车牌文字识别的方法主要有结构法、统计法、人工神经网络法。其中人工神经网络法 的主要特征是：大规模的并行处理和分布式信息存储，良好的自适应性、自组织性，很强的学习功能、 联想功能和容错功能，其识别率高，抗干扰能力强，灵活性大。但单个神经网络的可信度不高。本文 针对单个神经网络可信度不高的问题，提出了一种基

12、于多个神经网络进行车牌文字识别的方法。 在摄取图像时，摄像机与汽车之间的距离和角度一般不恒定，这就可能造成分割出来的字符图 像尺寸大小不一，因此在对它们进行识别之前，要首先把它们归一化到一个标准尺寸。对于每一个分 割好的字符图像，用双线性插值将其归一化为1 6 3 2 像素大小的图像。然后对其提取特征。对不 同的特征构建分别使用B P 神经网络进行训练，其中采用并行算法对B P 网络分类器进行了处理； 引入动态因子，动态调整B P 算法的学习步长。所采用的特征提取为： 象素分布特征 一1 8 0 T 第七届中国高速公路信息化管理及技术研讨会 T h e7 t hS e m i n a ro f

13、C h i n aE x p r s s w a yE i n f o r m a t i o nM a n a g e m e n ta n dT e c h n o l o g is 对归一化后的车牌二值化字符图像( 笔画为黑象素) ，以2 2 为单位同样划分为8 1 6 个区 域，分别统计黑象素的数目，作为象素分布特征。 笔画特征 对归一化后的车牌二值化字符图像( 笔画为黑象素) 。分别计算该图像的横、竖、撇、捺特征。 整体结构特征 对归一化后的车牌二值化字符图像( 笔画为黑象素) 。分别计算该图像的每行和每列的黑点起 始位置和穿越次数。 本系统的识别算法与普通识别算法的最大区别是对不同

14、的特征分别使用B P 神经网络进行训 练。对同一个待识别的字符使用三个网络进行识别。如果有两者相同，则将待识别的字符判别为 该字符，否则以”? ”代替。这样，识别出来的字符只要不是”? ”就具有很高的可信度。 实验结果与分析 实验效果分析 本系统所采用实验数据是浙江省沪杭甬高速公路收费站采集的图像，全部图像的分辨率都是 3 2 0 2 4 0 。实验中使用的图像总数为5 0 幅。实验结果如下表。 实验步骤成功图片数准确率 定位 5 0 1 0 0 分割 4 9 9 8 识别 4 7 9 4 备注：识别中只要一个字符出错就归入识别失败的图片 在实验过程中，发现识别失败的图片一般也只有一个字符出错

15、，单个字符识别率达到了9 9 左右，还是相当令人满意的。主要出错的字符是A 和4 ，T 和7 。 实际情况测试分析 将本系统直接放到浙江省沪杭甬高速公路的某车道进行了直接测试。测试结果如下： 在正常天气及图像角度合适的情况下，采用近距离图像，有效像素为3 2 0 X 2 4 0 时的图像识 别率比较高，能达9 0 左右。 在较远距离图像时，采用有效像素为6 4 0 X 4 8 0 时的图像识别率仍比较理想( 9 0 左右) 。 在有效像素为3 2 0 X 2 4 0 时采用较远距离抓取的图像识别率低于7 0 ；在夜晚车辆开启远光 灯时识别率低于4 0 ； 在第三种情况出现识别率低的主要原因是随

16、着距离的变化和光照的影响及照相机分辨率的限 制，距离较远的图像的车牌较小而且比较模糊，定位和二值化时遇到的困难很大，因此导致分割率和 识别率下降；还有的车牌本身由于遭受严重的灰尘等污染，二值化效果很差，直接导致对比度判断失 误：很难对小图像的车牌进行定位和后处理。 本系统的优劣分析 目前全国的车牌识别系统比较多，而且效果也非常好，但从实际应用中看，由于目前绝大多数 车牌识别系统都是一体化的系统，即图像获取单元、识别单元做在一起，车辆图像和识别结果通 过网口或串口传输给上位机软件，这样就带来三个突出的问题：一是当车牌识别器出现故障，则 上位机软件不仅得不到车牌信息，连车辆图像也难于得到；其次是前端应用软件必须与车牌识别 器进行接口，车牌识别时机由车牌识别器控制，应用软件与车牌识别器在识别及得到结果之间必 须保持同步，如果同步出现问题，在入口车道将出现车牌错位，后果严重，因此对应用软件的要 求提高了：三是