《数字图像处理-车牌识别》由会员分享，可在线阅读，更多相关《数字图像处理-车牌识别（55页珍藏版）》请在金锄头文库上搜索。
1、图像模式识别应用专题：车牌识别技术 图像分析处理技术的综合应用一、车牌识别技术简介n车牌识别是现代交通管理的重要措施，是 智能交通系统的重要环节n内容： 车牌识别系统是采用数字摄像技术和计算 机信息管理技术，对运行车辆实现智能管 理的综合运用技术n理论基础：数字图像处理和模式识别n车牌识别技术具有典型性，容易推广到其 它识别对象主要应用领域n主要应用场合 (1) 公安卡口 (2) 高速公路收费管理 (3) 城市道路监控系统(电子警察) (4) 海关车辆管理 (5) 停车场管理 (6) 车辆流量统计车牌识别技术现状n完整的车牌自动识别系统由图像釆集、图像处理 、模糊识别等模块组成； n在现有的技
2、术条件下，车牌识别系统均无法达到 100%的识别率，好的识别系统可达95%以上； n先进识别系统的识别时间在一百毫秒以下；n基于视频技术的识别系统，可方便地进行图像回 放、检索； n其它识别系统：条形码识别、射频标识识别等。 有关识别率的统计数据n各环节的识别率： （1）牌照定位 98% （2）单字分割 97.8% （3）车牌识别 95% 从上面统计情况可看出，目前单项识别率 均达到95%以上，但总识别率仅能达 91%以 上，仍需进一步提高。系统组成n车牌识别系统组成识别流程n主要由三部分组成n图像捕获一般采用CCD摄像头，包括整车图像或牌 照(一般为彩色图像)n后两步由计算机实现n关键部分是
3、第三步：字符识别（OCR）识别步骤n具体识别步骤如下(不是唯一的)： (1) 获取整车或局部图像； (2) 对获取车辆数字图像进行预处理； (3) 车牌定位； (4) 二值转换； (5) 车牌分类； (6) 车牌分割； (7) 字符识别； (8) 结果优化(车牌模糊识别)。二、车牌定位与分割n车牌定位：通过车牌区域的特征来判别牌 照的位置，将车牌从图像中分割出来n步骤： (1)彩色图像灰度化 (2)图像增强 (3)边缘检测 (4)模板匹配 (5)输出牌照子图像CCD 输出nCCD捕获的汽车图像灰度图像n彩色图像灰度化灰度增强n灰度增强改变对比度边缘提取(方法多种)n定位、分割后输出n下步工作是
4、对分割输出进行字符识别车徽边缘提取与识别 1、彩色图像灰度化nCCD摄像头输出的图像一般是24位真彩色图像， 需进行灰度化，使不同颜色车体统一化，同时实 现快速处理n两种制式都可以采用PAL制： 亮度NTSC制：亮度2、对比度增强n利用灰度变换增强对比度，突出车牌区n一般采用截取式变换 ：常采用下式3、边缘检测n主要方法 (1) 对图像进行直分析处理 (2) 提取车牌区域边界 (3) 灰度点运算 (4) 模板匹配 (5) 算子法 (6) 形态学处理 (7) 其它边缘提取方法车牌图像特征n车牌定位与分割的理论与方法是根据车牌图像的 特点来确定的n车牌图像主要特征有： (1) 车牌区域内的边缘灰度
5、直方图统计特征 (2) 车牌的几何特征 (3) 车牌区域的灰度分布特征 (4) 车牌区域的水平、垂直投影特征 (5) 车牌形状特征和字符排列格式特征 (6) 车牌的形态学特征 (7) 频谱特征车牌图像的组成n组成：省份汉字(或其他汉字)+字母或阿拉伯数 字，共7位，即 X1X1X3X4X5X6X7 例：川AK0387n尺寸：宽 45mm、高 90mm、间隔符宽10mm、单元 间隔 12mmn字符笔画在竖直方向是连通的n牌底与字符颜色对照大，边缘非常丰富n四类：蓝底白字、黄底黑字、黑底白字、白底黑字定位分割难点n抓拍图像受环境因素干扰，特别环境光的 干扰，环境光太强时，图像淡薄，对比度 变差；n
6、车尾有其它字符，使车牌定位困难；n车牌大都存在污染而变脏；n车牌部分被遮挡；n车牌图像为运动图像，拍摄时产生失真。环境光太强车牌图像太弱文字干扰其他字符干扰车牌污染车牌被污染部分被挡车牌字符下边被遮挡运动失真车牌字符因运动失真梯度法边缘提取n梯度法(一阶偏微分)又称 Roberts算子 一种利用局部差分法提取边缘(锐化)的方法F(j,k) f(j,k+1)F(j+1,k)边缘模板法n边缘模板是一种算子，常用的有Sobel算子nSobel算子是一种由两个卷积构成的梯度模板分别检测水平边缘和垂直边缘，运算结果是一 幅边缘图像Prewitt算子边缘提取n与Sobel算子类似，这也是一种边缘模板，仅是
7、 模板权系数不一样n输出：快速边缘检测n在车牌系统中还常采用一种更简单的模板来提 取边缘(对于有干扰的图像效果不理想)n特点：运算速度快，车牌笔画轮廓突出，而车 体其他部分轮廓不突出掩模匹配法n锐化：罗比逊模板、普雷外特模板、柯赤模板n上述三种模板均可用于边缘提取，车牌检测常用 柯赤(Krisch)模板,由8个算子组成高斯-拉普拉斯算子法n二阶微分算子 该算子对噪声不敏感(55)n输出:哈夫(Hough)变换提取直线n利用图像全局特性将边缘像素连接起来形成区域 封闭边界的一种方法n原理：将二维空间(x,y)平面中的直线用二维极 坐标(,)空间表示 将直线 表示为：即将(x,y)平面的直线变换为
8、r-空间的一个点 该方法亦用于倾斜校正哈夫(Hough)变换原理模板匹配n用与图像中车牌一样大小的已知模板，在经对 比度增强后的图像中，从起点(0,0)开始，逐步 平移一一匹配，寻找最佳区域n匹配公式：最大值为输出 已知模板并不是某个具体的车牌，而是具有车 牌统计特性的通用模板，是一种模糊匹配形态学处理确定车牌位置将图像二值化,通过膨胀、腐蚀操作定位车牌定位算法之一(1) 对原始图像进行基于方向区域距离测度的彩色 边缘检测得到原始边缘图像 (2) 对原始边缘图像中的每一边缘点进行边缘颜色 对检测，获得候选车牌边缘图像 (3) 对候选车牌边缘图像进行闭运算获得连通域图 像 (4) 计算各连通域的
9、宽高比，剔除不在阈值范围内 的连通域，若只剩下一个连通域，则可确认为车 牌区域，转(7)车牌定位算法之一(5) 若还有多于一个连通域，则计算r。剔除不在 阈值范围内的连通域，若只剩下一个连通域，则 可确认为车牌区域，转(7) (6) 若还有多于一个连通域，则对其进行彩色边缘 检测然后进行水平扫描，统计每行灰度值为1的 个数N，如果有连续M行以上Nn1,n2，则可认 为此连通域为车牌区域 (7) 在原始图像中提取车牌图像其它方法：自适应边界搜索法 n利用倒L型、水平直线、垂直直线这些结构 元素搜索、定位字符，然后找出符合一定 格式的字符群，即认为是车牌。其它方法：区域生长法 n对边缘图像进行均匀
10、性区域生长，以获得 潜在的车牌区域，然后利用车牌的几何特 征以及车牌区域内的边缘灰度直方图统计 特征删除伪车牌，获取真实车牌。其它方法：形态学运算法 n灰度图像数学形态学运算法则利用车牌形 状特征、字符排列格式特征，对预处理后 的灰度图像进行一系列的形态学运算，得 到直线与一定数目的字符相邻的区域即认 为是车牌。 其它方法： DFT变换法 nDFT变换法是先对图像逐行做DFT变换，然 后把频率系数逐行累加平均并根据这些平 均值做出频谱曲线，根据频谱曲线中的“ 峰”的起始点位置确定车牌水平位置，对 这一水平区域逐行做DFT变换可确定车牌竖 直位置。虽然上述车牌定位算法已在实践 中取得成功，但对于
11、车辆实时监控系统来 说上述方法所需的时间仍然偏长。 其它方法：图像差分投影法 n基于图像差分投影法：将车辆灰色图像按水平方 向求差分图，然后按垂直方向求差分，最后对差 分后的车辆图像分别在水平和垂直方向投影，按 照给定的车牌尺寸范围找出可似车牌区域；n按照水平和垂直方向投影得出有可能的车牌区域 有三个，包括两个车灯区，由于车灯区在尺寸和 字符数上不符合常规车牌特征，所以即可排除， 从而仅剩下唯一的车牌区域，再从灰色图像中切 出真正的车牌区图像。三、车牌字符识别技术n与通用的OCR识别方法类似n模板匹配法 首先对字符二值化，并归一化字符尺寸，然后进 行模板匹配，选取择最匹配输出n神经网络匹配法，
12、两种算法： (1) 先对各字符进行特征提取，利用特征训练网络 分类器，然后用分类器识别字符 (2) 由网络对输入图像自动提取特征并识别1、预处理n车牌经定位、分割检出后，基本上具有被识别的 条件，但还需做适当预处理n预处理： (1) 图像二值化 在彩色图像灰度化后，因车牌类型不同，会出白 底黑字和黑底白字两种，需要统一为一种 (2) 字符分割2、二值化n二值化的关键是阈值的选择n二种方法：全局阈值、局部阈值n全局阈值n其中hl是灰度值为l的像素个数。3、倾斜校正n提取的车牌图像有可能是倾斜的，为了便于识别 ，需对图像进行倾斜度校正n方法：哈夫(Hough)变换 计算车牌图像上、下边界直线n计算
13、边界直线的倾斜度 Pn倾斜度校正拍摄造成的倾斜字符二值化后的倾斜字符4、尺寸归一化n字符的大小归一化可以简单地用统计分析法来完 成n归一化内容: (1) 位置归一化，即把字符移到规定的位置上，使字符的质心对中，也可字符边框定位 (2) 大小归一化，使被识别字符具有同样大小5、字符识别n识别方法较多n匹配法识别n采用相关函数作为相似度测度其中，T为模板，S为模板覆盖下的图像子块，i、 j为子块左上角坐标，M、N为模板长和宽6、字符优化n按照上述车牌定位和切割方法取得的单个字符图 像，可能存在字符与边框相连、字符变形和字符 断裂等情况，为此在真正识别之前需要对字符位 图作进一步的技术处理；n常用的
14、方法是将用于识别的字符位图按新的点阵 大小重新采样，然后搜索字符位图的准确上下左 右边界值，依照字符位图的宽高值和新的边界值 重新确定字符像素点，并排除非字符情况，如左 右边界值之差过小、上下边界差过小等情况即认 为非字符。7、字符类型n民用车汉字：京、津、晋、冀、蒙、辽、吉、黑、沪、 苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、 川、贵、云、藏、陕、甘、青、宁、新，渝” ；n英文字母：除“I”外的“AZ”其他字母；n数字：09；n数字和字母：“WJ”、“警”+ 09 ；n军用车汉字：甲、乙、丙、丁、戊、己、庚、辛、壬、 癸、子、丑、寅、卯、辰、巳、午、未、申、酉、戌、 亥；n民用车尾字：
15、包括“09、学、试、领、港”等字。 8、标准特征库n将切分下来的字符图像变换到4040的点阵空间 上，按照水平和垂直方向提取二值特征、按照字 符结构在水平、垂直、左、右四个方向的几何投 影图像特征建立多维特征库，其中标准汉字从宋 体字库中选取，字母及数字从OCR-A字库中选取 。对标准字符分别进行归一化、轮廓化和特征抽 取，标准模板就是从中抽取特征得到的特征向量 。10、字符匹配n两种主要方法：模板匹配法和人工神经网络算法；n模板匹配算法首先把待识别字符二值化，并将其尺寸大 小缩放为字符数据库中模板的大小，然后与所有的模板 进行匹配，最后选最佳匹配作为结果；n基于人工神经网络的算法主要有两种： (1) 一种是先对待识别字符进行特征提取，然后用所获得的 特征来训练神经网络分类器； (2) 另一种方法是直接把待处理图像输入网络，由网络自动 实现特征提取直至识别出结果。前一种方法识别结果与 特征提取有关，而特征提取比较耗时，因此特征提取是 关键。期末考试要求n1、开卷n2、每人一套题n3、两大类型题：综合基础题、综合应用题n4、基础题要求：基本概念、基本原理、简易计算n5、应用题要求： 变换、分割、形态学处理n带计算器或笔记本电脑
