《计算机视觉预备知识课件》由会员分享，可在线阅读，更多相关《计算机视觉预备知识课件（45页珍藏版）》请在金锄头文库上搜索。
1、计算机视觉预备知识计算机视觉预备知识东北大学东北大学人工智能与机器人研究所人工智能与机器人研究所计算机视觉预备知识人类视觉原理与特点人类视觉原理与特点 人类从外界环境获取信息，一般是通过视觉触觉听觉嗅觉等感觉器官来实现的。其中，60-80的信息是由人的眼睛，即视觉来获得的。可见，视觉器官是人类的最重要的感知器官。计算机视觉预备知识人类的视觉系统人类的视觉系统1，眼睛眼睛2，视觉神经系统视觉神经系统计算机视觉预备知识基本视觉信息基本视觉信息 1 1. .亮度亮度：亮度是最基本的视觉信息，亮度是一：亮度是最基本的视觉信息，亮度是一种外界辐射的物理量在我们视觉中反映出来的种外界辐射的物理量在我们视觉
2、中反映出来的心理物理量。心理物理量。 2 2. .形状形状：由物体在视觉空间上的亮度分布，颜：由物体在视觉空间上的亮度分布，颜色分布或运动状态不同而显示出来的色分布或运动状态不同而显示出来的 。3 3. .运动运动 。4 4. .颜色颜色：是一种主观感觉，目前只在感受器细：是一种主观感觉，目前只在感受器细胞水平和心理物理的宏观水平上得到了较深入胞水平和心理物理的宏观水平上得到了较深入的研究。的研究。 计算机视觉预备知识例如：雪地上一张白纸，荒野中潜伏的例如：雪地上一张白纸，荒野中潜伏的狼，都比较难以觉察。相反，雪地上一狼，都比较难以觉察。相反，雪地上一张彩纸，绿草地上一朵红花，荒野中奔张彩纸，
3、绿草地上一朵红花，荒野中奔跑的狼，都比较容易发现，这是由于物跑的狼，都比较容易发现，这是由于物体体形状形状因因亮度、颜色、运动亮度、颜色、运动等因素而突等因素而突显出来，易于被人眼分辨出来。显出来，易于被人眼分辨出来。计算机视觉预备知识5 5. .深度知觉深度知觉 ：判断物体距离或深度的感觉。：判断物体距离或深度的感觉。 例如：伸手拿一本书，躲开汽车或障碍物，把例如：伸手拿一本书，躲开汽车或障碍物，把足球踢入球门等。足球踢入球门等。外界目标在视网膜上的象是二维的，而且外界目标在视网膜上的象是二维的，而且同一物体在左右眼的视网膜上的成象有着微小的同一物体在左右眼的视网膜上的成象有着微小的差异差异
4、，这种差异为立体视觉提供了最基本的信息，这种差异为立体视觉提供了最基本的信息视差视差。 还有许多单眼的信息可以产生深度信息还有许多单眼的信息可以产生深度信息的估计，如物体的重叠、透视（近大远小，近清的估计，如物体的重叠、透视（近大远小，近清晰远模糊，近亮远暗）、明暗、纹理及运动。晰远模糊，近亮远暗）、明暗、纹理及运动。计算机视觉预备知识视觉中的一些心理和生理特征视觉中的一些心理和生理特征与现象与现象 1 1. .视觉的相对性视觉的相对性：视觉感知的结果不仅仅取决于视觉感知的结果不仅仅取决于刺激本身，同时还受经验、对比等的影响，这就是视刺激本身，同时还受经验、对比等的影响，这就是视觉的相对性。觉
5、的相对性。 例如：初升的旭日和正午的骄阳究竟何者离我们例如：初升的旭日和正午的骄阳究竟何者离我们更近。更近。2 2. .视觉的选择性视觉的选择性 例如：视而不见例如：视而不见 计算机视觉预备知识3 3. .视觉的整体性视觉的整体性 ：整体性是指超越对部分感知整体性是指超越对部分感知之和而产生的一种整体知觉经验，即整体大于部分之之和而产生的一种整体知觉经验，即整体大于部分之和。和。 4 4. .视觉的恒常性视觉的恒常性 1 1）亮度恒常性）亮度恒常性 例如：一匹黑布和一匹白布例如：一匹黑布和一匹白布 原因：先验知识原因：先验知识 ；本体反射率；本体反射率。2 2）大小恒常性）大小恒常性 例如：远
6、处的牛比近处的狗要大例如：远处的牛比近处的狗要大 3 3）形状恒常性）形状恒常性 4 4）颜色恒常性）颜色恒常性 计算机视觉预备知识5 5. .错视现象错视现象（a a）高度错视；高度错视；（b b）长度错视长度错视; ;（c c）平行线错视平行线错视; ;（d d）大小错视大小错视; ;（e e）主从错视主从错视; ;计算机视觉预备知识计算机视觉预备知识计算机视觉预备知识计算机视觉计算机视觉 计算机视觉是指用计算机实现人的视觉功能对客观世界的三维场景的感知、识别和理解。计算机视觉预备知识图像图像输入输入人机交互处理人机交互处理 结果结果 输出输出 图像图像 理解理解 图像图像 分析分析 图像
7、图像 处理处理数字化数字化计算机视觉系统的组成及原理计算机视觉系统的组成及原理计算机视觉预备知识计算机数字图象处理系统计算机数字图象处理系统 帧存帧存摄像头摄像头A/DLUT监视器监视器D/A微微机机接接口口显示器显示器系系统统总总线线内存内存显存显存CPU计算机计算机图象采集卡图象采集卡计算机视觉预备知识CCDCCD摄像头摄像头 CCD（Charge Coupling Device)摄像头由一组离散的光敏元件阵列组成，当光线照到这个阵列上时，每个光敏元件上产生电荷。电荷的多少和光敏元件上的照度成正比，由此产生的电信号反映光强。这些电信号用两相时钟脉冲顺序传送，就产生代表图像的电压时间信号。计
8、算机视觉预备知识XOnYm视频图像构成原理视频图像构成原理分辨率 m n如：480 640灰度图像 I = f ( x, y )彩色图像 IR = fR ( x, y ) IG = fG ( x, y ) IB = fB ( x, y )制式 PAL / NTSC视频图像数字图像像素计算机视觉预备知识图象数字化图象数字化 黑白图象数字化 彩色图象数字化 计算机视觉预备知识计算机视觉基本特点计算机视觉基本特点 分阶段信息处理，多层次信息表示分阶段信息处理，多层次信息表示绝大部分问题为病态问题绝大部分问题为病态问题 原始信息被污染，信息处理量巨大原始信息被污染，信息处理量巨大 一种知识导引与管理系
9、统一种知识导引与管理系统 多学科交叉与结合多学科交叉与结合 计算机视觉预备知识实用图像处理技术实用图像处理技术 灰度图像灰度图像彩色图像彩色图像二值化图像二值化图像 计算机视觉预备知识图像的增强图像的增强 1 1. .直方图的均衡化直方图的均衡化 计算机视觉预备知识2 2. .平滑滤波平滑滤波 原图噪声污染后的图像计算机视觉预备知识均值滤波后的图像中值滤波后的图像计算机视觉预备知识3 3. .锐化锐化( (边缘检测边缘检测 ) ) 计算机视觉预备知识彩色图像分割方法彩色图像分割方法 三色学说三色学说假设人视网膜上有三种神经纤维，每种神经纤假设人视网膜上有三种神经纤维，每种神经纤维的兴奋都引起红
10、绿蓝原色中的一种的感觉。维的兴奋都引起红绿蓝原色中的一种的感觉。光作用在视网膜上虽然能同时引起三种纤维的光作用在视网膜上虽然能同时引起三种纤维的兴奋，但波长不同，引起三种纤维的兴奋程度兴奋，但波长不同，引起三种纤维的兴奋程度不同，人眼就产生不同的颜色感觉。不同，人眼就产生不同的颜色感觉。 计算机视觉预备知识三种视神经兴奋曲线 红色纤维红色纤维绿色纤维绿色纤维蓝色纤维蓝色纤维红红橙橙 黄黄绿绿 蓝蓝紫紫计算机视觉预备知识颜色视觉和颜色空间理论颜色视觉和颜色空间理论 三色原理三色原理现代色度学理论指出，人对任何一种颜色的感觉，现代色度学理论指出，人对任何一种颜色的感觉，都可以用红、绿、蓝三种单色加
11、权混合产生，因此，都可以用红、绿、蓝三种单色加权混合产生，因此，红、绿、蓝三种单色称为三基色，这就是三色原理。红、绿、蓝三种单色称为三基色，这就是三色原理。颜色空间颜色空间各颜色的光都可以由红、绿、蓝三种基色光加权各颜色的光都可以由红、绿、蓝三种基色光加权混合而成，因此，彩色空间是三维的线形空间，任何混合而成，因此，彩色空间是三维的线形空间，任何一种具有一定亮度的颜色光都是空间中的一个点（或一种具有一定亮度的颜色光都是空间中的一个点（或向量），这个空间就是颜色空间。向量），这个空间就是颜色空间。 计算机视觉预备知识几种颜色空间RGBRGB颜色空间颜色空间 当我们选择具有确定光通量的红绿蓝三基色
12、光作为三维颜色空间的基时，就构成了RGB颜色空间。颜色空间不是唯一的颜色空间不是唯一的格拉斯曼定律指出，人的视觉只能分辨颜色的三种变化（例如明度、色度、饱和度）。这就是说，通过对RGB颜色空间进行坐标变换，可以产生新的颜色空间。XYZXYZ表色系统表色系统YIQYIQ表色系统表色系统HSIHSI表色系统表色系统 计算机视觉预备知识彩色视觉系统颜色分类彩色视觉系统颜色分类 颜色信息提取颜色信息提取 从理论上讲，在这个空间中的每一个点都代表一种颜色，因而，在这个空间中有16.7兆种颜色。但从实际上看，这16.7兆个点并不简单的划分为16.7兆种颜色 。GRB255RGB颜色空间颜色空间255255
13、计算机视觉预备知识HIS 颜色模型计算机视觉预备知识颜色空间的相互转换 计算机视觉预备知识图5.30划分HSI空间的方法颜色模型的转换颜色模型的转换计算机视觉预备知识计算机视觉预备知识计算机视觉预备知识暂时到此计算机视觉预备知识返回计算机视觉预备知识返回计算机视觉预备知识图像处理由于实际景物转换为图像信号时，总会引入各种噪声由于实际景物转换为图像信号时，总会引入各种噪声或畸变失真，一般需要先进行图像处理。或畸变失真，一般需要先进行图像处理。这一过程借用了大量的图象处理技术和算法，如这一过程借用了大量的图象处理技术和算法，如图象图象滤波、图像增强、边缘检测滤波、图像增强、边缘检测等，以便从图象中
14、抽取诸等，以便从图象中抽取诸如如角点、边缘角点、边缘线条、边界以及色彩等关于场景的基线条、边界以及色彩等关于场景的基本特征本特征；这一过程还包含了各种图象变换（如校正）、图象纹这一过程还包含了各种图象变换（如校正）、图象纹理检测、图象运动检测等；理检测、图象运动检测等；有时还采用有时还采用图像编码压缩技术图像编码压缩技术大大地减少信息量，以大大地减少信息量，以达到减少对计算机存储容量和传输通道的要求。达到减少对计算机存储容量和传输通道的要求。 返回计算机视觉预备知识图象分析图象分析的主要任务是恢复场景的深度、表面图象分析的主要任务是恢复场景的深度、表面法线方向、轮廓等有关场景的法线方向、轮廓等
15、有关场景的 2 2.5 .5 维信息。维信息。实现的途径有立体视觉、测距成象、运动估计、实现的途径有立体视觉、测距成象、运动估计、明暗特征、纹理特征等估计方法。明暗特征、纹理特征等估计方法。系统标定、系统成象模型等研究内容一般也是系统标定、系统成象模型等研究内容一般也是在这个层次上进行的。在这个层次上进行的。 返回计算机视觉预备知识图象理解图象理解是在以物体为中心的坐标系中，图象理解是在以物体为中心的坐标系中，在原始输入图象、图象基本特征、在原始输入图象、图象基本特征、2 2.5 .5 维图的基础上，恢复物体的完整三维图，维图的基础上，恢复物体的完整三维图，建立物体三维描述，识别三维物体并确建
16、立物体三维描述，识别三维物体并确定物体的位置和方向。定物体的位置和方向。 返回计算机视觉预备知识绝大部分问题为病态问题绝大部分问题为病态问题 由于视觉问题是成象过程的逆过程，由于视觉问题是成象过程的逆过程，成象是从三维向成象是从三维向二维投影的过程二维投影的过程，因而在这个过程中会把深度信息丢，因而在这个过程中会把深度信息丢失，失，造成图象的多义性造成图象的多义性，同时诸如光照，同时诸如光照材料特性、材料特性、朝向、距离等信息都反映成唯一的测量值朝向、距离等信息都反映成唯一的测量值灰度，灰度，因而因而要从这唯一的测量值恢复上述一个或几个反映物要从这唯一的测量值恢复上述一个或几个反映物体本质特征
17、的参数是一个病态的过程体本质特征的参数是一个病态的过程。成象中由于大气扰动、镜头因素、传感器噪声、传输成象中由于大气扰动、镜头因素、传感器噪声、传输噪声以及量化噪声等的干扰，都会使图象产生失真，噪声以及量化噪声等的干扰，都会使图象产生失真，这些干扰多具有随机性。这些干扰多具有随机性。以上这些病态性问题，在处理和分析过程中都会导致以上这些病态性问题，在处理和分析过程中都会导致图象的解不唯一。图象的解不唯一。 返回计算机视觉预备知识原始信息被污染，信息处理量巨大原始信息被污染，信息处理量巨大 灰灰度度图图象象，彩彩色色图图象象，深深度度图图象象的的信信息息量量十十分分巨巨大大，比比如如分分辨辨率率
18、为为640480640480的的8 8位位灰灰度度图图象象的的数数据据量量为为300300K K，同同样样分分辨辨率率的的彩彩色色图图象象的的数数据据量量是是900900K K。如如果果处处理理的的是是图图象象序序列列，则则数数据据量量更更大大。巨巨大大的的数数据据量量需需要要巨巨大大的的存存贮贮空空间间，还还不不易易实实现现快快速速处处理理。同同时时，由由于于光光学学成成像像通通道道和和电电子子线线路路成成像像通通道道存存在在大大量量的的随随机机噪噪声声，使得原始信息被污染，这也增加了后续处理的难度。使得原始信息被污染，这也增加了后续处理的难度。返回计算机视觉预备知识一种知识导引与管理系统一
19、种知识导引与管理系统在在视视觉觉过过程程中中对对一一幅幅图图象象的的理理解解需需要要大大量量的的关关于于任任务务领领域域的的知知识识，这这些些知知识识不不同同于于问问题题求求解解中中的的知知识识可可以以明确地明确地显式显式表示；表示；人人类类获获取取信信息息的的6060-80-80是是通通过过视视觉觉得得到到的的，因因而而这这些些知知识识涉涉及及面面之之广广难难以以预预测测。因因此此视视觉觉系系统统中中的的知知识识管理是一个重要的问题。管理是一个重要的问题。我我们们会会看看到到，计计算算机机视视觉觉系系统统的的最最大大特特征征是是，在在视视觉觉的的各各个个阶阶段段，系系统统尽尽可可能能地地进进
20、行行自自动动运运算算。为为此此，系系统统需需要要使使用用各各种种知知识识，包包括括特特征征模模型型、成成象象模模型型、物物体体模模型型和和物物体体间间的的关关系系等等。如如果果计计算算机机视视觉觉系系统统不不用用这些知识，则其应用的范围及其功能将十分有限。这些知识，则其应用的范围及其功能将十分有限。返回计算机视觉预备知识多学科交叉与结合多学科交叉与结合 计算机视觉计算机视觉计算机科学计算机科学心理学心理学生理学生理学物理学物理学信号处理信号处理数学数学图象图形学图象图形学模模式式识识别别与与人工智能人工智能返回计算机视觉预备知识黑白图象数字化视视频频输输入入预预 处处理理A/D数数字字输输出出
21、同同步步锁锁相相采采样样脉脉冲冲形成形成地地址址形形成成地地址址输输出出返回计算机视觉预备知识彩色图象数字化 解码器解码器彩色视频输入彩色视频输入预处理预处理A/DGD预处理预处理A/DRD预处理预处理A/DBD返回计算机视觉预备知识图像的灰度直方图 n（I）- I 为一幅图像的灰度直方图（图514 ）对灰度图像而言，一个图像的灰度直方图整体地描述了这幅图像的灰度分布设I1，I2，IL为一幅给定图像的离散强度，则直方图的第j个值为： 其中，mj为灰度Ij的像素点的数目，m为图像总像素数。n（I）I图514 一幅图像的灰度直方图返回计算机视觉预备知识原图与二值化图的对照 001000000000111000000011111100001111111110111111111111100返回计算机视觉预备知识
