《{通信公司管理}视频处理与宽带通信3》由会员分享，可在线阅读，更多相关《{通信公司管理}视频处理与宽带通信3（89页珍藏版）》请在金锄头文库上搜索。
1、视频获取与表示,清华大学自动化系 季向阳,提 纲,概 论,把连续的视频信号转化为 数字视频信号一般包括两步： 采样 量化 这一讲我们只讨论采样的问题，量化留到以后解决,采样与失真,模拟信号数字化 奈奎斯特采样定律,视频信号的获取,大多数TV摄像机是通过在时间和垂直方向进行采样来摄取视频序列的。产生的信号存储在一个一维光栅扫描中 不同的采样方案对应不同的采样点阵。在设计数字视频采样系统时，必须回答的两个问题： 所需的视频采样率是多少？ 在给定总的采样率时，哪一种采样点阵最有效？,采样率的选择,在设计视频采样系统时，无论一维、二维、还是三维，一个必须回答的基本问题时，空间和时间采样的分辨率应该是多
2、少？ 采样率一般和以下几个因素有关： 待采样信号的频率成分 在空间和时间截止频率方面的视觉阈值 摄取和显示设备的特性 可以承受的处理、存储和传输成本,基于采样定理，如果采用立方体点阵， 每维上的采样率至少应为该方向上最高频率的两倍 人眼不能分辨超过一定高的频率的空间和时间变化 。所以视觉截止频率，即可以被HVS观察到空间和时间的最高频率，是确定视频采样率的决定因素 视觉敏感度依赖于显示器的平均亮度。对于很亮的TV信号，视觉阈值要求帧率大于70Hz，而空间分辨率至少是30cpd。在屏幕高度三倍的正常观测距离上，25cpd的空间频率换算维大约500行/帧（lpf）,采样率的选择 (续）,现在来从采
3、样率的角度来讨论隔行扫描 在模拟TV系统被开发出来的时候，视觉截止频率所要求的这些采样率超过了当时的技术水平。为了降低码率进而降低视频摄取、传输和显示的成本，隔行扫描被提出来了，对于给定的总码率（帧率和行率的乘积），它靠牺牲垂直分辨率来提高时间分辨率。,采样率的选择 (续）,在NTSC TV系统中，每秒摄取60个场，但每场只包含所期望行数的一般（240有效行/场）。与采用30fps和480lps的逐行扫描的总码率是相同的 隔行扫描和逐行扫描处理静止图象和运动图象的不同点 如果景物是静止，通过每一场扫描线的交错，它能够产生与采用60fps和480lps逐行扫描一样的质量 对于具有特殊图案（垂直线
4、图案）的高速运动场景，它会导致所谓的“隔行效应” 对于运动图片，由于电影院环境亮度很低，降低了视觉敏感性，24fps的帧率（逐行）就可以。尽管原始图象在24fps帧率下摄取的，但在回放时，在投射镜头前放置一个每帧旋转3次的叶片，使得有效回放速率为72fps。抑止可能会被一些敏感的观众感受到的闪烁效应,采样率的选择 (续）,对于计算机显示，需要高得多的空间和时间采样率。例如，SVGA显示的帧率为72fps（逐行），空间分辨率为像素。这是为了适应很近的观察距离（通常为图片高度的一到两倍）和显示资料的高频成分（线图形和文本）。,采样率的选择 (续）,定义实K维空间 中的点阵 ，它可以表示为K个线性独
5、立的基矢量 ， 的整数加权组合的所有可能矢量的集合。即： 矩阵 称为采样矩阵。,点阵理论,举例 这两个采样矩阵生成的采样点阵,点阵理论,空间可由选定的单位晶格及其平移表示成一个花砖面 ：,点阵理论,平行四边形和沃罗纳晶格,定义具有基矢量 的一个点阵的基本平行四边形是由相应于基矢量的矢量包围起来的多边形。定义为： 定义 一个点阵的沃罗纳晶格（Voronoi)是一个点的集合，这个集合中的点符合下面的条件：每个点到原点的距离总是要大于或等于这个点到其它阵点的距离。,沃罗纳晶格及其向所有阵点的平移形成了对空间 的一种分割,沃罗纳晶格,采样密度,单位晶格的容积 在视频信号处理中，定义采样密度 两个点阵，
6、采样密度分别为,定义给定一个采样矩阵为 的点阵，它的反商点阵可定义为具有如下采样矩阵的点阵： 或 正交，采样密度互为倒数,采样密度,对于一个固定的采样点阵，为了避免混叠，原始连续信号应该用预滤波器进行带限： 原始信号： 采样后的信号： 反商点阵：,采样密度,预滤波信号: 预滤波后的采样信号: 铺在六边形分割上的原始信号： 使用六边形点阵的采样信号：,采样密度,忽略水平方向，并且把视频信号看做是在时间和垂直方向生成的空间中的二维信号 令 表示场间隔，而 表示行间隔。逐行和隔行扫描的采样点阵,二维视频采样：逐行和隔行扫描,逐行反商阵 隔行反商阵,二维视频采样：逐行和隔行扫描,采样矩阵和反商矩阵 逐
7、行扫描： 隔行扫描：,二维视频采样：逐行和隔行扫描,在反商点阵图形中平面第一象限内离原点最近的3个点（实心圆圈）。这几点是最接近原始信号频谱的混叠分量的中心，也是可觉察失真的主要原因 画点阵时，改变了空间和时间维的比例，使得等于垂直采样率的空间频率 与等于场率的时间频率 具有相同的长度 理想情况下，通过给定空间和时间截止频率分配相同地长度，将基于视觉敏感度地时间和空间频率等同对待。因为空间和时间采样频率通常是基于各自地截止频率选取的，使不同方向上的采样频率相等一般来说是合适的,二维视频采样：逐行和隔行扫描,比较两种扫描 它们具有相同的采样密度，即 沿垂直频率轴，它们在 ，具有相同的最近的混叠。
8、这意味着在没有运动时，两种采样点阵有相同的分辨率。然而，当景物存在运动时，隔行扫描的垂直分辨率要低于逐行扫描的垂直分辨率 沿时间频率轴它们具有不同的最近混叠。对于逐行扫描，第一个混叠出现在 处，而隔行扫描出现在 处 它们具有不同的混合混叠。混合混叠定义为最近的偏离轴的混叠分量。接近混合混叠的频率分量引起行间闪烁和爬行。因为隔行扫描的混合混叠更靠近原点，行间闪烁和爬行在隔行扫描中更容易觉察这就是所谓的隔行效应,二维视频采样：逐行和隔行扫描,提 纲,摄像机模型,针孔模型（Pinhole Model）反向投影同向投影平行投影 CAHV模型 摄像机运动,针孔模型之一：反向投影,特点：成像物体与成像平面
9、位于摄像机中心两端成像的位置与成像物体的位置是相反的成像平面位于焦点之后,针孔模型之一：反向投影,针孔模型之二：同向投影,特点 成像物体与成像平面位于摄像机中心同侧成像的位置与成像物体的位置是相同的成像平面位于焦点之前,针孔模型之二：同向投影,针孔模型之二：同向投影,透视成像关系式： 或 可见，x和y与Z成反比 齐次坐标系表示：,针孔模型之二：同向投影,当图像平面的坐标原点不在主点上时： 由此可以定义摄像机标定矩阵为：,摄像机运动,升/降上吊，下吊,左/右左跟，右跟,推/拉前推，后拉,竖扫上倾，下倾,平扫左摇，右摇,旋转滚,缩放变焦,摄像机运动,若世界坐标和摄像机坐标架子之间存在欧式变换时：,
10、由此可知从世界坐标系中一点X与像素x之间的对应关系为： 通常我们称与 相关的参数为摄像机内部参数内部校准，包含在 中的参数称之为外部参数外部校准,摄像机运动,针孔模型之三：平行投影,条件成像物体距离成像平面很远 成为平行投影（正交投影） 满足关系式,多对一映射使得基于二维图像估计物体的三维结构和运动具有极大挑战,针孔模型之三：平行投影,针孔模型小结,将三维的实体对象转化为二维的平面图形 多对一的关系 在同一视线（line of sight）上遇到的第一个点起决定的作用，其他点将被忽视 优点：简单 缺点：难以估计实物对象的结构根据投影图像难以对实物对象进行运动估计 没有考虑摄像机轴与图像中心对不
11、准、真实镜头有限孔径的低通滤波作用、曝光失真,CAHV模型,特点考虑了摄像机本身的运动采用四个矢量进行模型的描述公式,C 世界坐标系统到摄像机中心的矢量,光轴方向的单位矢量,投影平面水平方向单位矢量,投影平面垂直方向单位矢量 希望校准摄像机以补偿针孔摄像机模型与真实摄像机之间的几何误差,CAHV模型投影示意图,说 明,非固有参数C,A,以及固有参数 , 和F可以表征实际的摄像机系统 能够描述一个偏离摄像机轴的成像平面，也可以描述某些失真 可以用摄像机校准算法估计这些参数,提 纲,照明模型,入射光如何影响反射光的分布（几何模型和光谱模型）(局部和全局照明模型) 几何模型 描述入射光的幅度和方向分
12、布 适用于环境和点光源 描述主要由真实世界的照明变化引起的视频序列时间上的变化 漫反射与镜面反射 模型之一：不同照明和反射条件下的光强分布 模型及图示 几种简化模型 模型之二：物体运动引起的图像函数的变化,漫反射与镜面反射,反射,漫反射（所有方向能量分布相同）,镜面反射（镜向上强度最大）,朗伯表面钝的，无光泽的表面： 木头，水泥墙等 在所有方向上具有相等的能量分布 决定物体表面的颜色,在入射光的镜向上强度最大 不能显示物体的颜色，只能显示入射光的颜色,光强分布能量,对于一个物体表面光源的相互作用，涉及三种能量： 入射光的通量 指从光源发射出的能量的速率，单位：瓦特（W） 入射辐照度 E 指物体
13、上每单位面积的入射光通量，单位： 辐照度取决于入射光与表面在该点的法线之间夹角 反射辐射强度 C 指从物体表面反射的光的能量,光强分布模型,反射辐射强度,入射光辐照度,反射系数函数 反射光强度与入射 光强度之间的比值 取决于入射光 表 面几何形状,照明方向,物体表面的位置,在位置X处的表面法线矢量,连接X与摄像机焦点观测方向,光的波长,都是X和t的函数 C的分布取决于E和反射系数r,从方向L被一个具有无限小区域 的点光源照射的一个小块表面 （具有法线矢量N）。这个小块是从方向V观测的,光强分布模型图示,光强分布简化假设模型,物体表面不透明，照明（及观测）方向时不变,简化假设之一：,说明： 尽管
14、照明和观测方向（V和L）是固定的，然而由于物体是运动的，所以入射光辐照度仍然是随时间变化的,光强分布简化假设模型,入射光是环境光源，物体表面是漫反射的,简化假设之二：,时刻t时环境光的强度,反射系数函数 r不依赖于表 面法线N,不依赖于表面位置X或表面法线N,光源的最大辐照度，是当光垂直于表面时的辐照强度,简化假设之三：,点光源引起的反射辐照强度,L与N之间的夹角,其中,光强分布简化假设模型,点光源的漫反射在各个方向上是一个常数。强度取决于表面法线N与到光源的方向L之间的夹角,光强分布点光源模型,光强分布简化假设模型,点光源远离物体表面，可以把入射光近似为平行光,简化假设之四：,光强分布简化假
15、设模型,假定物体具有各向同性的表面，则,反射反射强度就变为：,简化假设之五：,物体运动引起的图像函数变化,模型之一：,在二维图像平面中，假设在t时刻象素x的亮度 正比于对应于x的三维点X处的发射辐射强度 ，有,从时间 到 ，从 运动 到（对应于表面法线变化是从 到 ）的一个点的亮度强度变化,物体运动引起的图像函数变化,假设图像信号 依赖于照度 和反射系数函数,模型之二：环境照明、漫反射表面、正交投影,在图像平面中，从 运动到 的一点的信号 变化,物体运动引起的图像函数变化,当 为常数时，称为恒亮度假设，有：,模型之二（续）：,适用条件：空间和时间不变的环境照明和漫反射表面，因为，在这种条件下，
16、没有运动的阴影，也没有光滑表面引起的反射,示例线光源照明模型（1）,面光源引起的漫反射几何,方向长方形光源的反射几何,示例线光源照明模型（2）,线光源照明模型生成场景示意（有两个线光源照明）,示例山体照明模型,1、无大汽影响,2、薄雾天气,3、阴雨浓雾天气,4、雨后天气,物体模型,物体用纹理、形状和运动模型描述 纹理模型-描述物体的表面特性 假设物体m的纹理用彩色参数Sm来描述， Sm即包含亮度反射系数也包含色度反射系数 这些彩色参数对应于图像信号(x),提 纲,物体模型,形状模型,用体素描述,用线框描述,运动模型,刚性物体运动,柔性物体运动,平移,旋转,分解法,叠加法,B样条曲线描述,形状模型概述,用体素来描述三维物体 效率不高：我们对物体的内部不感兴趣 用三角形网格（即线框）来描述三维物体表面 控制点表
