《{通信公司管理}视频处理与宽带通信2》由会员分享，可在线阅读，更多相关《{通信公司管理}视频处理与宽带通信2（74页珍藏版）》请在金锄头文库上搜索。
1、数字媒体基础,清华大学自动化 季向阳,提 纲,提 纲,数字媒体,数字媒体: 文字、图形、图像、声音、视频和动画 数字媒体技术：表示、记录、处理、存储、传输、显示、管理,计算机视觉,计算机图形学,信号处理,涉及学科,6,可见光 敏感器,视觉 感知,视频数据,场景成像过程,计算机图形学是利用计算机研究图形的表示、生成、处理、显示的学科 如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法，构成了计算机图形学的主要研究内容 图形硬件、图形标准、图形交互技术、光栅图形生成算法、曲线曲面造型、实体造型、真实感图形计算与显示算法，以及科学计算可视化、计算机动画、自然景物仿真、虚
2、拟现实等,计算机图形学,用计算机来模拟人的视觉机理获取和处理信息 计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界，具有自主适应环境的能力,计算机视觉,图像的基本属性,时间分辨率,空间分辨率,位深度,颜色空间,两种常用的图像表示方法,矢量图: 由数学计算得到的线条和曲线组成，根据图像的几何特性描绘图像 文件小 图像放大或缩小不影响图像的分辨率 图像的分辨率不依赖于输出设备 位图：点阵图像，由像素点组成 逼真度高,提 纲,图象的彩色模型,光源的种类有源物体（照明光源），无源物体（反射光源） 图像彩色模型的生成相加混色原理和相减混色原理 彩色空间的线性变换标准,图象的彩色模型-
3、光源的种类,有源物体 一个能发出光波的物体称为有源物体，它的颜色由该物体发出的光波决定，使用RGB相加混色模型,无源物体 一个不发光波的物体称为无源物体，它的颜色由该物体吸收或者反射哪些光波决定，用CMY青色(Cyan)、品红(Magenta)和黄色(Yellow) 相减混色模型,图像彩色模型的生成相加混色原理,一幅彩色图像可以看成由许许多多的点组成的。图像中的单个点称为像素(pixel)，每个像素都有一个值，称为像素值，它表示特定颜色的强度 一个像素值往往用R、G、B三个分量表示。如果每个像素的每个颜色分量用二进制的1位来表示，那末每个颜色的分量只有“1”和“0”这两个值。每种颜色的强度是1
4、00%，或者是0% 每个像素所显示的颜色是8种可能出现的颜色之一,图像彩色模型的生成相减混色原理,用彩色墨水或颜料进行混合，这样得到的颜色称为相减色。任何一种颜色都可以用三种基本颜料按一定比例混合得到 这三种颜色是青色C、品红M和黄色Y，称为CMY模型 用这种方法产生的颜色之所以称为相减色，乃是因为它减少了为视觉系统识别颜色所需要的反射光,图像彩色模型的生成加减混色示意,图像彩色模型的生成相加混色原理,相加混色原理 ：组合红(Red)、绿(Green)和蓝(Blue)三种波长的光，以产生特定颜色称为相加混色，称为RGB相加模型。相加混色是计算机应用中定义颜色的基本方法,图像彩色模型,颜色模型
5、RGB： 彩色最基本模型，适合于计算机系统 CMY ： 印刷 YUV： PAL制式彩色电视信号 YIQ： NTSC制式彩色电视信号（日本/北美） YCbCr：数字视频常用的颜色模型,品红,黄,青,彩色空间的线性变换标准,为了使用人的视角特性以降低数据量，通常把RGB空间表示的彩色图像变换到其他彩色空间。目前采用的彩色空间变换有三种：YIQ, YUV和YCrCb 每一种彩色空间都产生一种亮度分量信号和两种色度分量信号，而每一种变换使用的参数都是为了适应某种类型的显示设备 其中，YIQ适用于NTSC彩色电视制式，YUV适用于PAL和SECAM彩色电视制式，而YCrCb适用于计算机用的显示器,YUV
6、与YIQ模型,在彩色电视制式中，使用YUV和YIQ模型来表示彩色图像 在PAL彩色电视制式中使用YUV模型，其中的YUV不是那几个英文单词的组合词，而是符号，Y表示亮度，UV用来表示色差，U、V是构成彩色的两个分量 在NTSC彩色电视制式中使用YIQ模型，其中的Y表示亮度，I、Q是两个彩色分量,YUV与YIQ模型,YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的 由于Y、U、V独立，所以可以对这些单色图分别进行编码 黑白电视能接收彩色电视信号也就是利用了YUV分量之间的独立性,YUV与YIQ
7、模型,YUV表示法的另一个优点是可以利用人眼的特性来降低数字彩色图像所需要的存储容量。人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低 若把人眼刚能分辨出的黑白相间的条纹换成不同颜色的彩色条纹，那么眼睛就不再能分辨出条纹来 把彩色分量的分辨率降低而不明显影响图像的质量，就可以把几个相邻像素不同的彩色值当作相同的彩色值来处理，从而减少所需的存储容量,YUV与YIQ模型,例如，要存储RGB 888的彩色图像，即R、G和B分量都用8位二进制数表示，图像的大小为640480像素，那末所需要的存储容量为921 600字节,如果用YUV来表示同一幅彩色图像，Y分量仍然为640480，并且Y分量仍然用8位
8、表示，而对每四个相邻像素(22)的U、V值分别用相同的一个值表示，那末存储同样的一幅图像所需的存储空间就减少到460 800字节,是图像压缩技术的一种方法,YUV与RGB彩色空间变换,在考虑人的视觉系统和阴极射线管CRT(cathode ray tube)的非线性特性之后，RGB和YUV的对应关系可以近似地用下面的方程式表示：,Y = 0.299R + 0.587G + 0.114B U = - 0.147R- 0.289G + 0.436B V = 0.615R - 0.515G - 0.100B,或者写成矩阵的形式，,YIQ与RGB彩色空间变换,RGB和YIQ的对应关系用下面的方程式表示：
9、,Y = 0.299R + 0.587G + 0.114B I = 0.596R - 0.275G - 0.321B Q = 0.212R - 0.523G + 0.311B,或者写成矩阵的形式，,图像彩色模型的生成相加混色原理,CRT是阴极射线管。 LED,即发光二极管，是一种半导体固体发光器件，LED可以直接发出红、黄、蓝、绿、青、橙、紫、白色的光 LCD，液晶显示器，是一种数字显示技术，可以通过液晶和彩色过滤器过滤光源，在平面面板上产生图象。 PDP是Plasma Display Panel等离子显示器,提 纲,视频信号的频域特性,空间频率fs （二维为例）,图像平面上图像亮度或色度变化
10、快慢的一个度量 两正交方向构成二维空间向量 水平方向fx 垂直方向fy 频率合成,空间频率示例,二维正弦信号，单位面积 左下 右上 左上,空间频率为：,等效为沿方向,的频率,空间频率示例,由于人类视网膜的结构特点，人眼所能感知的信号变化速度随着观察距离的增加而增加 更符合人类视觉系统的空间频率测量是根据每度观测角的周期数(CPD)测量空间频率：角频率,角频率,由空间频率和观测距离确定,角频率,时间频率（每秒周期数） 依赖于二维空间位置；对某一个固定的二维空间位置（x,y），它的时间频率被定义为每秒变化的周期数（单位：Hz) 依赖于图像场景的变化速度 由摄像机或物体的运动造成，或由二者共同造成,
11、视频信号的频域特性,由线性运动产生的时间频率,设零时刻成像图形,则t时刻成像图形,视频信号的频域特性,由线性运动产生的时间频率,作连续空间傅立叶变换,运动速度、空间频率和时间频率构成如下关系式：,运动对象时间频率不仅取决于对象的运动速度，还取决于对象的空间频率,由线性运动产生的时间频率,图 示,重要结论,当fx=fy=0时，不论 vx,vy何值，都有ft=0, 表明在对象具有完全无变化的图案，如整个平面就一种颜色时，则无论对象沿时间平面运动有多快，人眼都观察不到在时间上的改变 如果运动方向(vx,vy)与空间频率方向(fx, fy)是互相垂直的，则时间频率ft=0。沿着空间频率方向ft变化速度
12、最快。沿着空间频率方向(fx,fy)的垂直方向则无空间变化。表明一个对象在其图案不变化的方向上运动不产生任何时间频率上的改变。 时间频率最大的是当对象在空间频率改变最大的方向上运动时,提 纲,人类视觉系统,任何视频系统从根本上说是给人看的。因此，理解人类视觉系统（ Human Visual System，简称HVS）如何感知视频信号是极其重要的 HVS对视觉信号的敏感度依赖于信号的时间频率和空间频率 视觉频率响应的知识在设计视频系统中是非常重要的。例如，时间和空间截止频率是确定视频摄取和显示系统的帧率和行率的基础。 深刻地理解HVS，也有利于利用视觉冗余压缩视频信息 图像亮度的时间和空间变化的
13、感觉,人类视觉系统,基本概念和特性 对比灵敏度，视觉惰性，马赫带效应，隐藏 时间频率响应 空间频率响应 时空频率响应 人眼平滑跟踪,对比灵敏度（Contrast Sensitivity),韦伯法则(Webers law)：人类视觉系统处理图像过程中，亮度相对周围环境的变化量比起绝对亮度更能引起感官知觉的反应,对比灵敏度,数学上定义韦伯比,L表示在背景亮度L下，人眼主观上刚刚可辨别亮度差别所需的最小光强，也称为亮度的辨别阈值（visibility threshold）,韦伯法则只是实际感官知觉的近似规律，但基于它的对比度度量方法韦伯比被广泛应用于视觉科学领域,对比灵敏度,对比灵敏度的定义：辨别阈
14、值的倒数 对比灵敏度取值依赖于刺激物颜色、空间频率、时间频率、物体运动等等因素 对比灵敏度函数(Contrast sensitivity function，简称CSF)：研究HVS的主要手段,视觉惰性（Visual Persistence）,实验表明，亮度感觉不会随着光刺激的消失而消失，而是以接近指数的规律减少，这种现象称为视觉惰性，或称为视觉暂留，是现代电影、电视的理论基础 视觉暂留是由人类视觉系统的时间相加机制引起的，它对进入人眼的光进行积分。根据布劳赫法则（Blochs law），积分或维持时间与光的强度成反比。光源越亮，积分时间越短。当显示较亮时，它给予人眼以较高的时间灵敏度 视觉惰性
15、是研究HVS时间频率响应得到的衍生结果,视觉惰性,数数有多少黑点,视觉惰性,试着将头前后移动观察此图,马赫带效应（Mach band effect),指当亮度发生跃变时，会有一种边缘增强的感觉，视觉上会感到边缘的亮侧更亮，暗侧更暗,右侧：均匀灰度级下的马赫带，仔细观察相邻灰度级边缘，会察觉边缘存在对比度增强的效果，能很清楚地看到交线,马赫带效应,由视觉系统中神经细胞的侧抑制现象造成的。所谓侧抑制，是指一个神经元兴奋后，它的分支会对周围其他神经细胞产生抑制，这种抑制使神经细胞之间呈现竞争，一个兴奋最强的神经细胞对周围神经细胞抑制也强，虽然一开始各个细胞都处于兴奋状态，但最后那个输出最大的神经细胞
16、获胜,马赫带效应,马赫效应会导致所谓的局部阈值效应，即在边缘的亮侧，临近边缘的象素的误差感知阈值比离边缘远的象素的阈值要高34倍。同样在边缘暗侧，这个关系也成立。即边缘可以“掩盖”临近象素点的误差 掩盖是非常局部的（典型的视角仅为5） 与眼球的无意识运动有关 眼球稳定时，边缘掩盖效应会大大减小,上两组量化成8bit 下两组量化成4bit 显然左面的两图 差别比较明显,马赫带效应,隐藏（Masking）,原本可视的目标信号由于其他信号的存在而变得不可视或不易察觉了；反之亦然，原本不易察觉的目标信号由于其他信号的存在而变成可以察觉到的 前面的马赫带效应可以认为是一种空间隐藏 主要分类 空间隐藏、时间隐藏 对比度隐藏、噪声隐藏、熵隐藏,空间隐藏示例,左图叠加中图构成右图,HVS的时间频率响应,对随时间以不同频率变化的图形的视觉灵敏度。研究表明，观察者的时间响应取决于众多因素，其中至少包括观察距离、显示亮度和背景亮度,关于时间频率响应的实验,平面显示屏幕的亮度以如下形式成正弦变化： 其中B为背景亮度，实际也是平均亮度；f为显示频率；m是调制系数。实验中，要
