《多媒体技术应用课件第5章》由会员分享，可在线阅读，更多相关《多媒体技术应用课件第5章（115页珍藏版）》请在金锄头文库上搜索。
1、第五章 视频信号处理技术,知识要点, 掌握视频信号特点级视频文件格式, 理解时间和彩色掩蔽效应, 理解视频信号压缩技术, 理解运动图像压缩的国际标准MPEG-1、2、4, 掌握视频操作的基本和方法,5.1 视频信号的基本概念,5.1.1 视频信号的特点 视频（Video）泛指将一系列的静态影像以电信号方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。 画面更新率 ：指视频格式每秒钟播放的静态画面数量。 交错扫描：是早年广播技术不发达，带宽甚低时用来改善画质的方法。 循序扫描 ：每次画面更新时都会刷新所有的扫描线。此法较消耗带宽但是画面的闪烁与扭曲则可以减少。 视频分辨率 ：各种电视规格分辨
2、率比较视频的画面大小 。,长宽比例 ：传统电视与常见的电影画面长宽比例之比较长宽比（Aspect ratio）是用来描述视频画面与画面元素的比例。 色彩空间像素比特量 ：U-V 、YIQ、YUV 、YDbDr 等模型。 像素比特量：代表每个像素当中可以显示多少种不同颜色的能力 (例如Y:I:Q为4:4:4, 4:2:2, 4:2:0) 视频品质 ：可以利用客观的峰值信噪比（peak signal-to-noise ratio, PSNR）来量化，或借由专家的观察来进行主观视频品质的评量。 视频压缩技术：MPEG-1、MPEG-2、MPEG-3等等。 比特率：一种表现视频串流中所含有的信息量的方
3、法 。 可变比特速率 ：是一种追求视频品质提升并同时降低比特传输率的手段,5.1 视频信号的基本概念,5.1.1 视频信号的特点,5.1.2 时间域与色彩掩蔽效应,如右图所示在0.10.3之间对比度灵敏度较低，这表明人的感觉和光敏信号间有个延时和侧抑制 （又称横向抑制）,5.1 视频信号的基本概念,1.时间域的掩蔽效应 人眼对水平方向的敏感性高于垂直方向；人眼对垂直方向的敏感性高于对角线方向,左图看起来垂直线段比水平线段长。原因是眼睛作上下运动比作水平运动困难一些，人们看垂直线段比看水平线段费力，因而垂直线段看起来长一些。 右图一条直线的中部被遮盖，看起来不再是直线了。原因是对图形左半部分，大
4、脑首先会将左边平行线识别成由左边直线向两线之间夹角的锐角方向(逆时针方向)倾斜而成的。,5.1 视频信号的基本概念,人眼对图像边缘轮廓的失真敏感，存在“图像中两条边界碎片之间的一致程度决定了它们能看作一条边界的可能性”这种心理学现象。,上图是一张非连续线条构成的图画。由于人类的知觉，图中缺少的线条可以从我们头脑中的知识和经验得到补充，因此每个人可以很容易地看出其英文含义为阴影SHADOW的阴影字。,5.1 视频信号的基本概念,德国科隆动物园的标志，不仅隐藏着长颈鹿和犀牛，大象后腿和尾巴形成的白色部分又是科隆的标志最著名的哥特式建筑：科隆大教堂的双子塔尖。匹茨堡动物园的标志里，大树中隐藏着大猩猩
5、和狮子 。,5.1 视频信号的基本概念,2彩色的掩蔽效应 彩色的掩蔽效应是指在亮度变化剧烈的背景上，例如在黑白跳变的边沿上，人眼对色彩变化的敏感程度明显地降低。类似地，在亮度变化剧烈的背景上，人眼对彩色信号的噪声（例如彩色信号的量化噪声）也不易察觉。,5.1 视频信号的基本概念,彩色的掩蔽效应的应用 在电视系统中彩色的掩蔽效应得到了充分的应用，如图所示亮度Y信号占据了主要带宽，而表示彩色的2个1.3MHz的U和V的信号则插在亮度Y信号的高频段，因为亮度信号的频谱高端信号较弱，而且间隔较大,5.1 视频信号的基本概念,5.1.3 视频文件的格式,因为电视视频与监控视频的环境不同，流媒体与手机视频
6、的平台各异，高清信号与动画片的受众有别，所以，视频文件会有多种不同的格式。,5.1 视频信号的基本概念,1.MPEG/MPG/DAT MPEG包括了 MPEG-1, MPEG-2 和 MPEG-4在内的多种视频格式。MPEG-1被广泛地应用在 VCD 的制作和一些视频片段下载的网络应用上面，MPEG-2 则是应用在 DVD 的制作，同时在一些 HDTV（高清晰电视广播）和一些高要求视频编辑、处理上面也有相当多的应用。 2.AVI 可以将视频和音频交织在一起进行同步播放。这种视频格式的优点是图像质量好，可以跨多个平台使用，其缺点是体积过于庞大，而且更加糟糕的是压缩标准不统一，AVI格式视频是目前
7、视频文件的主流。 这种格式的文件随处可见，比如一些游戏、教育软件的片头，多媒体光盘中，都会有不少的AVI 。,5.1 视频信号的基本概念,5.1.3 视频文件的格式,3 .n AVI n AVI是 New AVI 的缩写，是一个名为 Shadow Realm 的地下组织发展起来的一种新视频格式。它是由Microsoft ASF 压缩算法的修改而来的，视频格式追求的无非是压缩率和图像质量，所以nAVI为了追求这个目标，改善了原始的 ASF 格式的一些不足，让n AVI可以拥有更高的帧率。 4.ASF ASF使用了 MPEG-4 的压缩算法，压缩率和图像的质量都很不错。因为 ASF 是以一个可以在
8、网上即时观赏的视频“流”格式存在的，所以它的图像质量也要比 VCD 逊色，但比同是视频“流”格式的 RAM 格式要好。,5.1 视频信号的基本概念,5.1.3 视频文件的格式,5.WMV WMV的主要优点在于：可扩充的媒体类型、本地或网络回放、可伸缩的媒体类型、流的优先级化、多语言支持、扩展性等。其压缩率甚至高于MPEG-2标准，同样是2小时的HDTV节目，如果使用MPEG-2最多只能压缩至30GB，而使用WMV-HD这样的高压缩率编码器，在画质丝毫不降的前提下都可压缩到15GB以下。,5.1.3 视频文件的格式,5.1 视频信号的基本概念,6.MOV QuickTime是Apple公司用于M
9、ac计算机上的一种图像视频处理软件。Quick-Time提供了两种标准图像和数字视频格式 , 即可以支持静态的PIC和JPG图像格式，动态的基于Indeo压缩法的MOV和基于MPEG压缩法的MPG视频格式。,7. RA/RM/RAM 在Real Media规范中主要包括三类文件：RealAudio、Real Video和Real Flash 。REAL VIDEO （RA、RAM）格式由一开始就是定位就是在视频流应用方面的，也可以说是视频流技术的始创者。它可以在用 56K MODEM 拨号上网的条件实现不间断的视频播放。 8. RMVB 先进之处在于RMVB视频格式打破了原先RM格式那种平均压
10、缩采样的方式，在保证平均压缩比的基础上合理利用比特率资源，这样可以留出更多的带宽空间，而这些带宽会在出现快速运动的画面场景时被利用。这样在保证了静止画面质量的前提下，大幅地提高了运动图像的画面质量。,5.1 视频信号的基本概念,5.1.3 视频文件的格式,9.DivX 这是由MPEG-4衍生出的另一种视频编码(压缩)标准，就是使用DivX压缩技术对DVD盘片的视频图像进行高质量压缩，同时用MP3或AC3对音频进行压缩，然后再将视频与音频合成并加上相应的外挂字幕文件而形成的视频格式。 10.FLV FLV就是随着Flash MX的推出发展而来的新的视频格式，其全称为Flash video。由于它
11、形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等缺点。,5.1 视频信号的基本概念,5.1.3 视频文件的格式,11. F4V F4V是Adobe公司为了迎接高清时代而推出继FLV格式后的支持H.264的F4V流媒体格式。它和FLV主要的区别在于，FLV格式采用的是H263编码，而F4V则支持H.264编码的高清晰视频，码率最高可达50Mbps。 12. 3GP 3GP是一种3G流媒体的视频编码格式，主要是为了配合3G网络的高传输速度而开发的，也是手机中的一种视频格式。3GP是新的移动
12、设备标准格式，应用在手机、PSP等移动设备上，优点是文件体积小，移动性强，适合移动设备使用，缺点是在PC机上兼容性差，支持软件少，且播放质量差，帧数低，较AVI等格式相差很多。,5.1 视频信号的基本概念,5.1.3 视频文件的格式,13. AMV AMV是MP3/MP4上播放的一种视频格式。AMV格式具有较高压缩比例以及画面质量。通过AMV转换工具转换出来的影音文件一分钟的容量大约在1.6MB-1.8MB左右。换算后可得知，一部256MB的视频MP3播放器可存放约130分钟的AMV格式的电影。,5.1 视频信号的基本概念,5.1.3 视频文件的格式,52 视频信号的压缩技术,5.2.1 块匹
13、配法与像素递归法 若要保持画面中物体运动的连续性，则要求视频的帧率为25Hz，这是基于与我国电网同步、高于临界闪烁频率25Hz和保持画面中物体运动的连续性的3项要求。显然，每秒25帧的画面中有大量的冗余，因为相邻帧的前景位移是很小的，如果能将相对于当前帧的后续帧中前景看做是在当前帧物体运动后的结果，则只需确定运动物体的不断的位移量和方向即可将后续帧用一系列数字加以简化。问题是如何确定不同画面中的运动物体。,1.块匹配法,块匹配算法将当前帧划分成尺寸为MN个像素的一个个像素块，并假设一个像素块内所有的像素作速度相同的平移运动。对当前帧中每一个像素块B，在以前一帧的对应位置为中心，上下左右四个方向
14、偏开相等距离dm的范围内，即（M+2dm）（N+2dm）个像素的搜索区内进行搜索，寻求与其最匹配的像素块B。这一对像素块在水平和垂直方向的距离即是求得的运动位移矢量（dx，dy）。,52 视频信号的压缩技术,MN像块与搜索区的几何关系,52 视频信号的压缩技术,52 视频信号的压缩技术,对于匹配搜索算法 ，由于全搜索方式的计算量过大，为了加快搜索速度，人们提出了以下的算法即三步法 。 第一步，以起始点(i、j)为中心，由MAD准则检测包括中心和外围8个方向共9个搜索点（在图5.8中以圆黑点表示），这一步中搜索间隔相对较粗，即步长较大。在图5.8中设点(i+3、j+3)在第一步中通过MAD准则检
15、测，它的MAD值最小，而被视为位移矢量的一级近似（在图5.8中标为1）。第二步，围绕点(i+3、j+3)周围再搜索8个点（在图5.8中以黑方块表示），而搜索间隔缩小一些，找到二级近似点(i+3、j+5) （在图5.8中标为2）。如此一直重复直到所要求的精度为止。,52 视频信号的压缩技术,三步法搜索过程示意,52 视频信号的压缩技术,图5-8,2.像素递归法,像素递归法的具体作法是，首先将图像分割成运动区和静止区。在静止区内像素的位移为零，不进行递归运算；对运动区内的像素，利用该像素左边或正上方像素的位移矢量D作为本像素的位移矢量，然后用前一帧对应位置上经位移D后的像素值作为当前帧中该像素的预
16、测值。如果预测误差小于某一阈值，则认为该像素可预测，无需传送信息；如果预测误差大于该阈值，编码器则需传送量化后的预测误差、以及该像素的地址，收、发双方各自根据量化后的预测误差更新位移矢量。,52 视频信号的压缩技术,5.2.2 帧间预测,采用预测编码的方法消除序列图像在时间上的相关性，即不直接传送当前帧的像素值，而是传送x和其前一帧或后一帧的对应像素x 之间的差值,这称为帧间预测。当图像中存在着运动物体时，简单的预测不能收到好的效果 例如当前帧与前一帧的背景完全一样，只是小球平移了一个位置，如果简单地以第k-1帧像素值作为k帧的预测值，则在实线和虚线所示的圆内的预测误差都不为零。如果已经知道了小球运动的方向和速度，可以从小球在k-1帧的位置推算出它在k帧中的位置来，而背景图像仍以前一帧的背景代替，将这种考虑了小球位移的k-1帧图像作为k帧的预测值，就比简单的预测准确得多，从而可以达到更高的数据压缩比。即具有运动补偿的帧间预测。,52 视频信号的压缩技术,MPEG三种类型图像：,5.2.2 帧间预测,52 视频信号的压缩技术,具有运动补偿的帧间预测编码是视频压缩的关键技术之一，它包
