《数字图像处理第8章 数字视频处理》由会员分享，可在线阅读，更多相关《数字图像处理第8章 数字视频处理（62页珍藏版）》请在金锄头文库上搜索。
1、1,第8章 数字视频处理,8.1 视频技术及其应用 8.2 快速运动估计技术 8.3 视频压缩技术 8.4 视频压缩标准,2,8.1 视频技术及其应用,与静止图像相反，视频(Video)为活动图像(或运动图像)。我们所看到的电影和电视都属于视频的范畴，它实际上是由许多单一的画面所组成，每一幅画面称为一帧。由于人眼的视觉惰性，每秒24帧的电影画面就形成了连续活动影象感觉的电影。因此，帧是构成视频信息的最小和最基本的单元。,3,8.1.1 视频信号的数字化,大家日常使用的电视和录像等都属于模拟视频，它是基于模拟技术以及图像的广播与显示所确定的国际标准。模拟视频图像具有成本低和还原度好等优点。因此在
2、电视上看到的风景录象，往往具有身临其境的感觉。但它的最大缺点是经过长时间的存放之后，视频质量将大为降低，而且经过多次复制之后，图像的失真就会很明显。而数字视频可以弥补这些缺陷。它不仅可以无失真地进行无限次复制，而且还可以对视频进行创造性的编辑，如特技效果等。 而数字视频是基于数字技术以及其它更为拓展的图像显示标准。数字视频有两层涵义，一是模拟视频信号输入计算机进行数字化视频编辑，最后制成数字视频产品；二是指视频图像由数字摄象机拍摄下来，从信号源开始，就是无失真的数字砚频，视频图像输入计算机时不再者虑视频质量的衰臧问题。现在的数字视频技术主要还是第一层涵义，即模拟视频的数字化处理、存储和输出技术
3、。,4,视频的数字化是指在一段时间内以一定的速度对模拟频信号进行捕捉并加以采样后形成数字化数据的处理过程。通常的视频信号都是模拟的，在进入计算机前必须进行数字化处理，即AD转换和彩色空间变换等。视频信号数字化是对视频信号进行采样捕获，其采样深度可以是8、16或24位等。采样深度是经采样后每帧所包含的颜色位，然后将来样后所得数据保存起来，以便对它进行编辑、处理和播放。 视频信号的采集就是将模拟视频信号经硬件数字化后，再将数字化数据加以存储。使用时，将数字化数据从存储介质中读出，并还原成图象信号加以输出。视频信号的采集可分为单幅画面采集和多幅动态连续采集。在单幅画面采集时，可以将输入的视频信息定格
4、，并将定格后的单幅画面以多种图象文件格式加以存储，对于多幅动态连续采集，可对视频信号进行实时，动态地捕获和压缩，并以文件形式存储。 对视频信号进行数字化采样后，则可以对数字视频进行编辑或加工。比如复制、删除、特技变换和改变视频格式等。,5,8.1.2 视频信号的处理,视频信号处理是指根据人的要求对视频图像进行某种处理，主要包括： (1) 在保证一定图像质量的前提下尽可能压缩视频图像的数据量(即视频压缩)。 (2) 消除视频信号产生、获取和传输过程中引入的失真和干扰，使视频信号尽可能逼真地重现景物。例如使用图像增强技术和图像恢复技术。 (3) 根据某些准则，尽可能除去视频图像中的无用信息而突出其
5、主要信息。 (4) 从视频图像中提取某些特征，以便对其进行描述、分类和识别。,6,8.1.3 视频信号的压缩编码,压缩目标是在尽可能保证视觉效果的前提下减少视频数据率。由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有某些共同之处，但视频还有其自身的特性，因此压缩时还应考虑其运动特性才能达到高压缩的目标。在视频压缩中常需用以下的一些基本概念： （1）有损和无损压缩：在视频压缩中有损和无损的概念与静态图像中基本类似。 （2）帧内和帧间压缩：帧内(Intraframe)压缩也称为空间压缩(Spatial Compression)。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧
6、之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。,7,采用帧间(Interframe)压缩是基于许多视频或动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩(Temporal compression)，它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。如：帧差值(Frame differenc
7、ing)算法通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。,8,(3) 对称和不对称编码：对称(symmetric)意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它多媒体应用中，一般是把视频预先压缩处理好，尔后再播放，因此可以采用不对称(asymmetric)编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。,9,8.1.4 视频信号的传输与存储,为了有效而高质量地传输视频信号，需要解
8、决以下几个问题： （1）视频信号在传输过程中会引入各种干扰和噪声，如何降低甚至消除这些噪声和干扰，是视频信号传输要解决的首要问题。通常的解决办法有：采用纠错编码、自适应均衡和自适应滤波等。 （2）为了节省频带，除了使用高效压缩技术压缩信源信息外，还可以使用先进的数字调制技术，例如残留边带调制(VSB)、正交幅度调制(QAM)和格状编码调制(TCM)等。 （3）视频信号除可通过广播传输外，还可通过有线电视、光纤、微波等进行传输。随着窄带综合业务数字网的普及和宽带综合业务数字网的发展，视频通信的前景将会更加光明。,10,对于模拟电视信号，最常见的存储媒体是录像带。另一种存储模拟视频信号的媒体是激光
9、影碟（LD）。但1994年出现了建立在激光唱盘（CD）基础上的视频激光视盘（V-CD）。后者采用MPEG-l标准，可以在标准的12厘米CD上存储74分钟VHS质量的视频节目和具有CD质量的立体声。V-CD与世界的所有广播电视制式兼容，易于使用和存放，而且生产成本也较低。播放V-CD既可使用多媒体计算机，也可使用专门的V-CD播放机。由于数字视盘（DVD）采用了MPEG-2标准中的MPML标准，所以视频图像质量大大优于V-CD，而音频部分采用杜比公司开发的AC-3系统，其图像和声音质量将超过其它系统。,11,8.1.5 视频技术的应用,（1）视频技术在广播电视中的应用广播电视是视频技术的传统领域
10、，早期的黑白电视和现仍广泛使用的彩色电视及其相关产品，采用的是模拟视频技术，而数字电视（常规数字电视、电视电话、会议电视和高清晰度电视）全面使用数字视频技术，其编码、存储、传输和播放都实行数字化。数字视频技术在广播电视中的应用主要包括：地面电视广播、卫星电视广播、数字视频广播、卫星电视直播、有线电视、交互式电视、常规电视和高清晰度电视等。,12,（2）视频技术在通信领域中的应用以前视频通信一直局限于传输单向的模拟电视，在通信网中，高质量的彩色数字视频通信要占用34Mbps以上的带宽，因而很不经济。由于视频压缩技术的发展，使得视频信号的数码率大大降低。另一方面，通信技术的迅速发展又为视频通信提供
11、了所需的带宽。视频技术在通信领域中的应用主要包括：电视电话、会议电视、多媒体通信、视频点播、常规电视和高清晰度电视、交互式电视以及视频数据库等。,13,（3）视频技术在娱乐领域中的应用 电视机及其相关产品长久不衰的原因在于它是大众娱乐消费产品，电视是目前人类最重要的信息传播媒体，它对人类生活的影响之大，简直难以用语言表达，它已成为人们生活的重要组成部分。视频技术赖以生存和迅速发展的基础在于娱乐领域，其主要应用包括：常规电视和高清晰度电视、记录、存储和显示设备、V-CD和DVD、交互式电视、电视电话、电视购物、视频点播和视频游戏等。 （4）视频技术在计算机领域中的应用 视频技术已广泛应用到计算机
12、领域。现在高档计算机几乎都配置有视频解压缩卡、CD-ROM和视频播放软件，这种多媒体计算机集视频画面的真实性和计算机的交互性于一体，已成为当前计算机领域的热门话题。视频技术在计算机领域中的应用主要包括：多媒体计算机、CD-ROM和V-CD、视频数据库、多媒体通信、交互式电视、三维图形图像、动画设计与制作、视频制作以及虚拟现实（VR）等。,14,8.2 快速运动估计技术,视频序列在时间上有很强的相关性，利用运动估计和运动补偿技术可以有效地去除图像的帧间冗余度，从而实现比帧内压缩方案更高的压缩比。因此这种技术已广泛用于视频压缩的一些国际标准，如H.261、H.263、MPEG-1、MPEG-2和M
13、PEG-4等。作为帧间压缩的核心和关键，运动估计技术受到了人们的广泛关注，出现了多种研究方案，主要有光流方程法、像素递归法和块匹配法（ BMA： Block Matching Algorithm）三种。综合考虑计算复杂度和编码效率等因素，块匹配法由于简单实用，已经成为运动估计算法的主流。,15,8.2.1 运动估计模型,活动图像(视频)编码主要研究由物体和摄像机的相对运动而形成的二维运动。假定运动物体在帧间做平移运动，相对应的运动模型可以表示为：u=x+Vx,v=y+Vy当运动物体在帧间有旋转、形状和大小等变化时，采用上式所表示的运动模型作运动估计，会产生很大的估计误差。为了解决这个问题，有人
14、提出了如下12 个参数的运动模型：,这种运动模型虽然能有效地估计运动物体的平移、旋转和缩放等不同的运动变化，但需要进行很复杂的参数估计，因此并不实用。,16,上述模型都是基于运动物体的，然而在视频编码过程中把图像分割成有不同运动的物体非常困难。通常采用两种比较简单的方法：一种方法是把图像分成若干矩形块，假定块做平移运动，对块的运动进行匹配估计；另一种方法是对每个像素的位移进行递归估计。通常像素递归估计的精度高，对多运动画面的适应性强，但它的跟踪范围小，实现复杂。块匹配运动估计虽然精度低，但它的位移跟踪能力强，容易实现，因而得到了广泛的应用，并被H.26x和MPEG标准采用。,17,8.2.2
15、块匹配运动估计的原理,块匹配的基本思想就是将当前帧分成若干个大小相同的块，对每一个块(当前块)分别在参考帧中的一定区域(称为搜索窗)内，按照一定的匹配准则搜索与之最接近的块(称为预测块)，预测块与当前块间的位移称为运动矢量，它们的像素间的差值称为残差块，预测块与当前块之间通过匹配准则函数得到的值称为块失真度(BDM)。这样当前帧中的每一块都可用一个残差块和一对运动矢量来表示。图8-1为块匹配运动估计的示意图。,图8-1 块匹配运动估计示意图,18,这里，搜索窗尺寸(搜索范围)的选取对搜索结果有很大影响：搜索范围越大，得到更小残差块的可能性越大，但这会带来更大的时间开销。通常选择的搜索范围有7,
16、16,32,48,64,128等。 由于块匹配时需要在前后帧间逐像素比较，如果采用全搜索算法(即穷尽参考帧搜索区域所有可能的点进行比较，从中找到全局最优点)，计算量非常巨大。如对格式为CIF(352288)的图像，若块大小为1616，当搜索范围为16时，每个块的搜索点数为1089，每帧图像的搜索点数则达到431244；当搜索范围为128时，每帧图像的搜索点数将达到26155404，因此快速块匹配算法的研究是非常必要的。,显然，残差块的值越小，越有利于压缩。因此运动估计的主要目标就是使预测块与当前块之间的BDM尽量小，即：,19,8.2.3 块匹配运动估计的各个环节,块匹配运动估计可从三个方向进行研究：(1) 块形状与大小；(2) 块匹配准则；(3) 搜索策略。目前，块形状与大小以及块匹配准则由于相对简单，已经有了比较一致的选择；而搜索策略最为复杂，它决定了一个算法的好坏，因此一直是快速运动估计研究的主要方向。,20,8.2.3.1 块形状与大小,块匹配法隐含着如下假设：同一块内的像素的运动是一致的。显然这个假设具有一定的片面性，但选择合适的块形状与大小可在一定程度上消除这种片面性。一般来说，块形状选用正方形是比较自然的选择，这样既便于图像的划分，又有利于块匹配准则函数的计算。但这并非总是最佳选择，因此也有的算法采用了其它形状。,
