数字视频图像处理电子课件教案-绪论

《数字视频图像处理电子课件教案-绪论》由会员分享，可在线阅读，更多相关《数字视频图像处理电子课件教案-绪论（25页珍藏版）》请在金锄头文库上搜索。

1、第00章 绪论 Preface,门爱东教授 ,2,主 讲,门爱东教授 Tel: 13511037206 Email: 办公地点：教 2-206 通信地址： 北京邮电大学 113#, 100876 简历： 1983 年考入北京邮电学院无线电工程系，分别于1987 年和1994年在北京邮电大学获得工学学士和博士学位。 教授、博士生导师、北京邮电大学信息与通信工程学院多媒体技术中心主任、校学术委员会委员、国家广播电影电视总局科学技术委员会特邀委员、中国标准化委员会委员、中国电子学广播电视分会常务委员和消费电子分会委员、中国电子学高级会员、中国通信学会高级会员。 完成十几项国家、省部和企业科研项目，

2、获得国家科技进步三等奖 1 次、部级科技进步一等奖 2 次、部级科技进步二等奖 1 次。 发表论文几十篇，著作多部。曾经获得“北京市高等学校优秀青年骨干教师”和 “北京市青年学术带头人”，以及教育部“高等学校青年教师奖”等。 研究领域是图象和声音处理、数字电视和多媒体通信、宽带无线通信等。,3,基本要求,通过本课程的学习，系统的了解数字图像的基本概念，掌握数字图像处理的理论基础和技术方法。着重掌握数字图像的压缩技术，为今后从事有关数字图像处理的研究和技术应用等工作掌握必备的基础知识。 每章作业 ：40 期末闭卷考试： 60,4,参考资料,数字视频图像处理，全子一、门爱东、杨波，电子工业出版社，

3、2005 ，ISBN7-121-01146-8。 Introduction to Data Compression，Khalid Sayood，Morgan Kaufmann; Third Edition (December 15, 2005)，ISBN-13: 978-0126208627。 数字图像处理，冈萨雷斯，第二版中文版，电子工业出版社。 小波十讲，Ingrid Daubechies 著，国防工业出版社，2004，ISBN 7-118-03381-2。,5,本章内容 Outlines,概述 声音和图像的数字化 多媒体业务 硬件实现,6,概述,随着多媒体技术的发展，多媒体技术能够提供更

4、方便的服务和更容易的使用环境，例如： 多媒体教学综合系统 多画面互动电视服务 三维家庭影院 多媒体技术源于计算机领域、通信领域和广播领域中对声音和图像的应用，如图1所示。,图0.1 多媒体领域的产生,多媒体技术的核心就是声音和图像的数字化，因为数字化的声音和图像可以很容易地利用计算机和数字通信网络。 对声音和图像直接数字化产生的文件，其数据量要远远大于传统的基于文本的文件。因此，声音和图像的大容量存储、高速传输网络和压缩技术在多媒体技术中起着重要的作用。 要推动多媒体技术的发展，压缩、传输和存储硬件的低成本实现也是必需的。从这个意义上讲，低功耗低成本的VLSI 技术也是很重要的。,7,概述-计

5、算机领域,计算机数据的发展 最初：计算用的数值 后来：计算用的数值、文档（文字、表格、图表等） 近来：计算用的数值、文档、声音、图像 多媒体技术的最初应用是个人在 PC 上制作多媒体演示稿。 随着 VLSI 技术的发展，大型处理器体积不断缩小，成本不断减低，达到了 PC 处理器水平，从而加速了多媒体技术的应用。,8,概述-通信领域,在通信领域里，世界各国都建设了很好的数字通信线路，用于 PCM（脉冲编码调制）语音数据和计算机数据的传输。 PCM 数字语音编码有巨大的意义： 因为通过数字化可以实现高质量语音的远距离传输； 因为存在信号衰减、热噪声和串话干扰，模拟传输的质量很难保证 当数字语音通信

6、普及后，自然而然地想到利用语音通信信道传输计算机数据，用于代替建设新的计算机网络。多路复用系统提供了很好的灵活性和低成本的数据传输。 多媒体网络中应注意两点： 在数字语音传输中包括计算机数据，即同时存在实时语音数据和非实时语音数据。从因特网上传输视频信号可以看到，实时视频传输对预留带宽的要求很难满足。服务质量（QOS）将是下一代多媒体网络的主要问题。 通信网络的低成本实现，即通过一条线路进行通信、计算机和广播传输，特别是利用一条用户线扩展带宽。若将模拟电话用户线改为数字多媒体线路，这种低成本实现将带来个人的多媒体应用。,9,概述-广播领域,声音和视频是电视广播的主要内容。 在 MPEG-2 标

7、准颁布后，广播数字化首先在这有线电视和卫星电视系统内得到实现。 数字化可以在保证传输质量的前提下增加有线或卫星电视的频道数，因为： MPEG-2 能够达到很高的压缩比； 同轴电缆调制解调器的价格能够达到消费者可以接受的水平； 由于有线电视网络是树型结构，模拟有线电视系统对于不同距离的用户质量不同，而数字传输则能够保证网络中所有位置用户的接收质量。 由于数字电视广播有许多的优点，地面电视广播也向数字化方向发展。目前地面数字电视广播国际标准有： 美国的 ATSC、欧洲的 DVB-T 、日本的 ISDB-T 我国也制定了自己的地面数字电视标准GB20600-2006同轴电缆调制解调器也可以提供VOD

8、（视频点播）业务，但需要增加 STB（机顶盒）设备 。,10,本章内容,概述 声音和图像的数字化 多媒体业务 硬件实现,11,声音和图像的数字化-信息量,声音和图像数字化后的根本问题在于它们巨大的信息量。 从图 2 可以看出，与文本数据相比，声音和图像的数据量要大的多。因此，要象处理文本数据一样来处理声音和图像，压缩技术是必需的。,图0.2 每种媒体所需的信息量,12,声音和图像的数字化-信息量,80 年代，出现了用于存储或重放数字声音信号的高密度光盘（CD），但是数字视频信号长期以来只局限在专业领域内。现在，采用 MPEG 压缩技术的数字视频光盘（DVD）出现了。 一般来说，没有经过压缩的数

9、字视频信号是不如模拟信号经济的。先进的压缩技术、大容量存储技术和高速通信网络的出现，为多媒体技术的实现提供了条件。 上述技术都是以数字信号处理（DSP）为基础的。因此，人们对多媒体信号处理及 VLSI 实现非常感兴趣。,13,声音和图像的数字化-压缩技术,图3表示了计算机领域、通信领域和广播领域交融对图像和声音的要求。由于这三个领域以前一直是独立发展的，而多媒体技术要支持这三个领域。所以，它们之间存在冲突，体现在于数字视频格式和功能上。,图0.3 各个领域的要求,14,声音和图像的数字化-压缩技术,60 年代，根据对取样数据的非线性压缩扩展的研究，通信领域首先应用压缩技术进行 PCM 数字语音

10、的传输。 同时期，NASA 太空火箭在从太空向地球传送月亮表面图片时，应用了图像压缩技术。 其后，在两个电视台之间利用 45Mb/s 的高速 PCM 骨干网传输实时电视节目时，出现了视频压缩技术。 相应地，电视会议和可视电话系统独立地出现在通信界，因而它们主要考虑通信费用，而不是图像质量。因此，在这些应用中，压缩算法着重于降低码率，因而会降低图像分辨率和每秒钟的帧数。 另一个重要的因素是通信系统要求有短的编码时延。,15,声音和图像的数字化-压缩技术,可以看出通信和电视广播规范的截然不同，于是分别提出了 ITU-TH.261 建议和 ITU-R723 建议 。 从广播界的观点来说，广播数字视频

11、节目根本的要求在于压缩技术，从计算机的角度来看，最重要的要求是视频和音频文件的随机访问，因为计算机用户往往想要访问某个特定时间的视频和音频内容，而不是从头开始。 而这种功能没有被考虑进 ITU-TH.261 建议和 ITU-R723 建议中。因此，ISO 和 IEC 决定联合制定适用于广播、通信和计算机三个领域的国际标准，于是诞生了 MPEG-1/2 标准。,16,声音和图像的数字化-压缩技术,在多媒体存储系统和通信网络中，除了压缩算法外，编解码纠错也是非常重要的。因为，在存储系统和通信网络中是不可能完全准确的，在压缩数据序列中是存在错误的，尽管错误率非常低。,图4表示了压缩和纠错间的关系。图

12、中，压缩部分看作是信源编码，纠错部分看作是信道编码，因为压缩去除信源的冗余数据，而纠错为了避免由于信道引起的音视频错误，加入了一些冗余信息。纠错应该对由于外部噪声产生的随机错误和由于持续干扰产生的脉冲噪声都有效。,图0.4 多媒体系统的纠错编解码,17,声音和图像的数字化-多媒体存储,CD-ROM 或 VCD，以及 DVD 等具有电影和视频所需的大存储量，它们将计算机和电视广播领域联系到一起。 VCD 和 DVD 都采用 MPEG 标准，因为它的编码具有准随机访问的能力和快进/退功能，同时提供完全与 NTSC 和 PAL 格式分辨率兼容的存储。 通过激光波长的缩短和基于数字信号处理的精确机械控

13、制，存储能力大大提高。一个 12cm 直径的 CD-ROM 的存储量达到 780Mbytes，相同尺寸的 DVD 的存储能力提高到 4.7Gbytes。,18,声音和图像的数字化-多媒体通信,在局域网里，计算机系统之间使用包通信；在宽带网络里，使用 ATM 通信，ATM 采用信元结构。在包通信和信元通信网络中，当负荷很大时，实时通信有时会中断片刻。 近来，包通信和信元通信的热点在于如何利用互联网传输视频信号。这里有三个主要的问题： 视频传输带宽预留 连续视频数据的高容量传输 视频准确地重建 30 帧/秒同步 MPEG 能改善包或信元的丢失问题，方法： MPEG 视频帧结构的准随机访问能力； 在

14、 ATM 网络中，通过加入相位锁定装置，MPEG 传送层可以提供时钟的精确恢复； 对视频对象进行编码处理，当网络负荷变大时，只传输最重要的对象信息 。,19,声音和图像的数字化-多媒体通信,宽带通信网络中，在现有用户线上提高码率的方法： 将现有的用户线路数字化； 使用正交频分复用多载波调制解调技术 ； 利用有线电视网络的同轴电缆 。 数字无线通信（包括微波通信和卫星通信）是近来很重要的主题。其中，数字蜂窝系统最受关注。 数字蜂窝系统通过很多小型蜂窝单元来覆盖服务区域，由于使用弱电磁波，相同的波长可以在不同的蜂窝单元里重复使用，而不会影响相邻的蜂窝单元。 由于蜂窝单元覆盖范围很小，用户终端无需通

15、过天线发射高功率的电磁波。所以，终端可以做得很小，便于携带。 在降低呼叫拥塞方面，CDMA 有一定的优势，因为过多的呼叫只会引起复用信道信噪比的降低，信噪比的降低会增加接收信号的误码率，但是不会带来拥塞。,20,本章内容,概述 声音和图像的数字化 多媒体业务 硬件实现,21,多媒体业务,多媒体业务和应用很多，图 5 表述了新的多媒体系统出现的位置和各个领域的业务类型。,图 5 中，VOD（视频点播）业务位于三个领域的交叠处，在 VOD 系统里，服务器是一个计算机系统，它用于对一个很大的存储系统进行管理等。数字宽带传输信道连接服务器与客户端。当客户端点播时，视频服务器向客户端传送所选的视频节目。

16、由于客户端和服务器端的信道是独用的，因此客户端可以象操作录像机一样进行暂停、重放、快进和搜索等操作。,图0.5 多媒体系统和业务,22,本章内容,概述 声音和图像的数字化 多媒体业务 硬件实现,23,硬件实现,多媒体终端的低成本实现是多媒体技术的关键。由于 VLSI技术的发展，硬件的费用不断降低，多媒体系统也成为现实。现在一般的 CPU 都具有对MPEG-2 码流实时解码的能力。,图0.6 多媒体处理器分类,图6表示了现在可编程芯片及 处理能力的分类。向上方向 表示工作站使用的通用RISC 芯片，左上方向表示PC使用 的CISC芯片，左下方向是 PDA和游戏机使用的嵌入 RISC芯片，向下方向

17、是可编 程DSP芯片，右下方向是PC 用的辅助芯片，称为媒体处 理器。,24,硬件实现,在设计专用LSI（如专用 MPEG-2 编码器）时，其处理能力依赖于所使用的算法。有很多运动估值的简化算法，但是简化算法会对图像重建带来损伤。 硬件复杂度和质量之间的平衡是专用设计所要考虑的主要问题。 在结构的设计上，流水线结构的硬件通过增加寄存器而提高处理能力。在运动估值或矩阵和向量乘法运算中，采用并行流水线结构，称为收缩阵列（systolic array）。因为这种收缩阵列的规律性和简单性，许多运动估值或编码芯片都采用它。 低功耗也是多媒体硬件设计的重要课题，因为低功耗多媒体系统可以延长便携系统的电池使用时间。而下一代多媒体产品中最具有市场前景的可能就是便携式多媒体终端。,