大一第二学期计算机多媒体技术

《大一第二学期计算机多媒体技术》由会员分享，可在线阅读，更多相关《大一第二学期计算机多媒体技术（40页珍藏版）》请在金锄头文库上搜索。

1、第七章 多 媒 体 技 术计算机应用基础多媒体技术基础内容n媒体n传递信息的载体，如文字、声音、图像、动画、视频等n多媒体技术n通过各种外部设备，将文字、声音、图像、动画、视频等多 媒体信息采集到计算机中，以数字化的形式进行加工、编辑 、合成和存储，最终成为具有交互特征的多媒体产品。n多媒体系统n包括多媒体硬件系统和多媒体软件系统多媒体硬件系统包括支持各种媒体信息的采集、存储、展 现所需要的各种外部设备，以及支持多媒体程序运行的CPU多媒体软件系统包括支持各种多媒体设备工作的操作系统 ，各种媒体采集、创作和处理工具，将各种媒体集成起来的 创作工具，以及提供给最终用户使用的各种多媒体软件，这 些

2、软件可以通过光盘或网络的形式发布到用户的计算机中。多媒体具体技术n7.1 音频信号的处理n7.2 图像信息的处理技术n7.3 动画处理技术n7.4 视频信息的处理技术7.1 音频信号的处理n多媒体计算机中产生声音的方式n由外部声音源进行录制和重放（Wave波形音频）、 MIDI音乐（MIDI音频）、CD-Audio （CD音频） 。n7.1.1Wave音频文件n7.1.2 MIDI合成音乐n7.1.3 音频处理n7.1.4 音频数据的压缩n7.1.5 声音文件的格式n7.1.6 语音合成与识别7.1.1Wave音频文件1.波形音频特征（理解）n多媒体获得声音最直接、最简便的方式，通常以麦克风、

3、立体声录 音机或CD激光唱盘为声音的输入源，声卡以一定的采样频率和量 化级对输入声音进行数字化采样，将其从模拟声音信号转换为数字 信号（模/数转换），然后以适当的格式存在硬盘上。记录下来的 声音重放时，声卡将文件中的数字信号还原成模拟信号（数/模转 换），经混音器混合后由扬声器输出。模数转换器数字信号处理器存储器器00101100110110111100110000110011模数转换器信号放大器扬声器麦克风原声模拟信号Wave音频nWave音频文件的三个参数n采样频率：每秒从模拟声波中选择多少个点的声音样本。 一般有11.025kHz（电话音质）、22.05kHz（广播音质 ）、44.1kH

4、z（CD音质）和48KHz等采样频率。n量化位数：计算机对声音波形描述的精度，位数越多，精 度越高。一般有8、16、32位。n声道数：单声道/立体声n用不压缩的PCM格式存储Wave文件，所占存储空 间：n存储空间=（采样频率量化位数 声道） 时间 /8（字节 ）n例如，用44.10 kHz的采样频率，16位的精度存储 ，则录制1秒钟的立体声节目，其WAV文件所需的 存储量为：n44 100162/8=176 400（字节）170kB模拟音频的数字化 用计算机对音频信息处理，就要将模拟信号（如语音、音乐 等）转换成维数字信号。采样 每隔一定时间间隔对模拟波形上取一个幅度值。量化 将每个采样点得

5、到的幅度值以数字存储。编码 将采样和量化后的数字数据以一定的格式记录下来模拟信 号采样量化编码数字信号振幅频率 1/T采样点T振幅1/TT2.Wave音频文件和音频制作工具2.Wave音频文件n记录了对实际声音的采样数据。n主要缺点：产生的文件太大，不适合长时间记录。n常用软件压缩方法有PCM（均匀量化）和ACM（自适应差 分量化）等，n一般人讲话的声音用8位量化级、11.025KHz采样频率就可 较好还原。3.Wave音频文件制作工具n录音机n常用的音频输入设备有话筒、录音机等，常用的视频输入设 备有扫描仪、数码相机、摄像机、CD等。7.1.2 MIDI合成音乐1.MIDI（musical

6、instrument digital interface）（知道）n是乐器数字接口的缩写，泛指数字音乐的国际标准，始建于1982年。n标准的多媒体PC平台能够通过内部合成器或连接到计算机MIDI端口的 外部合成器播放MIDI文件。n合成器n合成器是利用数字信号处理器或其他芯片来产生音乐或声音的 电子装置。数字信号处理器产生并修改波形，然后通过声音产 生器和扬声器发出声音。n合成器存在于声卡里，分成调频（FM）合成器和波表合成器。nFM合成器采用频率调制的原理产生声音，用以模拟各种乐 器的声音。 FM合成器能发出128种乐器的声音，与真实 乐器声音有差距。n波表合成器是对真实乐器发出的声音进行采

7、样，将采样值 表保存在ROM中，可由数字信号处理器随时调用处理，再 将合成后的数字音频信号经D/A转换器变成模拟音频信号 ，音效与真实乐音几乎无差别。ROM容量大，可存储的乐 器音就越多。n一般声卡都带有波形表ROM的接口可配接波形子表，有的 声卡本身就带有波形表ROM。2.MIDI音乐产生的原理nMIDI标准n规定了不同厂家的电子乐器与计算机连接的电缆和硬件。nMIDI标准还指定从一个装置传送数据到另一个装置的通信协议。n任何有MIDI信息处理器和适当的硬件接口的电子乐器都能成为MIDI装置。nMIDI间靠接口传递消息，消息即乐谱的数字描述。n乐谱由音符序列、定时和称作合成音色的乐器定义所组

8、成。nMIDI文件n是存放MIDI信息的标准文件格式，包含音符、定时和多达16个通道的演奏定 义。n每个通道的演奏音符定义由键号、通道号、音长、音量和力度组成。nMIDI文件是一系列指令，存储空间小。（2分钟不到8K）n演奏过程：n将电子乐器演奏时的指令信息通过声卡上的MIDI控制器输入计算机中，或利 用一些MIDI乐曲处理软件编辑产生的音乐指令集合，以MIDI文件格式存储 在硬盘上，即MIDI音频文件。n播放时，合成器将MIDI指令翻译成声音信号，再由声卡山的混音器混合后生 成声波，最后由音响设备输出声音。MIDI音乐应用与MIDI设备n使用MIDI合成音乐比波形音频更合适的情况：n需要播放

9、长时间高质量的音乐n需要以音乐为背景音响效果，同时从CD-ROM中装载其他 数据n需要以音乐为背景音响效果，同时播放波形音频，如音乐与 语音同时输出。nMIDI设备n有三种端口：nMIDI In（输入口）：接收其他MIDI设备送来的MIDI信息nMIDI Out（输出口）：发送设备生成的原始MIDI信息nMIDI Thru（传送口）：向其他连接MIDI的设备传送从MIDI in端口接收到的信息。n128种不同的乐器，同一MIDI文件利用不同的合成器播放，效 果不完全相同。7.1.3 音频处理n声音的处理过程（知道）n录音、剪辑、去除杂音、混音、合成。n声音处理软件：Ulead Audio Ed

10、itor、Creative 录音 大师、Cake Walk等n实验：1.录制一段本人的录音2.为录音添加配乐3.各种音频文件格式的转换nCD音质n收音质量n电话音质7.1.4 音频数据的压缩n1、音频压缩原理：n由于音频信号中存在着冗余，所以在计算机系统的音频数据的 存储和传输中，数据压缩是必须的。通常音频信号的压缩会造 成音频质量的下降和计算量的增加，因此在实施压缩的时，要 在声音质量、数据率、计算量三方面进行综合考虑。n音频的压缩方法（知道）：n基于音频数据的统计特性进行编码波形编码，其目标是重 建语音波形，保持原波形的形状。n基于音频的声学参数进行参数编码，可进一步提高压缩比，其 目标是

11、是重建音频保持远音频的特性。n将上述两种编码结合起来，就是混合编码方法。n基于人的听觉特性进行编码，从人的听觉特性出发，利用掩蔽 效应，设计声学心理波形，从而实现更高效率的数字音频压缩 。其中以MPEG标准中的高频编码最有影响。2、MP3音乐nMP3（MPEG layer 3）： 实际上就是一种音频压缩技术，它的 压缩比可以从10：1到12：1；目前具有最高的压缩比的波形音频 文件的压缩标准，在保证CD音质水平下压缩比可达12：1nMP3的原理（知道） ：n一方面通过先进的编码技术，让未压缩的原始声音重新编码压缩 ；n另一方面利用人耳的特点进行数据的缩减，由于人耳对于超过 15KHZ的声音就不

12、是很灵敏了，所以将一些高频的声音删除掉 不会对声音效果有很大影响，这样就可以缩小声音存储所需占用 的空间。n音频信号的压缩方法分为：有损压缩和无损压缩n无损压缩霍夫曼编码、游程长度编码n有损压缩波形编码、参数编码、混合编码n最常用波形编码中的PCM方法。n（知道）MP3的制作软件：MP3 Compressorn（知道）MP3的播放软件：Winamp7.1.5 声音文件的格式1.WAV格式n支持多种压缩算法，支持多种音频位数、采样频率和声道n类似格式AIFF、AU 2.MP3格式n常用、牺牲高频3.MIDI格式n短小n播放效果因软、硬件而异4.CD格式n音质最好的数码音频格式n44.1K采样、速

13、率88K/秒、16位量化5.RealAudio格式nRA、RM、RMXn在线播放，随带宽不同而改变声音质量6.WMA格式n微软开发的格式，可选择压缩率7.1.6 语音合成与识别n语音处理的内容（知道） ：n一是使人们从用语音来代替键盘输入和编辑文字，使计算机“听懂” 语音语音识别技术；n二是要赋予计算机“讲话”的能力，用语音输出结果语音合成技 术。n语音合成技术：n途径一：同录音机，计算机再生一个预先存入的语音信号，存 入足够的语音单元，在合成时采用恰当的技术手段挑选出所需 的语音单元，将它们拼接，可生成高自然度的语句波形拼 接的语音合成方法，先压缩，再保存语音。n途径二：采用数字信号处理方法

14、，用能表征声道谐振特性的时 变数字滤波器来模拟人类发声过程。调整滤波器的参数等同于 改变口腔及声道形状，达到控制发不同声音的目的，而调整激 励源脉冲序列的周期或强度，将改变合成语音的音调、重音等 只要正确控制激励源和滤波器的参数（一般10ms30ms送一 组），就可灵活合成各种语句参数合成方法。n语音合成的目标：可懂、清晰、自然、具有表现力n成果：60年代，英语TTS（文语转换）研制成功语音识别技术n成果：97，IBM中文连续语音识别系统 ViaVoice，适用于WIN95/98系统的普通 话语音识别听写系统及其相应的开发工具， 150字/分钟，识别率95%，6万条词组。n语音识别技术所涉及的

15、领域：信号处理、模 式识别、概率论和信息论、发声机理和听觉 机理、人工智能。7.2 图像信息的处理技术n7.2.1 数字图形、图像文件的格式n7.2.2 数字图像数据压缩类型n7.2.3 数字图像的获取7.2.1 数字图形、图像文件的格式n图形特征n图形是由图元（直线、圆、园弧、矩形、任意曲线）组成的矢量图。n图形是用一组指令来描述，是一种不会因放大、缩小而失真的矢量图。n图形的编辑处理通常选用具有矢量图形处理功能的软件，如CorelDRAW 等.n图像特征n图像是由像素组成的位图n图像是由摄象机或扫描仪输入到计算机中由像素构成的数字信息（如照片 ）n图像的编辑处理应选用机遇图像处理的软件，如

16、Photoshop 、画图等常用图形图像格式的特点和应用1（理解）1.BMP格式n与硬件无关的图像文件格式n有压缩和非压缩之分n文件所占空间大，是Windows环境中交换与图有关的数据的 一种标准，所有软件都支持。2.GIF格式（graphics interchange format）图像互换n压缩率50%左右，软件都支持。n图像经过压缩，图像深度1-8位（最多显示256色）n在一个GIF文件中可以存多幅彩色图像，逐幅读出可以构成动 画3.JPEG格式（joint photographic expert group）联合图像专家n有损压缩去除冗余图像数据，能以很高的压缩比率来保存图像 而图像依然生动，n在PHOTOSHOP中可以选择012压缩比，n尺寸小，浏览器都支持。4.TIF格式（tagged file format）n为桌面出版业开发的通用图像格式。非压缩的TIF是桌 面出版业首选图像格式。n有四种类型：TIF-B 黑白，TIF-G 黑白灰，TIF-P 带调 色板的彩图，TIF-R RGB真彩图像。n支持多种编码方