《多媒体技术课件第二章媒体与媒体技术》由会员分享，可在线阅读，更多相关《多媒体技术课件第二章媒体与媒体技术（121页珍藏版）》请在金锄头文库上搜索。
1、第二章第二章 媒体与媒体技术媒体与媒体技术主主主主要要要要内内内内容容容容媒体的特点媒体的特点音频处理技术音频处理技术视频处理技术视频处理技术媒体的表达特点媒体的表达特点音频动画视频文本直观 图像 图形真实抽象烘托渲染 表表 示示 值值 用以确定媒体的信息表示。表示值有完备的和不完备的区分。文字是不完备的，因为需要大家约定后，才会知道文字的具体含义。而另一些媒体的表示值无须约定就可以被理解，比如图形、图像等。媒体的表示特点媒体的表示特点媒体的空间性质媒体的空间性质表示空间表示空间 ：指媒体能正确描述信息的环境范围。视觉空间：通过各种显示器、摄像机采集来表现；听觉空间：通过麦克风、扬声器等进行获
2、取和再现；触觉空间：其跟踪与反馈要有相应的采集和伺服机构； 离散媒体离散媒体是与时间无关或与时间有关但无周期性变化的媒体。如文字、图形、图像。 连续媒体连续媒体是与时间有关的并且周期性变化的媒体，比如声音、动画、视频。媒体的时间性质媒体的时间性质媒体信息的接受程度2小时后72小时后谈 话70%10%观 看72%20%视视 听听85%65%信信 息息 理理 解解媒体信息记忆驻留视觉83%听觉11%触觉3%其它不到4%音频处理技术音频处理技术数字音频（Audio）是以一系列数字表示的声音信号。数字音频基础数字音频的文件格式MIDI音乐多媒体功能卡音频卡音频编码基础与标准语音技术声音是机械振动在弹性
3、介质中传播的机械波，振动越强，声音超大。自然界的声音是一个随时间而变化的连续信号，可近似地看成是一种周期性的函数。通常用模拟的连续波形描述声波的形状，单一频率的声波可用一条正弦波表示。振幅周期基线数字音频基础数字音频基础1 1. .声声声声 音音音音 要要要要 素素素素振幅振幅每个声音都有振幅，用来表示声音听起来的大小程大小程度度。声音的振幅用来衡量气压波在其初始位置或静止位置上的偏移大小。频率频率频率是周期的倒数，决定音调的高低音调的高低，声音中最低的频率称为基频，其单位是赫兹（Hz）。泛音泛音指比基频高的其他频率，决定了声音的色彩声音的色彩。2 2. .模拟音频与数字音模拟音频与数字音模拟
4、音频与数字音模拟音频与数字音频频频频模拟音频技术以模拟电压的幅度表示声音的强弱。模拟声音的录制是将代表声音波形的电信号转换到适当的媒体上如磁带、唱片。数字音频技术以一系列数字表示声音信号。数字声音是对模拟声音进行数字化后存储在适当的媒体上，如CD、MP3。声波是随时间而连续变化的物理量，通过能量转换装置可以用随声波变化而变化的电压或电流信号来模拟。以模拟电压的幅度来表示声音的强弱。为使计算机能处理音频，必须对声音信号数字化，要经过采样、量化和编码三个步骤。3 3. .音频的数字化音频的数字化音频的数字化音频的数字化采样编码量化01110101(c) 采样信号的量化(a) 模拟音频信号(b) 音
5、频信号的采样数字化音频的过程如下图所示按一定的时间间隔T在模拟声音波形上取一个幅度值，即采集一个波形数据。采样周期（T）：对连续波形进行采样的时间间隔。采样频率（f）：每秒采样数据的个数，即采样周期的倒数。NyquistNyquist采样定律：采样定律：采样频率至少应该是采样频率至少应该是信号最大频率信号最大频率的两倍的两倍, ,才能保证采样后得到的采样序列可以无失真的才能保证采样后得到的采样序列可以无失真的重建（恢复）原始信号。重建（恢复）原始信号。采采 样样音频信号的采样音频信号的采样量量 化化把采样后得到的连续的幅值用有限个数字来表示。分为均匀量化和非均匀量化。采样信号的量化采样信号的量
6、化D=2Xmax/2BXmax 量化器的最大范围B每个样本存储的比特数对于均匀量化的情况编编 码码将采样后并量化好的数据按照一定的数据格式进行编排（含数据的压缩）。4 4. .影响数字音频质量影响数字音频质量影响数字音频质量影响数字音频质量的主要参数的主要参数的主要参数的主要参数采样频率：11.025kHz22.05kHz44.1kHz采样精度（量化位数）：8位12位16位通道个数（声道数）：单声道双声道语音效果音乐效果高保真效果采样频率kHz11.02522.0544.1采样精度bit816165 5. . 数字音频的存储量数字音频的存储量数字音频的存储量数字音频的存储量存储量=采样频率量化
7、位数声道数/8时间例如：用44.1kHz的采样频率对声波进行采样，每个采样点的量化位数为16位，则录制一分钟的立体声音乐节目所需的存储量为从人机交互的角度来看音频信号的相关处理技术如下：人与计算机通信（计算机接收音频信号）：音频获取，包括语音识别与理解。计算机与人通信（计算机输出音频信号）：音频合成：包括音乐合成和语音合成；声音定位：包括立体声模拟，音频/视频同步；人-计算机-人通信（计算机既要接收又要输出音频信号）：语音采集、音频编码/解码、音频传输6 6. . 与多媒体相关的音频处理技术与多媒体相关的音频处理技术与多媒体相关的音频处理技术与多媒体相关的音频处理技术数字音频的文件格式1.WA
8、V格式是Microsoft公司的音频文件格式。该格式来源于对声音模拟波形的采样，它不对数据进行压缩，所以文件所需的存储量很大，但只要“拾音”设备足够好，制作的声音质量可以达到专业级水平。2.VOC格式是Creative公司波形音频文件格式，也是声霸卡（soundblaster）使用的音频文件格式。利用声霸卡提供的软件可以实现VOC和WAV文件的转换。3.MIDI格式乐器数字接口（musicalinstrumentdigitalinterface，简称MIDI）。它是由世界上主要电子乐器制造厂商建立起来的一个通信标准。MIDI文件记录的不是乐曲本身，而是一些描述乐曲演奏过程中的指令。4.MP3该
9、格式采用了MPEGAudio的Layer-3压缩方案，压缩比达到1412:1，对于同样容量的光盘来说，存储MP3格式的音乐相当于10张CD唱片的音乐。是目前网上最常用的音乐格式。数字音频的文件格式5.RARM格式是RealNetworks公司的RealAudio格式，最大的特点就是可以实时传输音频信息，尤其是在网速较慢的情况下，仍可以较为流畅的传送数据，因此非常适合于在网上的在线播放，是现在网络实时播放的主要音频格式之一。6.RMI格式是Microsoft公司的MIDI文件格式。7.AIF格式是Apple计算机的音频文件格式。数字音频的文件格式MIDI音乐MIDI是MusicalInstrum
10、entDigitalInterface（乐器数字接口）的缩写。它是由世界上主要电子乐器制造厂商建立起来的一个通信标准。是计算机和MIDI设备之间进行信息交换的一整套规则，规定了不同厂家的电子乐器与计算机连接的电缆和硬件，同时还指定各种电子乐器之间传送数据的通信协议。1 1. .乐音的要素乐音的要素乐音的要素乐音的要素音高音高指声波的基频。基频越低，给人的感觉越低沉。音色音色音色是由声音的频谱决定的，各阶谐波的比例不同，随时间衰减的程度不同，音色就不同。响度响度对声音强度的衡量，它是听判乐音的基础。音阶CDEFGAB简谱1234567频率261293330349392440494音阶与频率的对应
11、关系2 2. .MIDIMIDI存储什么存储什么存储什么存储什么MIDI文件中存放的是一些描述乐曲演奏过程中的指令，而不是乐曲本身的音频信号。比如音高、音符开始与结束的时间、强度、是否颤音等等。3 3. .MIDIMIDI通道通道通道通道MIDI可为16个通道提供数据，每个通道访问一个独立的能产生特定声音的逻辑合成器（即乐器）。4 4. .MIDIMIDI设备设备设备设备MIDI设备就是处理MIDI信息所必需的硬件设备，其基本组成包括：MIDI端口MIDI键盘音序器合成器图：MIDI设备的连接一台MIDI设备应有一或多个下列端口：MIDIIn、MIDIOut和MIDIThru。它们的作用分别是
12、：MIDI In：接收来自其它MIDI设备的消息。MIDI Out：发送某设备生成的原始的MIDI信息。MIDI Thru：传送从输出口接收的消息到其他的MIDI设备。MIDI 端口端口是用于MIDI乐曲演奏的，MIDI键盘本身并不发出声音，当作曲人员触动键盘上的按键时，就发出按键信息，所产生的仅仅是MIDI音乐消息，从而由音序器录制生成MIDI文件。MIDI 键盘键盘是为MIDI作曲而设计的计算机程序或电子装置，用于记录、播放、编辑MIDI的声音文件。音序器有以硬件形式提供的，目前大多为软件音序器。音序器可捕捉MIDI消息，将其存入MIDI文件，MIDI文件扩展名为.MID。音序器还可编辑M
13、IDI文件。音音 序序 器器利用数字信号处理器或其他芯片来产生音乐或声音的电子装置。数字信号处理器产生并修改声音波形，通过声音产生器和扬声器输出声音。合合 成成 器器MIDI合成方式主要有调频合成（调频合成（FM）和波形表波形表合成（合成（Wave Table）两种方式。 FM是使高频振荡波的频率按调制信号规律变化的一种调制方式。采用不同的调制波频率和调制指数，就可以方便地合成具有不同频谱分布的波形，再现某些乐器的音色。 波形表合成波形表合成的原理是已存储着各种实际乐器的声音采样，合成时以查表方式调用这些样本将其还原回放。5 5. .MIDIMIDI消息消息消息消息MIDI消息在设备之间传送实
14、际的表演数据，描述键盘动作、控制器动作和控制盘的改变。它们描述音乐的音调、音量、音色、时长和其他的声音质量。MIDI消息消息=状态字节状态字节+数据字节数据字节MIDI消息通道消息系统消息专用消息通道声音消息公用消息通道方式消息实时消息6 6. .MIDIMIDI的优点及适用范围的优点及适用范围的优点及适用范围的优点及适用范围优点：MIDI文件是一系列指令，它需要的磁盘空间非常少，并且预先装载MIDI文件比预装波形文件容易得多。这样，当设计多媒体节目，特别是指定什么时候播放音乐时，将有很大的灵活性。适用范围：需要播放长时间高质量音乐；需要以音乐作背景音响效果，同时从CD-ROM中装载其它数据，
15、如图像、文字的显示；需要以音乐作背景音响效果，同时播放波形音频或实现文-语转换，以实现音乐和语音同时输出；音频卡（声卡）音频卡，即声卡是用来处理各种类型数字化声音信息的硬件，是多媒体计算机必备的部件之一。第一块音频卡是在1987年由ADLIB公司研制的。1989年，新加坡Creative公司发布了CreativeLabsSoundBlasterCard（创新声霸卡），随后推出了一系列产品，逐渐形成这一领域的标准。1.声卡的功能与分类声卡的功能与分类声卡的主要功能：音频的录制与播放编辑与合成MIDI接口声卡的分类主要根据数据采样量化的位数数据采样量化的位数来分：8位、16位、32位等几类2.声卡
16、的组成声卡的组成 MIDI接口（接口（MIDI输入输入/输出电路）输出电路） MID合成器合成器 混音器混音器 模数转换器（模数转换器（ADC）和数模转换器（）和数模转换器（DAC） CD-ROM接口接口 数字信号处理器（数字信号处理器（SP芯片）芯片）2.声卡的组成声卡的组成MIDI接口（接口（MIDI输入输入/输出电路）：输出电路）：使声卡能够接收、录制及输出MIDI信号。MIDI合成器合成器标准的多媒体PC机平台通过MIDI合成器播放MIDI文件。MIDI合成器的类型目前有两种：调频合成（FM）和波形表（WaveTable）合成。混音器混音器声卡上的混音器（Mixer）芯片可以对以下音源
17、进行混合：数字化声音(DAC)、调频FM合成音乐(FM)、CD-Audio音频(CD-ROM)、线路输入(AUX)，话筒输入(MIC)及PC扬声输出(SPK)。模数转换器（模数转换器（ADC）和数模转换器（和数模转换器（DAC）模/数转换器和数/模转换器是声卡上对数据进行模/数转换和数/模转换的器件。2.声卡的组成（续）声卡的组成（续）2.声卡的组成（续）声卡的组成（续）CD-ROM接口接口CD-ROM接口提供了从CD-ROM的CD-DA的输出到声卡音源输入的通路，CD-ROM可以直接将音频信号通过声卡的功放送到扬声器。数字信号处理器（数字信号处理器（DSP芯片）芯片）用来管理所有声音输入、输
18、出和MIDI操作。可以对数字音频信号进行实时压缩和解压缩，以及用于语音朗读、语音识别等特殊音频信号的处理。3.声卡的主要性能指标声卡的主要性能指标信噪比SNR(SignaltoNoiseRatio)：是对声卡抑制噪声能力的评价总谐波失真THD+N(TotalHarmonicDistortion+Noise)：是对声卡保真度的总体评价频率响应FR(FrequencyResponse)：对声卡D/A与A/D转换器频率响应能力的评价。其具体技术指标如下：1、信噪音比为100dB（2V）2、失真度小于0.004%3、频响范围：10Hz22kHz4、24位模拟到数字信号转换，支持96kHz输入5、24位
19、数字到模拟信号传唤，支持96kHz5.1声道输出6、支持16位，8、11.025、16、22.05、24、32、44.1和48kHz音频采样7、支持SPDIF输入，最高支持24位/96kHz质量8、可选择EAXADVANCEDHDMUSIC，可预根据环境设置DSP模式9、支持创新多扬声器环绕技术（CMSS）10、支持1024条音频流11、16条MIDI通道12、兼容Windows98SE、2000、Me和XP操作系统创新推出的一款“LS”规格的5.1声道声卡：SoundBlasterAudigyLS4. .三维虚拟声空间三维虚拟声空间3DVA3DVAThree Dimensional Virt
20、ual AcousticThree Dimensional Virtual Acoustic三维音效：三维音效：是指用一定的声音设备人为地产生出来的具有空间位置信息的声音空间效果。三维音效的实现三维音效的实现：人类感知声源位置最基本的理论是双耳效应。实现空间真实感的关键是建立起耳廓模型，计算机是通过HRTF算法来实现三维音效的，这种方法被称为“双耳相关函数法”，该算法模拟了耳朵对从空间各个方向传来的声音的不同感受，即利用了一定的函数算法来欺骗我们的耳朵，让我们产生比较真实的三维听觉效果。DS3D:DirectSound3D，是MicrosoftDirectX的一个组件，DS3D的作用在于帮助开
21、发者定义声音在3D空间中的定位和声响，然后交由DS3D兼容的声卡通过各种算法加以实现。A3D(Aureal3D):A3D由美国Aureal公司开发一种新的互动3D定位音效技术。A3D1.0版包括A3DSurround和A3DInteractive两个重要应用领域，强调的是只需在立体声硬件环境下就可以得到真实的声场模拟。EAX:即环境音效扩展，EnviromentalAudioExtensions,是由创新和微软联合提供，作为DS3D扩展的一套开放性的API。现在比较流行的3D音频API有DirectSound3D（DS3D）、A3D和EAX等。所谓API就是是编程接口的意思，其中包含了许多关于
22、声音定位与处理的指令与规范。它的性能将直接影响三维音效的表现力。音频编码基础与标准 由模拟声音信号直接经采样、量化后得到的数字波形文件（WAV）的数据量很大，给数字音频的存储和传输都带来了一定的问题。因此音频信号通常要经过压缩编码后再进行存储和传输。 音频信号能够被压缩的依据有两个：一是声音信号存在着信息的冗余度；二是利用人的听觉感知机理的特性。频域的冗余频域的冗余信息的冗余幅度的非均匀分布基音间的相关时域的冗余时域的冗余样本间的相关周期间的相关静止系数长时间自相关函数非均匀的长时功率谱密度语音特有的短时功率谱密度听觉感知机理的特性人耳对语音信号的相位变化不敏感人的听觉具有掩蔽效应人耳对不同频
23、段的声音的敏感程度不同音频编码的分类基于人的听觉特性的编码：高频编码、AC-3基于音频数据的统计特性的编码：波形编码基于音频的声学参数的编码：参数编码基于多种编码算法的编码：混合编码1. 波形编码波形编码脉冲编码调制（脉冲编码调制（PCM）：）：实际是对声音信号直接作AD转换。只要采样频率足够高，量化位数足够多，就能使解码后恢复的声音信号有很高的质量。差分脉冲编码调制（差分脉冲编码调制（DPCM）：）：即只传输声音预测值和样本值的差值以此降低音频数据的编码率。自适应差分编码调制（自适应差分编码调制（ADPCM）：）：是DPCM方法的进一步改进，通过调整量化步长，对不同频段设置不同的量化字长，使
24、数据得到进一步的压缩。波形编码的算法简单，易于实现，适应性强，并可获得高质量的语音。常见的波形编码方法有：3. 混合编码混合编码2. 参数编码参数编码参数编码方法通过建立声音信号的产生模型，将声音信号用模型参数来表示，再对参数进行编码，在声音播放时根据参数重建原声音信号。常用的音频参数有共振峰、线性预测系数等。参数编码的优点是数据率低，但还原声音信号的质量较差。混合编码是把波形编码的高质量和参数编码的低数据率结合在一起的编码方法，这样就能在较低的码率上得到较高的音质。如码本激励线性预测编码（CELP）、多脉冲激励线性预测编码（MPLPC）。4. AC-3音频编码音频编码 AC-3音频编码的起源
25、是DOLBYAC-1，AC-1的编码技术是自适应增量调制（ADM），它把20kHz的宽带立体声音频信号编码成512kb/s的数据流。1990年DOLBY实验室推出了以快速傅立叶变换（FFT）为主算法的编码技术AC-2，其数据率在256kb/s以下。1992年，DOLBY实验室在AC-2的基础上，又开发了AC-3的数字音频编码技术。AC-3提供了五个声道的从20Hz到20kHz的全通带频响，即正前方的左（L）、中（C）、右（R），后边的两个独立的环绕声通道左后（LS）和右后（RS）。另外，为了弥补低音的不足，AC-3还提供了一个100Hz以下的超低音声道供用户选用，因为此只是一个辅助通道，故定为
26、0.1通道。所以AC-3被称为5.1声道。语语 音音 技技 术术语音合成（语音合成（ TTS）是电脑系统可以讲人类的语言，即可以将任意文本实时的转换为自然语音的一项技术。语音语音也是一种波形，语音信号在一定的时间间隔内显示出几乎是周期性行为；频谱显示最大值特点，是由于声道共振产生的，叫共振峰。语音技术分为两个方面：语音识别技术语音识别技术和语音合成技术语音合成技术 语音识别（语音识别（ASR）是让电脑系统听懂人说话，即可以使用人用语音来代替键盘输入。根据对说话人说话方式的要求，可分为孤立词语音识别系统，连接词语音识别系统和连续语音识别系统。根据词汇量大小，可分为小词汇量、中等词汇量、大词汇量及
27、无限词汇量语音识别系统根据对说话人的依赖程度，可分为特定人语音识别系统、限定人语音识别系统和非特定人语音识别系统。语音识别系统的分类方式语音识别系统的分类方式语音技术的应用办公自动化电话商业服务智能家电、智能玩具视频处理技术视频处理技术多媒体显示卡彩色空间表示及其转换图像的表示图形的表示视频/动画常用图形/图像文件格式彩色空间表示及其转换彩色空间表示及其转换在多媒体计算机中，常常涉及到几种不同的彩色空间表示颜色。如计算机显示时采用RGB彩色空间；彩色印刷时采用CMYK彩色空间；彩色全电视信号数字化时采用YUV、YIQ彩色空间；为了便于色彩的处理和识别，视觉系统又经常采用HSI彩色空间。1 1.
28、 . 彩色的基本概念彩色的基本概念彩色的基本概念彩色的基本概念指光作用于人眼所引起的明亮程度明亮程度的感觉。它与被观察物体的发光程度或反射光强度有关。亮度色调饱和度指当人眼看一种或多种波长的光时所产生的彩色感觉。它反应了颜色的种类颜色的种类，是决定颜色的基本特性。指颜色的纯度颜色的纯度，即掺入白光的多少，或者说是指颜色的深浅程度。它和色调一起统称色度。自然界中常见的各种颜色的光大都可以由红（R）、绿（G）、蓝（B）三种颜色的光按不同的比例相配而成；同样，绝大多数颜色的光也可以分解成红、绿、蓝三种颜色，这就是色度学中最基本的三基色原理。 补色补色如果两种有色光相叠加得到白色的光，那称这两种有色光
29、互为补色光，这两种颜色互为补色。三基色原理三基色原理绿光+蓝光=青色光青色光+红光=白光青色与红色互为补色红光+蓝光=品色光品色光+绿光=白光品色与绿色互为补色红光+绿光=黄色光黄色光+蓝光=白光黄色与蓝色互为补色亮度公式亮度公式：Y=0.299R+0.587G+0.114B(NTSC制式)Y=0.222R+0.707G+0.071B(PAL制式)Y白色光的亮度；R，G，B红、绿、蓝色光的亮度；2 2. . 彩色空间的表示彩色空间的表示彩色空间的表示彩色空间的表示计算机显视器RGB彩色空间彩色印刷CMYK彩色空间彩色电视YUV和YIQ彩色空间HSI彩色空间RGB 彩色空间彩色空间又称加色法系统
30、，它采用三种基本颜色，即RGB(红，绿，蓝)。彩色显视器的输入需要RGB三个彩色分量，通过三个分量的不同比例配合，在显示屏幕上合成所需要的任意颜色，三种颜色均无时显示黑色。计算机彩色监视器采用这种彩色空间。在RGB彩色空间，对任意彩色光F，其配颜方程可写成F = rR+gG+bB其中R、G、B是该颜色中红、绿、蓝三色光所占的比例。CMYK彩色空间彩色空间是彩色印刷和彩色打印行业所采用的一种彩色空间，其中三基色是发光三基色（红、绿、蓝）的补色（青、品、黄）。所谓四色打印和四色印刷是在三基色的基础上再加上常用的黑色（CMYK），这是因为青、品、黄三种颜色的颜料不可能做到那么纯净，所以，他们混合出来
31、的黑色会有些偏色，另外，黑色也是用多最多的油墨颜色。YUV彩色空间彩色空间PAL制式电视机的彩色空间现代彩色电视系统中，通常采用三管彩色摄像机或彩色电荷耦合器件摄像机，把摄得的彩色图像信号，经分色棱镜分成R0G0B0三个分量的信号，分别经放大和校正得到RGB信号，再经过矩阵变换电路得到亮度信号Y、色差信号R-Y和B-Y，最后发送端将Y、R-Y及B-Y三个信号进行编码，用同一信道发送出去。这就是常用的YUV彩色空间。多媒体计算机中采用了YUV彩色空间，数字化后通常为Y U V = 8 4 4 或者Y U V = 8 2 2。YIQ彩色空间彩色空间 NTSC制式电视机的色彩空间 美国、日本等国采用
32、的NTSC制，选用了YIQYIQ彩色空间彩色空间，Y仍为亮度信号，I、Q仍为色差信号，但它们与U、V是不同的，区别是色度矢量图中的位置不同。 I、Q与V、U之间的关系可以表示成：I=Vcos33 - Usin33 Q=Vsin33 + Ucos33 HSI彩色空间彩色空间直接符合色彩基本属性的一种彩色空间，用H色调、S饱和度、I亮度来描述颜色特性。HSI彩色空间能够减少彩色图像处理的复杂性，而且更接近人对色彩的认识和解释。3 3. . 彩色空间的转换彩色空间的转换彩色空间的转换彩色空间的转换RGB空间到YUV与YIQ空间的转换公式：三个色差信号B-Y，R-Y，G-Y中有两个是独立的，另一个可用
33、亮度方程和两个色差信号通过运算得到。图像的表示图像图像（Image）是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。在计算机中，静止的图像是以矩阵的形式存储的，矩阵中的各个点称为像素点（pixel），矩阵中的值通常表示该点的亮度与颜色等信息。这种图像也称为位图位图（bit-mappedpicture）。1 1. .图像中的几个概念图像中的几个概念图像中的几个概念图像中的几个概念图像分辨率图像分辨率：像素分辨率像素分辨率：图像深度图像深度：显示深度显示深度：数字化图像的大小，即该图像的水平与垂直方向的像素个数。像素的宽和高之比，一般为1:1。也称图像灰度或颜色深度，表示数字位图图
34、像中每个像素上用于表示颜色的二进制数字位数。表示显示器上每个点用于显示颜色的2进制数字位数。颜色深度颜色总数图像名称12单色图像416索引16色图像8256索引256色图像1665536HIColor图像2416672216TrueColor图像2 2. .颜色深度与显示颜色深度与显示颜色深度与显示颜色深度与显示的颜色数目的颜色数目的颜色数目的颜色数目3 3. .图像文件大小图像文件大小图像文件大小图像文件大小一幅未经压缩的数字图像的数据量大小计算如下：图像数据量大小图像数据量大小 = 像素总数像素总数图像深度图像深度8 例如：一幅640480的256色图像为64048088 = 307200
35、 字节字节宽度：271高度：300颜色：2大小：9.9 KB宽度：271高度：300颜色：4大小：19.8 KB宽度：271高度：300颜色：256大小：79.4 KB宽度：271高度：300颜色：真彩色大小：238.2 KB图形的表示图形图形（Graphic）一般指用计算机绘制的画面，由一些图元组成。图元图元 是最简单的图形，如下图中的矩形、圆、直线、曲线等，他们都由数学公式来表示，所存储的也是数学公式中的参数值。图形是由一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合表示的。在图形文件中通常只记录生成图形的算法和图形的某些特征点，因此也称矢量图矢量图。常用图形/图像文件格式
36、 图形图像文件大致上可以分为两大类：一类为位图文件；另一类为矢量类图像文件。前者以点阵形式描述图形图像，后者是以数学方法描述的一种由几何元素组成的图形图像。 位图文件在有足够的数据量的前提下，能真实细腻地反映图片的层次、色彩，缺点是文件体积较大。一般说来， 适合描述照片，真实的场景图；矢量类图像文件的特点是文件量小，并且任意缩放而不会改变图像质量，适合描述图形。1.BMP(Bit-MappedPicture)Windows中系统中的标准图像文件格式，有压缩和非压缩两种，存储文件的容量较大，可表现单色到24位的色彩，分辨率从480*320到1024*768。常用图形/图像文件格式2.JPG通过一
37、种有损压缩方案获得的高压缩率的图像文件，图像色彩最高可以达到24位，文件大小通常只有几十KB，并且其“有损性”一般不易被人察觉，广泛应用于网络中。3.GIF(GraphicsInterchangeFormat)即图形交换格式。在各种平台的各种图形处理软件上均能够处理的、经过压缩的一种图形文件格式。由于这种格式文件很小，并且具有一定的动画效果，所以在Internet上广泛使用，存储的色彩数最高只能达到256种。常用图形图像文件格式4.TIF(TagImageFileFormat)标记图像文件格式，支持的颜色数最高可达到16M；但占用的存储空间也非常大。该格式有压缩和非压缩两种形式，其中压缩形式使
38、用的是LZW无损压缩方案。广泛应用在轻印刷行业中。5.TGA(TargetImageFormat)目标图像格式，是TrueVision公司为其显卡开发的一种图像文件格式，其最高色彩数可达32位。6.PCX 由Zsoft公司研制开发的一种经过压缩的PC位图文件格式。该格式支持的颜色数从最早的16色到目前的1677万色。它采用行程编码方案进行压缩。7.PSDPhotoshop中的标准文件格式，它可以存储图层、通道等各种图像信息，是信息保存最完整的一种格式8.PCDPhotoCD格式，由KODAK公司开发，其他软件只能读取，该格式主要用于存储CD-ROM上的彩色扫描图像。9.IFFAmiga等超级图
39、形处理平台上使用的一种图形文件格式。10.EPS用PostScript语言描述的ASCII图形文件，最高能表达32位图像。标准的EPS有图形格式和图像格式两种。Photoshop只支持图像格式。常用图形图像文件格式视频视频/动画动画视频和动画是连续的图像，运动着的图形。常见的视频与动画格式视频技术计算机动画视频技术视频技术视频是由一幅幅单独的图像以一定的速率（fps）连续地投射在屏幕上的图像序列，使观察者具有图像在连续运动的感觉。其中一幅图像称为一帧（frame），帧是构成视频信息的基本单位。1 1. .视频信号的技术参数视频信号的技术参数视频信号的技术参数视频信号的技术参数视频的技术参数有：
40、帧速视频的技术参数有：帧速 数据量数据量 视频质量视频质量帧速帧速 每秒内包含的图像帧数。为了达到视觉上的连续性，要求Flash动画能达到12帧/秒，普通动画是15帧/秒，而视频是25帧/秒或30帧/秒。数据量数据量 在不经压缩的情况下，数据量应为帧速乘以图像的数据量，对于分辨率为640480，256色的每帧图像，若要达到视频连续要求的30帧/每秒，所需的存储量为9MB/s。视频质量视频质量 视觉效果的好坏，取决于采样原始图像的质量和视频压缩数据的倍数。2 2. .视频的数字化视频的数字化视频的数字化视频的数字化为使计算机能处理视频，同样要对视频信号进行数字化处理，同音频信号的数字化一样，也要
41、经过采样采样、量化量化和编码编码三个步骤。编码编码：对量化后的数据以一定的数据格式存储，编码的过程主要是对数据进行压缩的过程，可以采用各种不同的压缩方案来获得不同的编码方案。采样采样：对连续图像函数f(x,y)进行空间连续坐标（x,y）的离散化。量化量化：对每个像素的灰度或颜色样本的离散化。3 3. .传统电视系统传统电视系统传统电视系统传统电视系统SECAM（顺序与存储彩色电视系统）：是由法国在1956年提出，1966年制定的一种新的彩色电视制式，基于调频技术。25帧/秒，625线，法国、东欧使用目前，世界上主要使用的电视广播制式有PAL、NTSC、SECAM三种NTSC（正交平衡调幅制）：
42、它是1952年由美国国家电视标准委员会指定的彩色电视广播标准，基于正交平衡调幅技术。30帧/秒，525线，美国、日本使用PAL（逐行倒相制式）：它是西德在1962年指定的彩色电视广播标准，它采用逐行倒相正交平衡调幅的技术。25帧/秒，625线，中国、西欧使用计算机动画计算机动画计计 算算 机机 动动 画画 （ computer computer animationanimation）是是利利用用计计算算机机二二维维和和三三维维图图形形处处理理技技术术，并并借借助助于于动动画画编编程程软软件件直直接接生生成成或或对对一一系系列列人人工工图图形形进进行行一一种种动动态态处处理理后后生生成成的的一一
43、系系列列可可供供实实时时演演播播的连续画面。的连续画面。观看动画的机器观看动画的机器观看动画的机器观看动画的机器-1906-1906 视觉效果视觉效果视觉效果视觉效果动画原理动画原理动画原理动画原理 视觉滞留原理视觉滞留原理视觉滞留原理视觉滞留原理视觉滞留原理是指，由于光信号传入大脑需要一定的时间，在光的作用结束后，视觉并不会立即消失，而是保留25200ms，即1/401/5秒，相当于405帧/秒。因此，如果快速播放一系列相关的离散画面，就会使人产生连续的运动视觉动画的发展简史动画的发展简史 1831年，法国人Joseph Antoine Plateau利用视觉滞留原理发明了一种称为“诡盘”的
44、机器，创造出了运动画面的幻觉，这就是原始动画的雏形。 1906年，美国人J Steward制作出一部接近现代动画概念的影片，片名叫“滑稽面孔的幽默形象”（Humorous Phase of a Funny Face）。 1908年法国人首创用负片制作动画影片。所谓负片，是影象与实际色彩恰好相反的胶片，如同今天的普通胶卷底片。 1909年，美国人用一万张图片表现一段动画故事，这是迄今为止世界上公认的第一部象样的动画短片。计算机动画的发展计算机动画的发展 计算机动画的研究始于20世纪60年代初期，它的发展过程大体上可分为三个阶段： 60年代美国的Bell实验室和一些研究机构就开始研究用计算机实现动
45、画片中间画面的制作和自动上色。这些早期的计算机动画系统基本上是二维辅助动画系统（Computer Assisted Animation），也称为二维动画。1963年美国贝尔实验室语言编写了一个称为BEFLIX的二维动画制作系统，这个软件系统在计算机辅助制作动画的发展历程上具有里程碑的意义。计算机动画的发展计算机动画的发展 第二个阶段是从20世纪7080年代中期，计算机图形/像技术的软、硬件都取得了显著的发展，使计算机动画技术日趋成熟，三维辅助动画系统也开始研制并投入使用。三维动画也称为计算机生成动画（Computer Generated Animation ），其动画的对象不是简单地由外部输入
46、，而是根据三维数据在计算机内部生成的。第三个阶段是从1985年到目前为止的飞速发展时期，是计算机辅助制作三维动画的实用化和向更高层次发展的阶段。1 1. .图形的动态图形的动态图形的动态图形的动态运动动态变化动态2 2. .动画的种类动画的种类动画的种类动画的种类造型动画造型动画是一种矢量型的动画，它由计算机实时生成并演播。在制作过程中，它对画面中的每一个活动的对象（也称为角色(Actor)）（包括场景）分别进行设计，赋予每个对象一些特征（如形状、大小、颜色等），然后分别对这些对象进行时序状态设计，即这些对象的位置、形态与时间的对应关系设计，最后在演播时这些对象在设计要求下可以实时变换，并实时
47、组成完整的画面，从而实时生成视觉动画。1.1.1.1.造型动画与帧动画造型动画与帧动画造型动画与帧动画造型动画与帧动画从动画的生成机制看可以分为两种动画：一种叫作造型动画，另一种叫作帧动画。 造型动画造型动画 帧帧动动画画是一幅幅连续的画面组成的图像或图形序列，接近于视频的播放机制，这是产生各种动画的基本方法。一些动画特别是三维真实感动画由于计算量太大，只能先生成连续的帧图形画面序列。这类动画有明显的生成和播放的不同过程，播放时仅调用该图像序列演播即可。 Frame1 Frame2 Frame3 Frame4 Frame5 Frame6 Frame7Frame1 Frame2 Frame3 F
48、rame4 Frame5 Frame6 Frame7帧动画帧动画 从画面对象的透视效果看，可以分为二维动画和三维动画。2 2. .二维动画与三维动画二维动画与三维动画二维动画与三维动画二维动画与三维动画二维动画二维动画画面构图比较简单，它通常是由线条、圆弧及样条曲线等基本图元构成，色彩使用大面积着色。二维动画中所有物体及场景都是二维的，不具有深度感，只能由创作人员根据画面的内容来描绘三维效果，不能自动生成三维透视图。三三维维动动画画虽也是由线条及圆弧等基本图元组成，但是与二维动画相比，三维模型还增加了对于深度（远近）的自动生成与表现手段，还具有真实的光照效果和材质感，因而更接近人眼对实际物体的
49、透视感觉，成为三维真实感动画。目前这种动画已成为广泛应用的媒体类型。 二维与三维立体画面的区别二维与三维立体画面的区别 例如：例如：从画面形成的规则和形式看，计算机动画可以分为路径动画、作用动画和变形动画。3. 3. 路径动画、作用动画和变形动画路径动画、作用动画和变形动画路径动画、作用动画和变形动画路径动画、作用动画和变形动画路径动画路径动画 指让每个对象根据指定路径进行运动的动画，这类动画最适合于描述一个实体组合过程或分解过程，如演示或模拟某个复杂仪器是怎样由各个部件对象组合而成的，或描述一个沿一定轨迹运动的物体等等。作作用用动动画画在运动动画中，物体的真实运动一般是由其物理力学规律来支配
50、的。它能够真实地按照力对物体的实际作用情况来描述物体运动的速度、加速度和运动轨迹，以及在各种场景下可以根据物理力学公式进行描述和处理的其它作用现象。 例如：变变形形动动画画变形动画是将两个对象联系起来进行相互转化的一种动画形式，通过连续地在两个对象之间彩色插值和路径变换，可以将一个对象或场景渐变为另一个对象或场景。3 3. .计算机动画的制作计算机动画的制作计算机动画的制作计算机动画的制作关键帧（原画）的产生中间画面的生成分层制作合成1.1.二维动画的制作过程二维动画的制作过程二维动画的制作过程二维动画的制作过程着色预演分层制作合成 第1帧和第8帧是关键帧，其余各帧(2-7帧)可由插值算法生成
51、 2.2.2.2.三维动画的制作过程三维动画的制作过程三维动画的制作过程三维动画的制作过程物体造型材质、纹理和的设置动画设置场景绘制后期制作动画输出 制作动画的软件制作动画的软件制作动画的软件制作动画的软件Animator Pro Animator Pro 平面动画制作软件。用于制作帧动画，绘制功能强平面动画制作软件。用于制作帧动画，绘制功能强平面动画制作软件。用于制作帧动画，绘制功能强平面动画制作软件。用于制作帧动画，绘制功能强Animation Studio Animation Studio 平面动画处理软件。用于加工帧动画，处理能力强平面动画处理软件。用于加工帧动画，处理能力强平面动画处
52、理软件。用于加工帧动画，处理能力强平面动画处理软件。用于加工帧动画，处理能力强Flash MX Flash MX 网页动画软件。用于绘制帧、矢量动画，可添加声音网页动画软件。用于绘制帧、矢量动画，可添加声音网页动画软件。用于绘制帧、矢量动画，可添加声音网页动画软件。用于绘制帧、矢量动画，可添加声音WinImageWinImage: morph : morph 变形动画软件。根据首、尾画面自动生成变形动画变形动画软件。根据首、尾画面自动生成变形动画变形动画软件。根据首、尾画面自动生成变形动画变形动画软件。根据首、尾画面自动生成变形动画GIF Construction GIF Constructi
53、on 网页动画软件。把动画和图片序列转换成网页动画网页动画软件。把动画和图片序列转换成网页动画网页动画软件。把动画和图片序列转换成网页动画网页动画软件。把动画和图片序列转换成网页动画3D Studio Max 3D Studio Max 三维动画制作软件。用于制作三维造型动画三维动画制作软件。用于制作三维造型动画三维动画制作软件。用于制作三维造型动画三维动画制作软件。用于制作三维造型动画Cool 3D Cool 3D 三维文字动画软件。用于制作帧动画、视频三维文字动画软件。用于制作帧动画、视频三维文字动画软件。用于制作帧动画、视频三维文字动画软件。用于制作帧动画、视频Maya Maya 三维动
54、画制作软件。用于制作动画片、广告、电影等三维动画制作软件。用于制作动画片、广告、电影等三维动画制作软件。用于制作动画片、广告、电影等三维动画制作软件。用于制作动画片、广告、电影等Premiere Premiere 动画视频处理软件。用于处理视频、广告、电影等动画视频处理软件。用于处理视频、广告、电影等动画视频处理软件。用于处理视频、广告、电影等动画视频处理软件。用于处理视频、广告、电影等4 4. .动画的应用动画的应用动画的应用动画的应用 动画片制作、电视广播动画片制作、电视广播 广告、电影特技广告、电影特技 教学演示教学演示 训练模拟与仿真训练模拟与仿真 建筑场景漫游建筑场景漫游 产品模拟试
55、验产品模拟试验 游游 戏戏常见的视频/动画格式3.苹果公司的MOVApple公司开发的一种视频文件格式，被称作QuickTimeMovie。它的跨平台能力是勿庸置疑的，目前QuickTimeMovie格式正日趋普及。1.微软的AVIMicrosoft公司开发的一种数字音频和视频文件格式，采用音频视频交错技术。图象质量好，算法具有可伸缩性，但是文件体积过于庞大。2.MPEGMPEG是运动图像压缩算法的国际标准，采用有损压缩“算法”来减少运动图像中的冗余信息的，从而达到高压缩比的目的。MPEG家族中包括MPEG、MPEG和MPEG等在内的多种视频格式。常见的视频/动画格式4.RealNetwork
56、公司的RM(RealMedia)是RealNetworks公司开发的一种能够在低速率的网上实时传输视/音频信息的流式文件格式，是目前Internet上最流行的跨平台的客户/服务器结构流媒体应用格式。5.ASF格式(AdvancedStreamingFormat)是Microsoft公司推出的一个在Internet上实时传播多媒体的技术标准，在此基础上开发了一种可以直接在网上观看视频节目的视频文件压缩格式，使用WindowsMediaPlayer可以直接播放该格式的文件。6.GIF格式该格式可以同时存储若干幅静止图像并进而形成连续的动画，目前Internet上大量采用的彩色动画文件多为这种格式的
57、GIF文件。常见的视频/动画格式7.FLIC/FLI/FLC是Autodesk公司在其出品的AutodeskAnimator/AnimatorPro/3DStudio等2D/3D动画制作软件中采用的彩色动画文件格式。FLIC文件采用行程编码（RLE）算法和Delta算法进行无损数据压缩，因此可以得到相当高的数据压缩率。它被广泛用于动画图形中的动画序列、计算机辅助设计和计算机游戏应用程序中。8.SWFSWF是Micromedia公司的产品Flash的矢量动画格式，在缩放时不会失真。由于这种格式的动画可以与HTML文件充分结合，并能添加MP3音乐，因此被广泛地应用于网页上，成为一种“准”流式媒体文
58、件。多媒体功能卡多媒体功能卡显卡显卡 又被称为图形卡、图形适配器和显示适配器等等。它是主机与显示器之间连接的“桥梁”，作用是控制电脑的图形输出，负责将CPU送来的的影像数据处理成显示器识别的格式，再送到显示器形成图像。显卡主要由显示芯片（即图形处理芯片Graphic Processing Unit）、显存、图形 BIOS、数模转换器（RAMDAC）、显示接口、其它方面接口等几部分组成。1 1.显卡的组成显卡的组成图形处理器（图形处理器（GPU -GraphicProcessingUnit ） 即图形处理芯片，它是显卡的“大脑”，负责了绝大部分的计算工作，在整个显卡中，GPU负责处理由电脑发来的
59、数据，最终将产生的结果显示在显示器上。现在市场上的显卡大多采用nVIDIA和ATI两家公司的图形处理芯片。显示存储器显示存储器也被叫做帧缓存，它的作用是用来存储显卡芯片处理过或者即将提取的渲染数据。如同计算机的内存一样，显存也是用来存储信息的部件。显存越大，显卡支持的最大分辨率就越大。1 1.显卡的组成显卡的组成目前市场中所采用的显存类型主要有SDRAM，DDRSDRAM，DDRSGRAM三种。显示内存的处理速度通常用钠秒数来表示，这个数字越小则说明显存的速度越快。图形图形 BIOS(BasicInput/OutSystem)主要用于存放显示芯片与驱动程序之间的控制程序，另外还存有显卡的型号、
60、规格、生产厂家及出厂时间等信息。打开计算机时，通过显示BIOS内的一段控制程序，将这些信息反馈到屏幕上。早期显示BIOS是固化在ROM中的，不可以修改，而现在的多数显卡则采用了大容量的EPROM，即所谓的“快闪BIOS”（FlashBIOS），可以通过专用的程序进行改写或升级。1 1.显卡的组成显卡的组成1 1.显卡的组成显卡的组成数模转换器数模转换器(RAMDAC)它的作用是将显存中的数字信号转换为显示器能够显示出来的模拟信号。RAMDAC的转换速率以MHz表示，它决定了刷新频率的高低。其工作速度越高，频带越宽，高分辨率时的画面质量越好。该数值决定了在足够的显存下，显卡最高支持的分辨率和刷新
61、率。显示接口显示接口电脑（电脑（BUS）接口接口显卡使用标准的接口，负责向显示器输出相应的图像信号，通常是15针CRT显示器接口，称为视频图形阵列(VGA)。不过有些显示卡加上了用于接液晶显示器LCD的输出接口，用于接电视的视频输出端口等。常见的有AGP接口和PCI接口两种。加速图形端口(AGP)使视频卡可以直接访问系统的内存，直接的内存访问可以获得比周边组件的连接(PCI)总线适配卡插槽更高的峰值带宽。这样使图形处理芯片访问系统内存的时候，CPU可以专注于其它的任务。1 1.显卡的组成显卡的组成多媒体功能卡多媒体功能卡视频卡视频卡视频卡也叫视频采集卡，是对模拟视频图像进行捕捉并转化为数字信号
62、的工具。视频采集卡的主要功能是从动态视频中实时或非实时捕获图像并存储。它可以将摄像机、录像机和其它视频信号源的模拟视频信号转录到计算机内部，也可以用摄像机将现场的图像实时输入计算机。视频采集卡能在捕捉视频信息的同时获得伴音，使音频部分和视频部分在数字化时同步保存、同步播放。PC上通过视频卡可以接收来自视频输入端的模拟视频信号，对该信号进行采集采集、量化量化成数字信号，然后压缩编码成数字视频序列。大多数视频卡都具备硬件压缩的功能，在采集视频信号时首先在卡上对视频信号进行压缩压缩，然后才通过PCI接口把压缩的视频数据传送到主机上。视频卡的工作原理视频卡的工作原理 多通道视频输入帧存储器D/A转换显
63、示输出数字解码器A/D转换窗口控制器广播级视频采集卡广播级视频采集卡采集的图像分辨率高，最高分辨率为768X576，视频信噪比高，缺点是视频文件庞大，每分钟数据量至少为200MB。是视频采集卡中最高档的，用于电视台制作节目。专业级视频采集卡专业级视频采集卡分辨率与广播级是相同的，但压缩比稍微大一些，此类产品适用于广告公司、多媒体公司制作节目及多媒体软件。民用级视频采集卡民用级视频采集卡动态分辨率一般最大为384X288，PAL制25帧每秒。外置式的电视接收盒外置式的电视接收盒内置式的内置式的ISAPCI接口视频接收卡接口视频接收卡按用途分类按用途分类：按连接方式分类按连接方式分类：视频卡的分类小小 结结这一章我们主要介绍了音频、图像、图形、视频和动画5种常见媒体的知识及相关的技术。重要的部分为媒体的一些基本概念，数字化方法，存储量的计算，图形与图像的区别，各种常用的音频、图图形/图像文件格式及多媒体的功能卡各个部件的功能。片头、卡通影片和电视虚拟演播人广告、电影特技教学演示训练模拟与仿真建筑场景漫游产品模拟试验游戏作业Report:多媒体技术的最新前沿动态研究要求：1.以PPT的形式做成报告2.四个人一组，每组大概5-8分钟
