第第 5 章章 数字视频数字视频 (1) 内容内容1. 视频基本知识2. 数字视频3. 数字视频的输入和输出2024/9/112南京大学多媒体研究所 一、视频的基本知识一、视频的基本知识 1 什么是视频什么是视频o视频(video)：随时间变化其内容的一组图象(24,25, 30帧/秒)，又叫运动图象或活动图象(motion picture)o常见视频信号：电视，电影，动画等.o视频信号的特点：n内容随时间而变化,n伴随有与画面动作同步的声音(伴音),n人类接受的信息70%来自视觉, 其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体n视频信息的处理是多媒体技术的核心2024/9/114南京大学多媒体研究所 电电 视视o电视是当代最有影响力的信息传播工具!o3种彩色电视制式:nNTSC制(正交平衡调幅制), 美国、加拿大，台湾、日本、韩国、菲律宾等采用nPAL制(逐行倒相正交平衡调幅制), 德国、英国，中国、朝鲜等采用nSECAM制(顺序传送彩色与存储制), 法国、苏联及东欧国家采用.2024/9/115南京大学多媒体研究所 电视图象摄取电视图象摄取,传输和重现的过程传输和重现的过程 o拍摄图像和播放图像都采用“光栅扫描”(raster scan)的原理。
摄象机摄取景物时，把自然景物的颜色分解为R,G,B 三个分量在彩电信号传输中，用Y,C1, C2分别表示亮度信号和两个色差信号，C1,C2的含义与彩电的制式有关电视接收机把Y,C1, C2信号重新转换为R,G,B进行显示.2024/9/116南京大学多媒体研究所 光栅扫描光栅扫描(raster scan)o隔行扫描(interlaced,电视图象采用)奇数场偶数场1帧图像o逐行扫描(progressive,计算机显示图象时采用)2024/9/117南京大学多媒体研究所 2 视频信号的空间特性视频信号的空间特性575625垂直回扫水平回扫(PAL)485525垂直回扫水平回扫(NTSC)vertical resolutionaspect ratio ( 4:3 or 16:9 )2024/9/118南京大学多媒体研究所 视频信号的时间特性（视频信号的时间特性（1））o动作连贯性感觉的要求：帧频>=15f/s；o无闪烁感觉的要求：画面刷新速率必须>=每秒50次 PAL制式： 帧频为25 帧/s, 场频50场/s； NTSC制式：帧频是30 帧/s, 场频是60场/so电视扫描信号的行频：nPAL：625 x 25 = 15.625 kHz ，周期为64μs ; nNTSC：525 x 30 = 15.75 kHz，周期为63.5μs2024/9/119南京大学多媒体研究所 575625(4/3)*575视频信号的时间特性（视频信号的时间特性（2））o模拟信号传输电视节目时的带宽：nPAL制式是8.0MHz（亮度信号为5.5 MHz，2个色度信号均为1.8 MHz），nNTSC制式是6.0MHz（亮度信号为4.2 MHz，2个色度信号均为1.0 MHz）。
全屏光点总数:575*(4/3)*575=440 kb (P)484*(4/3)*484=310 kb (N)视频信号最高频率:440 k * 25/2 = 5.5MHz(P)310 k * 30/2 = 4.65MHz(N)2024/9/1110南京大学多媒体研究所 3 电视信号的彩色空间（电视信号的彩色空间（1））o在彩色电视中，用Y、C1, C2彩色表示法分别表示亮度信号（Luminance或Luma）和两个色度信号（Chrominance或Chroma）oC1，C2的含义与具体的电视制式有关:电视制式 C1的含义 C2的含义NTSC I QPAL U VCCIR601数字电视 Cr Cb2024/9/1111南京大学多媒体研究所 电视信号的彩色空间（电视信号的彩色空间（2））nYUV空间 (PAL)亮度分量 Y=0.3*R+0.59*G+0.11*B色度分量 U=(B-Y)*0.493色度分量 V=(R-Y)*0.877nYIQ空间 (NTSC)亮度分量 Y=0.3*R+0.59*G+0.11*B色度分量 I=0.6*R-0.28*G-0.32*B色度分量 Q=0.21*R-0.52*G+0.31*B (优点：与黑白电视兼容；有利于压缩信号带宽)2024/9/1112南京大学多媒体研究所 电视信号的彩色空间（电视信号的彩色空间（3））oYCrCb是国际通用的CCIR601数字电视信号中使用的彩色空间，它由YUV彩色空间经过缩放和平移得到。
oY值的额定范围在16-235之间， Cr和Cb在16-240之间，具体的转换公式如下：nY = (77/256)*R+(150/256)*G+(29/256)*BnCr=(131/256)*R-(110/256)*G-21/256)*B+128nCb=-(44/256)*R-(87/256)*G+(131/256)*B+1282024/9/1113南京大学多媒体研究所 电视信号的彩色空间（电视信号的彩色空间（4））o使用Y、C1，C2彩色空间的优点：①Y和C1，C2是独立的，因此彩色电视和黑白电视都可以使用，Y分量可由黑白电视接收机直接使用而不需做任何进一步的处理；②可以利用人的视觉特性来节省信号的带宽和功率，通过选择合适的颜色模型，可以使C1，C2的带宽明显低于Y的带宽，而又不明显影响彩色图像的质量2024/9/1114南京大学多媒体研究所 4 彩色电视信号的若干形式彩色电视信号的若干形式o模拟形式：n模拟复合信号n模拟分量信号n模拟S-video信号o数字形式：n数字复合信号n数字分量信号2024/9/1115南京大学多媒体研究所 （（1）复合电视信号）复合电视信号o复合电视信号(composite video signal)：由亮度、色度信号及同步信号复合而成的单一信号，也称为全电视信号. o复合电视信号 适合于进行远距传输，其质量称为VHS（家用级)。
彩色空间转换 RGB => YUV 图象信号编码信号复合RGBYUVCVBSV SyncH Sync复合电视信号 （模拟电视信号的编码）2024/9/1116南京大学多媒体研究所 复合电视信号复合电视信号o为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输CVBS = Y+a*U*Sin(Wsc*t) + b*V*Cos(Wsc*t) (Wsc 为副载波频率)o伴音信号与视频信号也复合在一起传输亮度色度6 MHz (NTSC)-1.0 0.0 1.0 2.0 3.0 4.0 5.0图象载波声音载波色度副载波音频2024/9/1117南京大学多媒体研究所 （（2））分量电视信号分量电视信号n为保证视频信号质量，近距离时可用分量视频信号(component video signal)传输, 分量信号是指每个基色分量( R,G,B 或 Y,U,V )作为独立的电视信号传输 (Betacam，广播级或专业级).n视频节目制作时使用的是分量视频信号n计算机输出的视频信号，是分量形式的视频信号2024/9/1118南京大学多媒体研究所 （（3））S-Video信号信号 oS-Video是亮度(包含同步信号)和色度(2个色度信号复合在一起)互相分离的一种电视信号，优点：① 减少亮度信号和色度信号之间的交叉干扰；② 不需要使用梳状滤波器来分离亮度信号和色度信号，这样可提高亮度信号的带宽。
信号电平 = 1V 阻抗 = 75 ohms 信号电平 = 0.3V 阻抗 = 75 ohms • S-Video使用单独的两条信号线分别传输亮度信号和色度信号，这两个信号称为Y/C信号• S-Video使用4针连接器2024/9/1119南京大学多媒体研究所 二、数字视频二、数字视频 1 为什么使用数字视频？为什么使用数字视频？n易于编辑、修改等操作处理n用户接收的图像质量更好(可达演播室水平)n有利于存储，信息复制不会失真n有利于传输(抗干扰能力强)n节省频率资源(占用频道较窄)n可以通过公共电信网和计算机网传输n可以与其它媒体组合使用n可以生成描述信息（bits about bits）,便于信息的检索和使用2024/9/1121南京大学多媒体研究所 2 视频信号的数字化视频信号的数字化视频信号数字化过程:(8-10 bits)滤波取样量化PCM编码数字视频信息模拟视频信号VUYUVY亮度信号的取样频率:13.5MHzU,V色度信号的取样方式有多种不同格式2024/9/1122南京大学多媒体研究所 亮度信号的取样（亮度信号的取样（CCIR601）oITU-R BT.601标准(CCIR601,美国称为D1标准)，对3种制式电视的取样频率和有效分辨率都作了统一规定。
o每一行的像素数目:PAL: 13.5MHz = 625×25×N = 15625×N, N=864NTSC: 13.5 MHz = 525×30×N = 15734×N, N=858 有效（可显示）像素 均统一为：720720 pel (有效取样样本)12/16 pel 132/122 pel水平扫描线(64us)蓝色为NTSC蓝色为NTSC2024/9/1123南京大学多媒体研究所 色度信号的取样（色度信号的取样（CCIR601））o人对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量o色度信号的取样频率有4种: 格式 取样频率 平均每个像素的样本数 4:4:4 同亮度信号取样频率 3样本/像素 4:2:2 亮度信号取样频率的一半 2样本/像素 4:1:1 亮度信号取样频率的1/4 1.5样本/像素 4:2:0 亮度信号取样频率的一半, 1.5样本/像素 但隔行处理2024/9/1124南京大学多媒体研究所 色度信号的色度信号的4种取样格式种取样格式4:2:2亮度信号色度信号4:4:44:2:04:1:12024/9/1125南京大学多媒体研究所 名称 亮度(Y) 色度(Cb, Cr) (行数/帧) (像素/行) (行数/帧) (像素/行) 取样格式CCIR601 576 720 576 360 4:2:2CIF 288 360 144 180 4:2:0QCIF 144 180 72 90 4:2:0SQCIF 96 128 48 64 4:2:0常用数字视频信号的规格常用数字视频信号的规格(CCIR601 ＝ITU-R 601)– 亮度的取值范围: 16(黑) - 235(白)– 色度的取值范围: 16 - 2402024/9/1126南京大学多媒体研究所 3 视频信号的数字化视频信号的数字化o视频信号数字化有2种情况:1 模拟复合视频信号的数字化视频信号数字化芯片复合视频信号Y／C信号(S-video)CCIR601数字视频24位RGB数字视频视频信号数字化芯片RGB分量模拟视频信号CCIR601数字视频 2 模拟分量视频信号的数字化.2024/9/1127南京大学多媒体研究所 模拟复合视频信号的数字化模拟复合视频信号的数字化把复合视频信号或Y／C信号进行模数转换。
例如使用8位A／D转换器，得到8位数字化的值把亮度(Y)和2个色度(C)信号分开分离后Y的数值范围为4-200，仍包含同步和消隐信息；色度信号是经调制的色度信号，取值范围为0±82(NTSC)或0±87(PAL) 接收调制的数字色度信息，经过解调，输出基带 I,Q(NTSC)或 U,V(PAL)色度信号，即恢复出NTSC或PAL制的色度信号按需要对对比度、亮度和饱和度进行调节完成从YIQ或YUV颜色空间到RGB和YCrCb颜色空间的转换模数转换Y/C分离色度信号解调信号调节颜色空间转换复合视频信号数字视频信号S-Video信号2024/9/1128南京大学多媒体研究所 分量视频信号的数字化分量视频信号的数字化( (方案方案1)1)5.75MHz低通滤波器5.75MHz低通滤波器查找表A/D13.5MHz时钟A/D13.5MHz时钟A/D13.5MHz时钟查找表查找表5.75MHz低通滤波器5.75MHz低通滤波器2.75MHz低通和筛选滤波器RGB到YcrCb转换矩阵2.75MHz低通和筛选滤波器MUXMUX视频时序插入控制RGBCbCrY辅助数据数字RGB输入4:2:2数字视频信号GAMMA校正模拟分量电视信号进行低通滤波,防止走样现象的发生进行取样和8位A/D转换(配置成能产生16-240/235范围内的数据输出)使用ROM(RAM)组成的查色表实现必要的γ校正把采样频率从13.5MHz降到6.75MHz，产生4:2:2 YCrCb数据输出2024/9/1129南京大学多媒体研究所 分量视频信号的数字化分量视频信号的数字化( (方案方案2)2)5.75MHz低通滤波器2.75MHz低通滤波器查找表A/D13.5MHz时钟A/D6.75MHz时钟A/D6.75MHz时钟查找表查找表2.75MHz低通滤波器模拟RGB到YUV转换矩阵MUXMUX视频时序插入控制RGBCbCrY辅助数据4:2:2数字视频信号GAMMA校正YUV模拟分量视频信号进行低通滤波彩色空间转换输出范围为16-235(Y)和16-240 (Cr和Cb)2024/9/1130南京大学多媒体研究所 4 常见数字视频格式常见数字视频格式oAVIoRM，RMVBoASF和WMV文件oMOV文件oMPEG文件oDAT文件2024/9/1131南京大学多媒体研究所 3 计算机中视频信息的计算机中视频信息的I/O 1 PC机视频应用举例机视频应用举例o视频帮助窗口（Video help windows）；o电子文档中的视频标注(Video notes within a document)；o远程视频会议（Video teleconferencing）；oCD-ROM及网络服务器上的视频播放（CD-ROM and network servers）；o视频编辑和教学等（Video editing）；o收看电视（Video viewing）；o视频/交互式教学(Video tutorials/interactive teaching)2024/9/1133南京大学多媒体研究所 视频信号视频信号I/O的复杂性的复杂性(1) 计算机图形显示技术发展迅速, 使模拟视频信号的图像分辨率和画面刷新速率与计算机图形显示器有很大差别。
2) 计算机显示器是逐行扫描方式，显示质量很高这就需要在视频输入时进行扫描方式由隔行到逐行的转换(又称逐行化)，而在视频输出时再进行逐行到隔行的转换3) 视频信息应纳入到图形用户界面(GUI), 与图像/图形进行统一的操作; 反之，计算机屏幕上任意位置任意窗口的显示内容也应该能转换成为视频信号输出2024/9/1134南京大学多媒体研究所 PC中音中音/视频信息视频信息I/O的概念结构的概念结构模拟音频R模拟和数字音频输出RAMDAC隔行化/缩放/帧速率转换模拟NTSC/PAL/SECAM编码器模拟音频R数字分量视频编码器数字复合视频编码器图形控制器&帧存储器模拟和数字音频输入数字分量视频解码器数字复合视频解码器模拟NTSC/PAL/SECAM解码器音频编码视频编码音频解码视频解码模拟音频L数字音频数字分量视频数字复合视频模拟视频信号模拟音频L数字音频数字分量视频数字复合视频模拟视频信号CRT显示器(模拟RGB）逐行化/缩放/帧速率转换波表合成器FM合成器网络接口网络接口2024/9/1135南京大学多媒体研究所 2 视频获取设备视频获取设备 视频卡视频卡o视频卡的产品类型:1 视频采集(捕获)卡。
将模拟视频信号转换为数字视频并存入硬盘,采集的视频数据可以压缩或不经压缩存储2 视频输出卡将计算机输出的视频信息转换成标准的模拟电视信号,供录像带记录或用电视机收看，具有这种编码功能的接口卡叫视频输出(编码)卡(TV Coder)3 电视接收卡视频采集卡缺少高频电视信号的接收、调谐电路，电视接收卡即用来完成这一任务4 视频压缩卡目的是压缩数字视频的数据量，需遵循国际标准,分成实时处理和非实时处理两种2024/9/1137南京大学多媒体研究所 视频视频捕获捕获( (采集采集) )卡卡的功能的功能o从多种视频源中选择一种作为视频输入;o支持不同的电视制式;o能同时处理图像信号的伴音;o可在显示器上监看输入的视频信号, 其位置及大小可调;o能将计算机生成的图像/图形/文本与视频图像迭加处理;o可随时冻结(定格)一幅画面,并按指定格式保存;o可 实时压缩与存储视频及其伴音信息;o可 实时解压缩并播放视频及其伴音信息,输出设备可选(VGA监视器、电视机、录相机等)2024/9/1138南京大学多媒体研究所 视频采集视频采集( (捕获捕获) )卡卡的结构的结构videograbbervideobufferoverlayconversionTV coderVGAgraphicsVGAVRAMMMCPUDSPCodecPCI busvideoRGB monitorTV setdisc2024/9/1139南京大学多媒体研究所 数字摄像头数字摄像头o最高分辨率为640×480，一般都是352×288，o速度一般在30fps（每秒30帧）以下，o镜头的视角可达到45-60度, o支持USB接口 或FireWire（火线）接口。
2024/9/1140南京大学多媒体研究所 数码摄像机数码摄像机 o提供480线以上的分辨率，清晰度高，o自动对焦(Auto focus)，自动曝光(Auto Expose)， o使用M-JPEG或MPEG-2进行压缩编码，然后记录在磁带或磁盘上，o提供录音功能，o数据量很大，采用USB接口或IEEE1394（FireWire）接口，后者传输速率可以达到200-800MB/s 2024/9/1141南京大学多媒体研究所 3 视频信息在图形显示器上的显示视频信息在图形显示器上的显示o图形控制卡也称显示卡、视频卡等，作用是：n存储正在屏幕上显示的图像数据；n将RGB三基色的数字信号转换为模拟信号，n协助CPU完成图像的生成和修改(更新)o图形卡及CRT显示器的分辨率、帧频、扫描方式、彩色空间等与视频信号差异较大，o为了在图形/图像显示设备上监看输入的视频信息, 图形控制卡的结构必须进行修改和扩展;2024/9/1142南京大学多媒体研究所 (1) 图形图形/视频简单叠加方案视频简单叠加方案o要求视频的时序必须与计算机图形数据的时序相同如果输入视频信号是50Hz或60Hz隔行扫描方式，那么图形控制器必须也能以50Hz或60Hz隔行扫描方式操作。
处理像素数据,完成γ校正,生成模拟 RGB视频信号控制视频和图形数据之间的切换把输入视频的时序信号(HSYNC,VSYNC和像素时钟)来控制图形控制器的时序RAMDAC MU X图形帧存储器视 频解码器CRT显示器(模拟RGB）图形控制器时序发生器色键检测模拟或数字视频信号同步和时钟信号2024/9/1143南京大学多媒体研究所 (2) 分离的图形帧存储器分离的图形帧存储器与视频帧存储器结构与视频帧存储器结构RAMDACMU X视频解码器CRT显示器 (模拟RGB）图形控制器时序发生器色键检测模拟或数字视频信号1模拟或数字视频信号2模拟或数字视频信号3视频帧存储器逐行化处理缩放处理视频解码器逐行化处理缩放处理视频解码器逐行化处理缩放处理图形帧存储器视频帧存储器与图形帧存储器的大小一样切换或按优先权叠加定义视频窗口以双缓冲存储器方式工作,实现帧速率转换2024/9/1144南京大学多媒体研究所 分离的图形帧存储器分离的图形帧存储器与视频帧存储器结构与视频帧存储器结构o功能:n输入的视频信号可以与图形/图像同时进行显示;n视频显示窗口可任意大小,任意位置;n视频信号的帧频容易与图形显示器的帧频同步;o缺点:n使用额外的存储器来实现视频帧的存储, 代价高;n多于一个视频源时，视频帧缓冲存储器的带宽将会增加。
2024/9/1145南京大学多媒体研究所 (3) 统一的帧存储器结构统一的帧存储器结构RAMDACCRT显示器(模拟RGB）时序控制器模拟或数字视频信号1模拟或数字视频信号2缩放处理视频解码器逐行化处理视频解码器逐行化处理缩放处理图形帧存储器图形处理器FFIFOFFIFO临时保存视频数据，直到可访问帧存储器时为止每个视频源必须能调整γ值、亮度、对比度、色度和色饱和度等•统一使用一个帧存储器，把视频数据当成是 另一种可写到图形帧存储器中的数据类型;•显示分辨率可变，在多个帧存和多个监视器 时不影响视频功能;•帧存储器的容量与视频源数目无关.2024/9/1146南京大学多媒体研究所 4 模拟视频信号的生成与输出模拟视频信号的生成与输出o需求: n将计算机输出的视频信号转换成NTSC、 PAL或SECAM制式的模拟电视信号, 用于把电视信号记录到录像带上，供电视播出使用.n将计算机输出的视频信号转换成数字分量视频或数字复合视频信号, 用于把数字视频信号记录到数字磁带记录机上2024/9/1147南京大学多媒体研究所 模拟复合彩色电视信号的输出模拟复合彩色电视信号的输出1 1RAMDACMU X视频解码器CRT显示器 (模拟RGB）图形控制器时序发生器色键检测模拟或数字视频信号视频帧存储器逐行化处理缩放处理图形帧存储器缩放处理将分辨率调整成为电视信号的分辨率模拟复合视频信号视频编码器帧速率转换将帧频转换为标准电视信号的帧频隔行化处理将逐行扫描转换为隔行扫描2024/9/1148南京大学多媒体研究所 模拟复合彩色电视信号的输出模拟复合彩色电视信号的输出2 2RAMDACCRT显示器(模拟RGB）时序控制器模拟或数字视频信号1模拟或数字视频信号2缩放处理视频解码器逐行化处理视频解码器逐行化处理缩放处理图形帧存储器图形处理器FFIFOFFIFO先进行颜色空间转换，将数字RGB颜色信号转换为YIQ(NTSC)和YUV(PAL)，生成数字亮度(Y)数据与数字色度(C)数据；然后把它们相加在一起形成数字彩色视频信号,最后经8位DAC生成0-1.3V的模拟复合视频信号模拟复合视频信号视频编码器帧速率转换缩放处理隔行化处理2024/9/1149南京大学多媒体研究所 。