《基于数字媒体dsp的网络实时视频采集系统》由会员分享，可在线阅读，更多相关《基于数字媒体dsp的网络实时视频采集系统（4页珍藏版）》请在金锄头文库上搜索。
1、电子测量与仪器学报 2 0 0 6 年增千 基于数字媒体D S P 的网络实时视频采集系统 张昱别红霞 ( 北京邮电大学信息工程学院，北京1 0 0 8 7 6 ) 摘要：本文介绍了基于1 r I 公司数字媒体D S P 芯片D M 6 4 2 的网络实时视频采集系统的设计和实现。详细介绍了系统的总体设 计、音视频接口、网络接1 3 、控制模块以及类微型分层驱动程序结构，并在该平台上实现了H 2 6 3 算法的优化，提高了效率 与鲁棒性。 关键字：数字媒体D s P 实时视频采集分层驱动H 2 6 3 算法优化 R e a l - T i m eN e t w o r kV i d e oA
2、c q u i s i t i o nS y s t e mB a s e do nD i g i t a lM e d i aD S P Z h a n g Y u B i eH o n g x i a ( S c h o o lo f I n f o r m a t i o nE n g i n e e r i n g ，B U P T , B e i j i n g 1 0 0 8 7 6 C h i n a ) A b s t r a c t ：T h i sp a p e rp r o v i d e st h ed e s i g na n di m p l e m e n t a
3、 t i o no f t h er e a l - t i m en e t w o r kv i d e oa c q u i s i t i o ns y s t e mb a s e do nd i g i t a l m e d i aD S PD M 6 4 2 T h eo v e r a l ls y s t e ma r c h i t e c t u r e , a u d i o - v i d e oc i r c u i t , n e t w o r ki n t e r f a c e s , c o n t r o l l i n gu n i ta l o n
4、 gw i t ht h el a y e r e d d r i v e rs c h e m e ，c l a s s m i n i d r i v e ra r cd i s c u s s e di nd e t a i l T h eH 2 6 3v i d e o c o d e cw a so p t i m i z e df o re f f i c i e n c ya n dr o b u s t n e s sb a s e do n t h i sp l a t f o r m K e y w o r d s ：D i g i t a lm e d i aD S P
5、, r e a l - t i m ev i d e oc a p t u r e , c l a s s m i n i - d r i v e rm o d e l ，H 2 6 3 c o d e co p t i m i z a t i o n 基于I n t e r n e t 及无线网络的实时视频技术是 当前应用研究的热点 1 。在网络视频监控、无线 视频通信系统中，实时视频采集终端是关键环节。 采集终端的核心问题包括视频图像质量、视频数据 采集与编码速度，视频传输接口与控制等 2 3 。 一视频信息数据量大，需要有效的编解码处理技 术，而视频压缩的运算复杂。通常需要采用支持高 速
6、运算的D S P 保证实时性 3 。 T I 公司推出的新型针对数字媒体应用的D S P 芯 片D M 6 4 2 ，是目前能够以最低功耗达到最高性能的 D S P 4 ，具有6 0 0 M H z 的处理能力并且预计会有 1 1 G H z 的下一代产品，更适合各种视频编解码算法 高复杂度和高计算能力的要求。 本文以D M 6 4 2 为核心处理器设计网络实时视频 采集终端，并实现了视频的实时H 2 6 3 抗干扰编码， 以应用于远程网络数字视频监控与无线视频通信。 1 实时视频采集系统总体结构与主 流程 4 5 1 1 系统框架 为完成实时视频通信功能，采集系统的硬件总 体结构按功能分为D
7、 M 6 4 2 最小系统、逻辑控制模块、 视频解码模块、视频编码模块、音频编解码模块、 网络接口模块及其他接口模块，如图1 所示。 图I 视频采集终端系统框图 1 2 实时视频采集系统主流程 本系统中视频编解码算法采用改进的H 2 6 3 标 准。系统主要完成系统初始化、视频采集编码、网 络传输等流程。结合D S P B I O S ，采用R F - 5 ( R e f e r e n c e F r a m e w o r kL e v e l5 ) 集成H 2 6 3 编码库和解码库。 电子测量与仪器学报 2 0 0 6 年增千U R F - 5 是构建在D S P B I O S 和D
8、 S P 算法标准之上的 e x p r e s s D S P 算法参考框架的第五级，它集成了一些 通用的算法，并可由第三方提供标准算法库，如 H 2 6 3 等，便于用户开发。系统的主要功能流程模 块如图2 。 图2D M 6 4 2 片上主要功能模块 B I O S 任务调度前的工作主要包括板上系统和 处理器初始化、R F 一5 通信模块初始化与算法实例生 成，B I O S 调度器管理视频采集与传输任务，任务间 用R F - 5 中的S C O M 模块进行互相通信。主要任务包 括： 1 ) 输入任务： 负责从N T S C 制式的输入设备中得到视频图像； 所得到的图像是Y U v4
9、：2 ：2 格式的，重采样后变成 Y U v4 ：2 ：0 ，然后发送消息到处理任务。 2 ) 处理任务： 负责编码视频，传送比特流到解码模块和网络 任务中，解码图像并等待网络任务回传的消息，最 后把解码图像传送到输出模块中。处理任务采用 R F - 5 信道来完成自环。 3 ) 输出任务：负责重构图像在N T S C $ I J 式的输 出设备上显示。 4 ) 网络初始化任务；负责启动网络环境。 5 ) 网络任务：用于执行系统要求的网络功能。 当接收到处理任务传送来的H 2 6 3 码流后，经 过S O C K E T S 把数据变为适合网络传输的数据流。建 立网络连接并且发送码流。最后发送
10、S C O M 消息回处 理任务通知它可以进行下一帧图像的处理。 2 实时视频采集系统的关键设计 2 1 数字媒体芯片D M 6 4 2 采用的数字媒体芯片D M 6 4 2 核心处理器采用 V e l o c i T I 2 的体系结构，有6 4 个3 2 位通用寄存器， 8 个高度独立的功能单元一两个乘法器和六个算术 逻辑单元( A L U s ) 。V e l o c i T I 2 扩展的体系结构包 含了一些新的指令，加速了视频和图像应用的性能 并且扩展了V e l o c i T I 结构的并行性。D M 6 4 2 使用双 层c a c h e 结构，并且有强大的多样化的外围接口。
11、 与外围设备的数据交换是通过可编程的直接寄存 器存储单元E D M A 来完成的。D M 6 4 2 做为数字媒体处 理器，在芯片内部构建了可配置的音视频接口，还 内置了以太网接口、P C I 接口、J T A G 仿真器接口等。 D M 6 4 2 有外设高度集成化的特点，因此外围电路简 单，更适合于移动网络的监控终端使用。 2 2 视频处理 本系统支持C I F 、Q C I F 图像大小，使用图像采 集格式为Y C 圮b ( 4 ：2 ：2 ) ，采集精度为8 b i t 。V i d e o P o r t O 用于视频采集，V i d e oP o r t 2 用于视频播放。视 频口
12、的0 和l 中的一部分设置为M c A s P 和音频编解 码芯片T L V 3 2 0 A I C 2 3 接口，用于支持音频的编解码 功能。 视频解码芯片采用P h i l i p s 公司的S A A 7 1 1 5 ， D M 6 4 2 通过1 2 C 总线对S A A 7 11 5 进行编程，通过程 序设定，S A A T l l 5 具备全自动标准检测功能，可解 舯S C ，P A L 和S E C A M 信号。 视频编码芯片采用P h i l i p s 公司的S A A 7 1 0 5 ，与 S 从7 l1 5 相同通过1 2 C 总线程序设定，S A A 7 1 0 5
13、的 输出支持主要的复合视频标准，如N T S C P A L 、R G B 图像格式、H D 复合视频或S 视频。 为了实现解码的本地显示校验功能，在D M 6 4 2 和视频编码芯片之间加入片F P G A ，来补充视频模 块中的屏幕显示( o S D ：O nS c r e e nD i s p l a y ) 功能。 图3a 为视频模块的硬件示意图。 视频端口驱动采用类微型驱动模型 ( c l a s s m i n i d r i v e rm o d e l ) ，上层为类驱动，底层 是微型驱动，如图3b 所示。这种模型是T I 公司为了 简化C 6 4 x 系Y J J D S P
14、 驱动程序的编写而开发的。上层 主要完成D M 6 4 2 本身的视频端口和相关D M A 的设 置，底层主要完成与编解码芯片相关操作，两层之间 通过外部设备控制接口( E D C ) 结合在一起。而类 驱动和微型驱动又分别分为与系统相关的特殊部 罢 电子测量与仪器学报2 0 0 6 年增千 分( 微型驱动编码解码器硬件相关部分、F V I D 类 驱动) 和可移植通用部分( G I O 类驱动、D M A 数据 传输) 。采用这种类微型驱动模型，应用软件可以 复用绝大部分相似设备的驱动。 C( f 驱动t 设备驱动厂 ll ，斜型驱动 fj ， 硬件连接框图 口 口 口 匝垂囡臣亟四 b 视
15、频编解码器驱动结构 图3 视频处理模块 2 3 音频处理 本系统的音频处理采用T I 公司的音频编解码 芯片A I C 2 3 。A I C 2 3 编解码器使用两个串行通道，一 个通道控制编解码器的内部配置寄存器，另一个用 于收发数字音频信号。1 2 C 总线作为单向的控制通 道，实现D S P 对编解码器的配置。双向的数据通道 则由M c A S P 来实现。音频接口模块的驱动与视频驱 动类似，使用类微型驱动两层结构。 2 4 控制模块 控制模块包括P L D 器件G A L l 6 L V 8 对外部异步存 储设备、U A R T 和E M I FB u f f e r 的译码控制以及完
16、成 主要控制功能的可编程门阵列( F P G A ) 。本系统F P G A 选用X i l i n x 公司的的X C 2 S 3 0 0 E 芯片，具有高达3 0 万 系统门，实现系统的核心控制并完成屏幕显示功 能。 、F P G A 程序使用V H D L 硬件描述语言编写， F o u n d a t i o n 系列I S E 开发系统进行编译、调试及仿 4 7 真。满足要求后的文件以h e x 的格式存储于F L A S H 内，系统上电时由D M 6 4 2 把程序从F L A S H 读出写入 F P G A 。如需更改F P G A 中的程序，只需要将更改后的 文件重新装入F L A S H 中就可以了。 2 5 网络接口 由于D M 6 4 2 芯片内部的P C I 和以太网管脚是复 用的，可以通过一个C B T 开关来切换P C I 和以太网功 能。D M 6 4 2 包含了一个网络媒体接入控制器E M A C 和 物理层P
