上海交通大学硕士学位论文基于32位RISC+DSP的，实时流媒体处理系统的设计与实现姓名：张熙哲申请学位级别：硕士专业：计算机系统结构指导教师：陈进200401011 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明本人完全意识到本声明的法律结果由本人承担 学位论文作者签名： 张熙哲 日期：2004 年 2月 10日 2 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文 保密□，在 年解密后适用本授权书 本学位论文属于 不保密√ （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 张熙哲 陈进 日期：2 0 0 4 年 2 月 1 0 日 日期：2 0 0 4 年 2 月 1 0 日 上海交通大学硕士研究生论文 1基于 32 位 RISC+DSP 的，实时流媒体处理系统的设计与实现 摘 要 本文详细介绍了一个基于 RISC+DSP 技术的,嵌入式流媒体处理系统的设计与实现，说明了什么是流媒体，流媒体数据的处理过程，流媒体处理对系统的要求，RISC+DSP 技术为什么可以满足在嵌入式系统中处理流媒体数据的要求，如何实现一个嵌入式流媒体处理系统，如何发现和解决硬件上的错误，怎样在 PC 机上调试嵌入式系统，使用仿真方法来提高软件开发速度，以及如何优化算法。
文章对系统分析与系统实现都作了详实的叙述， 系统实现方面包含两部分内容： 在硬件部分介绍了， 处理器、 CMOS Sensor、 LCD 屏幕、 MMC/SD 卡、 SDRAM、FLASH、UART 接口、JTAG 调试接口；软件部分包括了：Linux 操作系统、QT embedded 图形开发环境、Qtopia 图形桌面管理程序、驱动程序系统分析内容涉及流媒体技术，流媒体数据处理系统，视频与图像数据的采集，图像数据处理与压缩算法，视频压缩标准与算法，视频处理和图像处理的核心算法进行了优化与分析，RISC+DSP 结构分析，系统调试方法与算法仿真，硬件设计与实现难点分析，软件体系结构和主要算法说明 研究成果包括了带有二百万像素的照相功能与播放各种压缩格式的个人数字助理(PDA)系统，微小型数码像机系统等，这一系统设计可以用于新一代的掌上电脑，智能和其它手持设备中通过研究证明了 RISC+DSP 技术将会十分广泛的在嵌入式流媒体处理中有应用， 它的发展必然会推动多内核芯片的设计方法，分析方法与调试技术的进步 上海交通大学硕士研究生论文 2目前多媒体信息是人们生活中必不可少的，通过本文系统的实现，我们已经提前看到了未来移动媒体处理的原型。
它的处理能力与移动性已经可以满足3G 和 4G 时代的要求， 给用户无限的想象空间 虽然本系统只是 RISC+DSP 技术的一种实现方式，但是我们可以看到，由于它的成功实现，将会导致一次新的信息技术革命，流媒体实时处理将会给我们的生活带来无限的憧憬 关键字关键字 RISC+DSP，流媒体，嵌入式系统，视频处理，图像处理 上海交通大学硕士研究生论文 3DESIGNING AND IMPLEMENTATION OF REAL-TIME STREAM MEDIA PROCESSING SYSTEM BASED ON 32 BITS RISC+DSP TECHNOLOGY Abstract Abstract This thesis fully describes designing and implementation of an embedded stream media processing system based on RISC+DSP technology. It concentrates on what is stream media, main processing flow of media data, requirements of a stream media processing system, why RISC+DSP technology can meet the demand of embedded stream media processing system, how to accelerate software development by using simulation methods, how to optimize algorithms. It also has solid description of system analysis and system implementation. In system implementation it includes two main parts: hardware part includes processor, CMOS Sensor, LCD display, MMC/SD card/ SDRAM, FLASH, UART connector, JTAG debug connector; software part includes: Linux OS, QT embedded GUI tools, Qtopia desktop environment, hardware drivers. In system analysis it includes stream media technology, stream media processing system, video and image program an retrieving, 上海交通大学硕士研究生论文 4image processing and image compression algorithms, video compression standards and algorithms, core procedures of video and image processing , optimizing of core procedures, analysis structure of RISC+DSP technology, system debugging and algorithm stimulation, hardware design considerations and solutions, software architecture. In the research project, we have made 2 Mega Pixel CMOS Sensor DSC and stream media processing system on a PDA system and a slim DSC system. Our design technology can be used widely on next generation smartphone, PDA and other handheld sets. We have proven that RISC+DSP technology will be widely used on embedded stream media systems in the future, and it will have great effect on multi-core designing and analysis methodology and debugging techniques. Now, multimedia has become a necessary part of human being, with the implementation of this system, we can foresee mobile multimedia processing prototype in the future. It has combined computability and mobility which can meet the requirements of 3G and 4G, and it will give more room for users to express their imagination. Although this is only a part of RISC+DSP technology, but in the end we will see, because of it successfully finished, a new information revolution will happen soon ,real time stream media processing will bring our life more and more beautiful legends. 上海交通大学硕士研究生论文 5KEYWORDS KEYWORDS RISC+DSP, Stream media, embedded system, video processing, image processing 上海交通大学硕士研究生论文 8引言引言 研究目的研究目的 随着高速、高带宽、无线互联网和多媒体手持设备的发展，对媒体处理的需求将会不 断地扩展，使多媒体成为人们交流中最重要的一部分，从而取代传统单一的语音或文字的 交流方式。
使用流媒体技术正逐渐成为多媒体数据处理的通用方法，所以研究流媒体处理 系统可以为下一代手持设备提供合适的发展方向参考和解决方案 目 前 在 流 媒 体 处 理 中 使 用 了 大 量 的 专 用 芯 片 即 ASIC(Application Specific Integrated Circuit)，这不但增加了设计难度延长了开发时间，而且也并不能满足飞速发 展的压缩标准和媒体格式因此十分有必要研究流媒体处理中的关键技术，设计出扩展性 好，计算能力强的嵌入式系统RISC(Reduced Instruction Set Computer )芯片与 DSP(Digital Signal Processor)芯片已经广泛使用在不同类型的嵌入式系统中，他们各自 偏重要控制功能与运算功能，RISC 与 DSP 技术研究如何融合这两种芯片各自的长处，通过 对 RISC+DSP 结构的研究可以更有效地把多媒体信息应用于更广泛的领域 研究内容研究内容 本文是对 RISC+DSP 新型结构上具体实现流媒体处理系统的研究与分析， 研究内容包括 以下几方面： 1．流媒体协议及处理过程研究流媒体协议及处理过程研究：针对目前比较通用的两种流媒体格式，微软公司的 ASF，和 Real 公司的 RealVideo 进行了详细的说明和比较。
解释了流媒体处理系统 的 结 构 ， 硬 件 与 软 件 的 组 成 部 分 ， 以 及 在 流 媒 体 处 理 中 不 同 压 缩 方 法 (H.261,H.263,JPEG,JPEG2000,MPEG1,MPEG2,MPEG4)的比较 2．图像获取算法设计和实现图像获取算法设计和实现：CMOS Sensor 的硬件原理和应用，它的自动暴光控制， 自动增益控制和 Bayer4 数据输出格式和时序图像前处理，包括了自动白平衡， Ga。