《基于virtex5的快速目标捕获与实时稳像》由会员分享，可在线阅读，更多相关《基于virtex5的快速目标捕获与实时稳像（12页珍藏版）》请在金锄头文库上搜索。
1、基于 virtex5 的快速捕获与电子稳像计划书申申 请请 人：王宣人：王宣 宋玉龙宋玉龙 孙明超孙明超 E-mail: 指导教师：刘晶红指导教师：刘晶红中国科学院长春光机所中国科学院长春光机所2009 年年 8 月月 1 日日一、竞赛小组概况一、竞赛小组概况1小组主要成员基本情况小组主要成员基本情况指导教师：刘晶红指导教师：刘晶红项目负责人：王宣项目负责人：王宣 成员成员专业专业从事的课题从事的课题王宣信号与信息处理基于 Fpga 平台的图像实时处理算法开发宋玉龙信号与信息处理基于 Fpga 平台的图像实时处理算法开发孙明超信号与信息处理基于 TI6446 平台的图像融合算法2小组成员技术背
2、景小组成员技术背景竞赛小组成员宋玉龙为中国科学院研究生院博士，具有深厚的学术造诣，有多篇高水平文章发表，且被 EI 检索。拥有发明专利一项。王宣、孙明超均为中国科学院研究生院研究生，有扎实的图像处理方面的专业知识，一直在使用 FPGA 实现各类图像处理算法，熟练掌握 Xilinx 公司的相关芯片和软件。二、项目背景及可行性分析二、项目背景及可行性分析1项目背景项目背景稳定可定义为在偏移发生后，能使其返回到平衡位置或初始位置的行为。 稳像技术是指对随机运动或抖动的摄像机所获取的动态图像序列进行修改、重 排以使其在监视器的动态图像显示平稳的技术。稳像技术在广播摄影系统,救灾， 民用航空测量中具有广
3、泛的应用。 例如在北京奥运会开幕式中的烟火大脚印，都是由安装在飞机上的动机座 平台上的摄影机拍摄的，此系统就运用了电子稳像。 航空地形测绘和灾区救援行动中，往往需要在显示器的像平面上得到稳定 的测量基准，这就必须使用稳像技术，以便在仪器的测量面上提供一个相对稳 定的坐标系，准确计算出受灾地区位置。 数码相机，DV 也广泛地应用了稳像技术，使其能克服由于无意识运动造成 图像的模糊，提高系统的成像质量。如松下的 N 系列 DV 的电子稳像器就能克 服在水平 4”范围内抖动，当抖动引起要摄取的静态图像模糊时，即刻变为稳 定而清晰的图像。 以飞机或汽车为载体电视摄像设备在动基座上进行工作,由于使用载体
4、受姿 态变化和高空气流振动的影响,导致输出图像质量下降,比较典型的是图像帧内模 糊和帧间不稳定。为获取稳定清晰的视频图像,必须消除图像运动模糊,实现图像 序列稳定输出。传统的稳像补偿手段如光学补偿、机械补偿及机电结合补偿等, 虽然可以解决这个问题,但由于设备体积、重量等因素影响,在实际应用方面受到 一定的限制。近年来,采用电子学方法进行图像稳定清晰化的电子稳像技术已成为一门高技术的综合学科,与传统方法相比,它具有成本低廉、体积小、功耗低等 优点。2项目名称、项目的主要内容及目前的进展情况项目名称、项目的主要内容及目前的进展情况项目名称项目名称：基于 virtex5 的快速捕获与电子稳像；项目的
5、主要内容项目的主要内容：用 V5 系列 FPGA 设计完成一个适用于安防，以及家用便携式系统的目标捕获，实时电子稳像平台。目前的进展情况目前的进展情况：有完备的 C 及 mathlab 算法资源和测试图像，已经开始相关模块的实现。3项目关键技术及创新点的论述项目关键技术及创新点的论述创新点：创新点：a) 相对于传统的相对于传统的 TI 公司的公司的 6000 系列系列 DSP 稳像，用稳像，用 Virtex-5 极大提高目标极大提高目标捕获及电子稳像的实时性。捕获及电子稳像的实时性。在电子稳像实时处理过程中，需要进行 soble 算子边缘提取，模板提取，原 始模糊图像的 Fourier 变换和
6、 Winner 滤波结果的逆 Fourier 变换，运算量极大。 使用 DAM6416(TMS320C6416)图像处理平台进行实验，处理 2562568bit 图 像时间约 1/25s。按此运算量和处理时间推算，处理 102476824bit 图像至 少需要 36(433)个 DAM6416 图像处理平台并行处理。即使能够采用某种方 式实现 36 个 DSP 并行工作，系统也会变得非常庞大，而不适宜工程应用。 图像电子稳像器用于解决由于抖动造成的视频图像模糊问题,根据视频图像 模糊产生的机理,建立精确的图像补偿的数学模型,消除图像运动模糊,输出稳定 清晰的图像。TMS320C6416 最大频
7、率 1G，8GMACS，电子稳像共需368=288GMACS；而 Xilinx Virtex-5 针对 DSP 运算优化的 SXT 系列，XC5SX240T含有 1056 DSP48E Slice，工作频率 550MHz，最大可实现 580GMACS 运算速度。 Xilinx Virtex-5 是实现电子稳像的最佳选择。 关键技术（关键技术（1）：维纳滤波的实现关键技术（关键技术（2）：运动矢量估计的实现。3技术成熟性和可靠性论述技术成熟性和可靠性论述应用于上海世博会中的高清安保系统已经由我部研制成功，见中科院网页见中科院网页链接链接 http:/ 我项目组拥有成熟的基于DSP的电子稳像算法，
8、 所以用Verilog改写耗时的C语言算法相对容易，电子稳像算法已经用mathlab编写完毕，准备用SystemGenerator和AccelDSP实现。SystemGenerator和AccelDSP是xilinx公司的系统级建模工具，在很多方面扩展了MathWorks的Simulink平台，提供了适合硬件设计的数字信号处理DSP建模环境，加速并简化了在FPGA平台上实现DSP信号处理的过程，必将成为未来流行的FPGA开发技术。XUPV5-LX系列的FPGA有大量的存储单元和乘法器，便于实现数字信号处理功能，可以有效地实现本项目所需的各个模块。团队成员均有比较扎实的FPGA基础和设计功底，和
9、信号处理方面的专业知识，完全有能力保证该项目的顺利实施，最终完成项目。三、项目实施方案三、项目实施方案1需要的开发平台需要的开发平台1、项目所需资源：根据实际需要，我项目组需要 10/100/1000 Ethernet MAC Blocks，RocketIO GTP Low-Power Transceivers 接收数字视频信 号，DVI 视频输出。 XUPV5-LX110T 拥有 4 个 10/100/1000 Ethernet MAC Blocks 16 个 RocketIO GTP Low-Power Transceivers， 64 个 DSP48E Slices，完全能满足项目需要。
10、2、申请平台：本项目申请 XUPV5-LX110T 作为硬件开发平台，充分利用开发板上丰富的外设资源，为设计成果的验证提供支持。3、开发板的利用：3.1视频采集：因需在整个会场范围内实施安防监控，根据距离远近，数字高清摄像机所采集的图像通过 2 种方法传入 XUPV5-LX110T 硬件开发平台 ：a)Cameralink 数字视频信号通过 NETLINK 转为千兆以太网信号，通过XUPV5-LX110T 硬件平台的 10/100/1000 Ethernet MAC Blocks 接收b) Cameralink 数字视频信号通过我项目组研制的光纤板转为光信号，通过光纤传入 XUPV5-LX11
11、0T 硬件平台的 SFP 光模块，通过 V5 的RocketIO GTP Low-Power Transceivers 接收3.2 图像处理：本方案需要实现 1024*1024 分辨率，数据位宽为 24bit的彩色数字图像的滤波，sobel 边缘提取算法，图像二值化，目标模板提取，以及相应的图像输入，图像输出，图像缓存，因此将设计分为 8 个大的模块，顶层模块，图像输入模块，图像缓存模块，滤波模块，sobel 算法边缘提取模块，图像二值化模块，目标模板提取模块，图像输出模块。图像缓存模块利用块RAM 和 64-bit wide 256Mbyte DDR2 small outline DIMM
12、(SODIMM)实现；滤波模块，sobel 算法边缘提取模块，图像二值化模块，目标模板提取模块尽可能的使用 DSP48E Slices 结构来实现，以提高图像处理速度；3.3 视频输出：通过 XUPV5-LX110T 作为硬件开发平台的 DVI 口输出处理后的数字视频，DVI 视频可以直接连接到计算机监视器上，无需采集卡，便于调试。通过 RS-232 port 接收上位机指令4、我项目组已经具备的软硬件：应用于上海世博会中的高清安保系统已经由我部研制成功，见中科院网见中科院网 页链接页链接http:/ 1 我项目组拥有成熟的基于 DSP 的电子稳像算法， 所以用 Verilog 改写耗时的 C
13、 语言算法相对容易，准备用 SystemGenerator 和 AccelDSP 实现 2 camerlink 转光纤板 3 Toshiba 高清数字摄像机4 Netlink 的 camerlink 转千兆网采集卡 5 高速是示波器，逻辑分析仪 2方案基本功能框图及描述方案基本功能框图及描述图 1 FPGA 电子稳像系统整体框图 2.1 帧内电子稳像帧内电子稳像消除运动模糊消除运动模糊帧内电子稳像消除运动模糊根据图像复原理论,在目标和摄像机之间存在相 对运动情况下,单个物点在若干图像像素上扩散时就会产生运动模糊,可以通过建 立空间运动模糊模型进行处理，对于线性平移不变运动模糊,模糊图像g (
14、x ,y) 为 原始清晰图像f ( x , y) 和点扩散函数( PointSpread Function , PSF) h( x , y) 的卷积,即（1） 式中, n( x , y) 表示加性噪声。式(1) 两边取傅里叶( Fourier) 变换,有（2）其中 F( u , v) 、G( u , v) 、H( u , v) 和 N ( u , v) 分别表示 f ( x , y) 、g ( x , y) 、h ( x , y) 和 n ( x , y) 傅里叶变换, H( u , v) 称为滤波函数2.1.1运动模糊点扩散函数运动模糊点扩散函数根据式(2) ,滤波函数 H ( u , v)
15、 是解决问题的关键,文献 11 介绍了一种通过实验 方法获得 H( u , v) 的方法。Lim 等人归纳了 5 种典型的一维点扩散函数12 。 其中方波点扩散函数可以表示为（3）式中 M 表示像移量, 可以通过飞行高度、飞行速度等运动数据计算13 。 设系统像移量为 M , 积分时间为 T , 运动方向与 CCD 靶面水平方向夹角为, 则二维运动点扩散函数为（4）式(4) 的 h( x , y) 进行 Fourier 变换,得到的滤波数 H( u , v) 为2.1.2 维纳滤波维纳滤波在噪声未知情况下, 可近似取F ( u , v) 的逆 Fourier 变换作为恢复图像 f ( x , y) ,即这就是逆滤波恢复方法。在一般情况下, 滤波函数 H ( u , v) 随着 u , v 的增大而迅速衰减, 而 N ( u , v) 却接近常数。逆滤波计算误差为当 u , v 较大时,式(6) 表示的误差也很大。为解决 H ( u , v) 在零点的误差问题, 通常采用维纳(Wiener) 滤波方法计算 F( u , v) :式中H ( u , v) 表示 H ( u , v) 的复共轭,是噪声对信号的功率密度比,取值范围一般在 0. 000 10. 01 。对式(7) 的 F( u ,
