《嵌入式系统期末报告基于FPGA的实时目标检测系统应用于无人飞行器》由会员分享，可在线阅读，更多相关《嵌入式系统期末报告基于FPGA的实时目标检测系统应用于无人飞行器（17页珍藏版）》请在金锄头文库上搜索。
1、嵌入式系统期末报告基于FPGA的实时目标检测系统应用于无人飞行器 姓 名： 班 级： 13电信2班 学 号： 2013302 指导老师： 日期： 2016.6.27 华南农业大学电子工程学院电子信息工程系Hindawi Publishing CorporationInternational Journal of Recongurable Computing Volume 2016, Article ID 8457908, 16 pages http:/dx.doi.org/10.1155/2016/8457908研究文献基于FPGA的实时目标检测系统应用于无人飞行器移动目标检测在无人机(UAV
2、)最常见的任务是在空中移动监视、发现和跟踪我们感兴趣的目标，例如协助民用的搜索、救援行动。在实时嵌入式系统使用现场可编程门阵列(FPGA) 可以实现复杂的检测算法。这篇文章通过FPGA来介绍部署开发无人机的实时移动目标检测芯片系统(SoC)。检测算法利用包括运动估计和对象分割过程的成立图像配准技术。运动目标检测系统的实现雏形为集成低成本并且配备了TRDB-D5M相机的FPGA开发板-Terasic DE2-115。该系统由Nios II处理器和面向数据流的专用硬件加速器组成，专用硬件加速器时钟频率为100 MHz，能够以30帧每秒的处理速度对640480像素的灰度分辨率视频进行处理。1. 介绍
3、 无人机(UAV)在移动空中监视操作中扮演了一个重要的角色，而且被广泛应用到不同的领域中，例如空中侦察、边境巡逻、资源勘探、战斗和军事应用。由于其移动特性,无人机还被部署到了灾难地区，通过收集高分辨率的图像完成搜索救援行动1。除此之外,无人机在交通监控的应用也被做过一些研究2、3。因为大多数监控系统需要检测和跟踪感兴趣的对象,所以移动目标探测是无人机监控系统的一个典型的步骤4。移动目标检测就是通过相机捕获的一系列视觉图像之中，定位移动对象(前景)在静态场景(背景)驻留的过程。因为对象发生的位移需要在后续视频帧来定义其运动，所以至少需要对两个连续的视频帧进行处理。如果在一个对象的在不同的时间间隔
4、选定的帧，而它位于相同背景的两个不同位置，那么这个对象会被定义为一个移动的目标。因此，在分割移动物体之前需要一个背景模型来表征即将到来的静态场景视频帧。 背景模型可以依据相机运动的类型来分类5，相机运动类型包括了固定式相机，可转动变焦相机，自由平面场景移动相机，和具有自由几何复杂场景运动的摄像机。移动物体在静止背景(静态摄像头)的检测和分割可以通过简单的执行背景减法技术得到6-11，而图像配准技术需要在对象的分割之前，使移动背景(移动相机)，包括涉及到的相机的自我估计和补偿，要跟之前选定的背景视频帧相匹配。无人机视频航拍成像被人们视为平面的一种场景12。平面场景的自我运动估计，可以通过单应性变
5、换估计方法，例如建立仿射模型。因此,移动物体可以通过登记记录的视频帧为估计模型并采用背景减法处理登记模型的手段被检测出来。这种方法没有考虑到出现明显的深度变化的情况，虽然它会因为视差导致不正确的目标登记。 由于计算机视觉算法的复杂性，在航空成像检测移动目标会是一个十分耗费时间的过程。检测移动目标实际也不完全依赖地面处理站无线电线路，因为视频质量将极大地取决于无线通信的速度和稳定性。另外，完全自主的无人机是满足需要的,因为它可以在最少的人工干预条件下，针对检测目标进行操作和两者之间的反应13。因此,自主无人机系统要求具有高机动性和高计算能力，来完成执行对系统平台本身的检测。 使用现场可编程门阵列
6、(FPGA)将满足无人机系统的低功耗，高计算能力和小型电路要求。FPGA系统是解决在移动平台的实时计算机视觉问题的一个好方案14，它可以根据应用所需来重新配置来处理不同的任务。 文章介绍了FPGA在实现无人机的实时运动目标检测系统的应用。检测算法利用图像配准技术，首先估计自我运动，然后从两个后续帧使用块匹配(成立匹配)和随机样本共识(RANSAC)算法。完成补偿自我运动之后，帧差分,利用中值滤波和形态学方法都会被用于移动物体的分割。本文的贡献如下：（1）开发的实时移动目标检测芯片系统(SoC)，640480像素的视频处理速度达到每秒30帧(fps)；（2）运动目标检测系统的实现雏形为集成低成本
7、并且配备了TRDB-D5M相机的FPGA开发板-Terasic DE2-115，占领只有组合函数总量的13%和13%的总内存碎片；（3）分区和管道调度检测算法的硬件/软件(HW / SW)代码最大处理吞吐量。（4）包括块匹配和对象分割模块的面向流的硬件加速器，能在一个周期操作一个像素。（5）在不同密度的成立无人机自我运动估计和帧差分阈值情况下分析检测性能。 其余报告如下：第二节讨论了运动目标检测的文献；第三节讨论了运动目标检测算法；第四节描述了SoC发展和专门的硬件架构的移动目标检测；第五节介绍了检测结果的完整的原型；第六节总结本文。2. 相关工作 在过去几十年天线视频或者无人机应用方面的移动
8、目标检测定位就已经被广泛研究了。全局运动补偿，运动检测和对象跟踪已经组成了一个开发框架15。当作者们利用到累积帧差分和背景减法时，过去往往使用特征和基于梯度的技术的组合来补偿自运动从而达到天线视频车辆检测目的。表1:相关工作中FPGA对象检测在上文提出的系统中不同的应用的比较:表1文章研究16提出了通过使用基于分类器的梯度层次结构(方向梯度直方图)两种不同的方法来检测和跟踪移动车辆和人。注释17文献的工作是：提出了一个通过执行运动补偿,运动检测,包括数据捕获和协作控制模块的并行和跟踪的移动目标检测方法。注释18文献中则提出了多个目标检测算法，这适应了在广域监视大量的移动目标的应用。注释19文献
9、提出了不同的高度下对移动目标的检测和跟踪，同时在UAV视频上捕获和显示移动目标。在注释20文献提出了基于特征图像配准技术：在无人机视频中检测运动目标。该作者利用后续的视频帧角点，将它作为执行自运动估计和补偿特性的特征。在注释21文献,航拍视频的多模型估计方法被提出，作为在复杂的背景探测移动物体的手段，该方法在检测中能够消除建筑物、树木和其他假警报。因为这些文献专注于在不同的情况下改善检测算法,没有考虑到无人机自主调度,他们一般把系统改进成常见的平板电脑17,19-21或图形处理单元(GPU)加速环境22。如表1所阐述，大多数基于FPGA的目标检测系统的文献都使用611静态照相机。他们利用背景减
10、法技术,如高斯混合模型(GMM)和视觉背景提取器来执行在静态背景视频的前景对象分割。在23文献提出了基于FPGA运动目标检测的步行机器人。他们使用基于硬件/软件一体设计系统的光流技术和帧差分技术，以此实现自运动估计。也有一些文献提出基于FPGA无人机检测应用。研究文献24在提出了一种使用基于FPGA的硬件/软件结合设计，进行无人机特征检测和跟踪。软件在根据特征进行对象的跟踪时，作者一般使用专用硬件哈里斯特征检测器从航拍视频中提取对象特征。无人机实时检测的实现，文献13中描述了一个例子：根据汽车的形状，大小，和颜色来检测移动目标。然而,在文献13、24进行的检测工作和基于对象特性进行的跟踪并不集
11、中于移动目标。基于FPGA的无人机目标检测回避系统应该有一个合适的运动目标检测算法，在文献25提出通过使用区域相位的相关技术，但是他们没有创建一个完整的FPGA系统原型装置。此外，研究文献26也指出无人机航拍的硬件设计和实时自运动估计的架构。因此,文献中只有数量有限的专注于发展一个完整的基于FPGA实时检测移动目标的无人机应用原型。3.移动目标检测算法 因为无人机是一个移动的平台，所以在提出的移动目标检测算法采用了图像配准技术，它可以在目标分割之前完成自我运动补偿。图像配准算法可以被分为基于特征和基于区域（基于强度）的方法 27，28 。在基于特征的方法中，从两个后续的帧检测到的特征比如角 2
12、9，30 或冲浪 31 ，从中一个框架到另一个找到每个特征的运动是相互关联的。据报道，在软件中实现基于特征的图像配准会计算的更快，因为无论像素数的多少，它都只使用一个小数量的点去匹配。然而被检测到的特征数量是无法预测的，因为它取决于所捕获的场景的帧，因此计算数量和要占用的存储资源也是不可预知的，这也导致很难在高度并行的硬件中实现特征检测。我们可以通过排序或优先排序的得分（即特征强度）的额外步骤 24 ，从而出选择他们最强的特征，使特征的数目可以减少到一个可预测的常数。然而，它提出了一些限制，因为只有高度纹理的像素区域会被选中，而忽略掉像素均匀区域 32 。此外，基于特征的方法要求不规则地访问内
13、存，这个方式不适合数据流访问模式的计算机硬件。 与之相反，基于区域的技术通过寻找从一个帧到另一个帧最类似的纹理的块（区），在框架之间构造了点对点的对应关系。它适用于并行和流处理，因为它具备给硬件实现的几个优点：1. 它具有高度并行的操作的特性，使它适合在硬件中的实现并行处理。2. 它允许简单的控制流，不要求图像像素的不规则访问。3. 它具有固定大小的可预测的内存需求计算数据量。该算法的整体流程化的图1。它由两个主要的过程组成，即运动估计和对象分割。在这项工作中使用基于区域的图像配准技术。对系统的输入是当前和前一帧连续两灰度的视频帧。首先，块匹配在这两个框架上进行产生点对点的帧间运动。图1无人机
14、视频中的航空成像被假定为在平面场景有自由的相机运动与 5 ，并采用仿射模型估计自我运动。然后用RANSAC来去除所有点之间的微小的运动（异常值），导致了属于仿射变换矩阵条件的自我运动。在使用仿射变换矩阵中的参数保证前一帧与当前帧对齐之后，帧间差分可以通过像素相减两帧的像素进行排列，其次是经过阈值处理生成一个二值图像。二值图像进行中值滤波和形态学处理的，可以消除噪声，使得只有检测到的移动目标凸显。该算法是使100MHz的NiosII嵌入式软处理器可以在SoC环境运行。然而，大多数在NiosII运行的进程都很慢，不足以实现实时性能。为了实现一个实时的运动目标检测系统，在这项工作中的所有进程都必须在
15、完全专用硬件加速器完成，除了部分硬件加速的RANSAC。3.1.块匹配块匹配包括两个步骤：提取与匹配，这需要两个连续的帧。 提取过程将从一个框架模板存储几个块或图像像素的补丁，在匹配过程中，将在第二帧中找到它们最相似的块。通过与以块的中心点的参考比较，从而产生许多对对应的点，这表明了两个连续的帧之间的点对点的运动（像素的运动）。这两个框架的成对的点将被使用到RANSAC的自运动估计。块提取是存储从一个视频帧的一个预定义的位置的9个像素的9个像素的无数块的过程。这些块将被用作在匹配过程中的模板,模板块的位置均匀分布在图像上。提取过程中没有数学计算，因为它是只涉及从视频流到临时存储器的图像修补程序的直接复制。匹配过程中起到的作用是从当前帧的每一个提取的模板块找到最相似的块，而这些模板块都是从以前的框架提取的。这是通过关联的模板块与下一个框架，在相似性度量的基
