《基于深度学习的视觉特征在图像检索中的应用-1.doc》由会员分享，可在线阅读，更多相关《基于深度学习的视觉特征在图像检索中的应用-1.doc（12页珍藏版）》请在金锄头文库上搜索。
1、武汉大学2017年大学生创新创业训练项目申报书填表时间： 2016年 10 月 9 日项目名称基于深度学习的无人机感兴趣图像目标检索系统项目创新特色概述 无人机目标图像检索系统使用深度学习的方式，对无人机获得的图像中的诸如中特定目标进行检索，从而找出图像中的目标物体，方便人们对目标物体进行搜索，具有较高的应用价值。本项目将以人为例，使系统能够根据用户需求输出带有特定人物的图像。项目所属一级学科工学申请经费1000元起止时间2016年9月至2017年9月申请人或申请团队信息姓 名学 号院（系）、专业联系电话E-mail李涛2014301110079电子信息学院夏文轩2014301200268电子
2、信息学院孙翀2014301200222电子信息学院刘宇森2015302580254国际软件学院李昂2015301500121计算机学院注：项目负责学生的信息填写在本栏目的第一行，成员共计不超过5人。导师信息姓名院（系）职称联系电话E-mail杨文电子信息学院教授一、申请理由1.小组成员简介：1）李涛电子信息学院2014级电子信息科学类专业，已完成部分相关课程学习，爱好编程，大学期间已经学过c，c+等编程语言，有一定的动手实践能力。2014学年获武汉大学暑期实践团体二等奖和“芙蓉学子”称号。大二期间组建IDOBE工作室，进行大学生创业创新实践训练，并在武汉大学大学生创业实践活动中心注册申请到办公
3、室。有一定的自主创新意识，具有较强的团队协作能力，对无人机图像处理项目有浓厚兴趣。2) 夏文轩电子信息学院2014级电子信息科学类专业，专业课成绩良好，有较为扎实的专业基础，被选入电子信息学院卓工班，在大一学年度获得丙等奖学金。在图像处理，数字信号等方面有着浓厚的兴趣，学习并掌握了c, c+, java, verilog等程序语言。喜爱科学研究，并通过大二上学期模拟电路课程项目设计初步积累科研经验。对待学习，社团，科研态度认真，希望通过此次机会提升自己的实践能力和专业素养，增强自己的责任心。3)孙翀电子信息学2014级电波与天线传播专业，学习成绩优良，专业知识扎实，熟练掌握c,c+，在大一学年
4、获得丙等奖学金。勤于思考，乐于钻研，富有探索精神并有较强的动手能力。视野开阔，具有良好的创新意识。既能独立思考又擅长与团队协作，希望能在项目中贡献力量，提升自己并将所得知识转化为实际成果。4)刘宇森国际软件学院2015级软件工程专业，基础知识扎实，学习成绩良好，乐于学习，勤于钻研，学习刻苦认真。基本掌握C+编程能力，但还需多加。在创新的道路上，有属于自己的风格，不拘泥于已存在的，而是求索未知的一切。希望在项目完成的过程中，能贡献出自己的微薄力量，并逐渐完善自己，走向通往更高的道路。5)李昂计算机学院2015级弘毅班，学习成绩优良，理论知识掌握扎实，熟练掌握c。勤于思考，钻研与人工智能有关的问题
5、，专业与人工智能有密切关系，希望通过做深度学习相关的科研项目提高自己的团队合作能力与专业知识。2.指导老师简介杨文，1976年生，现为武汉大学电子信息学院教授，博士生导师。IEEE信号处理学会，地球科学与遥感学会会员。2004年博士毕业于武汉大学电子信息学院通信与信息系统专业，2008年至2009年法国应用数学与计算机科学实验室（Laboratoire Jean Kuntzmann，CNRS-INRIA/LJK），任访问学者/博士后，研究遥感图像语义标注。近年来主持和作为核心研究人员参与了十余项国家级科研项目的研究，包括国家自然科学基金项目、863计划课题、973计划课题等。基于上诉研究，在I
6、EEE TIP、IEEE TGRS、IEEE JSTAES、IEEE GRSL等权威期刊和国际会议上发表论文70余篇。登记软件著作权4项，获批国家发明专利3项，2012年获湖北省科学技术奖自然科学三等奖。在2012年IEEE GRSS（地球物理与遥感协会）DFTC（数据融合技术委员会）数据融合竞赛中获得第5名。教学方面近年来4次获得湖北省优秀学生论文指导老师奖。目前的研究方向为图像处理与计算机视觉，机器学习及其在遥感信息处理中的应用。杨老师在学生中以博学多闻，助人为乐被学生们喜爱，对学生请教的问题，杨老师总是给予及时详细的解答。在本项目研究中，杨老师也给予大力支持与指导，杨老师团队的其他老师和
7、研究生也对本项目遇到的问题给予支持和帮助。二、立项背景1、研究现状 视觉是人类获取客观世界中大量信息的主要手段，图像是视觉信息的表现形式之一，而随着互联网产业和数字化技术的飞速发展，图像检索已经慢慢成为人们日常生活、工作、学习不可或缺的一部分，人们单一的静态的文本发展为多元的，具有多种功能的图片、语音及视频上来，同时，图像也提供了连接人和服务的平台模式，为整个数字化生活的发展起到了巨大的推动作用。在这个基础上，高效、便捷、准确的目标检索的迅速发展则解放了大量的管理者热人力，同时满足了各种用户的各种需求。 从20世纪70年代起，对图像检索的研究就已经开始，最初的主要研究方向是基于文本的图像检索技
8、术（Text-based image retrieval,TBIR）。该过程需要人为对多媒体信息进行理解，并利用文本描述的方式对图像进行文字标注，然后通过文本信息的检索技术来实现对图像信息的检索。这种文本信息的检索技术的最大优点是如果图像信息描述的完整适当，会产生较好的检索结果。然而，基于文本的图像检索必然存在一定的局限性。首先，由于如今图像的数量呈几何数的海量增长，要对每一张图片都进行人工的详细标注是不可能完成的任务，其次，由于人们对图像内容的理解和表达存在很强的主观性和个体差异性，使得图像的标注内容在一定程度上会对检索结果产生影响。基于此，研究者们开始进行基于图像的图像检索技术的研究。基于
9、内容的图像检索技术（Content-based image retrival,CBIR）是利用图像本身的视觉信息来实现检索的。其主要思路则是用户提供检索的图像样例，通过系统对图像样例自动分析，然后从图像库中选取相似的图像回馈给用户。其系统架构大致为，系统通过对图像的图像提取视觉特征，完成图像库到特征库的映射，并建立图像与所对应特征之间的索引关系。用户向系统提交查询图像，系统则对查询图像提取特征，然后与特征库所有的特征做相似性匹配，并返回对应的相似图像给用户。2、研究趋势在以图像检索为最终目标上，机器学习领域的“深度学习”则作为非常重要的突破技术，在图像分类和识别上起到重要作用。传统的机器学习方
10、法通常使用“浅”结构，相比之下，深度学习模仿人脑组织，构建了一个很深的架构，信息在这个深层架构里进行多层次的传递和转换。深度学习通过探索深层架构对数据自动进行多个级别的抽象功能，是系统去学习一个复杂的过程或函数，将原始输入数据也映射为输出数据。现在在机器学习领域，已经取得一定的研究成果，如使用多任务DNN模型来血虚高层图像表示方法、使用DAE模型对图像二进制进行编码等。但是，基于深度学习的图像检索技术还有大量的研究工作有待进行。3、研究意义随着无人机研究的兴起，无人机在人们的经济日常生活应用中的功能不断被挖掘和开发，无人机应用的普及，可以大大的节省人力资源，提高工作效率和保证某些特定工作的安全
11、，我们正是了解到无人机在环境检测，对车辆检测，对于人体目标确定等方面的优势，所以决定将基于深度学习的图像检索技术搭载到无人机的平台上面，实现基于深度学习的无人机感兴趣目标检索的系统应用。4、参考文献1 Ji Wan, Dayong Wang, Steven C.H. Hoi, Pengcheng Wu, Jianke Zhu, Yongdong Zhang, Jintao Li, Deep Learning for Content-Based Image Retrieval: A Comprehensive Study ACM International Conference on Multi
12、media, 2014:157-1662 A. W. M. Smeulders, M. Worring, S. Santini, A. Gupta, and R. Jain. Content-based image retrieval at the end of the early years. IEEE Trans. Pattern Anal. Mach. Intell. 22(12):13491380, 2000.3 郑启财 基于深度学习的图像检索技术研究 福建师范大学硕士学位论文，20154 Xin-Yu Ou , He-Fei Ling , Ling-Yu Yan, Convoluti
13、onal neural codes for image retrieval, Signal & Information Processing Association Summit & Conference 20145 R Xia，Y Pan，H Lai，C Liu，S Yan, Supervised hashing for image retrieval via image representation learning, AAAI, 2014. 2, 6, 7, 86 A Krizhevsky，GE Hinton, Using Very Deep Autoencoders for Conte
14、nt-Based Image Retrieval, European Symposium on Esann, 20117 于淼, 朱琼, 王国宇. 基于特征点匹配和哈希法的图像检索方法J. 网络新媒体技术, 2006, 27(04):397-400.8 王涛, 胡事民, 孙家广. 基于颜色-空间特征的图像检索J. 软件学报, 2002, 13(10):2031-2036.9 李向阳, 庄越挺, 潘云鹤. 基于内容的图像检索技术与系统J. 计算机研究与发展, 2001, 38(03):344-354.三、项目方案1.综述：本项目的目标是构建一个基于深度学习的无人机图像检索系统，给定一个特定的目标
15、的照片和一个可能含有该目标的图像库，通过深度学习的方法，检测出图像库中是否具有该目标以及该目标存在于图像库中的哪些照片上。具体实现将以通过无人机采集到的图像中的人为例，验证我们的检索思路及算法，然后会尝试对算法进行优化，并可能将检索的目标类型扩充至其它物体（比如汽车，建筑等）上。常规的基于内容的图像目标检索方法是通过无人机等设备获得我们想要检索的人或物的照片（以下称为“目标图像”）以及可能拥有该人物或事物的一组其它照片（以下称为“参考图像库”），然后提取参考图像库中每一张图片的特征并存入特征库中，建立图像与对应特征的索引：做检索时，先提取目标图像的特征，然后与特征库中的特征做相似性匹配，将特征按相似性从高到低排序；最后从图像库索引中找出对应的图片给用户。在这个过程中，最重要的步骤是特征提
