《国家级大学生创新创业训练计划》由会员分享，可在线阅读，更多相关《国家级大学生创新创业训练计划（15页珍藏版）》请在金锄头文库上搜索。
1、国家级大学生创新创业训练计划创新训练项目申请书项目名称： 课堂交互手势识别系统项目负责人： 张慧杰 指导老师： 董维科 所在院系： 技术物理学院 研究起止时间： 2012 年 6 月 至 2013 年 6 月 西安电子科技大学教务处二一二年三月制 填 表 说 明一、填写申请书前，请先查阅教务处网站关于国家级大学生创新创业训练项目管理办法及申请通知。二、申请书的各项内容，要实事求是，表达要明确、严谨。第一次出现的缩写词，需注出全称。三、 项目申请书要按顺序逐项填写，空缺项要填“无” 。要求一律用 A4 纸双面打印，于左侧装订成册。可网上下载、自行复印或加页，但格式、内容、大小均须与原件一致。电子
2、版填表字体用小四号宋体，单倍行距，申请书一式五份交到各学院办公室。四、 项目申请书中栏目“一至九”由学生填写，栏目“十至十二”由教师填写，栏目“十三、十四”由项目负责人所在学院填写。项目名称 课堂交互手势识别系统项目来源 导师课题 自主选题 竞赛项目 其它来源 申请经费 12000 项目完成时间 2013.6姓名 学号 性别 身份证号 码 专业班级 手机 E-mail张慧杰05101203 男14022619910627703X电子科学与技术 申请人(团队)常文静05101136 女412702199105036027电子科学与技术 李佳05101186 女61011519920320528X
3、电子科学与技术 一、项目组成员情况介绍（包括自身具备的知识条件，有何特长、兴趣，参加哪些科技事件创新活动等）张慧杰：技术物理学院电子科学与技术专业大二学生，对数字逻辑电路设计有浓厚的兴趣。系统学习过 51单片机，能熟练使用 Keil、Autium Designer 等软件，英语四级优秀，能够阅读英文科技文献、软件和芯片手册，初步了解 Verilog语言和FPGA。曾参加过星火杯并获得院二、三等奖，获得过二次二等奖学金。获得过 “大学生心理健康工作积极分子”、“雷锋标兵”等荣誉称号。大一参加技术物理智能光电实验室。善于深入思考问题、做事认真负责，具有一定的团队协调合作的经验和能力。李佳：技术物理
4、学院电子科学与技术专业大二学生，具有一定的单片机与 Autium Designer 基础，熟悉 C语言，曾参加过星火杯，与队友合作“手势识别爵士鼓”并获得校二等奖，获得过二次三等奖学金。动手能力强,团队合作能力强，善于与人沟通。英语较好，四级通过，能够阅读英文科技文献、软件和芯片手册。大一参加技术物理智能光电实验室。常文静：技术物理学院电子科学与技术专业大二学生，熟练掌握 C#语言、熟练Visual studio 2008 开发环境、熟悉 C语言、了解图像处理算法，曾做过基于数字图像处理技术的非接触式工件测量，手机车牌识别系统，学习能力强，曾参加过星火杯获得校一等奖，获得过两次三等奖学金，获得
5、过“暑期社会实践优秀个人”“雷锋标兵”等荣誉称号。英语较好，四级通过，能够阅读英文科技文献、软件和芯片手册。大一参加技术物理智能光电实验室。二、项目研究背景（可以是已有的基础，与本项目有关的研究积累和已取得的成绩，已具备的条件，尚缺少的条件及方法等）我们项目提出的背景有以下三点：1、 手势识别作为当下的热点研究方向，随着计算机技术的发展，人机交互的中心开始从计算机向人的方向转移。基于计算机视觉的手势识别方法能够提供更加友好的人机交互方式，是手势识别技术发展的趋势和目标。手势识别研究可以应用于课堂辅助教学、电子书阅读、远程控制计算机上软件以及游戏娱乐等多个方面，具有广泛的应用前景。同时，通过对计
6、算机手势识别的研究，可以在一定程度上促进心理学、计算机图形学、医学以及机器人工程等诸多学科的发展。2、 目前基于数据手套的识别系统穿戴复杂，价格昂贵，大量推广比较困难；基于表面肌电和加速度的手势识别穿戴仍然复杂而且不美观；基于软件的识别系统速度比较慢，不能实时反映出当前的手势。3、 图像处理的特点是数据量大和实时性，而且图像处理的算法一般比较复杂，在一个系统时钟周期内不可能完成实时处理的算法，所以常常采用流水线设计，这种结构正是 FPGA 的强项，而且 FPGA 的并行处理速度快，FPGA 可以有很快的采样速率，从而保证了实时性。除此之外，FPGA 在功耗、成本、小型化和开放时间也有一定的优势
7、。三、国内外的研究现状及研究意义研究现状：（1） 基于数据手套的识别系统（2） 基于表面肌电和加速度的手势识别（3） 基于图像的手势识别交互系统（软件识别）研究意义：人与计算机的交互活动越来越成为人们日常生活的一个重要组成部分.特别是最近几年，随着计算机技术的迅猛发展，研究符合人际交流习惯的新颖人机交互技术变得异常活跃，基于图像的手势识别研究正是顺应了这一潮流。采用基于图像处理的手势识别系统可以解决基于数据手套系统的穿戴复杂、价格昂贵、大量推广比较困难的缺点，而且系统识别速度快，可以保证实时性，而且该方法的最大优点是简单易行，对设备要求低。四、项目研究的目标及主要内容研究目标:用多个摄像机在复
8、杂背景下实时识别多种手势，并对计算机发出正确的指令，从而控制电脑上 ppt 等的播放，实现课堂上灵活的交流、互动。并且促成一些新的应用，增强现有的人机交互模式。主要内容:手势建模图 1 手势模型分类手势模型基于 3D 手（臂）模型的手势模型 基于表现的手势模型纹理模型网格模型骨架模型几何模型基于灰度图像本身的表现模型基于 2D变形模板的表现模型基于图像运动的表现模型基于图像属性的表现模型手势模型对于手势识别系统至关重要，特别是对确定识别范围起关键性作用,模型的选取根本上取决于具体应用。对于某个给定的应用，一个非常简单并且粗糙的模型可能就是充分的。然而，如果要实现自然的人机交互，那么必须建立一个
9、精细有效的手势模型，使得识别系统能够对用户所做的绝大多数手势作出正确的反应（识别或拒识） 。从目前的文献来看，几乎所有的手势建模方法都可以归结为两大类：基于表观的手势建模和基于 3D 模型的手势建模。基于表观的手势模型是建立在手（臂）图像的表观之上，它通过分析手势在图像(序列)里的表观特征去给手势建模。基于 3D 模型的手势建模方法考虑了手势产生的中间媒体（手和臂） ，一般遵循两步建模过程：首先给手和臂的运动以及姿态建模，然后从运动和姿态模型参数估计手势模型参数。手势分析特征检测 手势分析阶段的任务就是估计选定的手势模型的参数。分析阶段一般由特征检测和参数估计两个串行任务组成。在特征检测过程中
10、，首先必须定位到做手势的主体（人手） 。根据所用的线索不同，可以把定位技术分为基于颜色定位、基于运动定位、以及多模式定位等三种。绝大多数颜色定位技术依赖于直方图匹配，利用皮肤的训练数据建立查找表的方法 。尽管不同手势模型的参数各不相同，但是用于计算模型参数的图像特征基元通常是非常相似的。常用的图像特征基元包括灰度图像 、二值影像等。模型参数3D 手模型通常涉及到两组参数：角度参数（关节角度等）和直线参数（指骨长度和手掌尺度等） 。从检测出的特征去估计这些运动学参数通常包括两个环节：初始参数估计和参数随时间的更新。手势识别的实现手势识别就是把模型参数空间里的轨迹（或点）分类到该空间里某个子集的过
11、程。静态手势对应着模型参数空间里一个点，而动态手势则对应着模型参数空间里的一条轨迹，因此它们的识别方法有所不同。静态手势识别算法包括基于经典参数聚类技术的识别和基于非线性聚类技术的识别。五、项目创新特色概述1.由以前的基于软件变为基于硬件 FPGA芯片；2.只需做手势，手上不需带任何器械；3.将手势识别技术应用在远程自动控制领域。4.将手势识别与软件图像处理技术相结合，通过手势远程放大、缩小图片或者图像的更换，使讲演者或操作者在不与计算机直接接触的情况下，方便的进行人机交互。六、项目实施方案及实施计划项目方案主要分为如下三部分的工作：1)用户手势图像的采集对摄像头采集到的基于 RGB 分量的图
12、像，在通过人手作为参照物进行 自动白用户手势手形特征提取取手势轨迹提取手势识别摄像机 图像分割手势建模平衡后，将其变换到 HSV 颜色空问，并对肤色区域进行聚类。再进行二值图像标号后，估计出可能的手势区域。通过单通道差分运动分析得到运动手势部分的中心区域，并通过卡尔曼滤波估计出实际手势区域中心，结合先前得到的可能手势区域，在复杂的环境中提取出有效的手势区域。2)手势图像的分割先获取背景图像，然后将采集的手势图像同背景图像进行差影法处理，然后进行彩色半阈值分割，再进行灰度阈值分割，最后进行平滑化处理。 实验证明该方法可以在比较复杂背景条件下较好的对手势图像进行分割。此外，对于复杂背景下基于肤色模
13、型进行了实验，在基于肤色聚类特征，提出利用 RGB空间进行粗分割，用改进的 HSV 空间进行细分割的手势分割新方法。实验结果表明，这种方法算法简单，易于实现，分割效果较好，并可用于实时图像处理。3)手势识别图 2 连续动态手势识别系统构成图手势识别就是把模型参数空间里的轨迹（或点）分类到该空间里某个子集的过程.静态手势对应着模型参数空间里一个点，而动态手势则对应着模型参数空间里一个或多个摄像机手势分割手势分析手势识别基于手势识别的应用用户 手势建模语法、语义及其他约束视频信号手势的开始和结束模型参数手势模型手势手势模型的一条轨迹，因此它们的识别方法有所不同.静态手势识别算法包括基于经典参数聚类
14、技术的识别和基于非线性聚类技术的识别.我们借鉴成功应用在语音识别中的隐马尔可夫模型的方法，对动态手势轨迹进行识别，并且，对包含手形的动态手势的识别进行了初步研究，提出了一种关键帧序列识别和轨迹识别相结合的方法。实验结果表明，这种方法具有一定的实用价值。 实施计划：前期（2012 年 6 月2012 年 9 月）a、查阅有关论文，整理和收集国内外手势识别技术研究现状的资料。b、学习并熟悉 FPGA 的调试开发。c、与相应公司联系，获得他们的技术支持。d、讨论项目各个模块的功能设置及所选用的控制器件，撰写项目的详细实施计划。中期（2012 年 10 月2013 年 2 月）a、依据前期准备，与已取
15、得联系的公司的技术支持画出原理框图，进行技术评估。再画出原理图，进而画出 PCB，然后投板，并购买相关器件，进行电路的前期准备工作。b、对相关模块进行调试，实现图像的采集。c、研究图像算法。d、首先实现静态手势和单摄像头的识别并对手势识别正确率进行测试。e、实现动态手势和多摄像头的识别并对手势识别正确率进行大量的测试并不断的进行代码优化。f、通过测试结果不断改进图像算法，使动态手势识别更加精确。后期（2013 年 3 月2013 年 6 月）a、通过测试，进行软硬件的改进，以迎合市场的需求，最终实现远程手势控制。b、完成展示模型的制作。c、撰写相关文档和论文，进行专利申请。七、成员分工情况1、张慧杰负责前期资料的阅读和收集，以及利用 FPGA 完成视频采集,完成中期原理图和 PCB 的制作，及最后的整体调试。2、常文静、李佳负责图像处理和相关算法的实现，并进行代码的优化。3、由张慧杰、李佳、常文静共同负责申请材料的撰写以及答辩 PPT 的制作。八、预期成果及成果形式预期成果：手在摄像头前做一个手势，摄摄头采集到图像后，将摄取的图像传给FPGA，FPGA 通过处理，将分析结果对应的命令操作符发给计算机，从而控制计算机中的软件，实现手势远程放大、缩小图片或者图像页面的更换等的操作，使讲演者或操作者在不与计算机直接接触的情况下，方便的进行课堂人机交互。成果形式：1、 完整硬件系统
