《毕业设计论文基于机器视觉的人眼跟踪系统的设计和实现》由会员分享，可在线阅读，更多相关《毕业设计论文基于机器视觉的人眼跟踪系统的设计和实现（60页珍藏版）》请在金锄头文库上搜索。
1、摘要摘要随着人机交互技术的不断发展，除了传统成熟的鼠标、键盘等输入方式外，语音输入也进入了实用化阶段，人眼视线由于其本身包含较多当前任务信息也自然成作为一种候选的输入通道。目前对于人眼视线的人机交互技术研究渐渐受到人们的重视。本文就人眼视线的人机交互技术，将当前比较成熟、完善的机器视觉技术与虚拟仪器相结合，利用市场上比较常见的摄像头对人眼进行非接触式的图像采集，由LabVIEW和Vision Assistant以及IMAQ Vision组成的虚拟仪器，对采集的图像进行处理和识别。最终建立人机交互平台，并完成人眼视觉对电脑鼠标控制的人眼追踪系统。本系统是将机器视觉与虚拟仪器相结合，完成人眼视线与
2、机器人机交互的一次新的尝试，是一个较有价值的研究方向。关键字：人机交互 人眼追踪 虚拟仪器 LabVIEWAbstractWith the development of Human-Computer Interaction Techniques, except the traditional mouse and keyboard, voice input method has entered practical stage. Because of the human sight includes a lot of information of current tasks, it can nat
3、urally becomes a candidate input channel. Human-Computer Interaction Techniques research about human sight is becoming more and more important. In this paper, our method is based on the Human-Computer Interaction of human sight to combine mature machine-vision and virtual instruments. We used the ca
4、mera which can be easily found on the market to gather the images of human eye by untouched way and the virtual instrument which consist LabVIEW, Vision Assistant and IMAQ Vision to process and identify the gathered images. At last, we had built Human-Computer Interaction platform to accomplish eye
5、tracking system which uses human sight to control computer mouse. This system combined machine-vision and virtual instruments to accomplish a new try of Human-Computer Interaction of human sight and computer. This is a valuable research field.Keyword: Human-Computer Interaction Eye tracking LabVIEW
6、Virtual Instrument 目录 1目录第一章 绪论11.1 研究的目的与意义11.2 国内外机器视觉和人眼跟踪的发展现状21.2.1 机器视觉的概况21.2.2 人眼跟踪技术的概述41.3 论文工作以及组织结构6第二章 机器视觉系统的概述72.1机器视觉的概念72.1.1 机器视觉的引入72.1.2 机器视觉的优缺点72.2 机器视觉的系统构成82.2.1 系统构成82.2.2 系统硬件的选择102.3 机器视觉系统的工作原理122.4 本章小结13第三章 LabVIEW虚拟仪器和数字图像处理概述153.1 LabVIEW概念153.2 视觉开发软件概述163.3 数字图像处理概述
7、173.4 本章小结20第四章 人眼跟踪系统的设计214.1 系统的设计思路214.2 硬件设计214.2.1 光源224.2.2 照明方式234.2.3 摄像头244.3 软件设计254.3.1 主体部分254.3.2 图片采集部分274.3.3 图片处理部分274.3.4 循环处理部分284.4 本章小结28第五章 人眼跟踪系统图像处理模块295.1 图像的灰度变换295.2 图像的平滑处理305.2.1 邻域平均滤波法325.2.2 中值滤波法335.3 图像增强345.3.1 灰度线性变换355.3.2 灰度的非线性变换365.4 人眼眼球的识别385.5 NI Vision Assi
8、stant中的图像处理操作395.6 本章小结42第六章 人眼跟踪系统的LabVIEW模块436.1 人眼跟踪系统前面板的设计436.2 人眼跟踪系统程序面板的设计446.2.1 人眼跟踪系统的预定位456.2.2 人眼跟踪系统程序面板的设计466.2.3 鼠标控制的算法476.3 本章小结47第七章 结束语49致 谢51参考文献53 第一章 绪论 5第一章 绪论随着人们对人机交互技术研究的不断深入，多通道的人机交互备受关注1。人机界面更强调“以人为中心的原则”，使用户能运用各种感觉通道，以最自然的方式和计算机交互。现有的人机交互输入绝大多数通过鼠标、键盘等实现，这些输入需要视觉或听觉接收输出
9、信息相配合。此外，语音识别输入技术在逐渐成熟，而对身体姿势的理解、触觉的输入输出等技术在智能虚拟现实环境中得到了较多的研究。人们在观察外部世界时，眼睛总是与其它人体活动自然协调地工作，并且眼动所需的认知负荷很低，人眼的注视包含着当前的任务状况以及人的内部状态等信息，因此人眼注视是一种非常好的，能使人机对话变得简便、自然的候选输入通道。目前对于人眼视线的人机交互的研究还处于起步阶段，虽然有多种方法可以对人眼视线进行检测，但是由于人眼在观察时移动的速度较快，范围较小，大多数的检测方法精确度不够，并且对人眼的影响较大。目前研究的人眼跟踪系统存在两个方面的问题：一方面对人的影响较大，如头盔式和眼电式人
10、眼跟踪系统；另一方面，硬件成本较高。 本文尝试性的将机器视觉技术与虚拟仪器相结合，利用市场上常见的摄像头、个人电脑及虚拟仪器软件LabVIEW、Vision Assistant和IMAQ Vision搭建简单、有效的人眼跟踪的人机交互平台。在通过机器视觉对人眼眼球进行图像检测识别的基础上，最终在LabVIEW平台上完成鼠标移动控制的人机交互。1.1 研究的目的与意义本研究将机器视觉技术和虚拟仪器应用到人眼跟踪上，利用机器视觉对人眼进行图像采集和处理，达到人眼跟踪的目的，最终达到人眼眼动对电脑鼠标进行移动操作。该系统基于机器视觉技术、美国NI公司的软件开发平台LabVIEW 8.5和图像处理软件
11、包IMAQ VISION等软件及普通摄像头和个人电脑进行系统的开发。主要目的是：1) 开发对人眼的图像采集、人眼眼球的模式识别以及人眼眼球中心位置的分析系统。实现对人眼眼球的跟踪，并得到人眼眼球的中心位置信息。2) 根据要得到的人眼眼球信息，基于LabVIEW平台的编程处理，达到人眼眼动对电脑鼠标的实时控制。利用机器视觉，虚拟仪器软件开发研究人眼跟踪系统，对于工业自动化、军事、助残等领域具有重要的现实意义，主要表现为：1) 利用该系统，在工业方面可以实现人眼对方向的实时控制；在军事上可以实现人眼对目标的自动瞄准；在助残领域可以实现人眼对轮椅控制，人眼实现人机交互等，可以有效提高残疾人的处理水平
12、和生活质量。2) 运用NI公司的图形化设计语言LabVIEW作为开发平台，LabVIEW是图形化的程序语言，用“绘制”流程图代替编写程序代码，能使设计出的人机界面更为美观，能兼容C、VC、VB语言的编程，开发的软件移植性强23。3) 目前国内对于人眼跟踪的研究大多还数还处于起步阶段，在应用于实际方面并不成熟，在将机器视觉应用于人眼跟踪方向并最终用于对电脑鼠标的移动操作方面几乎还没有研究。本系统将机器视觉与虚拟仪器相结合，将摄像控制、图像采集、图像分析、识别以及对鼠标操作集于一体，是一项有实用意义的尝试性研究。1.2 国内外机器视觉和人眼跟踪的发展现状1.2.1 机器视觉的概况机器视觉历经50多
13、年的发展，取得了一些令人欢欣鼓舞的成果，但仍有很多技术难题尚待突破。国外机器视觉发展的起点难以准确考证，其大致的发展历程是20世纪50年代提出机器视觉概念，20世纪60年代真正开始发展，20世纪70年代进入发展正轨，20世纪80年代发展趋于成熟，20世纪80年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点：一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发
14、展提供了全新的基础条件46。从上述数据可以看出机器视觉的发展之快。国内的机器视觉发展较发达国家晚，各行业的领先企业在解决了生产自动化的问题以后，已开始将目光转向视觉测量自动化方面。其市场潜力不可忽视。目前在我国随着配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现，国内有关大专院校、研究所和企业近几年在图像和机器视觉技术领域进行了积极思索和大胆的尝试，逐步开始了工业化的应用7-10。机器视觉是一门涉及神经生理学、认知心理学、物理学、数学、计算机科学、图像处理、模式识别和人工智能等多个领域的新技术，这些领域的迅速发展有力地促进了视觉技术的进
15、步。目前已在医疗诊断、各类自动检测与控制、智能机器人、军事、遥感、科研、生活等方面得到广泛应用，取得了巨大的经济与社会效益11。1) 医学方面：对染色体切片、癌细胞切片、x射线图像、超声波图像的自动检查、诊断，注射器针头的质量检查，药片包装有无缺损等。2) 工业方面：生产线上自动焊接、切割加工，大规模集成电路生产线上自动连接引线、对准芯片和封装，纺织印染业自动分色、配色，木材、焊缝、铸件杂质和断口、瓷片、玻璃产品、印刷品等在线质量检查，零件尺寸测量等，将图像和视觉技术用于生产自动化，可以加快生产速度，保证质量的一致性，还可以避免人的疲劳、注意力不集中等带来的误判。3) 农业方面：农产品质量自动检验与分级，涉及水果、农作物籽粒、蔬菜、家畜、禽蛋等，如自动分辨并剔除己发芽的土豆，获取作物生长状态信息，农业资源管理、植物病理研究、遗传细胞工程研究等。4) 军事方面：自动监视军事目标，自动发
