第一章第一章 人机交互概述人机交互概述1.1 1.1 人机交互的概念人机交互的概念1.1.1 为什么要研究人机交互 自从上个世纪40年代计算机诞生以来，计算机和围绕计算机的信息产业蓬勃发展当前，制造业、IT业、汽车行业等许多产业都有计算机的身影人不但要跟电脑、平板、等看得见摸得着的计算机进行交互，而且要和嵌入到汽车、电视、微波炉等机器内部的计算机进行交互现在很多人在研究人机交互，优秀的设计可以提高人们的工作效率，使人们的工作生活更加简洁，更加方便1.1.2 什么是人机交互 人机交互 (Human-Computer Interaction，简称HCI)是一门研究计算机系统与用户之间交互关系的学问美国计算机协会ACM人机交互兴趣小组（Special Interest Group on ComputerHuman Interaction，简称SIGCHI）给出了人机交互的定义，人机交互是关于设计、评价和实现供人使用的交互式计算系统，以及围绕这些方法的主要现象进行研究的一门学科 人机交互是与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关的综合学科，可以从不同的角度（计算机科学、机器和人）来研究人机交互。
例如从计算机科学的角度，人机交互的焦点是交互，尤其是单个或多个用户与一个或多个计算机的交互，以及通过计算机系统的人际交互；而从机器的观点，计算机可能是独立运作的计算机，也可能是嵌入式计算机器，比如作为太空驾驶员座舱或者微波炉的一部分从人类用户的角度看，需要考虑分布式系统，计算机辅助通讯，或依靠不同系统进行协同工作等特性因此，人机交互既研究机械装置，也研究人的因素，人机交互是当代技术发展的一个重要支撑领域1.2 1.2 人机交互的简史人机交互的简史发展是人类亘古不变的主题，一个社会发展的关键在于其核心生产工具的发展计算机作为新时代的核心生产工具，如何高效地与之交互一直是业界的研究热点经过数十年的实践和发展，人机交互理念、技术和外围设备逐渐由萌芽走向发展和成熟1.2.1 手工操作和命令行交互阶段ENIAC是一个庞然大物，重30余吨，占地约170平方米，包含18000只电子管研究者通过手工开闭计算机上的开关作为输入，通过机器上指示灯的明暗作为输出如图所示，在埃尼阿克计算机中，每个功能表上有多个开关，用户通过操作功能表上的开关进行数据输入工作人员在设置ENIAC的一个功能表上的开关组早期的五孔纸带上世纪50年代，人们开始使用穿孔纸带与计算机进行交互。
穿孔纸带大约一寸宽，中间的一排小孔用来确定位置，两侧的大孔用来表示信息，穿孔或不穿孔表示1和0，计算机指令用大孔中的若干个孔表示，一条简单的程序通常都需要几米长的纸带，如图所示但是，这种交互方式输入输出速度慢，可靠性低，逐渐被淘汰 DEC VT100，一个广泛应用的计算机终端（1978） 1956年，MIT开始研究使用键盘向计算机输入信息 60年代中期起，基于键盘的命令行接口成为大多数计算机的主要交互方式操作人员在命令行界面中输入命令，界面接收命令行，然后把命令行文字翻译成相应的系统功能整个70年代，甚至直到80年代，这种交互方式一直在持续使用大家所熟知的Unix操作系统、微软的DOS系统、以及苹果的DOS系统都是采用命令行的方式1.2.1 图形化用户界面阶段进入70年代，计算机的使用范围日趋广泛，人机交互的设计理念随之前进易用性（Usability）、用户友好逐渐成为人机交互设计的首要考虑要素，人机交互的理念进入以用户为中心（User-Centered Design，简称UCD）的时代道格拉斯恩格尔巴特拿着他发明的鼠标 1968年，Stanford大学的道格拉斯恩格尔巴特（Douglas Englebart）博士发明了世界上第一个滑动鼠标，如图所示。
设计的初衷是为了使计算机的操作更加简捷，代替在键盘上敲击繁琐的指令恩格尔巴特制作的鼠标是一只小木头盒子，工作原理是由它底部的小球带动枢轴转动，从而使得内部的变阻器改变阻值来产生位移讯号，经计算机处理，鼠标的移动转化成了屏幕上的光标的移动鼠标极大地改善了人机之间的交互方式，这个发明被电气与电子工程师协会（Institute of Electrical and Electronic Engineers，简称IEEE）列为计算机诞生50年来最重大的事件之一Xerox Palo于70年代中后期研制出原型机Star，形成了以窗口、图标、菜单和指示器为基础的图形界面，也称为WIMP界面，Apple公司最先采用了这种图形界面1983年，苹果公司开发的Lisa桌面电脑配置了鼠标，并首次采用了图形化的用户界面（Graphical User Interface，简称GUI）Lisa创造性地采用了桌面“隐喻(Metaphor)”，使用了位映射(bitamp)、窗口(window)、图符(icon)等图形化元素来代表对应的操作，用户可通过鼠标点击方便地与计算机进行交互，如图所示Lisa由于售价高，市场接受度不高，但其成就了之后的苹果Macintosh计算机。
这种基于鼠标便捷操作和直观的图形化界面的交互方式成为人机交互进化的历史性变革a) Lisa电脑 (b) Lisa的屏幕1.2.3 自然人机交互阶段80年代末，多媒体技术繁荣发展声卡、图像卡等硬件设备的发明和实现使得计算机处理声音及视频图像成为可能，多媒体输入输出设备如扬声器、话筒和摄像头等逐渐为人机交互所用，如图所示人机交互的内容更加丰富有趣，用户能以声、像、图、文等多种媒体信息方式与计算机进行信息交流用户利用多媒体技术与计算机进行生动的交互1.自然人机交互输入设备的进展自然人机交互更加注重用户的个人体验，以人为中心在交互输入方面，从最开始的手工操作开关、鼠标键盘输入，发展到当前的体感交互等自然交互方式1972年，Nolan Bushnell发明了第一个交互电子游戏Pong，首次将操控技术运用到了人机交互系统中1977年，Tora Defanti和Daniel Sandin开发了一套手套式传感器系统SayreGlove，用户只需要带上这样特殊的手套就可以向计算机输入特定指令2.交互显示设备的进展在交互显示方面，人们追求身临其境的感觉1838年，Charles Wheatstone研究发现人类大脑是通过处理左右眼看到的不同视角图像来产生三维感觉的，这一发现奠定了现代所有立体显示技术的理论基础，包括裸眼3D、眼镜式3D、沉浸式VR等。
1961年，由Philco公司研发的Headsight问世，这是世界上第一款头戴式显示器，同时该设备首次融合了头部追踪功能， Headsight主要用于隐秘信息的查看1985年，美国NASA研发出LCD光学头戴显示器，同时融合了头部、手部追踪功能，可实现更加沉浸的体验，其主要用于太空作业的模拟训练等1.31.3 人机交互的新技术人机交互的新技术近年来，随着机器视觉、人工智能、模式识别技术的发展，以及相应的计算机软硬件技术的进步，以手势识别、动作识别、语音识别等为基础的自然人机交互技术不断涌现交互的模式，也从单一通道输入向多通道输入改变，最终达到智能和自然的目的1.3.1 多点触控多点触控技术是一种允许多用户、多手指同时传输输入信号，并根据动态手势进行实时响应的新型交互技术该项技术采用裸手作为交互媒介，使用电学或者视觉技术完成信息的采集与定位 多点触控技术经过了多年的积累和发展该系统在大屏多点触控系统设计方面成本低、敏感度高，而且使用计算机视觉技术具有较好的扩展性其系统效果图如下图所示，用户可以通过单手或者多手直接操控电脑单手触控（左）与双手触控（右）1.3.2 手势交互 手势交互是指人通过手部动作表达特定的含义和交互意图，通过具有符号功能的手势来进行信息交流和控制计算机的交互技术。
例如，可以采用如下图所示的生活中的6种手势类型，将其语义分别定义为确定/抓取、返回/释放、锁定/解锁、右选、待转/移动、左选操作指令 手势交互是一种新兴的交互技术，其技术核心是手势识别根据识别对象可将手势识别技术分为静态手势识别和动态手势识别数据手套是一种应用较为广泛的手势识别方式右图形象地描述了数据手套的结构 手势识别的另一种方式是通过摄像头采集手势数据这种方式下，人不需要穿戴额外的手套，裸手即可与计算机互动如下图所示，LeapMotion主要由两个摄像头和3个红外LED组成 Leap Motion的组成结构（左）与图像效果（右）1.3.3 人体动作识别 人体动作是人表达意愿的重要信号，包含了丰富的语义人体动作是指包括头、四肢、躯干等人的各个身体部分在空间中的姿势或者运动过程下图展示了基于人体动作的人机交互应用动作分析的人机交互应用 人体动作分析是人机交互交互系统的重要支撑技术，是一个多学科交叉的研究课题，使用了数学建模、图形图像分析、模式识别、人工智能等知识，具有重要的理论研究价值一个完整的人体动作分析过程主要包括动作捕捉、动作特征描述和动作分类识别三大部分与其他交互手段相比，人体动作交互技术无论是硬件还是软件方面都有了较大的提升，交互设备向小型化、便携化、使用方便化等方面发展。
1.3.4 语音交互 语音交互是人以自然语音或机器合成语音同计算机进行交互的综合性技术机器通过识别和理解把语音信号转变为相应的文本或命令，人通过语音与机器进行对话交流，让机器明白用户的交互意图下图给出了语音交互的示例商业产品a）Apple Siri （b）amazon echo 语音交互需要对语音识别和语音合成进行研究，还要对人在语音通道下的交互机理、行为方式等进行研究语音交互过程包括四部分：语音采集、语音识别、语义理解和语音合成语音采集完成音频的录入、采样及编码；语音识别完成语音信息到机器可识别的文本信息的转化；语义理解根据语音识别转换后的文本字符或命令完成相应的操作；语音合成完成文本信息到声音信息的转换1.3.5 其它新兴的交互方式 人类的交互方式还有很多，当前眼球、意念、表情、唇读等更多的新兴手段被引入到人机交互的领域这些方式针对不同的应用和人群，在特殊情况下更为有效1.41.4 人机交互设计的标准、原则和指导方针人机交互设计的标准、原则和指导方针 1.4.1 人机交互设计的标准（1）ISO的人机工程学技术委员会 ISO 9241包含多个部分，对人机交互、以人为中心的设计、用户界面、用户体验、易用性等都有描述。
右表是其各个子系列的基本标准号和标题 近年来，以人为中心的人机交互设计是人机交互的一个研究热点以人为中心的设计方法应该遵循以下原则 （1)设计基于对用户、任务和环境的明确的理解 （2）用户参与整个设计和开发 （3）设计由以用户为中心的评估驱动和改进 （4）过程是不断迭代的 （5）设计表达了全部用户体验 （6）设计团队包括多学科的技能和视角2） W3C 的多通道交互工作组 2002 年，万维网联盟 W3C 成立多通道交互工作组工作组的目标是制定标准以使得种类繁多的通道之间能够交互工作组描述了多通道交互生态系统一个典型示例，由多个框架组件构成，如下图所示多通道交互生态系统示例1.4.2 人机交互的原则和指导方针 Shneiderman的界面设计八个黄金法则：（1）尽力保持一致性（2）使用户能用快捷键操作频繁使用的项目（3）提供有帮助的反馈信息（4）会话和流程设计要走向一个完结（5）提供防止用户出错的机制，并提供简洁的错误提示信息（6）允许便捷的撤销操作（7）给用户掌控感（8）减少短时记忆负担Nilesen的10个易用性启发式方法：（1）系统状态可见（2）系统和真实世界相匹配（3）撤销重做原则（4）一致性原则（5）防错原则（6）易取原则（7）灵活高效原则（8）易快速浏览原则（9）容错原则（10）人性化帮助原则Peter Morville的用户体验蜂巢图： 在书中，Peter Morville给出了用户体验蜂巢图，对人机交互设计很有指导意义。