人机交互基础教程第4章.

《人机交互基础教程第4章.》由会员分享，可在线阅读，更多相关《人机交互基础教程第4章.（39页珍藏版）》请在金锄头文库上搜索。

1、第4章 交互技术 重点大学计算机专业系列教材 人机交互输入模式 基本交互技术 图形交互技术 语音交互技术 笔交互技术 由于输入设备是多种多样的，而且对一个应用程序 而言，可以有多个输入设备，同一个设备又可能为 多个任务服务，这就要求对输入过程的处理要有合 理的模式。 请求模式(Request Mode) 采样模式（Sample Mode） 事件模式（Event Mode） 请求模式 在请求模式下，输入设备的启 动是在应用程序中设置的。应 用程序执行过程中需要输入数 据时，暂停程序的执行，直到 从输入设备接受到请求的输入 数据后，才继续执行程序。 程序工作，输入设备等待程序请求 遇到请求指令 输

2、入设备工作，程序等待接收数据 请求满足 图4-1 请求模式的工作过程 采样模式 输入设备和应用程序独立地工作。输入设备连续不断地把信息输入进来， 信息的输入和应用程序中的输入命令无关。应用程序在处理其它数据的同 时，输入设备也在工作，新的输入数据替换以前的输入数据。当应用程序 遇到取样命令时，读取当前保存的输入设备数据。 优点：这种模式对连续的信息流输入比较方便，也可同时处理多个输入设 备的输入信息。 缺点：当应用程序的处理时间较长时，可能会失掉某些输入信息。 程序工作 数据采样 数据生成 数据缓存 区 输入设备工作 图4-2 采样模式的工作过程 事件模式 输入设备和程序并行工作。输入设备把数

3、据保存到一个输入队列， 也称为事件队列，所有的输入数据都保存起来，不会遗失。应用程 序随时可以检查这个事件队列，处理队列中的事件，或删除队列中 的事件。 应用程序 事件 检查事件调 用过程模块 处理类型1 事件的过程 处理类型n 事件的过程 输入设备 图4-3 事件模式 定位 笔划 定值 选择 字符串输入 定位 确定平面或空间的一个点的坐标，是交互 中最基本的输入技术之一。 直接定位：用定位设备直接指定某个对象 的位置，是一种精确定位方式。 间接定位：通过定位设备的运动控制屏幕 上的映射光标进行定位，是一种非精确定 位方式。其允许指定的点位于一个坐标范 围内，一般用鼠标等指点设备配合光标来 实

4、现。 3DS Max中的精确定位 笔划 笔划输入用于输入一组顺序的坐标点。它相当于多次调用 定位输入，输入的一组点常用于显示折线或作为曲线的控 制点。 定值 定值（或数值）输入用于设置物体旋转角度、缩放比例因 子等 选择 选择是在某个选择集中选出一个元素，通过注视、指点或 接触一个对象，使对象成为后续行为的焦点，是操作对象 时不可缺少的一部分。 键盘 Ctrl+A 鼠标 选择 字符串 键盘是目前输入字符串最常用的方式，现在用写字板输入 字符也已经很流行。 几何约束 引力场 拖动 橡皮筋技术 操作柄技术 三维交互技术 几何约束 几何约束可以用于对图形的方向、对齐方式等进行规定和 校准。 对定位的

5、约束（网格吸附） Adobe Photoshop 网格线 几何约束 方向约束 例如要绘的垂直或水平方向的线，当给定的起点和终点连线 和水平线的交角小于45时，便可绘出一条水平线，否则就绘 垂直线。绘制印刷线路板、管网图或地籍图时非常有用。 在Word绘图中，通过锁定纵横比，在拖动线段一个端点时， 线段只是沿原来方向放缩 引力场 引力场也可以看作是一种定位约束，通过在特定图素（如直线段）周围假 想有一个区域，当光标中心落在这个区域内时，就自动地被直线上最近的 一个点所代替，就好像一个质点进入了直线周围的引力场，被吸引到这条 直线上去一样。 引力场的大小要适中，太小了不易进入引力区，太大了线和线的

6、引力区相 交，光标在进入引力区相交部分时可能会被吸引到不希望选的线段上去， 增大误接的概率。 拖动 要把一个对象移动到一个新的位置时，如果我们不是简单 地用光标指定新位置的一个点，而是当光标移动时拖动着 被移动的对象，这样会使用户感到更直观，并可使对象放 置的位置更恰当。 橡皮筋技术 被拖动对象的形状和位置随着光标位置的不同而变化。 不断地进行画图擦除画图的过程 操作柄技术 可以用来对图形对象进行缩放、旋转、错切等几何变换。 先选择要处理的图形对象，该图形对象的周围会出现操作 柄，移动或旋转操作柄就可以实现相应的变换。 三维交互技术 面临问题 三维交互技术采用六自由度输入设备。所谓六自由度，指

7、沿 三维空间X、Y、Z轴平移和绕X、Y、Z轴旋转，而现在流行的 用于桌面型图形界面的交互设备，如鼠标、轨迹球、触摸屏 等只有两个自由度(沿平面X、Y轴平移)。 窗口、菜单、图符和传统的二维光标在三维交互环境中会破 坏空间感，用户难以区分屏幕上光标选择到对象的深度值和 其他显示对象的深度值，使交互过程非常不自然。 三维交互技术 直接操作 三维光标必须有深度感，即必须考虑光标与观察者距离，离 观察者近的时候较大，离观察者远的时候较小。 为保持三维用户界面的空间感，光标在遇到物体时不能进入 到或穿过物体内部。 为了增加额外的深度线索，辅助三维对象的选择，可以采用 半透明三维光标。 三维光标可以是人手

8、的三维模型 三维交互技术 三维Widgets 三维交互界面中的一些小工具 三维空间中漂浮的菜单、用于拾取物体的手的三维图标、平移和旋转 指示器等。 1992年美国Brown大学计算机系提出三维Widget设计原则 三维Widget的几何形状应能表示其用途（eg:一个用来扭曲物体的Widget， 最好本身就是一个扭曲的物体） 适当选择Widget控制的自由度由于三维空间有六个自由度，有时会使三维 交互操作变得过于复杂，因此在用户使用某种Widget时，可以固定或者自动 计算某些自由度的值 根据三维用户界面的用途确定Widget的功能。例如，用于艺术和娱乐的三维 用户界面的Widget，只要能够完

9、成使画面看起来像的操作就可以了，而用于 工业设计和制造的用户界面，则必须保证交互操作参数的精确性。 三维交互技术 三视图输入 用二维输入设备在一定程度上实现三维的输入。 如果输入一个三维点，只要在两个视图上把点的对应位置指定后便唯一确定了三维 空间中的一个点； 把直线段上两端点在三视图上输入后便可决定三维空间的一条直线； 把一个面上的各顶点在三视图上输入后，也唯一确定了三维空间中的一个面； 如果把一个多面体上的各面均用上述方法输入， 也就在三维空间中输入了一个多 面体。 语音识别（Speech Recognition）是计算机通过 识别和理解过程把语音信号转变为相应的文本文件 或命令的技术，其

10、所涉及的领域包括：信号处理、 模式识别、概率论和信息论、发声机理和听觉机理 、人工智能等。 一个完整的语音识别系统大致可分为语音特征提取 ，声学模型与模式匹配，以及语言模型与语义理解 三部分。 语音特征提取 从语音信号中提取语音的特征，既可以获得语音的本质特 征, 也起到数据压缩的作用。 输入的模拟语音信号首先要进行预处理，包括预滤波、采 样和量化、加窗、端点检测、预加重等。 声学模型 声学模型对应于语音到音节概率的计算。在识别时将输入 的语音特征同声学模型（模式）进行匹配与比较，得到最 佳的识别结果。 目前采用的最广泛的建模技术是隐马尔科夫模型HMM建 模和上下文相关建模。 笔式输入具有连续

11、性、使用笔的连续线条绘制可以 产生字符、手势或者图形等特点。其优点是便于携 带，输入带宽信息量大，输入延迟小；其缺点是翻 译困难，再现精度低。 手写识别技术是笔交互中的一种基本技术，目前已 经嵌入到各种设备中，得到广泛应用。 脱机识别：机器对已经写好或印刷好的静态语言文 本图像的识别。 联机识别：用笔在输入板上写，用户一边写，机器 一边识别，可以实时人机交互。 联机手写文字的识别过程中，系统通过记录文字图 像抬笔、落笔、笔迹上各像素的空间位置，以及各 笔段之间的时间关系等信息，对这些信息进行处理 。 脱机手写识别比印刷体汉字识别、联机手写体识别 都要困难。 脱机手写识别得到的描述则是点阵图像，

12、要得到笔 段的点阵通常需要细化运算。 细化会损失一些信息，并且不可能得到时间顺序信 息。 脱机识别中，笔画与笔画之间经常粘连，很难拆分 ，而且笔段经过与另一笔段交叉分成两段后，也难 以分清是否应该连起来。 结构识别 统计识别 神经网络方法 结构识别 结构识别方法的出发点是汉字的组成结构。汉 字是由笔划(点、横、竖、撇、捺等)、偏旁、 部首构成，通过把复杂的汉字模式分解为简单 的子模式直至基本模式元素，对子模式的判定 以及基于符号运算的匹配算法，实现对复杂模 式的识别。 结构识别法的优点是区分相似字的能力强，缺 点是抗干扰能力差。 统计识别 统计识别方法是将汉字看为一个整体，其所有的 特征是从整

13、体上经过大量的统计而得到的，然后 按照一定准则所确定的决策函数进行分类判决。 统计识别的特点是抗干扰性强，缺点是细分能力 较弱。 神经网络 神经网络具有学习能力和快速并行实现的特点， 因此可以通过神经网络分类器的推广能力准则和 特征提取器的有效特征提取准则，对手写字符进 行识别。 识别率是手写汉字识别研究中最重要的环节，影响 识别率的因素也是手写识别技术研究中的难点。 笔顺问题 书写习惯影响笔划的书写顺序，单纯通过串匹配 进行识别难以达到理想效果。对汉字进行描述时 ，仅仅采用一维串也就显得不够，必须利用一些 二维方法来描述，但其会极大地增加匹配的难度 。 连笔问题 对于结构识别而言，连笔一方面

14、使笔划种类大大 增加，甚至达到难以归纳的程度；另一方面，连 笔又使得笔段抽取难度大增，连笔会增加一些冗 余笔段，连笔造成的畸变又会使笔段方向严重离 散。 相似字区分 汉字种类繁多，很多汉字彼此之间非常相似，例 如“己、已、巳”三个字相差只在细微之间。手写 汉字的变形十分严重，怎样能使识别系统抓住微 小的差别，是一个非常值得研究的问题。 对抗干扰能力的要求 书写时候，笔划的畸变、丢失，多余笔段(如笔锋 )的插入，字的倾斜，部件间相对位置、大小的变 化，经常出现，会造成基元提取和识别的错误 。 数字墨水在数学上是通过三阶贝塞尔曲线来描述笔 输入的笔迹，它的记录格式与图像和文本格式都不 同。这种存储方式使得数字墨水文件很小，从而可 以更有效地进行存储。 数字墨水的处理包括数字墨水的表示、压缩和显示 ，智能的墨水分析技术，墨水标记和注解技术，墨 水的智能操作以及墨水存储和搜索等一系列有关技 术。 贝塞尔曲线是应用于二维图形应用程序的数学曲线 。曲线的定义有四个点：起始点、终止点（也称锚 点）以及两个相互分离的中间点。 贝塞尔曲线就是这样的一条曲线，它是依据四个位 置任意的点坐标绘制出的一条光滑曲线。