《智能家居人机交互方案》由会员分享，可在线阅读，更多相关《智能家居人机交互方案（42页珍藏版）》请在金锄头文库上搜索。
1、在智能家居实验室建设案中，人机交互系统是一个相对比较独立的系统。但它的运行即需要其他子系统的支持，同时也想高级服务提供依据。其中的主要交互设备有家居机器人、智能手机、移动平板、智能视机、健康设备、遥控器、计算机等。1家居机器人1.1 人机交互技术在终端机器人中主要提供触摸显示和语音交互式，并提供摄像头扩展接口，利于更高层次的开发。触摸显示交互是多媒体技术交互式的一种，其依托于7寸触摸显示屏进行操作界面的实现和用户触摸输入。目前，在手机、平板等电子消费领域得到了非常广泛的应用。具有一个缺陷是，触摸显示屏安放在机器人的机体结构中，属于机器人的一部分，具体的使用过程不是特别便。语音交互是本设计中的重
2、要部分，是终端机器人与其他家电设备最大的却别。通过自然语言交流，一面用户可以非常便的使用机器人进行家庭中各种设备的控制，另一面具还能与老人对话，提供心理慰藉，或者用于幼龄儿童的教学。终端机器人中语音交互的案采用科大讯飞语音云平台进行高效开发。语音识别的过程为：在本地进行语音采集，将采集的信息发送到语音云端，本地接受来自云端的识别结果在，然后进行智能处理；语音合成的过程为：将要合成的文本发送到语音云端，云端将语音信息返回到本地进行播放。科大讯飞云平台只是提供具体的识别和合成，而怎么让语音识别更智能化则需要进一步的研究。1.2 系统硬件1.2.1 整体架构电子芯片技术的飞越发展，CPU处理核心的处
3、理和运算性能越来越强。基于最大化利用CPU能力、减少成本和降低系统能耗的思想，本设计采用单处理核心，由Cortex-A8(S5PV210)统筹系统的所有外设，进行设备控制和信息采集。对于外部设备，设备本身复杂程度以及传输式、传输速率上均有不同，因此在对系统设备进行选型时尽量减少设备种类的复杂程度。系统框架中定义了2种设备总线：USB总线和IO数据总线。手持终端USB总线用于数据传输量大、传输速率高的复杂设备，IO数据总线则对应传输速率低的简单设备。USB总线采用Hub的形式进行多设备扩展。IO数据总线则采用抽象化和模块化思想设计，建立单独的底层扩展系统，规相应设备接口。系统从总线的角度出发，将
4、硬件分为2部分：底层扩展系统和上层Cortex-A8平台。底层扩展系统主要用于传感器数据采集、机器人动力系统控制以及情感控制，设备的类型和控制较为简单。而上层Cortex-A8平台则是在核心控制器的基础上搭载触摸显示屏、用户按键接口、音频输出以及USB类的摄像头、Wi-Fi适配器、蓝牙适配器。整体的硬件架构如图1图11.2.2 Cortex-A8与S5PV210ARMCortex-A8处理器是基于ARMv7-A体系结构，其设计主要面向高性能和低功耗。目前，其突出的优势已经得到了市场的认可，在智能手机、机顶盒、数字电视、打印机等终端设备中具有广泛的应用。Cortex-A8处理器的主要特点如下：1
5、）128位SIMD引擎支持高性能媒体处理（NEON）;2）优化的1级高速缓存和集成的2级高速缓存；4）Thumb-2技术，提高性能并节省指令存储空间；5）动态分支预测，降低分支错误预测的危害；6）完整的存管理单元（MMU）;7）Jazelle-RC俄术优化即时生产（JIT）和动态自适应编译（DAC）;8）高功效和高性能的存系统；Mini210s开发板以Cortex-A8的S5PV21防核心控制器。S5VP210是一款高效率、高性能、低功耗的32为RISC#理器，具适用于智能手机和平板电脑等智能终端。S5PV21速Cortex-A8的基础上拓展了多媒体面的性能，具包含很多强大的硬件编解码功能，置
6、MFC(MultiFormatCodec)、高性能PowerVRSGX5403D图形引擎和2D图形引擎、IVA3硬件加速器、HDMIv1.3等多媒体相关的处理模块。S5PV21睬用584弓|脚的FCFBGA#装，具有丰富的外围接口如TFTLCD控制器、摄像头接口、MIPIDSI、ATA接口、UART、24通道DMA、定时器、手持机GPIO、USBHost2.0、USB2.0OTG等。S5PV21洞时具有丰富的高质量的外部存储接口，其DRAM支持LPDDR1、DDR2、LPDDR2,Flash/ROM支持NANDFlash、NOR-Flash、SRAM等。S5PV210芯片结构图如图2所示。RT
7、CPLLx4Timer with PWM (5ch)Watchdog TimerDMA(24ch)Keypadd6KB RAMCrypioEnginesClock gating /Power galmg， DynamicFrequenSystem PeripheralTSHADC(12biV10ch)Multimedia12MPCamera IF/MIPI CSb210eOp30fp5MFCCodec - H.263/H.264A1PEG4Decoder-MPEG2/VO12D MG / 30 GrBiphics engineMulti layer AHB/AXI BusTFT LCD con
8、trollerXGA resolulion64KB ROMAudio DSPNTSC/PAL TV out & HDMIJPEG Cod&cMemory InterfaceSRAM!ROMPowerManagement(Flen) OrueN 网N 口SLC/MLCNANDwith 1Gbit ECCLPDDRl/OneDRAMLPDDf?2/DiDR2图2S5PV210芯片结构图1.2.2Mini210s开发平台Mini210s是一款高性能高性价比的Cortex-A8开发板，搭载三星S5PV21O理器，运行主频可高达1GHz,同时集成PowerVRSGX540高性能图形引擎。工业PDAMin
9、i210s开发板配备了512MDDR2存和4GMLCNANDFlash,其外部应用接口非常丰富如WM8960音频芯片、miniHDMI高清输出、USB2.0、CMOS摄像头、SDIO、矩阵键盘等接口（详见图4-15）,其电源电路也支持低功耗待机省电模式。该款开发板提供开源的Android2.3.1系统源码以及Linuxkernel源码，便用户进行二次开发。同时其还提供便易使用的开发板烧写工具Superboot,缩短了系统开发期。根据终端系统功能设定要求，Mini210s开发板的板载资源主要使用电阻触摸显示、USBOTG接口、音频接口三个部分。电阻触摸显示接口与7寸一线精准电阻触摸显示屏连接，实
10、现Android系统操作界面的显示和触控操作的检测。WiFi、蓝牙、USB摄像头等设备通过与USBHOST接口连接的USBHub完成基于USB设备的设备扩展。音频部分采用I2S0接口，外接WM8960CODEC解码芯片，提供声音输入和speaker输出（置D类功放，能直接连接8Q1W扬声器）功能。USBHadPowwLEDMicroSOCOM6jtaqCMOS CamaraRTC BatteryEEPRQM Keypad BhS-3 CON1E(MIPILCDUW BviloftiLED! - UECMCOM4 UART3 OOH5: UAR T2 COM2 : UART1 COH1; UAR
11、TCCONI 3Si :PD#ar Swrtcti&udio Out Ethernet mlmHtWHXXA . ICC*!DPoww input图3 Mini210s接口布局1.3服务容1.3.1 机器人动作及情感表达图4小优机器人的动作和情感是其与其他家居设备的最重要的区别，能够实现更好的人机交互模式。机器人的动作主要包括2类，机器人的正常行走和头部运动。行走控制是在2轮轮系结构上通过控制直流电机实现，机器人可以灵活地进行前进、后退、左右转等动作。头部运动主要包含了抬头和扭头的动作，2个自由度均通过直流电机实现。机器人相关动作作为服务发布到智能家居服务网关，其他终端可以通过网关或者直接网络
12、连接实现机器人的动作控制。机器人的情感表达是机器人智能性的核心体现。其表现途径主要有三个面：LED青感输出、机械动作以及语音，通过三者的结合向用户立体地呈现了具体情感。3.2.2网络接入网络是物联网的核心基础之一，是物联网终端的基本特征。物联网终端工作的环境为一个家庭，其面积通常在几十到几百个平米，因此在选择通信介质时需要选择覆盖面积较大、信号穿透力强的网络通信式。再则该终端在家庭多数情况出于运动状态，通信介质应选取无线类型的。目前，消费市场流行的短距离无线通信式主要有蓝牙和WiFi。蓝牙和WiFi技术都是工作在全球通用的2.4GHzISM频段，有效解决了移动终端设备之间以及与Internet
13、的通信。一般蓝牙技术的有效通信距离为10m,新的蓝牙标准4.0能够达到100m以上的超长距离。WiFi的有效通信距离则在几十米，发射功率足够大的情况下能达到100m以上，足够覆盖整个家庭环境。另外，蓝牙的传输速率较低，如果处理视频类的数据时会出现延迟问题。因此，设计中使用WiFi作为机器人的网络通信介质，连接局域网以及互联网。为了便WiFi模块的驱动移植，设计中选择的US睢口WiFi模块EDUPEP-8508G&其采用REALTEK8188cu把片，使用802.11n无线传输技术，传输速率高达150Mbps,置高精密天线，传输稳定。另外，蓝牙通信在智能设备如手机、医疗健康类设备等中应用广泛，为
14、了支持此类设备，终端系统使用USB口的蓝牙适配器提供蓝牙通信通道。3.2.3智能家居应用在具体的家居环境中，物联网终端一面作为设备对外发布自己的服务，如动作相关服务、视频服务等（可以根据具体的需求对其进行扩展），其他终端设备可以通过网络式对其进行服务调用，另一面终端能够通过网关调用其他设备所提供的服务，例如家电控制的实现。服务调用的实现依托于家庭环境中的网络环境，主要有2种模式:服务器模式和直接连接模式。具体的网络结构如图3所示。服务器模式依托于现有的家居PC网关，家居环境中的各种设备与服务器网关进行连接，网关对设备统一进行管理。当需要控制其他设备时，设备从网关获取控制式并将控制请求发送到网关
15、，网关接受到请求后先判断目标设备正常后将控制请求发送到目标设备，目标设备接收请求并依情况进行响应。服务器模式优点是能够对设备进行统一管理，设备可以动态增减，但整体结构比较复杂，给家居环境增加了额外的设备开销。直接连接模式中各设备通过网络直接通过物理通信式发送控制指令和数据直接到达被控设备。由于直接连接模式没有网关对设备进行统一管理，所以在网络环境中必须对设备列表进行固化，不能实现设备的动态添加。但此种模式技术实现简单而且没有额外开销。图3智能家居网络结构图物联网终端机器人对两种网络环境都提供支持。智能家居控制时，终端通过WebService协议与网关通信，实现具体设备的控制。同时终端也可以通过Wifi与家电控制终端直接连接，终端机器人通过socket通信传递控制指令，家电控制终端通过Wifi转RS232模块将socket信息转化为串口数据，处理模块接收控制指令后进行相应操作。终端机器人作为设备时，建立网络监听，接受相应的控制信息即可进行响应3.2.5智能提醒及应用扩展人到老年后随着年龄的增加记忆力不断退化，往往会出现遗忘需要完成的事情或者是忘记吃药等现象。针对这一老年人的实际需
