应用服务技术

《应用服务技术》由会员分享，可在线阅读，更多相关《应用服务技术（99页珍藏版）》请在金锄头文库上搜索。

1、 第四章 物联网关键技术应用服务技术学习任务Click to add title in here 感知技术 标识技术 通信技术 网络技术 网络定位技术 应用服务技术 安全与隐私技术 硬件技术 电源和能量存储技术4.6 应用服务技术物联网海量数据存储与查询 123环境感知型中间件 物联网数据融合45嵌入式软件 云计算技术 4.6.1 物联网海量数据存储与查询 计算机网络的飞速发展导致全球信息总量迅猛增 长，据统计2010年全球产生的达到1.2ZB（12 亿TB），世界进入ZB 时代。 IDC 预测全球数据量从2010 年到2015 年5 年将 增长10 倍。 而物联网中对象的数量将庞大到以百亿为

2、单位。4.6.1 物联网海量数据存储与查询 由于物联网中的对象积极参与业务流程的需求 、高强度计算需求和数据的持续在线可获取的 特性，导致了网络化存储和大型数据中心的诞 生。 物联网对海量信息存储的需求促进了物联网网 络存储技术、海量数据查询技术以及面向物联 网的关系型数据库技术的发展。4.6.1 海量数据存储及查询 现在的网络世界是海量数据的时代，物联网数据 存储将使用数据中心的模式。 数据中心是一整套复杂的设施。它不仅仅包括计 算机系统和其它与之配套的设备（例如通信和存 储系统），还包含冗余的数据通信连接、环境控 制设备、监控设备以及各种安全装置。 以一个典型数据中心（Google 数据中

3、心）加以 说明。案例：Google 数据中心（1）GFS（Google File System）：一个可扩展的分布式文件系统（2）MapReduce：一种编程模型，用于大规模数据集的并行运算（3）BigTable：一个大型的分布式数据存储系统（1） GFS（Google File System） 一个分布式文件系统，用于大型的、分布式的、 对大量数据进行访问的应用。它运行于廉价的普 通硬件上，并提供容错功能。 一个GFS系统包括一个主服务器（master）和 多个块服务器（server），这样一个GFS可以同 时为多个客户端应用程序提供文件服务。 文件被分为固定的块，由主服务器存放到块服务 器

4、的本地硬盘上。案例：Google 数据中心 一个GFS集群由一个主服务器（master）和大量的块服务器(chunkserver)构成，并被许多客户（Client）访问。 主服务器存储文件系统所有的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。 GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。 它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。案例：Google 数据中心Google 数据中心谷歌文件系统（Google File System，GFS ）GFS的设计架构 Google 数据中心（2）

5、MapReduce（映射、归约）大多数分布式运算可以抽象为MapReduce操 作。Map是把输入Input分解成中间的Key/Value 对，Reduce把Key/Value合成最终输出Output。这两个函数由程序员提供给系统，下层设施把 Map和Reduce操作分布在集群上运行，并把结果 存储在GFS上。 MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果再通过Reduce程序将结果汇整输出。 Google 数据中心Google 数据中心MapReduce

6、 编程模型系统MapReduce程序的执行过程 Google 数据中心（3） BigTable 一种非关系型数据库，是一个稀疏的、分布的、持 久化存储的多维度排序Map。 目的是快速可靠地处理PB级别的数据，并且能够部署到上千台机器上。 适用性强、可扩展、高性能、高可用性。Google 数据中心BigTable 分布式存储系统BigTable 分布式存储系统 4.6.2 物联网数据融合 数据融合一词最早出现在20 世纪70 年代，它是人 类模仿自身信息处理能力的结果，类似人类和其它 动物对复杂问题的综合处理。 数据融合技术最早用于军事，目前，工业控制、机 器人、空中交通管制、海洋监视和管理等领

7、域也向 着多传感器数据融合方向发展。4.6.2 数据融合的基本概念1.数据融合的定义 数据融合技术是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。4.6.2 数据融合的基本概念2.数据融合研究的主要内容 1）数据对准; 2）数据相关; 3）数据识别，即估计目标的类别和类型; 4）感知数据的不确定性; 5）不完整、不一致和虚假数据; 6）数据库; 7）性能评估。3. 数据融合技术的产生背景数据融合技术的产生背景来自于数据融合的几个重要作用: （1）节省能量 （2）获取更准确的信息 （3）提高数据收集效率 4.6.2 数据融

8、合的基本概念4.6.2 数据融合的基本概念 描述数据融合的体系结构的数据融合一般模型如 下图。4.6.2 物联网中数据融合的关键问题4.物联网数据融合所要解决的关键问题 数据融合节点的选择。 数据融合时机。 数据融合算法。5.物联网数据融合技术要求 稳定性; 数据关联; 能量约束; 协议的可扩展性。 4.6.2 物联网数据融合的基本原理 通过对多感知节点信息的协调优化，数据融合技 术可以有效地减少整个网络中不必要的通信开销 ，提高数据的准确度和收集效率。 因此，传送已融合的数据要比未经处理的数据节 省能量，延长网络的生存周期。物联网数据融合示意图 4.6.2 物联网数据融合的基本原理 数据融合

9、主要关注一下五点: 1）多个不同类型的源节点(如有源或无源的传感器）采集观测目标的数据； 2）对源节点的输出数据（离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取，提取代表观测数据的特征矢量；4.6.2 物联网数据融合的基本原理 3）对特征矢量进行模式识别处理（例如：汇聚算法、自适应神经网络或其它能将特征矢量变换成 目标属性判决的统计模式识别法等）完成各传感 器关于目标的说明； 4）将各源节点关于目标的说明数据按同一目标进行分组，即关联； 5）利用融合算法将每一目标各源节点数据进行合成， 得到该目标的一致性解释与描述。4.6.2 传感器网络数据融合技术数据融合结

10、合网络的各个协议层来进行 在应用层，可通过分布式数据库技术，对采集的 数据进行初步筛选，达到融合效果； 在网络层，可以结合路由协议，减少数据的传输 量； 在数据链路层，可以结合MAC，减少MAC层的发送冲突和头部开销，达到节省能量目的的同时 ，还不失去信息的完整性。4.6.2 数据融合的层次结构1.传感网节点的部署 目前，传感网感知节点的部署方式一般有3种类型，最常用的拓扑结构是并行拓扑。在这种部署方 式中， 各种类型的感知节点同时工作。 另一种类型是串行拓扑，在这种结构中，感知节 点检测数据信息具有暂时性。SAR(Synthetic Aperture Radar)图像就属于此结构。 还有一种

11、类型是混合拓扑， 即树状拓扑。4.6.2 数据融合的层次结构2.数据融合的层次划分 数据融合大部分是根据具体问题及其特定对象来建立自己的融合层次。 根据多传感器数据融合模型定义和传感网的自身特点，通常按照节点处理层次、融合前后的数据量变化、信息抽象的层次，来划分传感网的数据 融合的层次结构。 4.6.2 数据融合的层次结构数据融合可分为三类： 像素级融合 它是直接在采集到的原始数据层上进行的融合 ，在各种传感器的原始测报未经预处理之前就进 行数据的综合与分析。数据层融合一般采用集中 式融合体系进行融合处理过程。 这是低层次的融合，如成像传感器中通过对包含 若一像素的模糊图像进行图像处理来确认目

12、标属 性的过程就属于数据层融合。 4.6.2 数据融合的层次结构像素级融合 4.6.2 数据融合的层次结构 特征层融合 特征层融合属于中间层次的融合，它先对来自传 感器的原始信息进行特征提取(特征可以是目标的 边缘、方向、速度等)，然后对特征信息进行综合 分析和处理。 特征层融合的优点在于实现了可观的信息压缩，有 利于实时处理，并且由于所提取的特征直接与决策 分析有关，因而融合结果能最大限度的给出决策分 析所需要的特征信息。4.6.2 数据融合的层次结构特征层融合一般采用分布式或集中式的融合体系。特征层融合可分为两大类:一类是目标状态融合;另一类是目标特性融合。 特征层融合 4.6.2 数据融

13、合的层次结构 决策层融合 决策层融合通过不同类型的传感器观测同一个 目标，每个传感器在本地完成基本的处理，其中 包括预处理、特征抽取、识别或判决，以建立对 所观察目标的初步结论。然后通过关联处理进行 决策层融合判决，最终获得联合推断结果。决策层融合 4.6.3 云计算网络云，是网络、互联网的一种比喻说法2006年8月9日，谷歌执行总裁在搜索引擎大会（ SES San Jose 2006）上提出云计算（Cloud Computing）的概念亚马逊推出弹性计算云服务（Elastic Compute Cloud，EC2）云计算是分布式计算技术的一种，它是基于互联网的 相关服务的增加、使用和交付模式，

14、通常涉及通过互 联网来提供动态易扩展且经常是虚拟化的资源。云计算（Cloud Computing）是分布式计算技术的一种，透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。（1） 云计算简介（1） 云计算简介通俗的理解是，云计算的“云”就是存在于互联网 上的服务器集群上的资源，它包括硬件资源（服 务器、存储器、CPU等）和软件资源（如应用软 件、集成开发环境等）本地计算机只需要通过互联网发送一个需求信息 ，远端就会有成千上万的计算机为你提供需要的 资源并将结果返回到本地计算机，这样，本地计 算机几乎不需要做什么，

15、所有的处理都在云计算 提供商所提供的计算机群来完成。（1） 云计算简介 狭义的云计算指的是厂商通过分布式计算和虚 拟化技术搭建数据中心或超级计算机，以免费 或按需租用方式向技术开发者或者企业客户提 供数据存储、分析以及科学计算等服务。 比如亚马逊数据仓库出租生意。 （1） 云计算简介 广义的云计算指厂商通过建立网络服务器集群 ，向各种不同类型客户提供在线软件服务、硬 件租借、数据存储、计算分析等不同类型的服 务。 广义的云计算包括了更多的厂商和服务类型， 例如国内用友、金蝶等管理软件厂商推出的在 线财务软件，谷歌发布的Google应用程序套 装等。（1）云计算简介云计算的技术发展 云计算（Cl

16、oud Computing）是结合： 网格计算（Grid Computing ） 分布式计算（Distributed Computing） 并行计算（Parallel Computing） 效用计算（Utility Computing） 自主计算（ Self Computing ） 网络存储（Network Storage）、虚拟化（Virtualization ）负载均衡（Load Balance）等传统计算机和网络技术发展融合的产物。 （1） 云计算简介云计算未来主要发展方向： 手机上的云计算。 云计算时代资源的融合。 云计算的商业发展。 （2） 云计算系统的体系结构1. 云计算逻辑结构 云计算