《物联网技术【技术专攻】》由会员分享，可在线阅读，更多相关《物联网技术【技术专攻】（335页珍藏版）》请在金锄头文库上搜索。
1、2016任课教师任课教师物联网技术物联网技术1专业课第一章第一章 绪绪 论论1.1 1.1 物联网的概念物联网的概念1.3 1.3 物联网的应用物联网的应用1.4 1.4 本章小结本章小结1.2 1.2 物联网的起源与发展物联网的起源与发展2专业课1.1 1.1 物联网的概念物联网的概念 1.1.1 1.1.1 物联网的定义物联网的定义定义：定义：物联网是通过使用射频识别（物联网是通过使用射频识别（Radio Frequency Radio Frequency IdentificationIdentification，RFIDRFID）、传感器、红外感应器、全球）、传感器、红外感应器、全球定位
2、系统、激光扫描器等信息采集设备，按约定的协议，定位系统、激光扫描器等信息采集设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网以实现智能化识别、定位、跟踪、监控和管理的一种网络。络。3专业课1.1 1.1 物联网的概念物联网的概念 1.1.2 1.1.2 物联网的特征物联网的特征u全面感知全面感知u可靠传递可靠传递u智能处理智能处理 1.1.3 1.1.3 “物物”的含义的含义4专业课1.1 1.1 物联网的概念物联网的概念 1.1.4 1.1.4 物联网概念辨析物联网概念辨析u
3、EPC EPC系统系统u 信息物理系统信息物理系统u 传感器网络传感器网络u M2M M2M技术技术5专业课1.2 1.2 物联网的起源与发展物联网的起源与发展 1.2.1 1.2.1 物联网的起源物联网的起源u 国际发展现状国际发展现状u 国内发展现状国内发展现状 1.2.2 1.2.2 物联网的发展物联网的发展u 物联网发展面临的问题物联网发展面临的问题6专业课1.3 1.3 物联网的应用物联网的应用u 智能交通智能交通u 智能物流智能物流u 环境监测环境监测u 智能电网智能电网u 医疗健康医疗健康u 智能家居智能家居1.4 1.4 小结小结7专业课第二章第二章 物联网体系结构物联网体系结
4、构2.1 2.1 物联网体系结构概述物联网体系结构概述 2.3 2.3 物联网关键技术物联网关键技术2.4 2.4 已有物联网相关应用架构已有物联网相关应用架构2.2 2.2 物联网体系结构物联网体系结构2.5 2.5 物联网的反馈与控制物联网的反馈与控制2.6 2.6 本章小结本章小结8专业课2.1 2.1 物联网体系结构概述物联网体系结构概述 2.1.1 2.1.1 意义和功能意义和功能物联网的最终目的是建立一个满足人们生产、生活以及对资源、信息更高需求的综合平台，管理跨组织、跨管理域的各种资源和异构设备，为上层应用提供全面的资源共享接口，实现分布式资源的有效集成，提供各种数据的智能计算、
5、信息的及时共享以及决策的辅助分析等。图物联网9专业课2.1 2.1 物联网体系结构概述物联网体系结构概述 2.1.1 2.1.1 意义和功能意义和功能u无线传感网无线传感网无线传感器网络的相关技术可以作为物联网开发的基础u互联网互联网互联网连接的是虚拟世界，而物联网则是实现物理世界的互联互通10专业课2.1 2.1 物联网体系结构概述物联网体系结构概述 2.1.1 2.1.1 意义和功能意义和功能图物联网的三层结构u异构屏蔽性异构屏蔽性u互联互通互联互通u安全性安全性11专业课2.1 2.1 物联网体系结构概述物联网体系结构概述 2.1.2 2.1.2 设计原则设计原则u以以“用户为中心用户为
6、中心”u时空性时空性u互联互通互联互通u开放性开放性u可管理性可管理性u安全性安全性u鲁棒性鲁棒性12专业课2.1 2.1 物联网体系结构物联网体系结构 2.1.1 2.1.1 组成模块组成模块图USN结构13专业课2.1 2.1 物联网体系结构物联网体系结构 2.1.1 2.1.1 组成模块组成模块图物联网体系结构14专业课2.2 2.2 物联网体系结构物联网体系结构 2.2.1 2.2.1 组成模块组成模块u感知控制层感知控制层u数据传输层数据传输层u数据的动态组织与管理层数据的动态组织与管理层u应用决策层应用决策层数据的实时采集数据的实时采集信息的有效传递信息的有效传递信息的智能化处理信
7、息的智能化处理15专业课2.2 2.2 物联网体系结构物联网体系结构 2.2.2 2.2.2 感知控制层感知控制层u传感技术传感技术传感器是将能感受到的及规定的被测量按照一定的规律转换成可用输出信号的器件或装置，通常由敏感元件和转换元件组成。u标识技术标识技术标识技术是通过RFID、条形码等设备所感知到的目标外在特征信息来证实和判断目标本质的技术来。u定位技术定位技术定位技术是测量目标的位置参数、时间参数、运动参数等时空信息的技术，它利用信息化手段来得知某一用户或者物体的具体位置。16专业课2.2 2.2 物联网体系结构物联网体系结构 2.2.2 2.2.2 感知控制层感知控制层图定位技术17
8、专业课2.2 2.2 物联网体系结构物联网体系结构 2.2.3 2.2.3 数据传输层数据传输层图数据传输技术u短距离通信技术短距离通信技术u广域网通信技术广域网通信技术18专业课2.2 2.2 物联网体系结构物联网体系结构 2.2.3 2.2.3 数据的动态组织与管理数据的动态组织与管理图云计算架构19专业课2.2 2.2 物联网体系结构物联网体系结构 2.2.4 2.2.4 数据的动态组织与管理数据的动态组织与管理u智能计算技术智能计算技术u海量数据的存储海量数据的存储u服务计算服务计算20专业课2.2 2.2 物联网体系结构物联网体系结构 2.2.5 2.2.5 应用决策应用决策u监控型
9、应用监控型应用图基于RFID的物流跟踪21专业课2.2 2.2 物联网体系结构物联网体系结构 2.2.5 2.2.5 应用决策应用决策u控制型应用控制型应用图智能交通22专业课2.2 2.2 物联网体系结构物联网体系结构 2.2.5 2.2.5 应用决策应用决策u扫描型应用扫描型应用图手机钱包23专业课2.3 2.3 物联网关键技术物联网关键技术图物联网关键技术24专业课2.3 2.3 物联网关键技术物联网关键技术 2.3.1 2.3.1 感知标识技术感知标识技术图感知设备25专业课2.3 2.3 物联网关键技术物联网关键技术 2.3.1 2.3.1 感知标识技术感知标识技术u传感器传感器u无
10、线传感网无线传感网u标识技术标识技术u定位技术定位技术26专业课2.3 2.3 物联网关键技术物联网关键技术 2.3.2 2.3.2 网络与通信技术网络与通信技术u接入网技术接入网技术u通信技术通信技术u三网融合技术三网融合技术27专业课2.3 2.3 物联网关键技术物联网关键技术 2.3.3 2.3.3 云计算技术云计算技术uPaaSuIaaSuSaaS28专业课2.3 2.3 物联网关键技术物联网关键技术 2.3.4 2.3.4 安全技术安全技术从安全技术角度来看，相关技术包括以确保使用者身份安全为核心的认证技术，确保安全传输的密钥建立及分发机制，以及确保数据自身安全的数据加密、数据安全协
11、议等数据安全技术。因此，在物联网安全领域，数据安全协议、密钥建立及分发机制、数据加密算法设计以及认证技术是关键的部分。29专业课2.4 2.4 已有架构已有架构 2.4.1 2.4.1 无线传感网无线传感网图WSN30专业课2.4 2.4 已有架构已有架构 2.4.1 2.4.1 无线传感网无线传感网图WSN体系结构31专业课2.4 2.4 已有架构已有架构 2.4.2 EPC/UID 2.4.2 EPC/UID图EPC的组成32专业课2.4 2.4 已有架构已有架构 2.4.2 EPC/UID 2.4.2 EPC/UID图EPC33专业课2.4 2.4 已有架构已有架构 2.4.3 CPS
12、2.4.3 CPS图CPS34专业课2.4 2.4 已有架构已有架构 2.4.4 M2M 2.4.4 M2M图M2M35专业课2.5 2.5 物联网的反馈与控制物联网的反馈与控制 2.5.12.5.1自动控制的基本原理与方式自动控制的基本原理与方式 u 自动控制的概念及应用自动控制的概念及应用u反馈控制原理反馈控制原理u反馈控制系统的基本组成反馈控制系统的基本组成u自动控制系统的基本控制方式自动控制系统的基本控制方式36专业课自动控制是指在没有人直接参与的情况下，利用外加的设备或装置（称控制装置或控制器），使机器、设备或生产过程（统称被控对象）的某个工作状态或参数（即被控量）自动地按照预定的程
13、序运行。自动控制的概念及应用自动控制的概念及应用自动控制的概念及应用自动控制的概念及应用2.5 2.5 2.5 2.5 物联网的反馈与控制物联网的反馈与控制物联网的反馈与控制物联网的反馈与控制自动控制的基本原理与方式自动控制的基本原理与方式 37专业课反馈控制定义反馈控制定义反馈控制定义反馈控制定义 反馈反馈把取出输出量送回到输入端，并与输入信号相比较产生偏把取出输出量送回到输入端，并与输入信号相比较产生偏差信号的过程，称为反馈。分为负反馈和正反馈。差信号的过程，称为反馈。分为负反馈和正反馈。反馈控制反馈控制就是采用负反馈并利用偏差进行控制的过程，而且，就是采用负反馈并利用偏差进行控制的过程，
14、而且，由于引入了被控量的反馈信息，整个控制过程成为闭合过程，因此由于引入了被控量的反馈信息，整个控制过程成为闭合过程，因此反馈控制也称闭环控制。反馈控制也称闭环控制。38专业课反馈控制原理反馈控制原理反馈控制原理反馈控制原理39专业课反馈控制系统组成反馈控制系统组成反馈控制系统组成反馈控制系统组成测量元件测量元件：检测被控制的物理量，并将其转换为电量。给定元件给定元件：给出与期望的被控量相对应的系统输入量。比较元件比较元件：把测量元件检测的被控量实际值与给定元件给出的参据量进行比较，求出它们之间的偏差。放大元件放大元件：将比较元件给出的偏差信号进行放大，用来推动执行元件去控制被控对象。执行元件
15、执行元件：直接推动被控对象，使其被控量发生变化。校正元件校正元件：也叫补偿元件补偿元件，用串联或反馈的方式连接在系统中，以改善系统性能。40专业课自动控制系统的基本控制方式自动控制系统的基本控制方式自动控制系统的基本控制方式自动控制系统的基本控制方式反馈控制方式反馈控制方式反馈控制方式反馈控制方式 方式：按偏差进行控制。特点：减小或消除这个偏差作用：具有抑制任何内、外扰动对被控量产 生影响的能力，有较高的控制精度。问题：系统使用的元件多、结构复杂，设计 麻烦。41专业课自动控制系统的基本控制方式自动控制系统的基本控制方式自动控制系统的基本控制方式自动控制系统的基本控制方式开环控制方式开环控制方
16、式开环控制方式开环控制方式 方式：是指控制装置与被控对象之间只有顺向作 用而没有反向联系的控制过程。特点：是系统的输出量不会对系统的控制作用发 生影响。设计简单。作用：可以按给定量控制，也可以按扰动控制。缺点：按扰动控制方式只适合扰动可测的场合， 且一个补偿能力单一。42专业课自动控制系统的基本控制方式自动控制系统的基本控制方式自动控制系统的基本控制方式自动控制系统的基本控制方式复合控制方式复合控制方式复合控制方式复合控制方式 方式：把两者结合起来，对主要扰动采用适当补偿方式：把两者结合起来，对主要扰动采用适当补偿的装置实现按扰动控制，同时再组成反馈控制系统实的装置实现按扰动控制，同时再组成反
17、馈控制系统实现按偏差控制，以消除其余扰动产生的偏差。现按偏差控制，以消除其余扰动产生的偏差。特点：系统的主要扰动已被补偿，反馈控制系统就特点：系统的主要扰动已被补偿，反馈控制系统就比较容易被设计，控制效果也会更好。比较容易被设计，控制效果也会更好。43专业课2.5 2.5 物联网的反馈与控制物联网的反馈与控制2.5.2 2.5.2 物联网系统的控制论解析物联网系统的控制论解析2.5.32.5.3物联网的控制特性物联网的控制特性2.5.42.5.4控制理论在物联网中的应用前景控制理论在物联网中的应用前景44专业课物联网系统的控制论解析物联网系统的控制论解析物联网系统的控制论解析物联网系统的控制论
18、解析 物联网中的“感、智、控”分别构成了物联网控制系统的测量、比较、执行等三大部件，这三大部件又在“联”这种网络平台上得以相互作用，形成了“控制系统”，最终实现了“控”的目的。联联45专业课物联网的控制特性物联网的控制特性物联网的控制特性物联网的控制特性 鲁棒性鲁棒性保安性保安性可信性可信性时延性时延性46专业课控制理论在物联网中的应用前景控制理论在物联网中的应用前景控制理论在物联网中的应用前景控制理论在物联网中的应用前景物联网的控制系统一定是一个计算机参与的离散控制系统，将离散控制理论的分析方法引入物联网系统的分析、研究和设计过程中，能够使这一过程更加科学、合理，对系统的各种性能将有一个更准
19、确的判断，同时也便于进行仿真分析。47专业课第三章第三章 传感器技术传感器技术3.1 3.1 传感器概述传感器概述 3.3 3.3 传感器技术原理传感器技术原理3.4 3.4 常见传感器介绍常见传感器介绍3.2 3.2 传感器分类传感器分类3.5 3.5 本章小结本章小结48专业课3.1 3.1 传感器概述传感器概述 3.1.1 3.1.1 传感器的功能传感器的功能 u 物理世界的物理世界的“感觉器官感觉器官”u 从狭义角度来看，传感器是一种将测量信号转换从狭义角度来看，传感器是一种将测量信号转换 成电信号的变换器成电信号的变换器u 从广义角度来看，传感器是指在电子检测控制设从广义角度来看，传
20、感器是指在电子检测控制设 备输入部分中起检测信号作用的器件备输入部分中起检测信号作用的器件49专业课3.1 3.1 传感器概述传感器概述 3.1.1 3.1.1 传感器的功能传感器的功能 50专业课3.1 3.1 传感器概述传感器概述 3.1.2 3.1.2 传感器的特性传感器的特性 u线性度线性度传感器的线性度是指传感器的输出与输入之间数量关系的线性程度51专业课3.1 3.1 传感器概述传感器概述 3.1.2 3.1.2 传感器的特性传感器的特性 u灵敏度灵敏度灵敏度是传感器静态特性的一个重要指标，其定义是输出量增量y与引起输出量增量y的相应输入量的增量x之比。用S表示灵敏度，即：52专业
21、课3.1 3.1 传感器概述传感器概述 3.1.2 3.1.2 传感器的特性传感器的特性 u迟滞迟滞传感器在正（输入量增大）反（输入量减小）行程期间其输出/输入特性曲线不重合的现象称为迟滞53专业课3.1 3.1 传感器概述传感器概述 3.1.2 3.1.2 传感器的特性传感器的特性 u重复性重复性重复性是指传感器在输入量按同一方向作全量程连续多次变化时，所得特性曲线不一致的程度54专业课3.1 3.1 传感器概述传感器概述 3.1.3 3.1.3 传感器的发展趋势传感器的发展趋势 u微型化微型化u智能化智能化u多样化多样化u网络化网络化u集成化集成化u新型材料新型材料u高精度、高可靠高精度、
22、高可靠55专业课3.1 3.1 传感器概述传感器概述 3.1.3 3.1.3 传感器的发展趋势传感器的发展趋势 56专业课3.1 3.1 传感器概述传感器概述 3.1.3 3.1.3 传感器的应用领域传感器的应用领域 u工业检测和自动化控制系统工业检测和自动化控制系统u智能家居智能家居u环境保护环境保护u医疗医疗u航空航天航空航天u智能机器人智能机器人57专业课3.2 3.2 传感器的分类传感器的分类 3.2.1 3.2.1 根据测试对象根据测试对象u温度传感器温度传感器u湿度传感器湿度传感器u压力传感器压力传感器u位移传感器位移传感器u加速度传感器加速度传感器58专业课3.2 3.2 传感器
23、的分类传感器的分类 3.2.2 3.2.2 根据原理根据原理u电学式传感器电学式传感器u磁性式传感器磁性式传感器u电势型传感器电势型传感器u光电式传感器光电式传感器u电荷传感器电荷传感器u半导体传感器半导体传感器u谐振式传感器谐振式传感器u电化学式传感器电化学式传感器59专业课3.2 3.2 传感器的分类传感器的分类 3.2.3 3.2.3 根据输出信号根据输出信号u模拟式传感器模拟式传感器u数字式式传感器数字式式传感器60专业课3.2 3.2 传感器的分类传感器的分类 3.2.4 3.2.4 根据能量根据能量u有源传感器有源传感器u无源传感器无源传感器61专业课3.2 3.2 传感器的分类传
24、感器的分类传感器分类转换原理传感器名称典型应用转换形式中间参量电参数电阻移动电位器角点改变电阻电位器传感器位移改变电阻丝或片尺寸电阻丝应变传感器、半导体应变传感器微应变、力、负荷利用电阻的温度效应热丝传感器气流速度、液体流量电阻温度传感器温度、辐射热热敏电阻传感器温度电容改变电容的几何尺寸电容传感器力、压力、负荷、位移改变电容的介电常数液位、厚度、含水量电感改变磁路几何尺寸、导磁体位置电感传感器位移涡流去磁效应涡流传感器位移、厚度、含水量利用压磁效应压磁传感器力、压力改变互感差动变压器位移自整角机旋转变压器频率改变谐振回路中的固有参数振弦式传感器压力、力振筒式传感器气压石英谐振传感器力、温度等
25、计数利用莫尔条纹光栅大角位移、大直线位移改变互感感应同步器利用拾磁信号磁栅数字利用数字编号角度编码器大角位移电能量电动势温差电动势热电偶温度、电流霍尔效应霍尔传感器磁通、电流电磁感应磁电传感器速度、加速度光电效应光电池光照度电荷辐射电离电离室离子计数、放射性强度压电效应压电传感器动态力、加速度62专业课3.3 3.3 传感器的技术原理传感器的技术原理 3.3.1 3.3.1 电阻应变式传感器电阻应变式传感器63专业课3.3 3.3 传感器的技术原理传感器的技术原理 3.3.1 3.3.1 电阻应变式传感器电阻应变式传感器64专业课3.3 3.3 传感器的技术原理传感器的技术原理 3.3.1 3
26、.3.1 电阻应变式传感器电阻应变式传感器u应变片电阻值应变片电阻值u绝缘电阻绝缘电阻u应变片的灵敏系数应变片的灵敏系数u机械滞后机械滞后u零漂和蠕变零漂和蠕变u极限极限u横向效应横向效应65专业课3.3 3.3 传感器的技术原理传感器的技术原理 3.3.1 3.3.1 电阻应变式传感器电阻应变式传感器66专业课3.3 3.3 传感器的技术原理传感器的技术原理 3.3.2 3.3.2 电感式传感器电感式传感器自感传感器的基本工作原理演示 气隙变小，电感变大，电流变小气隙变小，电感变大，电流变小67专业课3.3 3.3 传感器的技术原理传感器的技术原理 3.3.2 3.3.2 电感式传感器电感式
27、传感器线圈自感线圈自感线圈匝数线圈匝数磁路总磁阻磁路总磁阻68专业课3.3 3.3 传感器的技术原理传感器的技术原理 3.3.2 3.3.2 电感式传感器电感式传感器线圈自感线圈自感线圈匝数线圈匝数磁路总磁阻磁路总磁阻69专业课对于变隙式传感器, 因为气隙很小, 所以可以认为气隙中的磁场是均匀的。若忽略磁路磁损, 则磁路总磁阻：式中：式中： L Li i 各段导磁体的长度；各段导磁体的长度； i i各段导磁体的导磁率；各段导磁体的导磁率； S Si i 铁芯材料的截面积；铁芯材料的截面积； 气隙的厚度；气隙的厚度；0 0 空气的导磁率；空气的导磁率；S S 空气隙的截面积；空气隙的截面积；R
28、R空气气隙空气气隙RR导磁体导磁体忽略导磁体磁阻忽略导磁体磁阻 3.3.2 3.3.2 电感式传感器电感式传感器70专业课自感传感器分为三种类型：a a）变间隙式变间隙式b）S变面积式变面积式c）螺管式）螺管式磁路磁磁路磁阻随着阻随着衔铁插衔铁插入深度入深度不同而不同而变化变化 3.3.2 3.3.2 电感式传感器电感式传感器71专业课差动变压器式传感器 差动变压器式传感器是把被测位移量转换为一次线圈与二次线圈间的互感量M的变化的装置。当一次线圈接入激励电源之后，二次线圈就将产生感应电动势，当两者间的互感量变化时，感应电动势也相应变化。由于两个二次线圈采用差动接法，故称为差动变压器。n结构特点
29、：结构特点：两个二次线圈反向串联，组成差动输出形式。两个二次线圈反向串联，组成差动输出形式。二次线圈二次线圈二次线圈二次线圈一次线圈一次线圈铁心铁心 3.3.2 3.3.2 电感式传感器电感式传感器72专业课工作原理 3.3.2 3.3.2 电感式传感器电感式传感器73专业课电涡流式传感器1、电涡流形成：高频电流线圈靠近被测金属，线圈上的高频电流所产生的高频电磁场在金属表面上产生电涡流。线圈通入交变电流I，在线圈的周围产生交变的磁场H1位于该磁场中的金属导体上产生感应电动势并形成涡流涡流也产生相应的磁场H2，H2与H1方向相反H2的作用引起线圈等效阻抗、等效电感等发生相应的变化 3.3.2 3
30、.3.2 电感式传感器电感式传感器74专业课 根据法拉第电磁感应原理, 块状金属导体置于变化的磁场中或在磁场中作切割磁力线运动时, 导体内将产生呈涡旋状的感应电流, 此电流叫电涡流, 以上现象称为电涡流效应。 3.3.2 3.3.2 电感式传感器电感式传感器75专业课电涡流使通电线圈的等效阻抗发生变化，线圈等效阻抗的变化反映了金属导体的涡流效应。电涡流效应与被测金属间的距离及电导率、磁导率、线圈的几何形状、几何尺寸、电流频率等参数有关。通过电路可将被测金属参数转换成电压或电流变化。电涡流传感器根据这一原理实现对金属物体的位移、振动等参数的测量。Z:Z:高频涡流传感器线圈阻抗高频涡流传感器线圈阻
31、抗 :电导率电导率:导磁率导磁率 r r：线圈半径等几何尺寸：线圈半径等几何尺寸I:I:线圈电流线圈电流 f:f:频率频率 x:x:距离距离 3.3.2 3.3.2 电感式传感器电感式传感器76专业课 电容传感器是将被测量转换成电容量的测量装置，它与电阻传感器和电感传感器相比，具有如下优点： 测量范围大，C/C 可达100%； 灵敏度高，相对变化量可达10-7； 动态响应时间短，可动部分质量小，固有频 率高； 结构简单、适应性强。 3.3.3 3.3.3 电容式传感器电容式传感器77专业课工作原理电容量C 的变化决定于参数S、d 和，因而有三种基本类型的电容传感器。dS：介质介电常数介质介电常
32、数 r极板间介质的相对介电常数极板间介质的相对介电常数 0真空的介电常数真空的介电常数=8.8510-12F/m S：极板面积极板面积 d：极板间距离极板间距离 3.3.3 3.3.3 电容式传感器电容式传感器78专业课电容微位移计变极板间距离（d）型极板1固定不动的极板2沿间隙方向平行位移S1定极定极板板2动极动极板板：极板间介质介电常数：极板间介质介电常数0：真空介电常数：真空介电常数r ：极板间介质相对介电常数：极板间介质相对介电常数：极板间距离：极板间距离 S：极板面积：极板面积 3.3.3 3.3.3 电容式传感器电容式传感器79专业课 3.3.3 3.3.3 电容式传感器电容式传感
33、器电容变化分析：80专业课v非线性误差随着d0的减小而增大v为了保证一定的线性度，应限制动极板的位移量。通常规定测量范围 X改变电容量的大小常用来检测容器中液位的高度或片状电介质厚度电容液位计 3.3.3 3.3.3 电容式传感器电容式传感器84专业课 3.3.3 3.3.3 电容式传感器电容式传感器电容变化分析：85专业课压电效应某些电介质，当沿着一定方向对其施力而使它变形时，内部就产生极化现象，同时在它的两个表面上便产生符号相反的电荷，当外力去掉后，又重新恢复到不带电状态。压电材料受力变形，在表面产生电荷正压电效应 压电材料通电压，材料变形逆压电效应 压电材料压电晶体压电陶瓷 3.3.4
34、3.3.4 压电式传感器压电式传感器86专业课石英的晶体结构为六方晶体系，化学式为SiO2。 定义：x：两平行柱面内夹角等分线，垂直此轴压电效应最强。称为电轴。 y：垂直于平行柱面，在电场作用下变形最大，称为机械轴。z：无压电效应，中心轴，也称光轴。 3.3.4 3.3.4 压电式传感器压电式传感器压电晶体压电晶体87专业课压电晶体与压电陶瓷的比较：压电晶体与压电陶瓷的比较：相同点：都是具有压电效应的压电材料。不同点：石英的优点是它的介电和压电常数的温度稳定性好，适合做工作温度范围很宽的传感器。极化后的压电陶瓷，当受外力变形后，由于电极矩的重新定位而产生电荷，压电陶瓷的压电系数是石英的几十倍甚
35、至几百倍，但稳定性不如石英好，居里点也低。 3.3.4 3.3.4 压电式传感器压电式传感器压电陶瓷压电陶瓷88专业课如果线圈是N匝，磁场强度是B，每匝线圈的平均长度la， 线圈相对磁场运动的速度为=dx/dt， 则整个线圈中所产生的电动势为： 3.3.5 3.3.5 磁电式传感器磁电式传感器89专业课恒通式磁电传感器原理图恒通式磁电传感器原理图 3.3.5 3.3.5 磁电式传感器磁电式传感器90专业课恒通式磁电传感器原理 3.3.5 3.3.5 磁电式传感器磁电式传感器式中：N为线圈在工作气隙磁场中的匝数；B为工作气隙磁感应强度；为每匝线圈平均长度。91专业课变通式磁电传感器原理图变通式磁
36、电传感器原理图 3.3.5 3.3.5 磁电式传感器磁电式传感器92专业课霍尔传感器 3.3.5 3.3.5 磁电式传感器磁电式传感器图霍尔效应在一块导体的两侧面ab通以电流，在导体的垂直方向上施加磁感应强度为B的磁场，则在垂直于电流和磁场方向的另外两侧面cd上将产生电势，这种现象称为霍尔效应，产生的电势称为霍尔电势。93专业课3.4 3.4 常见传感器常见传感器 3.4.1 3.4.1 温度传感器温度传感器u 按测量方法分类按测量方法分类94专业课3.4 3.4 常见传感器常见传感器 3.4.1 3.4.1 温度传感器温度传感器u 按材料分类按材料分类图热电偶传感器图热电阻传感器95专业课3
37、.4 3.4 常见传感器常见传感器 3.4.2 3.4.2 温敏传感器温敏传感器u 氯化锂湿敏电阻氯化锂湿敏电阻图氯化锂湿敏电阻96专业课3.4 3.4 常见传感器常见传感器 3.4.2 3.4.2 温敏传感器温敏传感器u 半导体陶瓷湿敏电阻半导体陶瓷湿敏电阻图半导体陶瓷湿敏电阻97专业课3.4 3.4 常见传感器常见传感器 3.4.3 3.4.3 光电式传感器光电式传感器u 工作原理工作原理98专业课3.4 3.4 常见传感器常见传感器 3.4.3 3.4.3 光电式传感器光电式传感器u 光电效应光电效应光电效应是指一束光线照射到物质上时，物质中的电子吸收了光子的能量而发生了相应的电效应的现
38、象。根据光电效应现象的不同特征，可将光电效应分为三类。l外光电效应：在光线照射下，使电子从物体表面逸出的现象。如光电管、光电倍增管等。l内光电效应：在光线照射下，使物体的电阻率发生改变的现象。如光敏电阻等。l光生伏特效应：在光线照射下，使物体产生一定方向的电动势的现象。如光敏二极管、光敏三极管、光电池等。光电倍增管还是光电倍增管器？名词统一为好99专业课3.4 3.4 常见传感器常见传感器 3.4.3 3.4.3 光电式传感器光电式传感器u 光电器件光电器件100专业课3.4 3.4 常见传感器常见传感器 3.4.3 3.4.3 光电式传感器光电式传感器u 光纤式光电传感器光纤式光电传感器10
39、1专业课3.4 3.4 常见传感器常见传感器 3.4.3 3.4.3 光电式传感器光电式传感器u CCDCCD图像传感器图像传感器102专业课3.4 3.4 常见传感器常见传感器 3.4.4 3.4.4 气敏传感器气敏传感器103专业课3.4 3.4 常见传感器常见传感器 3.4.5 3.4.5 压力传感器压力传感器104专业课3.4 3.4 常见传感器常见传感器 3.4.6 3.4.6 加速度传感器加速度传感器105专业课3.4 3.4 常见传感器常见传感器 3.4.7 3.4.7 智能传感器智能传感器图智能传感器构成图106专业课3.4 3.4 常见传感器常见传感器 3.4.7 3.4.7
40、 智能传感器智能传感器图模块式智能传感器u 模块式智能传感器模块式智能传感器107专业课3.4 3.4 常见传感器常见传感器 3.4.7 3.4.7 智能传感器智能传感器图混合式智能传感器u 混合式智能传感器混合式智能传感器108专业课3.4 3.4 常见传感器常见传感器 3.4.7 3.4.7 智能传感器智能传感器l自校准功能l自补偿功能l自诊断功能l数据处理功能l双向通信功能l信息存储和记忆功能l数字信号输出功能109专业课3.5 3.5 本章小结本章小结本章首先详细介绍了传感器的基本概念、相关特性和发展趋势；其次，根据传感器的工作原理将传感器分为应变式传感器、电感式传感器、电容式传感器、
41、压电式传感器和磁电式传感器等，并对这些传统传感器的工作原理、技术特点等进行了介绍；最后，介绍了目前和我们日常工作密切相关的一些常见的传感器，例如用来测量温度、湿度、光照度等的传感器，分别介绍了传感器的工作原理、分类标准以及在相关领域的应用。通过这些内容的介绍，旨在使读者对传感器技术原理和应用特点有进一步的了解。110专业课第四章第四章 标识与定位技术标识与定位技术4.1 4.1 条形码技术条形码技术4.3 4.3 定位技术定位技术4.4 4.4 本章小结本章小结4.2 RFID4.2 RFID技术技术111专业课4.1 4.1 条形码技术条形码技术 4.1.1 4.1.1 一维条形码技术一维条
42、形码技术条形码(barcode，简称条码)技术是集条码理论、光电技术、计算机技术、通信技术、条码印制技术于一体的一种自动识别技术。条形码也叫条码。它是一种以光电扫描识读的信息图形标识符。u条码条码图条码的组成112专业课4.1 4.1 条形码技术条形码技术 4.1.1 4.1.1 一维条形码技术一维条形码技术u字符集字符集字符集是指某种码制的条形码符号可以表示的字母、数字和符号的集合。如EAN/UPC条形码只能表示09共10个数字。u编码方式编码方式代码符号码113专业课4.1 4.1 条形码技术条形码技术 4.1.1 4.1.1 一维条形码技术一维条形码技术u常见的一维条形码常见的一维条形码
43、版本应用对象格式UPC-A通用商品SXXXXXXXXXXCUPC-B医药卫生SXXXXXXXXXXCUPC-C产业部门XSXXXXXXXXXXCXUPC-D仓库批发SXXXXXXXXXXCXXUPC-E商品短码XXXXXX注：S系统码 X资料码 C检查码图UPC114专业课4.1 4.1 条形码技术条形码技术 4.1.1 4.1.1 一维条形码技术一维条形码技术u常见的一维条形码常见的一维条形码图UPC-A115专业课4.1 4.1 条形码技术条形码技术 4.1.1 4.1.1 一维条形码技术一维条形码技术u常见的一维条形码常见的一维条形码图UPC-E116专业课4.1 4.1 条形码技术条形
44、码技术 4.1.1 4.1.1 一维条形码技术一维条形码技术u常见的一维条形码常见的一维条形码图EAN117专业课4.1 4.1 条形码技术条形码技术 4.1.1 4.1.1 一维条形码技术一维条形码技术u常见的一维条形码常见的一维条形码图ISSN118专业课4.1 4.1 条形码技术条形码技术 4.1.2 4.1.2 二维条形码技术二维条形码技术图二维码的分类119专业课4.1 4.1 条形码技术条形码技术 4.1.2 4.1.2 二维条形码技术二维条形码技术u信息容量大信息容量大u编码范围广编码范围广u纠错能力强纠错能力强u可加密可加密u寿命长、易打印、成本低寿命长、易打印、成本低u识读方
45、便识读方便120专业课4.1 4.1 条形码技术条形码技术 4.1.3 4.1.3 三维条形码技术三维条形码技术u128码码u93码码121专业课2.1 2.1 物联网体系结构概述物联网体系结构概述 2.1.1 2.1.1 意义和功能意义和功能u无线传感网无线传感网无线传感器网络的相关技术可以作为物联网开发的基础u互联网互联网互联网连接的是虚拟世界，而物联网则是实现物理世界的互联互通122专业课4.2 RFID4.2 RFID技术技术u快速扫描快速扫描u体积小、多样化体积小、多样化u抗污染、耐久性好抗污染、耐久性好u可重复使用可重复使用u可穿透可穿透u容量大容量大u安全性高安全性高123专业课
46、4.2 RFID4.2 RFID技术技术 4.2.1 RFID 4.2.1 RFID的概念及分类的概念及分类RFID技术是无线电广播技术和雷达技术的结合。无线电广播技术是一种使用无线电波发射、传播和接收语音、图像、数字、符号的技术，而雷达技术是一种应用无线电波的反射理论的技术。图RFID124专业课4.2 RFID4.2 RFID技术技术 4.2.1 RFID 4.2.1 RFID的概念及分类的概念及分类RFID系统包含射频标签(Tag)、读写器(Reader)和数据管理系统组成图RFID的组成uRFID的组成的组成125专业课4.2 RFID4.2 RFID技术技术 4.2.1 RFID 4
47、.2.1 RFID的概念及分类的概念及分类ISO/IEC、EPCglobal、UbiquitousIDCenter、AIMglobal和IP-XuRFID的分类的分类uRFID的标准的标准工作频率标签读写方式藕合原理126专业课4.2 RFID4.2 RFID技术技术 4.2.1 RFID 4.2.1 RFID的概念及分类的概念及分类uRFID的关键问题的关键问题标准成本技术安全127专业课4.2 RFID4.2 RFID技术技术 4.2.2 RFID 4.2.2 RFID的核心技术的核心技术uRFID标签标签图低频标签图高频标签128专业课4.2 RFID4.2 RFID技术技术 4.2.2
48、 RFID 4.2.2 RFID的核心技术的核心技术uRFID标签标签图标签分类工作频率协议读写距离受方向影响芯片价格数据传输率普及率125kHzISO11784/11785ISO18000-2无一般慢大量使用13.56MHzISO/IEC14443无一般较慢大量使用ISO/IEC15693单向全向无低较快大量使用860930MHzISO/IEC18000-6一般一般读快写慢大量使用2.45GHzISO/IEC18001-3一般较高较快使用较少5.8GHzISO/IEC18001-5以上一般较高较快使用一般129专业课4.2 RFID4.2 RFID技术技术 4.2.2 RFID 4.2.2
49、RFID的核心技术的核心技术uRFID阅读器阅读器图RFID阅读器130专业课4.2 RFID4.2 RFID技术技术 4.2.2 RFID 4.2.2 RFID的核心技术的核心技术uRFID阅读器阅读器图RFID模拟部分的发送与接受131专业课4.2 RFID4.2 RFID技术技术 4.2.2 RFID 4.2.2 RFID的核心技术的核心技术u天线技术天线技术图RFID天线分类132专业课4.2 RFID4.2 RFID技术技术 4.2.2 RFID 4.2.2 RFID的核心技术的核心技术uRFID中间键中间键图RFID中间键的三层模型133专业课4.2 RFID4.2 RFID技术技
50、术 4.2.2 RFID 4.2.2 RFID的核心技术的核心技术uRFID中间键中间键图RFID系统结构134专业课4.2 RFID4.2 RFID技术技术 4.2.3 RFID 4.2.3 RFID的防碰撞技术的防碰撞技术u标签碰撞标签碰撞图标签碰撞过程135专业课4.2 RFID4.2 RFID技术技术 4.2.3 RFID 4.2.3 RFID的防碰撞技术的防碰撞技术u标签碰撞标签碰撞频分多址时分多址空分多址码分多址136专业课4.2 RFID4.2 RFID技术技术 4.2.3 RFID 4.2.3 RFID的防碰撞技术的防碰撞技术u标签碰撞标签碰撞图纯ALOHA算法137专业课4.
51、2 RFID4.2 RFID技术技术 4.2.3 RFID 4.2.3 RFID的防碰撞技术的防碰撞技术u标签碰撞标签碰撞图二进制树算法138专业课4.2 RFID4.2 RFID技术技术 4.2.3 RFID 4.2.3 RFID的防碰撞技术的防碰撞技术u阅读器防碰撞阅读器防碰撞图阅读器频率干扰139专业课4.2 RFID4.2 RFID技术技术 4.2.3 RFID 4.2.3 RFID的防碰撞技术的防碰撞技术u阅读器防碰撞阅读器防碰撞图标签干扰140专业课4.2 RFID4.2 RFID技术技术 4.2.3 RFID 4.2.3 RFID的防碰撞技术的防碰撞技术u阅读器防碰撞阅读器防碰撞
52、图隐藏终端干扰141专业课4.2 RFID4.2 RFID技术技术 4.2.3 RFID 4.2.3 RFID的防碰撞技术的防碰撞技术u阅读器防碰撞阅读器防碰撞Colorwave算法Q-Learning算法Pulse算法142专业课4.3 4.3 定位技术定位技术 4.3.1 4.3.1 卫星定位技术卫星定位技术u GPS GPS系统的发展系统的发展u GPS GPS系统的组成系统的组成u 扩展导航功能扩展导航功能u 基于位置的服务基于位置的服务 主要功能主要功能1 1 空间部分空间部分2 2 地面部分地面部分3 3 用户接收设备用户接收设备143专业课4.3 4.3 定位技术定位技术 4.3
53、.1 4.3.1 卫星定位技术卫星定位技术u GPS GPS定位原理定位原理图图4-29 GPS4-29 GPS定位原理示意图定位原理示意图144专业课4.3 4.3 定位技术定位技术 4.3.1 4.3.1 卫星定位技术卫星定位技术u GPS GPS的应用的应用1 1 定位导航定位导航2 2 勘察测绘勘察测绘3 3 应急救援应急救援4 4 精确制导精确制导145专业课4.3 4.3 定位技术定位技术 4.3.2 4.3.2 蜂窝定位技术蜂窝定位技术u COO COO（Cell of OriginCell of Origin）定位）定位图图4-30 COO4-30 COO定位原理示意图定位原理
54、示意图146专业课4.3 4.3 定位技术定位技术 4.3.2 4.3.2 蜂窝定位技术蜂窝定位技术u TOA TOA（Time of ArrivalTime of Arrival）定位）定位图图4-31 TOA4-31 TOA定位原理示意图定位原理示意图147专业课4.3 4.3 定位技术定位技术 4.3.2 4.3.2 蜂窝定位技术蜂窝定位技术u TDOA TDOA（Time Difference of ArrivalTime Difference of Arrival）定位）定位图图4-32 TDOA4-32 TDOA定位原理示意图定位原理示意图148专业课4.3 4.3 定位技术定位技
55、术 4.3.2 4.3.2 蜂窝定位技术蜂窝定位技术u AOA AOA（Angle of ArrivalAngle of Arrival）定位）定位图图4-33 AOA4-33 AOA定位原理示意图定位原理示意图149专业课4.3 4.3 定位技术定位技术 4.3.2 4.3.2 蜂窝定位技术蜂窝定位技术u A-GPS A-GPS（Assisted GPSAssisted GPS）定位）定位150专业课第五章第五章 现代通信技术现代通信技术5.1 5.1 近距离无线通信技术近距离无线通信技术 5.3 5.3 有线通信技术有线通信技术5.4 Internet5.4 Internet技术技术5.2
56、 5.2 远距离无线通信技术远距离无线通信技术 151专业课图5-1现代通信技术152专业课5.1 5.1 近距离无线通信技术近距离无线通信技术 5.1.1 5.1.1 Wi-FiWi-Fi技术技术 5.1.2 5.1.2 蓝牙技术蓝牙技术 5.1.3 ZigBee 5.1.3 ZigBee技术技术153专业课5.1.1 5.1.1 Wi-FiWi-Fi技术技术 Wi-Fi Wi-Fi采用的协议标准采用的协议标准 u IEEE 802.11b IEEE 802.11b标准标准u IEEE 802.11a IEEE 802.11a标准标准u IEEE 802.11g IEEE 802.11g标准
57、标准u IEEE 802.11n IEEE 802.11n标准标准154专业课5.1.1 5.1.1 Wi-FiWi-Fi技术技术 Wi-Fi Wi-Fi特点特点u 覆盖范围广覆盖范围广u 传输速度快传输速度快u 建网成本低，使用便捷建网成本低，使用便捷u 更健康、更安全更健康、更安全155专业课5.1.1 5.1.1 Wi-FiWi-Fi技术技术 Wi-Fi Wi-Fi组网技术组网技术Wi-FiWi-Fi应用前景应用前景 u Ad-hoc Ad-hoc模式模式u 接入点模式接入点模式图图5-2基于接入点模式的基于接入点模式的Wi-Fi组网示意图组网示意图156专业课5.1.2 5.1.2 蓝
58、牙技术蓝牙技术 蓝牙协议栈蓝牙协议栈 图图5-4 基于基于802.15版本的蓝牙协议栈结构示意图版本的蓝牙协议栈结构示意图157专业课5.1.2 5.1.2 蓝牙技术蓝牙技术 蓝牙组网技术蓝牙组网技术 图图5-5蓝牙组网示意图蓝牙组网示意图158专业课5.1.2 5.1.2 蓝牙技术蓝牙技术 蓝牙应用服务蓝牙应用服务 蓝牙技术应用环境蓝牙技术应用环境应用名说明一般访问（GenericAccess）针对链路管理的应用服务发现（ServiceDiscovery）用于发现所提供的服务串行端口（SerialPort）用于代替串行端口电缆一般的对象交换（GenericObjectExchange）为对象
59、移动过程定义客户服务器关系LAN访问（LANAccess）移动计算机和固定LAN之间的协议拨号联网（Dial-upNetworking）计算机通过移动电话呼叫传真（Fax）传真机与移动电话建立连接无绳电话（CordlessTelephony）无绳电话与基站间建立连接内部通信联络系统（Intercom）数字步话机头戴电话（Headset）允许免提的语音通信对象推送（ObjectPush）提供交换简单对象的方法文件传输（FileTransfer）提供文件传输同步（Synchronization）PDA与计算机间进行数据同步159专业课5.1.3 ZigBee5.1.3 ZigBee技术技术 Zig
60、Bee ZigBee技术的主要特征技术的主要特征 u 功耗低功耗低 u 较小的传输范围较小的传输范围 u 时延短时延短u 网络容量大网络容量大u 成本低成本低 u 安全性安全性 u 可靠性较高可靠性较高160专业课5.1.3 ZigBee5.1.3 ZigBee技术技术 ZigBee ZigBee协议标准协议标准 图图5-6 ZigBee协议栈体系结构示意图协议栈体系结构示意图161专业课5.1.3 ZigBee5.1.3 ZigBee技术技术ZigBeeZigBee组网技术组网技术 (a)星型星型 (b) 网状网状 (c) 树状树状图图5-7 ZigBee网络拓扑网络拓扑162专业课5.2
61、5.2 远远距离无线通信技术距离无线通信技术 5.2.1 5.2.1 卫星通信技术卫星通信技术 5.2.2 5.2.2 移动通信技术移动通信技术 5.2.3 5.2.3 微波通信技术微波通信技术163专业课5.2.1 5.2.1 卫星通信技术卫星通信技术 卫星通信技术原理卫星通信技术原理 图图5-8卫星通信示意图卫星通信示意图图图5-9卫星通信原理示意图卫星通信原理示意图164专业课5.2.1 5.2.1 卫星通信技术卫星通信技术 卫星通信技术原理卫星通信技术原理 卫星通信频段卫星通信频段频段下行链路上行链路带宽问题L1.5GHz1.6GHz15MHz低带宽、拥挤S1.9GHz2.2GHz70
62、MHz低带宽、拥挤C4.0GHz6.0GHz500MHz地面干扰Ku11GHz14GHz500MHz雨水Ka20GHz30GHz3500MHz雨水、设备成本165专业课5.2.1 5.2.1 卫星通信技术卫星通信技术 通信卫星分类通信卫星分类 u 从卫星结构划分从卫星结构划分u 从卫星的运行轨道角度划分从卫星的运行轨道角度划分u 从卫星距离地面的最大高度划分从卫星距离地面的最大高度划分u 从卫星与地球上任一点的相对位置的不同划分从卫星与地球上任一点的相对位置的不同划分 166专业课5.2.1 5.2.1 卫星通信技术卫星通信技术 卫星通信系统分类卫星通信系统分类 u 从卫星制式划分从卫星制式划
63、分u 从通信覆盖区域的范围划分从通信覆盖区域的范围划分 u 从用户性质可分划分从用户性质可分划分u 从业务范围划分从业务范围划分 u 从基带信号体制划分从基带信号体制划分 u 从划多址方式划分从划多址方式划分 u 从运行方式划分从运行方式划分 167专业课5.2.1 5.2.1 卫星通信技术卫星通信技术 卫星通信的特点卫星通信的特点 u 覆盖区域大，通信距离远覆盖区域大，通信距离远u 具有多址连接能力具有多址连接能力 u 频带宽，通信容量大频带宽，通信容量大u 通信质量好，可靠性高通信质量好，可靠性高 u 通信机动灵活通信机动灵活 u 线路使用费用与通信距离无关线路使用费用与通信距离无关 u
64、特殊需求特殊需求 168专业课5.2.1 5.2.1 卫星通信技术卫星通信技术 卫星通信新技术卫星通信新技术 u VSAT VSAT卫星通信系统卫星通信系统u 轨道（轨道（LEOLEO）移动卫星通信系统）移动卫星通信系统 u 中轨道（中轨道（MEOMEO）移动卫星通信系统）移动卫星通信系统 u 静止轨道（静止轨道（GEOGEO）移动卫星通信系统）移动卫星通信系统 169专业课5.2.2 5.2.2 移动通信技术移动通信技术 移动通信分类移动通信分类 u 从设备的使用环境划分从设备的使用环境划分u 从服务对象划分从服务对象划分u 从系统组成结构划分从系统组成结构划分 170专业课5.2.2 5.
65、2.2 移动通信技术移动通信技术 移动通信发展移动通信发展 u第一代（第一代（1G1G）模拟移动通信系统模拟移动通信系统 u第二代（第二代（2G2G）数字移动通信系统及标准数字移动通信系统及标准u第三代（第三代（3G3G）移动通信系统及标准移动通信系统及标准 u第四代（第四代（4G4G）移动通信系统及标准移动通信系统及标准 171专业课5.2.2 5.2.2 移动通信技术移动通信技术 移动通信发展移动通信发展 u第一代（第一代（1G1G）模拟移动通信系统模拟移动通信系统 u第二代（第二代（2G2G）数字移动通信系统及标准数字移动通信系统及标准u第三代（第三代（3G3G）移动通信系统及标准移动通
66、信系统及标准 u第四代（第四代（4G4G）移动通信系统及标准移动通信系统及标准 172专业课5.2.2 5.2.2 移动通信技术移动通信技术 移动通信系统的组成移动通信系统的组成 图图5-12移动通信系统示意图移动通信系统示意图173专业课5.2.3 5.2.3 微波通信技术微波通信技术图图5-14频谱示意图频谱示意图174专业课5.2.3 5.2.3 微波通信技术微波通信技术 微波类型微波类型 波段波长频率频段名称分米波1m10cm0.33GHz特高频（UHF）厘米波10cm1cm330GHz超高频（SHF）毫米波1cm1mm30300GHz极高频（EHF）175专业课5.2.3 5.2.3
67、 微波通信技术微波通信技术 微波通信方式微波通信方式 图图5-15微波通信示意图微波通信示意图176专业课5.2.3 5.2.3 微波通信技术微波通信技术微波通信的用途微波通信的用途 u 传送电报信号传送电报信号u 传送数据信号传送数据信号u 传送传真信号传送传真信号u 传送宽频带信号及彩色电视信号传送宽频带信号及彩色电视信号u 移动通信系统基站与移动业务交换中心之间的信息交换移动通信系统基站与移动业务交换中心之间的信息交换177专业课5.2.3 5.2.3 微波通信技术微波通信技术微波通信的特点微波通信的特点 u 微波频带宽，通信容量大微波频带宽，通信容量大u 微波中继通信抗干扰性能好，工作
68、较稳定、可靠微波中继通信抗干扰性能好，工作较稳定、可靠 u 微波中继通信灵活性较大微波中继通信灵活性较大 u 天线增益高、方向性强天线增益高、方向性强 u 投资少、建设快。投资少、建设快。178专业课5.3 5.3 有有线通信技术线通信技术 5.3.1 5.3.1 双绞线双绞线 5.3.2 5.3.2 光纤光纤 5.3.3 5.3.3 以太网以太网179专业课5.3.1 5.3.1 双绞线双绞线图图5-16双绞线示意图双绞线示意图180专业课5.3.1 5.3.1 双绞线双绞线 双绞线分类双绞线分类 u一类线（一类线（CAT1CAT1）u二类线（二类线（CAT2CAT2）u三类线（三类线（CA
69、T3CAT3）u四类线（四类线（CAT4CAT4）u五类线（五类线（CAT5CAT5）u超五类线（超五类线（CAT5eCAT5e）u六类线（六类线（CAT6CAT6）u七类线（七类线（CAT7CAT7）181专业课5.3.2 5.3.2 光纤光纤图图5-17光纤示意图光纤示意图182专业课5.3.2 5.3.2 光纤光纤图图5-18光纤结构示意图光纤结构示意图 光纤结构光纤结构 183专业课5.3.2 5.3.2 光纤光纤图图5-19光传输示意图光传输示意图 光纤通信光纤通信 184专业课5.3.2 5.3.2 光纤光纤 光纤通信特点光纤通信特点 u频带宽频带宽u损耗低损耗低u重量轻重量轻u抗
70、干扰能力强抗干扰能力强u保真度高保真度高u工作性能可靠工作性能可靠u成本不断下降成本不断下降185专业课5.3.2 5.3.2 光纤光纤 光纤局域网光纤局域网 u 总线型局域网总线型局域网u 环形局域网环形局域网186专业课5.3.3 5.3.3 以太网以太网 以太网分类以太网分类 u标准以太网及标准标准以太网及标准 u快速以太网及标准快速以太网及标准u千兆以太网及标准千兆以太网及标准u万兆以太网及标准万兆以太网及标准 187专业课5.3.3 5.3.3 以太网以太网 以太网拓扑以太网拓扑 u总线型总线型u星型星型图图5-22总线型以太网总线型以太网图图5-23星型以太网星型以太网188专业课
71、5.4 Internet5.4 Internet技术技术 5.4.1 Internet5.4.1 Internet通信协议通信协议5.4.2 Internet5.4.2 Internet接入技术接入技术5.4.3 5.4.3 路由算法路由算法189专业课5.4.1 Internet5.4.1 Internet通信协议通信协议 TCP/IPTCP/IP协议栈协议栈nTCP/IP协议栈结构协议栈结构 图图5-24TCP/IP协议栈结构协议栈结构190专业课5.4.1 Internet5.4.1 Internet通信协议通信协议图图5-25TCP/IP协议应用展示协议应用展示 TCP/IPTCP/I
72、P协议栈协议栈nTCP/IP协议应用协议应用 191专业课5.4.1 Internet5.4.1 Internet通信协议通信协议图图5-26数据封装过程数据封装过程 TCP/IPTCP/IP协议栈协议栈nTCP/IP协议数据封装协议数据封装 192专业课5.4.1 Internet5.4.1 Internet通信协议通信协议 TCP TCP协议协议nIP首部首部 图图5-27IP首部格式首部格式首部04816192431版本标志生存时间协议标识总长度片偏移填充首部检验和源地址目的地址可选字段（长度可变）位首部长度数据部分固定部分可变部分区分服务193专业课5.4.1 Internet5.4.
73、1 Internet通信协议通信协议 IP IP网际协议网际协议nIP地址地址nIP路由路由图图5-28IP地址格式地址格式194专业课5.4.1 Internet5.4.1 Internet通信协议通信协议 TCP TCP协议协议nTCP首部首部 TCP首部目的端口数据偏移检验和选项（长度可变）源端口序号紧急指针窗口确认号保留FIN32位SYNRSTPSHACKURG位08162431填充195专业课5.4.1 Internet5.4.1 Internet通信协议通信协议 UDP UDP协议协议nUDP首部首部 伪首部源端口目的端口长度检验和数据首部UDP长度源IP地址目的IP地址017IP
74、数据报字节44112122222字节发送在前数据首部UDP用户数据报196专业课5.4.1 Internet5.4.1 Internet通信协议通信协议 IPv6IPv6协议协议nIPv6特点特点nIPv6头格式头格式n扩展包头扩展包头n IPv6地址地址197专业课5.4.2 Internet5.4.2 Internet接入技术接入技术 InternetInternet接入方式接入方式 u电话线拨号电话线拨号 uISDN ISDN uxDSLxDSL uHFC HFC u光纤宽带光纤宽带u无线网络无线网络198专业课5.4.2 Internet5.4.2 Internet接入技术接入技术 网
75、络互联设备网络互联设备 u网络物理层互联设备网络物理层互联设备u数据链路层互联设备数据链路层互联设备 u网络层互联设备网络层互联设备路由器路由器 u应用层互联设备应用层互联设备网关网关 n中继器中继器n集线器集线器n网桥网桥n交换机交换机199专业课5.4.3 5.4.3 路由算法路由算法图图5-32路由转发示意图路由转发示意图200专业课5.4.3 5.4.3 路由算法路由算法典型路由算法典型路由算法 u最短路径路由最短路径路由图图5-33最短路由示意图最短路由示意图201专业课5.4.3 5.4.3 路由算法路由算法典型路由算法典型路由算法 u 扩散法扩散法 图图5-34洪泛路由示意图洪泛
76、路由示意图202专业课5.4.3 5.4.3 路由算法路由算法典型路由算法典型路由算法 u选择性扩散算法选择性扩散算法 图图5-35选择性扩散路由示意图选择性扩散路由示意图203专业课5.4.3 5.4.3 路由算法路由算法常用路由分类常用路由分类 u固定拓扑结构路由固定拓扑结构路由 u自组织路由自组织路由 u机会路由机会路由 204专业课本章总结本章总结本章介绍了近距离无线通信技术、远距本章介绍了近距离无线通信技术、远距离无线通信技术和有线通信技术。近距离无离无线通信技术和有线通信技术。近距离无线通信技术和有线通信技术常用于局域网络线通信技术和有线通信技术常用于局域网络构建，光纤和远距离无线
77、通信技术实现与构建，光纤和远距离无线通信技术实现与Internet互联。互联。Internet可被比喻为物联网的骨干，本章可被比喻为物联网的骨干，本章介绍了其常用通信协议、接入技术和路由算介绍了其常用通信协议、接入技术和路由算法。法。205专业课第六章第六章 数据组织与管理数据组织与管理6.1 6.1 物联网数据的特点物联网数据的特点6.3 6.3 海量数据存储海量数据存储 6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.2 6.2 海量感知数据的挖掘与分析海量感知数据的挖掘与分析206专业课6.1 6.1 物联网数据的特点物联网数据的特点u 数据的多态性、异构性数据的多态性
78、、异构性u 数据的海量性数据的海量性u 数据的数据的关联性及语义性关联性及语义性207专业课6.2 6.2 海量感知数据的挖掘与分析海量感知数据的挖掘与分析 6.2.1 6.2.1 海量数据的预处理海量数据的预处理数据预处理（Data Preprocessing）是指在主要的数据处理以前进行的一些辅助处理，为提高数据应用质量和数据处理提供一个良好的基础。数据预处理技术有很多，主要包括数据清洗（Data Cleaning）、数据集成（Data Integration）、数据转换（Data Transformation） 和 数 据 归 约 （ Data Reduction） 等 。 u 数据清洗
79、（数据清洗（Data CleaningData Cleaning）处理）处理u 数据集成（数据集成（Data IntegrationData Integration）u噪声数据噪声数据u数据转换（数据转换（Data TransformationData Transformation） u数据消减（数据消减（Data ReductionData Reduction）208专业课6.2 6.2 海量感知数据的挖掘与分析海量感知数据的挖掘与分析 6.2.2 6.2.2 知识概述知识概述u广义知识广义知识u狭义狭义知识知识关联知识（Association）、分类知识(ClassificationClu
80、stering)、预测型知识（Prediction）等。209专业课 6.2.3 6.2.3 信息与知识的发现与表示信息与知识的发现与表示6.2 6.2 海量感知数据的挖掘与分析海量感知数据的挖掘与分析u知识发现知识发现u 知识表示知识表示KDD具体过程分为以下四步：数据集成：创建目标数据集；选择与预处理：数据清理、数据规约、选择数据挖掘函数和挖掘算法；数据挖掘：寻找有趣的数据模式，自动发现分类/预测解释/描述；解释与评估：分析结果，使用可视化和知识表现技术，向用户提供挖掘的知识。210专业课 6.2.3 6.2.3 知识发现与语义挖掘知识发现与语义挖掘6.2 6.2 海量感知数据的挖掘与分析
81、海量感知数据的挖掘与分析u关联分析关联分析u关联规则挖掘的过程、分类及其相关算法关联规则挖掘的过程、分类及其相关算法数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。关联规则挖掘过程主要包含两个阶段：第一阶段必须先从资料集合中找出所有的高频项目组(FrequentItemsets)，第二阶段再由这些高频项目组中产生关联规则(AssociationRules)。211专业课 6.2.3 6.2.3 知识发现与语义挖掘知识发现与语义挖掘6.2 6.2 海量感知数据
82、的挖掘与分析海量感知数据的挖掘与分析u 分类分类u 聚类分析聚类分析分类是数据挖掘的一项非常重要的任务，它是在已有数据的基础上创建一个分类函数或构造一个分类模型(即通常所说的分类器)，而且该函数或模型能够把数据库中的数据记录映射到给定类别中的某一个，从而可以应用于数据预测。 将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。212专业课u 最大树聚类法介绍最大树聚类法介绍 6.2.
83、3 6.2.3 知识发现与语义挖掘知识发现与语义挖掘6.2 6.2 海量感知数据的挖掘与分析海量感知数据的挖掘与分析最大树聚类法是模糊聚类方法的一种，和传递闭包法一样，最大树法也要通过正规化，通过标定步骤建立起相似系数构成的相似矩阵。213专业课uMapReduceMapReduce是是GoogleGoogle提出的分布式并行计算编程模型。提出的分布式并行计算编程模型。uHadoopHadoop是是MapReduceMapReduce的一种开源实现，同时实现的一种开源实现，同时实现HDFSHDFS这这样一种分布式文件系统。样一种分布式文件系统。 6.3.1 6.3.1 基于文件的数据存储技术基
84、于文件的数据存储技术6.3 6.3 海量数据存储海量数据存储214专业课uHDFSHDFS分布式文件系统分布式文件系统 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS6.3 6.3 海量数据存储海量数据存储HDFS（Hadoop Distributed File System）是一种高度容错的分布式文件系统模型，采用Java实现。采用主从式（Master/Slave）架构，有1 1个名称节点和若干个数据节点组成。HDFS以文件形式存储数据。215专业课6.3 6.3 海量数据存储海量数据存储uHDFSHDFS的体系结构的体系结构 6.3.1 6.
85、3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS216专业课6.3 6.3 海量数据存储海量数据存储HDFS中，名称节点作为中心服务器控制所有的文件操作，是所有HDFS元数据的管理者。数据节点提供存储块，负责本节点的存储管理。如下页图中所示。HDFS以文件形式存储数据，将存储文件分为一个或多个数据单元块，然后复制这些数据块到一组数据节点中。数据节点在名称节点的统一调度下创建、删除和复制数据块。HDFS命名空间的层次结构域现有大多数文件系统类似：用户可以创建、删除、移动和重命名文件。区别在于，HDFS不支持用户磁盘配额和访问权限控制，也不支持硬链接和软连接。uHDF
86、SHDFS的体系结构的体系结构 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS217专业课6.3 6.3 海量数据存储海量数据存储HDFS中的文件被分割为64MB的单元块。文件小于单元块大小，该文件并不会占满该单元块的存储空间。HDFS大单元块的设计是为了尽量减小寻找数据块的开销。如果单元块足够大，数据块的传输时间会明显大于寸照数据块的时间uHDFSHDFS的数据组织与操作的数据组织与操作 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS218专业课6.3 6.3 海量数据存储海量数据存储uHDFSH
87、DFS的数据组织与操作的数据组织与操作 文件读取文件读取 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS219专业课6.3 6.3 海量数据存储海量数据存储uHDFSHDFS的数据组织与操作的数据组织与操作 文件读取文件读取1）客户端获取HDFS文件系统DistributedFileSystem的实例，调用open()方法。2）DistributedFileSystem通过RPC远程调用名称节点，确定文件组成单元块的位置信息。名称节点返回每个单元块及其副本的数据节点地址，这些数据节点按照相对于客户机的距离排序。DistributedFileSys
88、tem向客户端返回FSDataInputStream，而FSDataInputStream封装了管理名称节点和数据节点I/O的DFSInputStream。3）客户端调用FSDataInputStream的read()方法。 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS220专业课6.3 6.3 海量数据存储海量数据存储uHDFSHDFS的数据组织与操作的数据组织与操作 文件读取文件读取4）FSDataInputStream中的DFSInputStream保存前几个单元块的数据节点地址信息，然后连接存储着文件单元块的最近数据节点，重复调用rea
89、d()方法读取数据，返回给客户端。5）当第一个单元块读取结束，DFSInputStream关闭与该数据节点的连接，然后寻找下一个单元块的最佳数据节点，DFSInputStream和数据节点建立连接的顺序决定了文件单元块的读取顺序，并且通知名称节点检索下一批所需单元块的数据节点地址。6）最后，客户端调用FSDataInputStream的close()方法结束文件读取操作。 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS221专业课6.3 6.3 海量数据存储海量数据存储uHDFSHDFS的数据组织与操作的数据组织与操作 文件写入文件写入 6.3.
90、1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS222专业课6.3 6.3 海量数据存储海量数据存储uHDFSHDFS的数据组织与操作的数据组织与操作 文件写入文件写入1）首先，客户端调用DistributedFileSystem中的create()方法创建文件。2）DistributedFileSystem通过RPC调用名称节点，在文件系统的命名空间里创建新文件，实际上此时并为给该文件分配单元块。名称节点通过检查确认该文件以前不存在，并且客户端有权创建该文件，如果检查通过，名称节点就生成新文件记录，否则文件创建失败并抛出IOException。Distr
91、ibutedFileSystem向客户端返回FSDataOutStream开始写数据。类似于文件读取操作，FSDataOutputStream封装DFSOutputStream来处理与名称节点和数据节点的通讯。 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS223专业课6.3 6.3 海量数据存储海量数据存储uHDFSHDFS的数据组织与操作的数据组织与操作 文件写入文件写入3）客户端写入数据时，DFSOutputStream把数据分成一些数据包，把这些数据包写入内部数据队列供DataStreamer使用，它还负责询问名称节点选择合适的存储副本的
92、数据节点列表，并分配新的单元块。该数据列表组成一个管道，如图3所示，如果副本级别是3，管道中就有三个数据节点。4）FSDataOutputStream向管道的第一个数据节点传送数据，该数据节点写入完成后，管道将数据包转发给第二个数据几点，完成后再转发到第三个（或最后一个）数据节点。5）DFSOutputStream维护一个内部数据包队列，等待数据节点的应答。只有管道里所有数据节点都写入并应带，该数据包才移出应答队列。6）当客户端完成数据写入后，调用FSDataOutputStream的close()方法关闭。7）最后，DistributedFileSystem通知名称节点写文件结束。 6.3.
93、1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS224专业课6.3 6.3 海量数据存储海量数据存储uHDFSHDFS的数据组织与操作的数据组织与操作 副本策略副本策略 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS225专业课6.3 6.3 海量数据存储海量数据存储uHDFSHDFS的数据组织与操作的数据组织与操作 副本策略副本策略好的副本策略能有效改进数据的可靠性、可用性和利用率。HDFS采用机架感知（RackAwareness）策略实现副本策略。在机架感知过程中，名称节点可以获取每个数据节点所属机架的编
94、号。HDFS的默认副本系数为3。副本1优先存放在客户端节点上，如果客户端没有运行在集群内，就选择任意机架的随机节点；副本2存放到另外一个机架的随机节点上；副本3和副本2存放在同一机架，但是不能在同一节点上。三分之一的副本在一个节点，三分之二的副本在一个机架，这样能够有效减少机架见的数据传输。既不破坏数据可靠性和读取性能，同时改进了写入性能。 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - HDFS- HDFS226专业课uHadoopHadoop中的中的MapReduceMapReduce计算模型将公共细节部分抽象为一个库，由计算模型将公共细节部分抽象为一个库，由公共
95、引擎统一处理。编程者不需要过多考虑程序本身的分布式存储和公共引擎统一处理。编程者不需要过多考虑程序本身的分布式存储和并行处理细节，相应的容错处理、数据分布、负载均衡等也由公共引并行处理细节，相应的容错处理、数据分布、负载均衡等也由公共引擎完成。擎完成。6.3 6.3 海量数据存储海量数据存储 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce227专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduce计算模型计算模型 基本思想和编程模型基本思想和编程模型MapReduce主要反映了映射和规约两个概念，
96、分别完成映射操作和规约操作。MapReduce是一种非机器依赖的并行编程模型，可给予高层的数据操作编写并行程序，MapReduce框架的运行时系统自动处理调度和负载均衡问题。MapReduce把并行任务定义为两个步骤：首先map阶段把输入数据元素划分为区块，映射生成中间结果对，在reduce阶段按照相同键值规约生成最终结果。计算利用一个输入key/value对集来产生一个输出key/value对集。 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce228专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapRe
97、duce计算模型计算模型 基本思想和编程模型基本思想和编程模型 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce229专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduce计算模型计算模型 基本思想和编程模型基本思想和编程模型Map操作是一类将输入记录集转换为中间格式记录集的独立任务，将输入键值对(key/value)映射为一组中间格式的键值对。该中间格式记录集不需要与输入记录集的类型一致，一个给定的输入键值对可以映射成0个或多个输出键值对。Reduce操作将key相同的一组中间数值集规约为一个更小
98、的数值集。通常，Reduce操作包括shuffle和排序操作。在映射规约计算模型中，认为大部分操作和映射操作相关，映射对输入记录的每个逻辑“record”进行运算，产生一组中间对，然后对具有相同key的中间执行规约操作来合并数据。 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce230专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduce计算模型计算模型 运行算法与流程运行算法与流程 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce2
99、31专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduce计算模型计算模型 运行算法与流程运行算法与流程1.首先，用户程序调用MapReduce引擎将输入文件分成M块，每块大概16MB到64MB（可自定义参数）。2.主控节点负责分派任务，假设有M个映射任务和R个规约任务，选择空闲的从属节点分配这些任务。3.分配了映射任务的从属节点读取并处理相关的输入分片，并且解析出降至对传递给用户自定义的映射函数，映射函数生成的中间结果对暂时存在在内存中。4.缓冲到内存中的中间结果对周期性写入本地磁盘，这些数据通过分区（partition）函数划分为R个区块。中间结果在本地磁盘的
100、位置信息要发送到主控节点，然后统一由主控节点传送给执行规约操作的从属节点。 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce232专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduce计算模型计算模型 运行算法与流程运行算法与流程5.当主控节点通知执行规约任务的从属节点中间结果对的位置信息时，该从属节点通过远程调用读取缓冲到映射任务节点本地磁盘上的中间数据。从属节点读取所有的中间数据然后按照中间key进行排序，使得key相同的value几种在一起。如果中间结果集合过大，可能需要使用外排序。6.执行规
101、约任务的从属节点根据中间key来遍历所有排序后的中间结果对，并且把key和相关的中间结果集合传递给用户自定义的规约函数，由规约函数将本区块输出到一个最终输出文件，该文件存储到HDFS中。7.当所有的映射和规约任务完成时，主控节点通知用户程序，返回用户程序的调用点。MapReduce操作执行完毕。 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce233专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduce计算模型计算模型 任务粒度分析任务粒度分析 6.3.1 6.3.1 基于文件的数据存储技术基于文件
102、的数据存储技术 - MapReduce- MapReduceMap调用把输入数据自动分割为M片，并且分发到多个节点上，使得输入数据能够在多个节点上并行处理。Reduce调用利用分割函数分割中间key，从而形成R片（例如，hash(key)modR），它们也会被分发到多个节点上。分割数量R和分割函数由用户来决定。实际应用的编程过程中，会对于M和R的取值有一定的限制，因为主控节点（MasterNode）必须执行O(M+R)次调度，并且在内存中保存O(M*R)个状态（保存每对映射规约任务大约1个字节的存储空间）。234专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduc
103、e计算模型计算模型 容错机制容错机制 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce因为Map/Reduce部署在若干互联节点上，以实现可靠性和加速运算。这些节点中的某个或某些难免出现故障，所以容错和自愈机制是MapReduce模型必须考虑到。每个从属节点都会向主控节点发送心跳信息，周期性地把执行进度和状态报告回来。假如某个节点的心跳信息停止发送，或者超过预定时隙，主控节点标记该节点为死亡状态，并且把先前分配到它的数据发送到其他节点。235专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduce计算
104、模型计算模型 容错机制容错机制 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce236专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduce计算模型计算模型 容错机制容错机制 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce- MapReduce从属节点失效的容错处理：从属节点失效的容错处理：如果从属节点崩溃或者运行非常缓慢，它将停止向主控节点，即作业管理节点发送心跳信息。主控节点标记该从属节点，并且将它从任务执行节点资源池中移除。如果刚才在故障节点上运行
105、完成的映射任务属于未完成的作业的组成部分，那么主控节点就重新分派它们运行，因为它们的中间结果缓冲在该故障从属节点的本地磁盘上，后面的规约无法访问。而已经完成的规约任务就需要这么做，因为它的输出结果已经保存在全局文件系统中。当节点A失效，原本在其上运行的映射任务被迁移到节点B，并通知所有执行规约操作的节点，尚未读取节点A中间结果的规约任务节点，抛弃节点A，选择从属节点B获取数据。237专业课6.3 6.3 海量数据存储海量数据存储uMapReduceMapReduce计算模型计算模型 容错机制容错机制 6.3.1 6.3.1 基于文件的数据存储技术基于文件的数据存储技术 - MapReduce-
106、 MapReduce主节点失效的容错处理：主节点失效的容错处理：比较好的策略是为主控几点数据结构设置周期性检查点。当主控节点进程失效，选择最后一个检查点重新开始。但是最简单最有效的方法是一旦主控节点失效，就终止MapReduce程序执行。当然，主控节点出现故障的可能性较小，也可以通过提高节点自身可靠性来改善情况。238专业课u数据库是一种以记录的形式实现数据存储的存储技术。完整的数据库系统包括数据库、数据库管理系统以及各类数据库用户三大部分。u在数据库领域中，最常用的数据模型有四种，分别是层次模型（Hierarchical Model）、网状模型（Network Model）、关系模型（Rel
107、ational Model）和面向对象模型（Object Oriented Model）。其中层次模型和网状模型统称为非关系模型。非关系模型的数据库系统在20世纪70年代至80年代非常流行，现在已逐渐被关系模型的数据库系统取代。 6.3.1 6.3.1 数据库存储技术数据库存储技术6.3 6.3 海量数据存储海量数据存储239专业课u关系模型理论是由美国IBM公司研究员E.F.Codd于1970年率先提出的。关系模型由关系数据结构、关系数据操作和关系完整性约束3个要素组成。u关系模型的数据结构非常简单。从用户的角度看，关系模型中数据的逻辑结构是一张二维表。u关系模型中常用的关系操作包括：选择（
108、Select）、投影Project）、连接（Join）、除（Divide）、并（Union）、交（Intersection）、差（Difference）等查询操作和增加（Insert）、删除（Delete）、修改（Update）等更新操作两大部分。u关系模型允许定义三类完整性约束：实体完整性、参照完整性和用户定义的完整性。 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系模型关系模型6.3 6.3 海量数据存储海量数据存储240专业课uSQL（Structured Query Language ）最初由Boyce和Chamberlin提出并在IBM公司著名的关系数据库关系系统原型Sy
109、stem R上得到实现uSQL语言功能极强，但由于设计巧妙，语言十分简洁，完成核心功能只用了9个动词，分别是完成数据查询功能的SELECT，完成数据定义功能的CREATE、DROP和ALTER，完成数据操纵功能的INSERT、UPDATE和DELETE以及完成数据控制功能的GRANT和REVOKE。 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系数据库语言关系数据库语言SQLSQL6.3 6.3 海量数据存储海量数据存储241专业课u基本表的建立命令格式：CREATE TALBE (完整性约束条件 , 完整性约束条件 表级完整性约束条件)p其中，是所要定义的基本表的名字，它可以由一
110、个或多个属性（列）组成。建表的同时通常还可以定义与该表有关的完整性约束条件，这些完整性约束条件被存入系统的数据字典中，当用户操作表中数据时由DBMS自动检查该操作是否违背这些完整性约束条件。如果完整性约束条件涉及该表的多个属性列，则必须定义在表级上，否则即可以定义在列级也可以定义在表级。 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系数据库语言关系数据库语言SQLSQL6.3 6.3 海量数据存储海量数据存储242专业课u基本表的修改和删除在表中增加新的列：命令格式：ALTER TABLE ADD COLUMN 完整性约束删除表中已有的列：命令格式：ALTER TABLE DROP
111、 COLUMN RESTRICT | CASCADE修改已有列的定义：命令格式：ALTER TABLE MODIFY 删除表中已有的完整性约束条件：命令格式：ALTER TABLE DROP CONSTRAINT RESTRICT | CASCADE 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系数据库语言关系数据库语言SQLSQL6.3 6.3 海量数据存储海量数据存储243专业课u索引的功能类似于图书的目录，是一种可以有效提高数据访问速度的存取路径。基本表的所有者或数据库管理员（DBA）可以根据数据访问的需要在表上建立一个或多个索引，每个索引又可以建立在一个或多个属性之上。u索
112、引的建立与删除建立索引：命令格式：CREATE COLUMN CLUSTER INDEX ON ( ASC | DESC , ASC | DESC )删除索引：命令格式：DROP INDEX 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系数据库语言关系数据库语言SQLSQL6.3 6.3 海量数据存储海量数据存储244专业课u在SQL的早期版本中并没有模式的概念，所有的表（关系）都认为属于同一个模式。在SQL2标准中引入了SQL模式的概念，用于表示一组表、视图以及与其相关联的权限等的集合，这样就能将不同用户或应用所拥有的命名对象及数据相互区分开来。u模式的建立与删除建立模式：命令格
113、式：CREATE SCHEMA AUTHORIZATION 创建基本表语句创建视图语句创建授权语句 删除模式：命令格式：DROP SCHEMA RESTRICT | CASCADE 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系数据库语言关系数据库语言SQLSQL6.3 6.3 海量数据存储海量数据存储245专业课u查询命令命令格式：SELECTALL|DISTINCT,FROM , WHERE GROUP BY HAVINGORDER BY ASC|DESC整个SELECT语句的含义是，根据WHERE子句的条件表达式，从FROM子句指定的基本表或视图中找出满足条件的元组，再按SE
114、LECT子句中的目标列表达式，选出元组中的属性值形成结果表。如果有GROUP子句，则将结果按的值进行分组，该属性列值相等的元组为一个组。通常会在每组中作用集函数。如果GROUP子句带HAVING短语，则值有满足指定条件的组才输出。如果有ORDER子句，则结果表还要按的值的升序或降序排序。SELECT语句即可以完成简单的单表查询，也可以完成复杂的连接查询和嵌套查询。 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系数据库语言关系数据库语言SQLSQL6.3 6.3 海量数据存储海量数据存储246专业课插入数据插入单个元组：INSERTINTO(,)VALUES(,)插 入 子 查 询
115、结 果 ： INSERT INTO ( ,) 子查询；修改数据命令格式：UPDATESET=,=WHERE删除数据命令格式：DELETEFROMWHERE 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系数据库语言关系数据库语言SQLSQL6.3 6.3 海量数据存储海量数据存储247专业课视图视图不存储具体数据，而仅在数据目录中存放其定义的“虚表”，它提供了一种简洁访问基本表中数据的快捷方式，使用户可以更有效、更安全的访问系统中存储的相关数据。定义视图命令格式：CREATEVIEW(,)ASWITHCHECKOPTION删除视图命令格式：DROPVIEW更新视图更新视图是指通过视图
116、来插入（INSERT）、删除（DELETE）和修改（UPDATE）数据。 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系数据库语言关系数据库语言SQLSQL6.3 6.3 海量数据存储海量数据存储248专业课数据控制由DBMS提供统一的数据控制功能是数据库系统的特点之一。授权命令格式：GRANT,ONTO,WITHCHECKOPTION;收回权限REVOKE,ONFROM,; 6.3.1 6.3.1 数据库存储技术数据库存储技术 关系数据库语言关系数据库语言SQLSQL6.3 6.3 海量数据存储海量数据存储249专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术
117、6.4.1 6.4.1 文本检索文本检索 传统的文本检索是围绕相关度传统的文本检索是围绕相关度(ReIevance)(ReIevance)这个概念展这个概念展开的。在信息检索中，相关度通常指用户的查询和文本内开的。在信息检索中，相关度通常指用户的查询和文本内容的相似程度或者某种距离的远近程度。根据相关度的计容的相似程度或者某种距离的远近程度。根据相关度的计算方法，可以把文本检索分成基于文字的检索、基于结构算方法，可以把文本检索分成基于文字的检索、基于结构的检索和基于用户信息的检索。的检索和基于用户信息的检索。250专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1
118、6.4.1 文本检索文本检索 u 基于文字的检索基于文字的检索 基于文字的检索主要根据文档的文字内容来计算查基于文字的检索主要根据文档的文字内容来计算查询和文档的相似度。这个过程通常包括查询和文档的表询和文档的相似度。这个过程通常包括查询和文档的表示及相似度计算，二者构成了检索模型。学术界最经典示及相似度计算，二者构成了检索模型。学术界最经典的检索模型有布尔模型、向量空间模型、概率模型和统的检索模型有布尔模型、向量空间模型、概率模型和统计语言检索模型。计语言检索模型。 251专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1 6.4.1 文本检索文本检索 u 基于文
119、字的检索基于文字的检索 （1 1）在布尔模型中，用户将查询表示为多个词组成）在布尔模型中，用户将查询表示为多个词组成的布尔表达式，如查询的布尔表达式，如查询“计算机计算机andand文化文化”表示要查找包表示要查找包含含“计算机计算机”和和“文化文化”这两个词的文档。文档被看成文这两个词的文档。文档被看成文中所有词组成的布尔表达式。在进行相似度计算时，布尔中所有词组成的布尔表达式。在进行相似度计算时，布尔模型实际就是将用户提交的查询请求和每篇文档进行表达模型实际就是将用户提交的查询请求和每篇文档进行表达式匹配。布尔模型中满足查询的文档的相关度是式匹配。布尔模型中满足查询的文档的相关度是1 1，
120、不满，不满足查询的文档的相关度是足查询的文档的相关度是0 0。252专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1 6.4.1 文本检索文本检索 u 基于文字的检索基于文字的检索 （2 2）在向量空间模型中，用户的查询和文档信息都）在向量空间模型中，用户的查询和文档信息都表示成关键词及其权重构成的向量，如向量表示成关键词及其权重构成的向量，如向量 ,1表示表示3 3个关键词个关键词“信息信息”、“检索检索”和和“模型模型”构成的向量，每个词的权重分别是构成的向量，每个词的权重分别是3 3、5 5、1 1。然后，通。然后，通过计算向量之间的相似度便可以将与用户查询
121、最相关的信过计算向量之间的相似度便可以将与用户查询最相关的信息返回给用户。向量空间模型的研究内容包括关键词的选息返回给用户。向量空间模型的研究内容包括关键词的选择，权重的计算方法和相似度的计算方法。择，权重的计算方法和相似度的计算方法。253专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1 6.4.1 文本检索文本检索 u 基于文字的检索基于文字的检索 （3 3）概率检索模型通过概率的方法将查询和文档联）概率检索模型通过概率的方法将查询和文档联系起来。同向量空间模型一样，查询和文档也都是用关键系起来。同向量空间模型一样，查询和文档也都是用关键词表示。概率检索模型需
122、要计算查询中的关键词在相关及词表示。概率检索模型需要计算查询中的关键词在相关及不相关文档中的分布概率，然后在查询和文档进行相似度不相关文档中的分布概率，然后在查询和文档进行相似度计算时，计算整个查询和文档的相关概率。相对于向量空计算时，计算整个查询和文档的相关概率。相对于向量空间模型而言，概率模型具有更深的理论基础。概率模型中间模型而言，概率模型具有更深的理论基础。概率模型中最关键的问题是计算关键词在与查询相关及不相关文档中最关键的问题是计算关键词在与查询相关及不相关文档中的概率。由于对每个查询而言，现实无法知道相关与不相的概率。由于对每个查询而言，现实无法知道相关与不相关文档，因此在计算时往
123、往基于某种假设。关文档，因此在计算时往往基于某种假设。254专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1 6.4.1 文本检索文本检索 u 基于文字的检索基于文字的检索 （4 4）统计语言检索模型通过语言的方法将查询和文）统计语言检索模型通过语言的方法将查询和文档联系起来。这种思想诞生了一系列的模型。最原始的统档联系起来。这种思想诞生了一系列的模型。最原始的统计语言检索模型是查询似然模型。简单地说，查询似然模计语言检索模型是查询似然模型。简单地说，查询似然模型首先认为每篇文档是在某种型首先认为每篇文档是在某种“语言语言”下生成的。在该下生成的。在该“语言语言”
124、下生成查询的可能性便可看成文档和查询之间的相下生成查询的可能性便可看成文档和查询之间的相似度。所谓似度。所谓“语言语言”，可以通过统计语言模型来刻画，即，可以通过统计语言模型来刻画，即某个词、短语、语句的分布概率。因此，查询似然模型通某个词、短语、语句的分布概率。因此，查询似然模型通常包括两个步骤：首先对每个文档估计其统计语言模型，常包括两个步骤：首先对每个文档估计其统计语言模型，然后利用这个统计语言模型计算其生成查询的概率。然后利用这个统计语言模型计算其生成查询的概率。 255专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1 6.4.1 文本检索文本检索 u 基
125、于结构的检索基于结构的检索 和基于文字的检索不同，基于结构的检索要用到文档和基于文字的检索不同，基于结构的检索要用到文档的结构信息。文档的结构包括内部结构和外部结构。所谓的结构信息。文档的结构包括内部结构和外部结构。所谓内部结构，是指文档除文字之外的格式、位置等信息；所内部结构，是指文档除文字之外的格式、位置等信息；所谓外部结构，是指文档之间的基于某种关联构成的谓外部结构，是指文档之间的基于某种关联构成的“关系关系网网”，如可以根据文档之间的引用关系形成，如可以根据文档之间的引用关系形成“引用关系网引用关系网”。基于结构的检索通常不会单独使用，可以和基于文字。基于结构的检索通常不会单独使用，可
126、以和基于文字的检索联合使用。的检索联合使用。256专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1 6.4.1 文本检索文本检索 u 基于结构的检索基于结构的检索 在基于内部结构的检索中，可以利用文字所在的位置、在基于内部结构的检索中，可以利用文字所在的位置、格式等信息来更改其在文字检索中的权重。举例来说，各格式等信息来更改其在文字检索中的权重。举例来说，各级标题、句首、级标题、句首、htmIhtmI文件中的锚文本可以赋予更高的权重。文件中的锚文本可以赋予更高的权重。基于外部结构的检索可以是基于基于外部结构的检索可以是基于WEBWEB网页之间的链接关系，网页之间的
127、链接关系，”链接分析链接分析”技术。实际上它或多或少地沿袭了图书情报技术。实际上它或多或少地沿袭了图书情报学中的文献引用思想学中的文献引用思想被越重要的文献引用、引用次数被越重要的文献引用、引用次数越多的文献具有更大的价值。越多的文献具有更大的价值。 257专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1 6.4.1 文本检索文本检索 u 基于用户信息的检索基于用户信息的检索 不论是基于文字还是基于结构的检索，都是从查询或不论是基于文字还是基于结构的检索，都是从查询或者文档出发来计算相似度。实际上，用户是信息检索最重者文档出发来计算相似度。实际上，用户是信息检索最
128、重要的一个组成成份。就查询来说，是为了表示用户的真正要的一个组成成份。就查询来说，是为了表示用户的真正需求；就检索结果来说。用户的认可才是检索的目的。因需求；就检索结果来说。用户的认可才是检索的目的。因此，在信息检索过程中不能忽略用户这个重要因素。利用此，在信息检索过程中不能忽略用户这个重要因素。利用用户本身的信息及参与过程中的行为信息的检索称为基于用户本身的信息及参与过程中的行为信息的检索称为基于用户信息的检索。用户信息的检索。258专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1 6.4.1 文本检索文本检索 u 基于用户信息的检索基于用户信息的检索 从理论上
129、说，用户的很多信息都可以用于提高信息检从理论上说，用户的很多信息都可以用于提高信息检索的质量。比如用户的性别、年龄、职业、教育背景、阅索的质量。比如用户的性别、年龄、职业、教育背景、阅读习惯等等都可以用于信息检索。但实际上，一方面这些读习惯等等都可以用于信息检索。但实际上，一方面这些信息不易获得信息不易获得; ;另一方面，即使能获得这些信息，这些信另一方面，即使能获得这些信息，这些信息能不能适用于所有用户的信息检索还值得怀疑。所以，息能不能适用于所有用户的信息检索还值得怀疑。所以，目前的信息检索通常仅根据用户的访问行为获取信息，这目前的信息检索通常仅根据用户的访问行为获取信息，这个过程称为用户
130、建模，这种方法也称为基于用户行为的检个过程称为用户建模，这种方法也称为基于用户行为的检索方法。索方法。259专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.1 6.4.1 文本检索文本检索 u 基于用户信息的检索基于用户信息的检索 基于用户行为的检索又可以分为基于单个用户个体访基于用户行为的检索又可以分为基于单个用户个体访问行为的检索和基于群体用户访问行为的检索。顾名思义，问行为的检索和基于群体用户访问行为的检索。顾名思义，基于单个用户个体访问行为主要分析当前检索用户的访问基于单个用户个体访问行为主要分析当前检索用户的访问习惯来提高信息检索的质量。而基于群体用户访问
131、行为主习惯来提高信息检索的质量。而基于群体用户访问行为主要是通过用户之间的相似性来指导信息检索，其假设具有要是通过用户之间的相似性来指导信息检索，其假设具有相似兴趣的用户会访问同一网页。因此，可以通过分析群相似兴趣的用户会访问同一网页。因此，可以通过分析群体用户的访问习惯，来获得哪些用户之间具有相同兴趣的体用户的访问习惯，来获得哪些用户之间具有相同兴趣的信息。信息。 260专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 关于图像检索的研究可以追溯到关于图像检索的研究可以追溯到2020世纪世纪7070年代，当时年代，当时主要是基于文本
132、的图像检索技术主要是基于文本的图像检索技术(Text-based Image (Text-based Image Retrieval,Retrieval,简称简称TBIR)TBIR)，即利用文本描述的方式表示图像，即利用文本描述的方式表示图像的特征，这时的图像检索实际是文本检索。到的特征，这时的图像检索实际是文本检索。到9090年代以后，年代以后，出现了基于内容的图像检索出现了基于内容的图像检索(Content-based Image (Content-based Image RetrievalRetrieval，简称，简称CBIR)CBIR)，即对图像的视觉内容，如图像的，即对图像的视觉内容
133、，如图像的颜色、纹理、形状等进行分析和检索，并有许多颜色、纹理、形状等进行分析和检索，并有许多CBIRCBIR系统系统相继问世。但实践证明，相继问世。但实践证明，TBIRTBIR和和CBIRCBIR这两种技术远不能满这两种技术远不能满足人们对图像检索的要求。为了使图像检索系统更加接近足人们对图像检索的要求。为了使图像检索系统更加接近人对图像的理解，研究者们又提出了基于语义的图像检索人对图像的理解，研究者们又提出了基于语义的图像检索(Semantic-based Image Retrieval(Semantic-based Image Retrieval，简称，简称SBIR)SBIR)，试图从，
134、试图从语义层次解决图像检索问题。语义层次解决图像检索问题。 261专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 文献文献5858给出了一个简化了的图像内容的层次模型，给出了一个简化了的图像内容的层次模型，如图如图6-156-15所示。第所示。第1 1层为原始数据层，第层为原始数据层，第2 2层为物理特征层，层为物理特征层，第第3 3层为语义特征层。下面分别对层为语义特征层。下面分别对CBIRCBIR和和SBIRSBIR技术进行阐技术进行阐述。述。 262专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2
135、 6.4.2 图像检索图像检索 u 基于内容的图像检索基于内容的图像检索 基于内容的图像检索（基于内容的图像检索（CBIRCBIR），即把图像的视觉特征，），即把图像的视觉特征，例如颜色、纹理结构和形状等，作为图像内容抽取出来，例如颜色、纹理结构和形状等，作为图像内容抽取出来，并进行匹配、查找。迄今，已有许多基于内容的图像检索并进行匹配、查找。迄今，已有许多基于内容的图像检索系统问世，如系统问世，如QBICQBIC，MARSMARS，WebSEEKWebSEEK和和PhotobookPhotobook等。等。263专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2
136、6.4.2 图像检索图像检索 u 基于内容的图像检索基于内容的图像检索 （1 1）特征提取。特征提取功能是）特征提取。特征提取功能是CBIRCBIR系统的基础，系统的基础，在很大程度上决定了在很大程度上决定了CBIRCBIR系统的成败。目前，对系统的成败。目前，对CBIRCBIR系统系统的研究都集中在特征提取上。图像检索中用得较多的视觉的研究都集中在特征提取上。图像检索中用得较多的视觉特征包括颜色、纹理和形状。特征包括颜色、纹理和形状。264专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于内容的图像检索基于内容的图像检索 颜
137、色是一幅图像最直观的属性，因此颜色特征也最早颜色是一幅图像最直观的属性，因此颜色特征也最早被图像检索系统采用。最常用的表示颜色特征的方法是颜被图像检索系统采用。最常用的表示颜色特征的方法是颜色直方图。颜色直方图描述了不同色彩在整幅图中所占的色直方图。颜色直方图描述了不同色彩在整幅图中所占的比例，但不关心每种色彩所处的位置，即无法描述图像中比例，但不关心每种色彩所处的位置，即无法描述图像中的对象或物体。除了颜色直方图之外，常用的颜色特征表的对象或物体。除了颜色直方图之外，常用的颜色特征表示方法还有颜色矩和颜色相关图。颜色矩采用颜色的一阶示方法还有颜色矩和颜色相关图。颜色矩采用颜色的一阶矩、二阶矩
138、、三阶矩来表示图像的颜色分布。颜色相关图矩、二阶矩、三阶矩来表示图像的颜色分布。颜色相关图不但可以刻画某一颜色的像素数量占整个图像的比例，还不但可以刻画某一颜色的像素数量占整个图像的比例，还能够反映不同颜色对之间的空间距离相关性。能够反映不同颜色对之间的空间距离相关性。265专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于内容的图像检索基于内容的图像检索 纹理是一种不依赖于颜色或亮度的、反映图像中同质纹理是一种不依赖于颜色或亮度的、反映图像中同质现象的视觉特征，它包含了物体表面结构组织排列的重要现象的视觉特征，它包含了物体表
139、面结构组织排列的重要信息以及它们与周围环境的联系。主要的视觉纹理有粗糙信息以及它们与周围环境的联系。主要的视觉纹理有粗糙度、对比度、方向度、线像度、规整度和粗略度。图像检度、对比度、方向度、线像度、规整度和粗略度。图像检索中用到的纹理特征表示方法主要有索中用到的纹理特征表示方法主要有TamuraTamura法、小波变换法、小波变换和自回归纹理模型。和自回归纹理模型。266专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于内容的图像检索基于内容的图像检索 图像中物体和区域的形状是图像表示和图像检索中经图像中物体和区域的形状是图像
140、表示和图像检索中经常用到的另一类重要特征。通常形状可以分为两类，即基常用到的另一类重要特征。通常形状可以分为两类，即基于边界的形状和基于区域的形状，前者指的是物体的外边于边界的形状和基于区域的形状，前者指的是物体的外边界，而后者则关系到整个形状区域。描述这两类特征的最界，而后者则关系到整个形状区域。描述这两类特征的最典型的方法分别是傅立叶描述符和形状无关矩。典型的方法分别是傅立叶描述符和形状无关矩。 267专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于内容的图像检索基于内容的图像检索 （2 2）查询方式。）查询方式。CBI
141、RCBIR系统向用户提供的查询方式与系统向用户提供的查询方式与其他检索系统有很大的区别，一般有示例查询和草图查询其他检索系统有很大的区别，一般有示例查询和草图查询两种方式。示例查询就是由用户提交一个或几个图例，然两种方式。示例查询就是由用户提交一个或几个图例，然后由系统检索出特征与之相似的图像。这里的后由系统检索出特征与之相似的图像。这里的“相似相似”，指的是上述的颜色、纹理和形状等几个视觉特征上的相似。指的是上述的颜色、纹理和形状等几个视觉特征上的相似。草图查询是指用户简单地画一幅草图，比如在一个蓝色的草图查询是指用户简单地画一幅草图，比如在一个蓝色的矩形上方画一个红色的圆圈，来表示海上日出
142、，由系统检矩形上方画一个红色的圆圈，来表示海上日出，由系统检索出视觉特征上与之相似的图像。索出视觉特征上与之相似的图像。 268专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于语义的图像检索基于语义的图像检索 虽然图像的视觉特征在一定程度上能代表图像包含的虽然图像的视觉特征在一定程度上能代表图像包含的信息，但事实上，人们判断图像的相似性并非仅仅建立在信息，但事实上，人们判断图像的相似性并非仅仅建立在视觉特征的相似性上。更多的状况下，用户主要根据图像视觉特征的相似性上。更多的状况下，用户主要根据图像表现的含义，而不是颜色、纹理
143、、形状等特征，来判别图表现的含义，而不是颜色、纹理、形状等特征，来判别图像满足自己需要的程度。这些图像的含义就是图像的高层像满足自己需要的程度。这些图像的含义就是图像的高层语义特征，它包含了人对图像内容的理解。基于语义的图语义特征，它包含了人对图像内容的理解。基于语义的图像检索（像检索（SBIRSBIR）的目的，就是要使计算机检索图像的能力）的目的，就是要使计算机检索图像的能力接近人的理解水平。在图接近人的理解水平。在图1 1所示的图像内容层次模型中，所示的图像内容层次模型中，语义位于第语义位于第3 3层。第层。第2 2层和第层和第3 3层之间的差别被许多学者称层之间的差别被许多学者称为为“语
144、义鸿沟语义鸿沟”。269专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于语义的图像检索基于语义的图像检索 语义鸿沟的存在是目前语义鸿沟的存在是目前CBIRCBIR系统还难以被普遍接受的系统还难以被普遍接受的原因。在某些特殊的专业领域，比如指纹识别和医学图像原因。在某些特殊的专业领域，比如指纹识别和医学图像检索中，将图像底层特征和高层语义建立某种联系是可能检索中，将图像底层特征和高层语义建立某种联系是可能的，但是在广泛领域内，底层视觉特征与高层语义之间并的，但是在广泛领域内，底层视觉特征与高层语义之间并没有很直接的联系。如何最
145、大限度地减小图像简单视觉特没有很直接的联系。如何最大限度地减小图像简单视觉特征和丰富语义之间的鸿沟问题，是语义图像检索研究的核征和丰富语义之间的鸿沟问题，是语义图像检索研究的核心。其中的关键技术就是如何获取图像的语义信息。心。其中的关键技术就是如何获取图像的语义信息。270专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于语义的图像检索基于语义的图像检索 如图如图6-166-16所示，三个虚线框分别表示图像语义的三所示，三个虚线框分别表示图像语义的三种获取方法：利用系统知识的语义提取、基于系统交互种获取方法：利用系统知识的语义
146、提取、基于系统交互的语义生成和基于外部信息的语义提取。的语义生成和基于外部信息的语义提取。271专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于语义的图像检索基于语义的图像检索 （1 1）利用系统知识的语义提取。利用系统知识的语）利用系统知识的语义提取。利用系统知识的语义提取又可分为两类，即基于对象识别的处理方法和全义提取又可分为两类，即基于对象识别的处理方法和全局处理方法。局处理方法。 基于对象识别的处理方法有三个关键的步骤：即图基于对象识别的处理方法有三个关键的步骤：即图像分割、对象识别和对象空间关系分析，前一个步骤都像
147、分割、对象识别和对象空间关系分析，前一个步骤都是下一个处理步骤的基础。该方法可以在特定的应用领是下一个处理步骤的基础。该方法可以在特定的应用领域获得很好的效果，前提是需要预先给系统提供该领域域获得很好的效果，前提是需要预先给系统提供该领域的必要知识。的必要知识。 272专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于语义的图像检索基于语义的图像检索 一个典型的例子是判断男士西服的类别，系统首先一个典型的例子是判断男士西服的类别，系统首先通过图像分割技术，划分出衣服上的纽扣、领带等区域，通过图像分割技术，划分出衣服上的纽扣、领
148、带等区域，然后根据西服是单排纽扣还是双排纽扣、扣子的数量、然后根据西服是单排纽扣还是双排纽扣、扣子的数量、领带的图案和衬衫的颜色来判断西服样式是属于正式的、领带的图案和衬衫的颜色来判断西服样式是属于正式的、休闲的还是传统的。一般而言，只有通过图像分割，才休闲的还是传统的。一般而言，只有通过图像分割，才能有效地获取图像的语义信息。能有效地获取图像的语义信息。 273专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于语义的图像检索基于语义的图像检索 （2 2）基于系统交互的语义生成。完全从图像的视）基于系统交互的语义生成。完全从图
149、像的视觉特征中自动抽取出图像的语义，还存在许多难以克服觉特征中自动抽取出图像的语义，还存在许多难以克服的困难。通过人工交互的方式来生成图像语义，是许多的困难。通过人工交互的方式来生成图像语义，是许多检索系统都公认的行之有效的方法。人工交互的语义生检索系统都公认的行之有效的方法。人工交互的语义生成，主要包括图像预处理和反馈学习两个方面。成，主要包括图像预处理和反馈学习两个方面。274专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于语义的图像检索基于语义的图像检索 预处理就是事先对图像进行标注，可以是人工标注或预处理就是事先对图
150、像进行标注，可以是人工标注或自动标注。反馈机制则用来修正这些标注，使之不断趋于自动标注。反馈机制则用来修正这些标注，使之不断趋于准确。微软研究院开发的准确。微软研究院开发的iFindiFind系统，就是一个典型的例系统，就是一个典型的例子。子。iFindiFind系统提出了一种利用用户的检索和随后的反馈系统提出了一种利用用户的检索和随后的反馈机制来获取图像关键词的方法：首先，用户输入一些关键机制来获取图像关键词的方法：首先，用户输入一些关键词，系统通过计算查询关键词和图像上所标注的关键词之词，系统通过计算查询关键词和图像上所标注的关键词之间的相似度，来得到最符合查询条件的图像集合；然后，间的相
151、似度，来得到最符合查询条件的图像集合；然后，用户在返回的查询结果中选择他所认为的相关或不相关的用户在返回的查询结果中选择他所认为的相关或不相关的图像，反馈学习机制据此修改每幅图像对应的关键词及其图像，反馈学习机制据此修改每幅图像对应的关键词及其权重。这个反馈过程将使得那些能够描述对应图像的关键权重。这个反馈过程将使得那些能够描述对应图像的关键词得到更大的权重，从而使图像的语义信息更加准确。词得到更大的权重，从而使图像的语义信息更加准确。275专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.2 6.4.2 图像检索图像检索 u 基于语义的图像检索基于语义的图像检索 （
152、3 3）基于外部信息的语义提取。外部信息指的是）基于外部信息的语义提取。外部信息指的是图像来源处的相关信息。例如在图像来源处的相关信息。例如在IntemetIntemet环境下，图像环境下，图像资源与一般独立图像不同，它们是嵌入在资源与一般独立图像不同，它们是嵌入在webweb文档中随文档中随之发布的，与之发布的，与webweb网页有着千丝万缕的联系，其中关系网页有着千丝万缕的联系，其中关系较大的包括较大的包括URLURL中的文件名、中的文件名、IMGIMG的的ALTALT域和图像前后的域和图像前后的文本等，可以从以上信息中抽取出图像的语义信息。文本等，可以从以上信息中抽取出图像的语义信息。
153、276专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 原始音频数据除了含有采样频率、量化精度、编码原始音频数据除了含有采样频率、量化精度、编码方法等有限的注册信息外，其本身仅仅是一种不含语义方法等有限的注册信息外，其本身仅仅是一种不含语义信息的非结构化的二进制流，因而音频检索受到极大的信息的非结构化的二进制流，因而音频检索受到极大的限制。相对于日益成熟的文本和图像检索，音频检索显限制。相对于日益成熟的文本和图像检索，音频检索显得相对滞后。在得相对滞后。在2020世纪世纪9090年代末，基于内容的音频检索年代末，基于内容的音频检索才成
154、为多媒体检索技术的研究热点。才成为多媒体检索技术的研究热点。277专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u 音频检索的系统结构音频检索的系统结构 图图6-176-17给出了音频检索的系统结构。图的左边是原给出了音频检索的系统结构。图的左边是原始音频数据的预处理模块，图右边是用户的查询模块，始音频数据的预处理模块，图右边是用户的查询模块，图的下方是元数据库和音频媒体数据库。图的下方是元数据库和音频媒体数据库。278专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u
155、 音频检索的系统结构音频检索的系统结构 如果原始音频是一段长音频，那么在特征提取之前如果原始音频是一段长音频，那么在特征提取之前需要进行分割处理，把长音频分割为多个小的音频区段。需要进行分割处理，把长音频分割为多个小的音频区段。通过分割处理，可以获得音频录音的结构关系。对分割通过分割处理，可以获得音频录音的结构关系。对分割好的音频片段进行特征提取。音频经过样本的训练和分好的音频片段进行特征提取。音频经过样本的训练和分类，建立分类目录；语音识别把语音信号转换为文本，类，建立分类目录；语音识别把语音信号转换为文本，存入文本库；提取的声音特征保存在特征数据库中，并存入文本库；提取的声音特征保存在特征
156、数据库中，并将元数据库中的记录与音频数据库中的媒体记录关联起将元数据库中的记录与音频数据库中的媒体记录关联起来。来。279专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u 音频检索的系统结构音频检索的系统结构 用户通过用户查询接口检索音频信息，用户查询接用户通过用户查询接口检索音频信息，用户查询接口主要有两个功能：口主要有两个功能：把用户提供的待检索音频信号提把用户提供的待检索音频信号提交到图左边的音频信号预处理模块进行预处理，再向检交到图左边的音频信号预处理模块进行预处理，再向检索引擎提交预处理结果；索引擎提交预处理结果；接收检
157、索返回结果反馈给用接收检索返回结果反馈给用户。用户可以查询音频信息或浏览分类目录，对于长段户。用户可以查询音频信息或浏览分类目录，对于长段的音频，可以进行基于内容的浏览，即根据音频的结构的音频，可以进行基于内容的浏览，即根据音频的结构进行非线性浏览。检索引擎利用相似性和相关度来搜索进行非线性浏览。检索引擎利用相似性和相关度来搜索用户要求的信息。查询矢量和库中音频矢量之间的相似用户要求的信息。查询矢量和库中音频矢量之间的相似性由距离测度决定。每类特征都可以有不同的距离测度性由距离测度决定。每类特征都可以有不同的距离测度方法，以便在特定应用或实现中更为有效。方法，以便在特定应用或实现中更为有效。2
158、80专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u 音频特征提取及分类音频特征提取及分类 在音频自动分类中常用的特征一般有能量、基频、带在音频自动分类中常用的特征一般有能量、基频、带宽等物理特征，以及响度、音调、亮度和音色等感觉特征，宽等物理特征，以及响度、音调、亮度和音色等感觉特征，还有过零率等特征。下面简要介绍几种音频特征：还有过零率等特征。下面简要介绍几种音频特征： （1 1）带宽）带宽(Bandwidth)(Bandwidth)指的是取样信号的频率值范围指的是取样信号的频率值范围; ; （2 2）响度）响度(Loudne
159、ss)(Loudness)是判断声音数据有声或无声的基是判断声音数据有声或无声的基本依据，它是通过分贝表示的短时傅立叶变化，计算出信本依据，它是通过分贝表示的短时傅立叶变化，计算出信号的平方根，还可以用音强求和模型来对音强时间序列进号的平方根，还可以用音强求和模型来对音强时间序列进一步进行处理；一步进行处理； （3 3）过零率）过零率(Zero(Zerocrossing Rate)crossing Rate)是指在一个短时帧是指在一个短时帧内，离散采样信号值由正到负和由负到正变化的次数，这内，离散采样信号值由正到负和由负到正变化的次数，这个量大概能够反映信号在短时帧里的平均频率。个量大概能够反
160、映信号在短时帧里的平均频率。281专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u 音频信号流的分割音频信号流的分割 （1 1）分层分割算法。当一种音频转换成另外一种音）分层分割算法。当一种音频转换成另外一种音频时，主要的几个特征会发生变换，每次选取一个发生频时，主要的几个特征会发生变换，每次选取一个发生变换最大的音频特征，从粗到细，逐步将音频分割成不变换最大的音频特征，从粗到细，逐步将音频分割成不同的音频例子。同的音频例子。 （2 2）压缩窗域分割算法。随着）压缩窗域分割算法。随着MPEGMPEG压缩格式成为多压缩格式成为多媒体
161、编码主流，直接对媒体编码主流，直接对MP3MP3格式的音频信号提取特征，基格式的音频信号提取特征，基于提取的压缩域特征实现音频分割；于提取的压缩域特征实现音频分割； （3 3）模板分割算法。为一段音频流建立一个模板，）模板分割算法。为一段音频流建立一个模板，使用这个模板去模拟音频信号流的时序变化，达到音频使用这个模板去模拟音频信号流的时序变化，达到音频数据流分割目的。数据流分割目的。282专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u 音频信号流的分割音频信号流的分割 对分割出来的音频进行分类属于模式识别问题，其对分割出来的音频
162、进行分类属于模式识别问题，其任务是通过相似度匹配算法将相似物体归属到一类。基任务是通过相似度匹配算法将相似物体归属到一类。基于隐马尔可夫链模型和支持向量机模型，能够尽可能地于隐马尔可夫链模型和支持向量机模型，能够尽可能地对分割出来的音频进行归类。对分割出来的音频进行归类。283专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u 音频内容的描述和索引音频内容的描述和索引 国际标准化组织国际标准化组织(ISO)(ISO)从从19961996年开始制定多媒体内容年开始制定多媒体内容描述的标准描述的标准多媒体内容描述接口多媒体内容描述接口(
163、Multimedia (Multimedia content description Imerface)content description Imerface)，简称，简称MPEG-7MPEG-7，其目标，其目标是制定多媒体资源的索引、搜索和检索的互操作性接口，是制定多媒体资源的索引、搜索和检索的互操作性接口，以支持基于内容的检索和过滤等应用。经由以支持基于内容的检索和过滤等应用。经由MPEG-7MPEG-7的描的描述符和描述模式可以描述音频的特征空间、结构信息和述符和描述模式可以描述音频的特征空间、结构信息和内容语义，并且建立音频内容的结构化组织和索引，从内容语义，并且建立音频内容的结构化
164、组织和索引，从而为具有互操作性的音频检索和过滤等服务提供支持。而为具有互操作性的音频检索和过滤等服务提供支持。284专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u 音频检索方法音频检索方法 基于内容的音频检索，是指通过音频特征分析，对基于内容的音频检索，是指通过音频特征分析，对不同音频数据赋以不同的语义，使具有相同语义的音频不同音频数据赋以不同的语义，使具有相同语义的音频在听觉上保持相似。目前用户检索音频的方法主要有主在听觉上保持相似。目前用户检索音频的方法主要有主观描述查询观描述查询(Query by Description)
165、(Query by Description)、示例查询、示例查询(Query (Query by Example)by Example)、拟声查询、拟声查询(Query by Onomatopoeia)(Query by Onomatopoeia)、表、表格查询格查询(Query by Table)(Query by Table)和浏览和浏览(Browsing)(Browsing)。285专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u 音频检索方法音频检索方法 （1 1）主观描述查询）主观描述查询(Query by Descri
166、ption)(Query by Description)是提交是提交一个语义描述，例如一个语义描述，例如“摇滚音乐摇滚音乐”或或“噪声噪声”等这样的等这样的关键词，然后把包含了这些语义标注的音频或歌曲寻找关键词，然后把包含了这些语义标注的音频或歌曲寻找出来，反馈给用户。用户也可以通过描述音频的主观感出来，反馈给用户。用户也可以通过描述音频的主观感受，例如，受，例如，“欢快欢快”还是还是“舒缓舒缓”，来说明其所要检索，来说明其所要检索的音频的主观的音频的主观( (感觉感觉) )特性。特性。 （2 2）示例查询）示例查询(Query by Emmple)(Query by Emmple)是提交一个
167、音频是提交一个音频范例，提取这个音频范例的特征，如飞机的轰鸣声，按范例，提取这个音频范例的特征，如飞机的轰鸣声，按照音频范例识别方法判断其属于哪一类，然后把属于该照音频范例识别方法判断其属于哪一类，然后把属于该类的音频返回给用户。类的音频返回给用户。 286专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.3 音频检索音频检索 u 音频检索方法音频检索方法 （3 3）拟声查询）拟声查询(Query by Onomatopoeia)(Query by Onomatopoeia)是指用户是指用户发出与要查找的声音相似的声音来表达检索要求，例如，发出与要查找的声
168、音相似的声音来表达检索要求，例如，人们并不知道某首歌曲的名字和演唱者，但是对某些歌人们并不知道某首歌曲的名字和演唱者，但是对某些歌曲的旋律和风格非常熟悉，于是人们可以将他熟悉的旋曲的旋律和风格非常熟悉，于是人们可以将他熟悉的旋律律“哼哼”出来，把这些旋律通过麦克风数字化输入给计出来，把这些旋律通过麦克风数字化输入给计算机，计算机就可以使用搜索引擎去寻找一些歌曲，使算机，计算机就可以使用搜索引擎去寻找一些歌曲，使反馈给用户的歌曲中包含用户所反馈给用户的歌曲中包含用户所“哼哼”的旋律或风格。的旋律或风格。287专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.3 6.4.
169、3 音频检索音频检索 u 音频检索方法音频检索方法 （4 4）表格查询）表格查询(Query by Table)(Query by Table)是指用户选择一些是指用户选择一些音频的声学物理特征并且给出特征值的模糊范围来描述音频的声学物理特征并且给出特征值的模糊范围来描述其检索要求，例如，音量、基音频率等。其检索要求，例如，音量、基音频率等。 （5 5）浏览）浏览(Browsing)(Browsing)也是用户进行查询的重要手段。也是用户进行查询的重要手段。但是，浏览需要事先建立音频的结构化的组织和索引，但是，浏览需要事先建立音频的结构化的组织和索引，例如音频的分类和摘要等，否则浏览的效率将会
170、非常低例如音频的分类和摘要等，否则浏览的效率将会非常低下。下。 上述几种查询方法并不是孤立的，它们可以组合使上述几种查询方法并不是孤立的，它们可以组合使用，以取得最佳的检索效果。用，以取得最佳的检索效果。288专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.4 6.4.4 视频检索视频检索 视频数据作为一种动态、直观、形象的数字媒体，视频数据作为一种动态、直观、形象的数字媒体，以其稳定性、扩展性和交互性等优势，应用越来越广泛。以其稳定性、扩展性和交互性等优势，应用越来越广泛。视频数据包括幕、场景、镜头和帧，是一个二维图像流视频数据包括幕、场景、镜头和帧，是一个二维图
171、像流序列，是非结构化的最复杂的多媒体信息。视频检索序列，是非结构化的最复杂的多媒体信息。视频检索(Video Retrieval)(Video Retrieval)指根据用户提出的检索请求，从视频指根据用户提出的检索请求，从视频数据库中快速地提取出相关的图像或图像序列的过程。数据库中快速地提取出相关的图像或图像序列的过程。2020世纪世纪9090年代以来已有许多在视频内容的分析、结构化年代以来已有许多在视频内容的分析、结构化以及语义理解方面的研究，并取得了一些实验性的成果。以及语义理解方面的研究，并取得了一些实验性的成果。目前，国内外已研发出了多个基于内容的视频检索系统，目前，国内外已研发出了
172、多个基于内容的视频检索系统，例如例如IBMIBM的的QBICQBIC系统、美国哥伦比亚大学的系统、美国哥伦比亚大学的VisualSeekVisualSeek系系统和统和VideoQVideoQ系统、清华大学的系统、清华大学的TV-FITV-FI系统。系统。289专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.4 6.4.4 视频检索视频检索 u 视频检索的分类视频检索的分类 从检索形式可将视频检索分为两种类型：基于文本从检索形式可将视频检索分为两种类型：基于文本( (关键字关键字) )的检索，其检索效率取决于对视频的文本描述，的检索，其检索效率取决于对视频的文本描述
173、，难点在于如何对视频进行全面的自动的或半自动的描述；难点在于如何对视频进行全面的自动的或半自动的描述；基于示例基于示例( (视频片断帧视频片断帧) )的检索，其优点是可以通过自的检索，其优点是可以通过自动地提取视听特征进行检索，难点在于相似性如何计算，动地提取视听特征进行检索，难点在于相似性如何计算，以及用户难以找到合适的示例。以及用户难以找到合适的示例。290专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.4 6.4.4 视频检索视频检索 u 视频检索的关键技术视频检索的关键技术 （1 1）关键帧提取。关键帧是用于描述一个镜头的）关键帧提取。关键帧是用于描述一个镜
174、头的关键图像帧，它反映一个镜头的主要内容。关键帧的选关键图像帧，它反映一个镜头的主要内容。关键帧的选取一方面必须能够反映镜头中的主要事件，另一方面要取一方面必须能够反映镜头中的主要事件，另一方面要便于检索。关键帧的选取方法很多，比较经典的有帧平便于检索。关键帧的选取方法很多，比较经典的有帧平均法和直方图平均法。均法和直方图平均法。 （2 2）图像特征提取。特征提取可以针对图像内容）图像特征提取。特征提取可以针对图像内容的底层物理特征进行提取，如颜色、图像轮廓特征等。的底层物理特征进行提取，如颜色、图像轮廓特征等。特征的表示方式有三种：数值信息、关系信息和文字信特征的表示方式有三种：数值信息、关
175、系信息和文字信息。目前，多数系统采用的都是数值信息。息。目前，多数系统采用的都是数值信息。291专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.4 6.4.4 视频检索视频检索 u 视频检索的关键技术视频检索的关键技术 （3 3）相似性度量。早期的工作主要是从视频中提取）相似性度量。早期的工作主要是从视频中提取关键帧，把视频检索转化为图像检索。例如通常情况下，关键帧，把视频检索转化为图像检索。例如通常情况下，图像的特征向量可看作是多维空间中的一点，因此很自然图像的特征向量可看作是多维空间中的一点，因此很自然的想法就是用特征空间中点与点之间的距离来代他们的匹的想法就是
176、用特征空间中点与点之间的距离来代他们的匹配程度，距离度量是一个比较常用的方法，此外还有相关配程度，距离度量是一个比较常用的方法，此外还有相关性计算、关联系数计算等。性计算、关联系数计算等。292专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.4 6.4.4 视频检索视频检索 u 视频检索的关键技术视频检索的关键技术 在片段检索上，研究方法可以分为两类：在片段检索上，研究方法可以分为两类：1 1）把视频）把视频片段分为片段、帧两层考虑，片段的相似性利用组成它的片段分为片段、帧两层考虑，片段的相似性利用组成它的帧的相似性来直接度量；帧的相似性来直接度量；2 2）把视频片
177、段分为片段、镜头、）把视频片段分为片段、镜头、帧三层考虑，片段的相似性通过组成它的镜头的相似性来帧三层考虑，片段的相似性通过组成它的镜头的相似性来度量，而镜头的相似性通过它的一个关键帧或所有帧的相度量，而镜头的相似性通过它的一个关键帧或所有帧的相似性来度量。似性来度量。293专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.4 6.4.4 视频检索视频检索 u 视频检索的关键技术视频检索的关键技术 （4 4）查询方式。由于图像特征本身的复杂性，对查）查询方式。由于图像特征本身的复杂性，对查询条件的表达也具有多样性，使用的特征不同，对查询询条件的表达也具有多样性，使用的
178、特征不同，对查询的表达方式也不一样。目前查询方式基本上可归纳为以的表达方式也不一样。目前查询方式基本上可归纳为以下几种：底层物理特征查询、自定义特征查询、局部图下几种：底层物理特征查询、自定义特征查询、局部图像查询和语义特征查询。像查询和语义特征查询。 （5 5）视频片断的匹配。由于同一镜头连续图像帧的）视频片断的匹配。由于同一镜头连续图像帧的相似性，使得经常出现同一样本图像的多个相似帧的出相似性，使得经常出现同一样本图像的多个相似帧的出现，因而需要在查询到的一系列视频图像中，找出最佳现，因而需要在查询到的一系列视频图像中，找出最佳的匹配图像序列。已经有研究提出了最优匹配法、最大的匹配图像序列
179、。已经有研究提出了最优匹配法、最大匹配法和动态规划算法等。匹配法和动态规划算法等。294专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.5 6.4.5 并行检索和分布式检索并行检索和分布式检索 u 并行计算和并行检索并行计算和并行检索 并行计算是将单个问题划分为多个较小的并行计算是将单个问题划分为多个较小的“子子”问问题，由多个处理器同时处理，每个处理器处理一个子问题，由多个处理器同时处理，每个处理器处理一个子问题，从而得到该问题的解。显然，由于并行计算能够同题，从而得到该问题的解。显然，由于并行计算能够同时利用多个处理器资源，因而能够高效地解决大规模计时利用多个处
180、理器资源，因而能够高效地解决大规模计算问题。并行检索是指采用并行计算的方法来进行检索。算问题。并行检索是指采用并行计算的方法来进行检索。295专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.5 6.4.5 并行检索和分布式检索并行检索和分布式检索 u 并行计算和并行检索并行计算和并行检索 利用并行计算实现信息检索，可以通过以下两种方利用并行计算实现信息检索，可以通过以下两种方式实现：式实现： （1 1）多条查询之间的并行处理，即每个处理器处理）多条查询之间的并行处理，即每个处理器处理不同的查询，每个查询的处理之间相互独立。这种方法不同的查询，每个查询的处理之间相互独
181、立。这种方法也称为任务级的并行检索。它可以同时处理多个查询请也称为任务级的并行检索。它可以同时处理多个查询请求，从而提高检索的吞吐量。求，从而提高检索的吞吐量。 （2 2）单条查询内部的并行处理，即对单个查询的计）单条查询内部的并行处理，即对单个查询的计算量进行分割，分成多个子任务，并分配到多个处理器算量进行分割，分成多个子任务，并分配到多个处理器上执行，然后将每个检索子任务的结果合并。这种检索上执行，然后将每个检索子任务的结果合并。这种检索也称为进程级并行检索。也称为进程级并行检索。296专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术 6.4.5 6.4.5 并行检索和分
182、布式检索并行检索和分布式检索 u 分布式计算和分布式检索分布式计算和分布式检索 分布式计算可以把分布在不同地理位置上的异构文分布式计算可以把分布在不同地理位置上的异构文档联合起来，形成一个更大的逻辑整体。分布式计算利档联合起来，形成一个更大的逻辑整体。分布式计算利用网络连接的多台计算机去求解一个问题。从广义上说，用网络连接的多台计算机去求解一个问题。从广义上说，分布式计算可以看成并行计算的一个特例。利用分布式分布式计算可以看成并行计算的一个特例。利用分布式计算进行信息检索称为分布式检索。计算进行信息检索称为分布式检索。 297专业课6.4 6.4 海量数据的快速检索技术海量数据的快速检索技术
183、6.4.5 6.4.5 并行检索和分布式检索并行检索和分布式检索 u 分布式计算和分布式检索分布式计算和分布式检索 分布式检索和并行检索的主要不同在于：分布式检索和并行检索的主要不同在于： （1 1）分布式检索通常处理的是地理位置分散的异）分布式检索通常处理的是地理位置分散的异构数据，不同地理位置的计算机之间通信开销比较大，构数据，不同地理位置的计算机之间通信开销比较大，因此，分布式检索中应该尽量避免不同地理位置计算机因此，分布式检索中应该尽量避免不同地理位置计算机系统之间的通信；而并行检索中处理器之间的通讯可以系统之间的通信；而并行检索中处理器之间的通讯可以通过共享内存来实现，通信开销小。通
184、过共享内存来实现，通信开销小。 （2 2）分布式检索可以把分布在不同地理位置上的）分布式检索可以把分布在不同地理位置上的异构文档联合起来，形成一个更大的逻辑整体。异构文档联合起来，形成一个更大的逻辑整体。 （3 3）分布式检索的对象的异构性使得在分布式检）分布式检索的对象的异构性使得在分布式检索中统一描述和访问时一个必须要考虑的问题。索中统一描述和访问时一个必须要考虑的问题。298专业课第七章第七章 物联网安全与隐私问题物联网安全与隐私问题7.1 7.1 物联网信息安全基础物联网信息安全基础 7.3 7.3 感知层安全问题感知层安全问题7.4 7.4 传输层的安全问题传输层的安全问题7.2 7
185、.2 物联网信息安全架构物联网信息安全架构 7.5 7.5 数据处理层的安全问题数据处理层的安全问题7.7.6 6 应用层的安全问题应用层的安全问题299专业课 u 物联网授权物联网授权u 物联网安全控制物联网安全控制u 物联网安全审计物联网安全审计u 物联网隐私保护物联网隐私保护7.2.1密密300专业课7.1 7.1 物联网信息安全基础物联网信息安全基础 7. 7.1.1 1.1 物联网信息加密物联网信息加密 u以确保使用者身份安全为核心的认证技术以确保使用者身份安全为核心的认证技术u确保安全传输的密钥建立及分发机制确保安全传输的密钥建立及分发机制u确保数据自身安全的数据加密确保数据自身安
186、全的数据加密u数数据安全协议据安全协议301专业课7.7.1 1 物联网信息安全基础物联网信息安全基础 7. 7.1.2 1.2 物联网授权物联网授权 u 物联网的可用性要求系统服务具有可以被授权实物联网的可用性要求系统服务具有可以被授权实体访问并按需求使用的特性体访问并按需求使用的特性u 物联网的保密性要求信息具有只能被授权用户使物联网的保密性要求信息具有只能被授权用户使用，不被泄漏的特征用，不被泄漏的特征u 物联网授权要求信息具有完整性，即要求信息具物联网授权要求信息具有完整性，即要求信息具有未经授权不能改变的特性有未经授权不能改变的特性302专业课7.7.1 1 物联网信息安全基础物联网
187、信息安全基础 7. 7.1.3 1.3 物联网安全控制物联网安全控制 u 信息具有不可抵赖性信息具有不可抵赖性u 信息具有可控性信息具有可控性u 多种多种技术方案提高传感器网络的安全性能技术方案提高传感器网络的安全性能303专业课7.7.1 1 物联网信息安全基础物联网信息安全基础 7. 7.1.4 1.4 物联网安全审计物联网安全审计 u 物联网安全审计要求物联网具有保密性与完整性物联网安全审计要求物联网具有保密性与完整性u 影响信息完整性的主要因素有：设备故障误码影响信息完整性的主要因素有：设备故障误码与与攻击攻击304专业课7.7.1 1 物联网信息安全基础物联网信息安全基础 7. 7.
188、1.5 1.5 物联网隐私保护物联网隐私保护 u 尊重个人隐私已经成为共识和共同需要尊重个人隐私已经成为共识和共同需要u 不同的人，不同的文化和民族，隐私的内涵各不相同不同的人，不同的文化和民族，隐私的内涵各不相同305专业课7.2 7.2 物联网信息安全架构物联网信息安全架构 7. 7.2.1 2.1 感知层的安全架构感知层的安全架构 u 感知层的安全需求感知层的安全需求u 感知层的安全架构感知层的安全架构306专业课7.2 7.2 物联网信息安全架构物联网信息安全架构 7. 7.2.2 2.2 传输层的安全架构传输层的安全架构 u 节点认证、数据节点认证、数据（流流）机密性机密性与与完整性
189、、完整性、DDOSDDOS攻攻击的检测与预防击的检测与预防u 移动网中一致性或兼容性、跨网络认证移动网中一致性或兼容性、跨网络认证u 相相关关密码技术密码技术u 组播和广播通信的认证性、机密性和完整性组播和广播通信的认证性、机密性和完整性307专业课7.2 7.2 物联网信息安全架构物联网信息安全架构 7. 7.2.3 2.3 数据处理层的安全架构数据处理层的安全架构 图图 7.4 7.4 数据处理层的安全架构数据处理层的安全架构 数据挖掘与数据处理移动设备定位与备份认证机制、密钥管理方案密钥管理机制数据处理层入侵防控处理、病毒检测数据机密性和完整性308专业课7.2 7.2 物联网信息安全架
190、构物联网信息安全架构 7. 7.2.4 2.4 应用层的安全架构应用层的安全架构 u 物联网综合应用层的安全机制物联网综合应用层的安全机制u 物联网综合应用层的安全架构物联网综合应用层的安全架构u 物联网物联网应用应用层层提出更提出更可靠的安全保障可靠的安全保障要求要求309专业课7.7.3 3 感知层安全问题感知层安全问题 7. 7.3 3. .1 1 RFIDRFID主要安全隐患主要安全隐患 u 窃听窃听u 中间人攻击中间人攻击u 欺骗、重放、克隆欺骗、重放、克隆u 物理破解物理破解u 篡改信息篡改信息u 拒绝服务攻击拒绝服务攻击u RFIDRFID病毒病毒u 其他其他安全隐患安全隐患31
191、0专业课7.7.3 3 感知层安全问题感知层安全问题 7. 7.3 3. .2 2 感知数据的安全处理方法感知数据的安全处理方法u 早期物理安全机制早期物理安全机制u“灭活灭活”标签标签u法拉第网罩法拉第网罩u主动干扰主动干扰u阻止标签阻止标签u 基于密码学的安全机制基于密码学的安全机制u哈希锁哈希锁u随机哈希锁随机哈希锁u哈希链哈希链u同步方法同步方法u树形协议树形协议u其他方法其他方法 基于基于PFUPFU的方法的方法 基于掩码的方法基于掩码的方法311专业课7.7.4 4 传输层的安全问题传输层的安全问题 7. 7.4 4. .1 1 传输层的安全挑战和安全需求传输层的安全挑战和安全需求
192、u 传输层的安全挑战传输层的安全挑战u 传输层的安全需求传输层的安全需求u 无线传感网络面临的安全问题无线传感网络面临的安全问题312专业课7.7.4 4 传输层的安全问题传输层的安全问题 7. 7.4 4. .2 2 传输层的安全处理方法传输层的安全处理方法u 对抗传感节点的物理操纵对抗传感节点的物理操纵u 应对信息窃听应对信息窃听u 保护私有性问题保护私有性问题u 防御拒绝服务攻击（防御拒绝服务攻击（DDOSDDOS）313专业课7.7.5 5 数据处理层的安全问题数据处理层的安全问题 7. 7.5 5. .1 1 数据处理层的安全挑战和安全需求数据处理层的安全挑战和安全需求u 数据处理层
193、的安全挑战数据处理层的安全挑战u 数据处理层需要高智能的处理机制数据处理层需要高智能的处理机制u 无线传感网络面临的安全问题无线传感网络面临的安全问题314专业课7.7.5 5 数据处理层的安全问题数据处理层的安全问题 7. 7.5 5. .2 2 数据处理层的安全处理方法数据处理层的安全处理方法u 针对数据外包存储的处理方案针对数据外包存储的处理方案u 数据可靠性处理方案数据可靠性处理方案u数据完整性验证数据完整性验证u数据恢复数据恢复315专业课7.7.6 6 应用层的安全问题应用层的安全问题 7. 7.6 6. .1 1 应用层的安全挑战和安全需求应用层的安全挑战和安全需求u 数据处理层
194、的安全挑战数据处理层的安全挑战u 用户隐私问题的提出用户隐私问题的提出u 位置隐私面临攻击位置隐私面临攻击316专业课7.7.6 6 应用层的安全问题应用层的安全问题 7. 7.6 6. .2 2 应用层的安全处理方法应用层的安全处理方法u 制度约束制度约束u 隐私方针隐私方针u 身份隐匿身份隐匿u 数据混淆数据混淆317专业课7.7.7 7 小结小结 本章主要介绍了物联网的安全体系结构本章主要介绍了物联网的安全体系结构, ,并针对物联网并针对物联网各层次所涉及到的安全上的技术问题与已提出的相应地解各层次所涉及到的安全上的技术问题与已提出的相应地解决方法进行介绍。决方法进行介绍。最后，本章重点
195、介绍了物联网中隐私问题的重要地位，最后，本章重点介绍了物联网中隐私问题的重要地位，并针对定位中的隐私问题的介绍了相关的解决方案。并针对定位中的隐私问题的介绍了相关的解决方案。318专业课第八章第八章 物联网的典型应用物联网的典型应用8.1 8.1 基于物联网的环境监控基于物联网的环境监控 8.3 8.3 基于物联网的智能交通管理基于物联网的智能交通管理8.4 8.4 基于物联网的物流管理基于物联网的物流管理8.2 8.2 基于物联网的智能家居基于物联网的智能家居 8.5 8.5 基于物联网的工业管理基于物联网的工业管理319专业课8.1 8.1 基于物联网的环境监控基于物联网的环境监控 8.1
196、.1 8.1.1 基于物联网技术的环境监控系统架构基于物联网技术的环境监控系统架构 u 感知层感知层( (“传感传感”) ) u 网络层网络层( (“传送传送”) )u 应用层应用层( (“传导和传达传导和传达”) ) 320专业课8.1 8.1 基于物联网的环境监控基于物联网的环境监控 8.1.2 8.1.2 基于物联网技术的环境监控关键技术基于物联网技术的环境监控关键技术 u 污染源自动监控污染源自动监控 u 环境在线监控环境在线监控u 环境卫星遥感环境卫星遥感321专业课8.1 8.1 基于物联网的环境监控基于物联网的环境监控 8.1.3 8.1.3 物联网技术在环境监控中的应用物联网技
197、术在环境监控中的应用 u 基于环境容量的自动监控自适应平衡基于环境容量的自动监控自适应平衡 u 环境自动监控系统与企业生产业务系统的对接和环境自动监控系统与企业生产业务系统的对接和信息交换信息交换u 自动监控运维管理自动监控运维管理u 机动车尾气排放监管机动车尾气排放监管u 排污总量排污总量 环境质量关联耦合环境质量关联耦合 u 天地一体化生态环境感知天地一体化生态环境感知u 与其它行业物联网的数据交换与其它行业物联网的数据交换 322专业课8.2 8.2 基于物联网的智能家居基于物联网的智能家居 8.2.1 8.2.1 基于物联网技术的智能家居组织架构基于物联网技术的智能家居组织架构 u 家
198、居综合布线系统家居综合布线系统 u 家居安防系统家居安防系统u 家庭自动化系统家庭自动化系统 u 场景环境预置场景环境预置 323专业课8.2 8.2 基于物联网的智能家居基于物联网的智能家居 8.2.2 8.2.2 基于物联网技术的智能家居关键技术基于物联网技术的智能家居关键技术 u 计算机软件技术与计算机网络技术计算机软件技术与计算机网络技术u 信息网络系统技术信息网络系统技术u 图像处理技术图像处理技术u 传感器技术传感器技术324专业课8.2 8.2 基于物联网的智能家居基于物联网的智能家居 8.2.3 8.2.3 物联网技术在智能家居中的应用物联网技术在智能家居中的应用 u 智能家电
199、控制智能家电控制u 安全防范系统安全防范系统 u 可视对讲功能可视对讲功能u 智能影音功能智能影音功能u 绿色节能功能绿色节能功能 u 情景模式设置情景模式设置325专业课8.3 8.3 基于物联网的智能交通管理基于物联网的智能交通管理 8.3.1 8.3.1 基于物联网技术的智能交通系统架构基于物联网技术的智能交通系统架构 u 信源：由车卡通过射频通讯提供信源：由车卡通过射频通讯提供 u 基站集群：信息处理系统的前端基站基站集群：信息处理系统的前端基站u 信息中心：信息处理系统的后台信息中心：信息处理系统的后台 326专业课8.3 8.3 基于物联网的智能交通管理基于物联网的智能交通管理 8
200、.3.2 8.3.2 基于物联网技术的智能交通关键技术基于物联网技术的智能交通关键技术 u 城市交通领域专用城市交通领域专用RFIDRFID标签标签 u 基站分布网络的优化基站分布网络的优化 u 多传感深度融合的系统集成关键技术多传感深度融合的系统集成关键技术 u 交通信息深度挖掘交通信息深度挖掘 327专业课8.3 8.3 基于物联网的智能交通管理基于物联网的智能交通管理 8.3.3 8.3.3 物联网技术在智能交通中的应用物联网技术在智能交通中的应用 u 交通执法管理交通执法管理u 需求管理需求管理 u 交通控制交通控制u 交通诱导交通诱导u 紧急事件处理紧急事件处理 u 为交通规划和基础
201、设施布设等提供很好的数据支撑为交通规划和基础设施布设等提供很好的数据支撑328专业课8.4 8.4 基于物联网的物流管理基于物联网的物流管理 8.4.1 8.4.1 基于物联网技术的物流管理系统架构基于物联网技术的物流管理系统架构 u 中间件通过服务器获得物品具体信息，并将数据中间件通过服务器获得物品具体信息，并将数据存入云计算平台中存入云计算平台中u 在货物及每辆货车上安装在货物及每辆货车上安装RFIDRFID标签标签 u 在配送中心仓库中布置网状的在配送中心仓库中布置网状的RFIDRFID射频识读器，射频识读器，同时在仓库出入口地面上布置地面的接受天线，货同时在仓库出入口地面上布置地面的接
202、受天线，货物的进出库信息以及车辆的定位信息，通过接受设物的进出库信息以及车辆的定位信息，通过接受设备传递给物流中间件备传递给物流中间件p物理系统架构物理系统架构329专业课8.4 8.4 基于物联网的物流管理基于物联网的物流管理 8.4.1 8.4.1 基于物联网技术的物流管理系统架构基于物联网技术的物流管理系统架构 u 直接为用户或管理员提供可视化的操作、查询直接为用户或管理员提供可视化的操作、查询webweb界面界面 u 云计算平台负责管理计算机硬件云计算平台负责管理计算机硬件u 基于人工智能方法的云计算应用程序基于人工智能方法的云计算应用程序 p软件系统架构软件系统架构u 业务逻辑层业务
203、逻辑层330专业课8.4 8.4 基于物联网的物流管理基于物联网的物流管理 8.4.2 8.4.2 基于物联网技术的物流管理关键技术基于物联网技术的物流管理关键技术 u 信息采集、信息处理的自动化技术信息采集、信息处理的自动化技术 u 商品实物运动等操作环节的自动化技术商品实物运动等操作环节的自动化技术u 管理和决策的自动化技术乃至智能化技术管理和决策的自动化技术乃至智能化技术331专业课8.4 8.4 基于物联网的物流管理基于物联网的物流管理 8.4.3 8.4.3 物联网技术在物流管理中的应用物联网技术在物流管理中的应用 通过物联网系统（这种物联网系统比传统的物流管理通过物联网系统（这种物
204、联网系统比传统的物流管理的智能化程度要高得多）实现的物流管理，可以通过的智能化程度要高得多）实现的物流管理，可以通过互联网上的互联网上的ONSONS服务器和服务器和PMLPML服务器可以对全世界所有服务器可以对全世界所有的物品进行全方位的管理和流动的物品进行全方位的管理和流动 332专业课8.5 8.5 基于物联网的工业管理基于物联网的工业管理 8.5.1 8.5.1 基于物联网技术的工业管理系统架构基于物联网技术的工业管理系统架构 u 传感层传感层u 传输层传输层u 应用层应用层 333专业课8.5 8.5 基于物联网的工业管理基于物联网的工业管理 8.5.2 8.5.2 基于物联网技术的工
205、业管理关键技术基于物联网技术的工业管理关键技术 u 泛在感知网络技术泛在感知网络技术u 泛在制造信息处理技术泛在制造信息处理技术 u 虚拟现实技术虚拟现实技术 u 人机交互技术人机交互技术 u 空间协同技术等空间协同技术等 334专业课8.5 8.5 基于物联网的工业管理基于物联网的工业管理 8.5.3 8.5.3 物联网技术在工业管理中的应用物联网技术在工业管理中的应用 将射频标签贴于工业流水的主要阶段，获取工业流程将射频标签贴于工业流水的主要阶段，获取工业流程控制的各种信息，如生产步骤、生产数量、生产能耗控制的各种信息，如生产步骤、生产数量、生产能耗等，将这些信息汇总到企业管理层，企业管理人员可等，将这些信息汇总到企业管理层，企业管理人员可以通过这些数据获取工业流程的实时状态，了解企业以通过这些数据获取工业流程的实时状态，了解企业效率。效率。335专业课
