《物联网基础架构：设备接入与大数据分析讲解》由会员分享，可在线阅读，更多相关《物联网基础架构：设备接入与大数据分析讲解（23页珍藏版）》请在金锄头文库上搜索。
1、物联联网基础础架构：设备设备 接入与大数据分析 Table of Contents 云服务面临大规模设备接入挑战 新的解决方案：Event Hub服务 Event Hub 安全模型 云服务面临大规模设备接入挑战 可变速率 可预测和不可预测 的突发 事件流的特性千变万化 t Inactivity Period Compute On and off On and off workloads (e.g. batch job) Over provisioned capacity is wasted. t Bursts Peaks due to periodic increased demand IT
2、complexity and wasted capacity. Compute Halo 4 在线游戏数据（一周的统计 数据） 事件发生率各式各样 设备信息 温控传感器每十五分钟上报一次数据 智能汽车每分钟上报一次数据 应用的信息 应用的性能监测服务每秒钟上报数据到服务器 移动应用捕获并上报你的每一次操作! 应用和运维的信息 Halo 游戏引擎每秒要处理1,000,000消息 事件的来源种类繁多 1B 智能电视 2.5B 个人电脑 5B 智能手机和平板电 脑 10B 物联网 数据来源: Gartner, IDC, Strategy Analytics, Machina Research, Co
3、mpany filings, BI Intelligence, Accenture analysis 盈利模式 1. 内容 2. 设备 1. 设备 2. 应用 1. 设备 2. 应用与服务 1. 垂直领域中的服务 2. 设备 MICROSOFT CONFIDENTIAL INTERNAL ONLY IoT的影响力 Grid Renewables Oil/Gas/Coal Recovery and Distribution Points of Sale Restaurants Hotels Fuel Stations Patients Clinics Hospitals Nursing Home
4、s Mobile Care Safety Security Comfort Lighting Automation Manufacturing Integration and Automation Remote Servicing Predictive and Reactive Maintenance Water Waste Pollution Control Fire Emergency Public Safety Law Enforcement Letters Packages Containers Tanks Bulkware Games Events Sports Television
5、 Streaming TrafficBuses Cars Trucks Trains Vessels Aircraft Bikes 智慧能源 智慧零售 智能移动 智慧物流 智慧工厂 智慧城市 智慧娱乐 智慧医疗 智能建筑 /家居 对云服务的挑战 设备 接入服务必须能够支持 高并发性 (如超过百万级的并发设备 接入) 高速率 (如每秒超过百万事件) 高吞吐量 (如每100秒处理超过TB) 同时还 要支持 事件缓冲来提高可用性 持久性 低处理延迟 高安全性 最后还要价格合理！ Grid Renewables Oil/Gas/Coal Recovery and Distribution Points
6、 of Sale Restaurants Hotels Fuel Stations Patients Clinics Hospitals Nursing Homes Mobile Care Safety Security Comfort Lighting Automation Manufacturing Integration and Automation Remote Servicing Predictive and Reactive Maintenance Water Waste Pollution Control Fire Emergency Public Safety Law Enfo
7、rcement Letters Packages Containers Tanks Bulkware Games Events Sports Television Streaming TrafficBuses Cars Trucks Trains Vessels Aircraft Bikes Smart Energy Smart Retail Smart Mobilit y Smart Logisti cs Smart Factory Smart Cities Smart Entertai n-ment Smart Health -care Smart Buildin g Home 新的解决方
8、案：Event Hub服务 Event Hub 是大规模数据接入服务 设备 容量: 通过HTTP/AMQP可接收超过百万的数据源（设备 ） 处理速度: 每秒处理超百万的事件 输入吞吐量: 超过GB/s 输出: 发布订阅模型，可并发连 接多个用户应 用 安全性: 基于SAS，每个发布者有唯一的令牌 事件缓冲: 每个用户的应用拥有自己的指针和偏移量 持久性： 每个事件可保留17天 处理时延： 端到端50ms内 价格: PaaS模式，按实际 使用量计费 Event Hub 在物联网中的应用场景 展现与操作数据改造事件代理永久性存储事件采集事件源 设备 嵌入式设备 (如RTOS) 支持IP的设备 (W
9、indows/Linux) 用户处网关 设备 Event Hub 传统物联网 (私有协议 ) 协议转换 网关 AMQP/HTTP C, .NET, Java MQTT/COAP/Custom 定制数据的保留时间 , 用户分组, 接收者分区, 检查 点, 分区分发API 低处理时延 方便集成分析平台与服务 定制代码 流分析 Storm 存储适 配器 可以配置的存储服务适配 器 App监控 数据分析 状态监控 Dashboard 服务 搜索 分布式事件跟踪 - 用户应 用 AMQP/HTTP, C, .NET, Java 可根据吞吐量和并发数量扩展 Azure 数据库 Azure 存储 HDIns
10、ight Event Hub如何采集事件 事件就是设备和应用上传的消息 Event Hub 以”分区”（Partition）为接收单元 一个分区就是就是一个事件队列 一个Event Hub服务包含多个分区 分区之间相互独立 256KB Event Hub事件采集的高扩展性 设备发 送到Event Hub服务 的事件包含分区键值(Key) Event Hub通过静态哈希函 数将事件分发到分区 如果发布事件时未指定分 区键，则会使用循环分配 或者其他（如根据地理位置 ）属性分配 Event Hub 的流量控制 Event Hub 的流控通过流控单元实现 输入流控： 每个单元限定1MB/s或1000
11、 events/s 输出流控： 每个单元限定2MB/s Event Hub如何传递消息到使用者 从Event Hub读取事件数据的任何实体称为事件使用者 IoT场景下，事件使用者就是IoT应用的后台服务 事件使用者通过使用者组中的分区读取事件流 AMQP 1.0 Event Hub如何支持故障转移和弹性 Event Hub的分区支持偏移量 （ Offset） 偏移量是事件的编号 事件使用者可以在事件流中指定 要从其开始读取事件的点 Event Hub的分区支持检查 点 （Check pointing） 检查点记录分区中的事件处理的状态 当一个使用者发生故障的时候，备份的使用者可以从检查点开始，
12、继 续处理未经处理的事件 多个使用者可以并行处理同一分区内的不同事件 Event Hub 安全模型 Event Hub发布者 发布者是设备 接入Event Hub服务 的端点 发布者具有接入控制和流控的功能 每个设备 都把消息发送给发 布者 每一个发布者有唯一的URL: Event Hub publisher “dev-01” device “dev-01” publisher “dev-02” device “dev-02” publisher “dev-n” device “dev-n” 基于令牌的安全模型 每一个设备都有自己的共享访问签 名(SAS)令牌 设备长 期持有令牌 设备在发送的
13、每条消息里携带令牌 发布者根据令牌授权设备 接入 设备通过下列方式之一获得令牌: 离线获取并烧入设备. 通过用户的配置服务获取令牌 所有的令牌都被分配一个密钥 分配密钥 所有的令牌都被分配了一个密钥 密钥保存在Event Hub服务中，用于验证令牌 设备不知道密钥 密钥永远不会在网上传输 实时大数据分析 待续。 共享资源 Learning Microsoft Certification & Training Resources -hubs/ TechNet Resources for IT Professionals Sessions on Demand nt%20hub#ch9Search Developer Network
