《b.面向工业物联网的海量数据实时处理平台-乔颖》由会员分享，可在线阅读，更多相关《b.面向工业物联网的海量数据实时处理平台-乔颖（42页珍藏版）》请在金锄头文库上搜索。
1、面向工业物联网的海量数据实时处理平台,中国科学院软件研究所 2011年12月,目录,工业物联网建设背景和挑战,物联网概述 工业物联网环境下,海量数据处理面临的挑战,应用案例面向复杂生产过程的工艺技术管理,结束语,面向工业物联网的海量数据实时处理平台设计与实现,物联网的介绍,物联网（IOT，The Internet of Things），利用条码、射频识别（RFID）、传感器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，实现人与人、人与物、物与物的在任何时间、任何地点的连接（anything、anytime、anywhere），从而进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控
2、和管理的庞大网络系统。,泛在的感知：利用RFID、传感器、二维码，及其它各种的感知设备随时随地的采集各种动态对象，泛在的感知世界。 泛在的连接：利用以太网、无线网、移动网将感知的信息进行实时的连接与传送。 泛在的智能：对物体实现智能化的控制和管理，真正达到了人与物的沟通。,广义的物联网涵义,物联网的特点,麦肯锡对海量数据的解读,海量数据：创新、竞争和提高生产率的下一个新领域 By麦肯锡全球研究院,收集、存储和发掘利用海量数据，以获取洞见， 可以为世界经济创造巨大的价值 提高企业和公共部门的生产率和竞争力，并为消费者创造巨大的经济利益。,2000年后，数据存储显著增长,物联网产生的数据随着链接点
3、数量的增多呈现指数级的增加,运算能力也相应快速提高,海量信息涉及的技术,及数据存储、商业智能、云计算、数据集市、数据仓库、分布式系统、ETL、google档案系统、分布式计算、Hbase、映射和化简、聚合、非关系型数据库、关系型数据库、开放式数据库、SQL、流处理、结构数据、非结构化数据、可视化技术,标签云、clustergram函数、空间信息流,可视化技术,海量数据在五个领域的改革潜力,临床决策支持系统 增强信息透明度 （过程视图、仪表板） 病人远程监控 改善公共卫生监测和反应,交叉销售 基于位置的营销 品种优化 劳动投入优化 基于Web的市场,对比引擎 预填信息 自动化算法 人群细分和定制
4、 创建新的业务模型、产品和服务,医疗保健,制造业,公共部门,零售,个人定位数据,建立协作的、跨功能的研发和产品设计 聚合客户数据并广泛应用 虚拟合作（创意市场） 精益制造 ,智能路由 汽车远程信息处理 手机定位服务 广告的地理定位 电子收费 保险订价 ,工业环境下物联网海量信息处理面临的挑战,分布式数据采集 工业物联网：面向整个供应链的传感器设备和业务的集成； 移动计算：移动通讯的发展，智能终端的普及； 多工厂集成：集团化战略的发展要求多工厂间协同更敏捷。 信息处理 特征：海量、多变量、高噪音、强耦合； 数据源和数据质量的不确定性； 多时标与不完整性，许多变量的变化快慢各异，采集信号的频率不同
5、，导致时间上的不同步和不完整。 知识挖掘 智能报警：事件驱动、报警抑制、报警规则； 数据驱动VS模型驱动：结合机理模型和统计分析模型，适应复杂工况 信息推理过程缺失：以人为中心，面向多人协同交互分析。,据统计在一些现代化工厂，因为缺乏有效的数据处理和分析技术，已有的数据库中90%以上的数据多年无人问津。,目录,工业物联网建设背景和挑战,总体架构 核心技术,面向工业物联网的海量数据实时处理平台设计与实现,结束语,应用案例面向复杂生产过程的工艺技术管理,面向工业物联网的海量数据实时处理平台建设目标,Knowledge,数据是未经组织的外部环境和客观事物的事实,信息是具有时效性、有时序关系的、经过加
6、工处理的、对决策有价值的数据流。,知识是让从定量到定性的过程得以实现的、抽象的、逻辑的东西。,Information,Data,“如何实时改善生产过程创造价值” 从过程控制现场海量数据中实时识别有价值的事件，并将获得的事件通过以人为中心的协同决策来挖掘潜在知识，指导生产过程优化与生产决策。,面向工业物联网的海量数据实时处理平台运行架构,面向工业物联网的海量数据实时处理平台AgiM2M,核心技术1：分布式环境下采集接口集,数据集成服务提供了对多数据源的接口支持，并具有灵活的实时整合规则和高效的数据融合技术，实现了企业中控制系统、远程终端系统、数据库以及企业其它信息化系统的实时的连接与传送,支持的
7、接口类型 关系数据源 Oracle、SQL Server、OleDB OPC/DDE OPC AE、 DA、 HDA 现场总线 RS232/485、CAN、ModBus、MB+、Profibus、BACnet Flat File 其它 Message Queue RFID,核心技术2：海量数据管理与实时事务处理(1),平台实现了分布式过程数据的实时采集、实时规则推理、海量历史数据管理、实时消息通信中间件、实时数据整合与发布等功能。,分布式实时数据库系统 分布式实时系统： 至少可对100个数据库节点进行有效管理 支持百万级以上的物理或虚拟传感数据源 节点间的负载均衡，实现实时事务错失率低于0.0
8、1% 支持单向、双向以及一对多的数据同步与交换，实现实时数据的实时同步 实时事务处理： 基于优先级表的实时调度算法 动态调整执行顺序的乐观并发控协议 单数据库节点每秒数据处理和归档能力达到百万级以上，单数据库节点支持1000个并发查询； 数据存储与压缩 采用混合压缩技术，提供有损压缩压缩率至少达到50：1，提供高速无损压缩压缩率至少达到4：1,核心技术2：海量数据管理与实时事务处理(2),内存数据管理技术 索引的组织： 采用T树作为索引结构 多级缓存机制： 基于统计特性，采用了基于优先级的实时数据库缓冲区管理方法 查询调度： 基于规则的任务调度,采用主内存数据库技术，将磁盘数据的低速I/O操作
9、变为对内存数据的操作，从而实现高速查询和检索。,核心技术3：分布式环境下实时通讯服务,平台采用QoS自适应的实时发布/订阅（QRTPS）机制，在多优先级的实时事件消息队列上提供动态调整服务质量等级，提供无处不在的实时信息服务，支持高性能的通讯服务。,事件通知服务 事件引擎 规模：20万点 高性能：每秒处理5万个数据更新事件 通知服务 基于TCP接口 OPC接口封装 ECA规则引擎,核心技术4：复杂事件处理,不合格产品增多,罐区异常,设备停机,生产中断,数据异常,计量数据缺失,能耗异常,工艺数据异常,压力异常,温度显著升高,计划过饱和,合同不足,原料消耗异常,辅料消耗异常,罐计量差异,接口故障,
10、监控失效,库存不明,存料不足,产品无处存放,阀门关闭,复杂事件处理引擎,PLC,MES,ERP,实时数据库,EPL,处理规则,规则的事件流,事件云,能够对企业内部和外部整个供应链体系的关键控制要素进行及时、全面、直观、综合的掌控，及时发现问题，及时下达决策，实现世界一流的实时营运管理。,复杂事件处理引擎,平台支持复杂的定性时序关系与定量时序关系的描述，识别有价值的复合事件。,select * from pattern every Temperature(Datas0.Value46) - (Kpa(Datas0.Value Lpm(Datas0.Value52) where timer:wit
11、hin (200),复杂时序描述示例,核心技术5：实时规则推理,基于ECA规则的实时 推理 规则模型与描述语言 可描述复杂时序时间 多视图描述语言 实时推理算法 基于规则图的启发式搜索 实时性 开放式规则库 支持规则在线修改,规则修改期间推理机不必停机 基于动态可配置结构的规则处理中间件,针对输入的高层事件,根据规则库中的ECA规则,实时获取相应的动作决策。,核心技术6：流计算引擎,流计算服务提供了可视化的数据流规则配置，采用滑动时间窗技术，支持增量式数据分析处理，并提供可扩展的计算算法库，能迅速分析多个数据源的信息流，大大提高业务关领域决策的速度和精确性,智能学习与优化分析算法库,t-检验
12、单一样本t检验 独立样本t检验 配对样本t检验 单因素方差分析 均值多项式比较 Post Hoc检验 12 post hoc检验 ANOVA统计 固定作用检验 随机作用检验 组描述统计 方差齐性检验 相关分析 双变量相关分析 偏相关分析 距离分析 不相似性测度 回归分析 线性回归 曲线估计,频数分析 频数分布表：频数计数，百分比，有效百分比，累积百分比 中心趋势：均值，中位数，众数，总和 离散性：最大值，最小值，全距，标准差，标准误，方差 分布：峰度系数及其标准误，偏度系数及其标准误 百分比之：按实际或分组数据的百分比，四分位数，等分组 描述分析 中心趋势：均值，总和 离散性：最大值，最小值，
13、全距，标准差，标准误，方差 分布：峰度系数，偏度系数 探索分析 均值的置信区间 M-估计 标识极端值和非正常值 分组频数表 SPC 聚类,核心技术7:时序数据可视化与交互式分析(1),平台提供直观的图形化的数据和信息和交互式的数据挖掘，从多种观察角度围绕业务指标，对数据进行深入、实时、动态的剖析,丰富可配置的可视化 组件库 曲线图 各类曲线图 动画效果 KPI仪表盘 数字 图形化 指针型 表格 链接 报警 看板 简报 通知 To-Do List 控制组件 日期选择 选择框 定制组件,自定义的动画监控效果,系统支持自定义的脚本解释语言，采用Python语言和丰富的预定义函数可以构建各类复杂计算和
14、动态交互动画；结合预置的工厂控件图库，包括泵、阀、仪表、管道、马达等，可以真实再现生产流程。,脚本解释语言 变量类型 系统变量 页面动态参数 自定义变量 流程控制 循环、分支、判断、迭代等 算术、逻辑等运算符、列表推导式 事件响应 鼠标、键盘等交互动作 数据变化、阈值条件等 页面加载、缩放等窗口 绝对或相对时间周期 函数库 计算函数 日期函数 对象函数 系统函数 数据处理函数 文件操作函数 ,工业控件图库,脚本编辑器,工业现场可视化监控,核心技术7:时序数据可视化与交互式分析(2),24,综合展示平台不仅支持模板化的信息展示，也支持以用户为中心的交互式分析过程，辅助用户高效的组织和利用知识进行
15、综合分析和假设验证等推理。,Pan+Zoom,Detail on demand,MultiView,目 录,工业物联网建设背景和挑战,流程企业工艺技术管理 应用案例石化企业 应用案例冶金企业,面向工业物联网的海量数据实时处理平台设计与实现,应用案例面向复杂生产过程的工艺技术管理,结束语,流程企业工艺技术管理,工艺技术管理主要实现工业控制过程的“异常管理”，将计划目标转化为控制层面的操作目标，并帮助用户跟踪生产过程“不稳定”和“工艺波动” ，由“事后”变为“事中”，为工厂有关人员提供相关的实时信息，以便及时地做出调整。,应用案例燕山石化,北京燕山分公司是中国石油化工股份公司直属的特大型石油化工联
16、合企业，成立于1970年7月20日。原油加工能力1000万吨/年，乙烯生产能力71万吨/年，拥有生产装置88套，辅助装置71套，可生产汽油、柴油、航空煤油、石蜡、乙烯、聚乙烯、聚丙烯、苯酚、丙酮、顺丁橡胶、丁基橡胶等120个品种494个牌号的石油化工产品，主要产品中，合成树脂、合成橡胶、苯酚丙酮是国内最大的生产商之一，年销售收入超过600亿元。,从2008年6月开始在中国石化燕山分公司进行建设和应用，覆盖了主要生产业务主管部门：13个主体生产工厂和3个能源工厂，设置了炼油、橡胶、烯烃、芳烃、聚酯、聚乙烯、聚丙烯、化学品、储运二厂、塑料、气体、动力、水务等16个MES工厂，为燕山石化生产执行和指挥提供了一个统一、高效的生产营运指挥平台。,企业简介,建设背景,主要功能1工艺卡片管理,实现工艺卡片的电子化管理，通过工作流的方式实现工艺卡片的审批流程。并为平稳率系统、公司监控系统提供标准的数据接口。,主要功能2工艺运行监控与偏差分析, 监控24小时现场状况及对异常
