大数据应用融合解决具体方案(能源行业)

《大数据应用融合解决具体方案(能源行业)》由会员分享，可在线阅读，更多相关《大数据应用融合解决具体方案(能源行业)（75页珍藏版）》请在金锄头文库上搜索。

1、浪潮云海大数据一体机 暨云计算及大数据应用融合解决方案 云计算及大数据产品部（Bruce Lee） 职业生涯简介 l Bruce Lee ( 中文名: 李忠旭 ) 博士学位, 毕业于麻省理工学院和哈佛商学院，专修计算机科学和工商企业管理，致力理 论联系实际，应用于日常的管理实践中。 l Inspur Group 云计算&大数据总监 兼任 首席解决方案架构师 l Greenplum Corporation ( EMC ) 首席技术执行官 CTO 兼任 首席解决方案架构师 l Google Incorporated ( Google ) R&D 技术总监 兼任 GFS 首席架构师 l Golden

2、gate Corporation ( Oracle ) R&D 技术总监 主持重大国内外项目经验 l 美国纳斯达克数据分析应用及决策支持项目 l 美国纽约证券交易所指数预测分析项目 l 美国银行数据仓库及数据分析应用（商务智能）项目 l 美国 T-Mobil 电信公司数据经分和信令系统分析项目 l 美国谷歌公司 R&D 项目GFS基础架构总体设计 l 中国建设银行新一代决策支持系统整体方案设计 l 中国阿里巴巴集团企业级数据仓库( 支付宝）项目 l 中国华为技术有限公司财经体系数据分析 R&A 项目 l 中国辽宁省公安厅科技信息总队大数据分析系统项目 l 中国公安部交通管理科学研究所大数据分析

3、研判系统项目 EMC 数据分析事业部 （Pivotal Lab）产品研发项目（ Cloud Foundry，GemFire XD，GP DB，Pivotal HD） 目 录 1 1 3 3 大数据分析应用之关键技术 2 2 能源行业之大数据分析应用场景 大数据时代的来临大数据时代的来临 企业面临的挑战和分析需求 云计算、移动计算、社交媒体和大数据分析推动产生新的计算模式。 该模式进而引发业务转型以提升效率, 促进法规遵从,提升整体业务可持续性以及以客户为中心 。 Gartner 发布的 2012 技术趋势 互联网商业模式对传统行业的冲击 数据处理的难题及大数据革命 收集、存储和分析数据的能力在

4、信息技术带来的影响中始终占有重要一席。在这个 数字化程度日益提高的时代，您所做的每件事都会有一个电子记 录。 随着企业积聚的数据越来越多并达到数百TB，他们纷纷寻求更加尖端的软件工具对数 据进行挖掘和分析，从而帮助企业更好地了解市场和客户，甚至是帮助企业对未来作出预 测。 您如何收集和存储数据？ 您如何传输数据？ 您如何分析数据？ 您如何从数据获益？ 大数据时代带来的思考 新时代需要一个全新的计算平台 互联网平台时代，第三代 IT体系的代表 互联网公司采用的是PaaS,DevOps来实现创新 虚拟拟化 运维维自动动化 PaaS 传统传统传统传统ITIT Startups 时间时间 期望值值 I

5、nnovation Gap Cloud Client-Server 互互联联联联网公司网公司 DevOps, CD/CI, Agile, MicroService 大数据时代行业商机无处不在！ 大数据行业应用 社交媒体 大数据行业应用 电商平台 大数据行业应用 互联网平台 大数据行业应用 风力涡轮发电系统管理监控 以毫秒级级捕获传获传 感器数据（如：主轴传轴传 感器、齿轮齿轮 箱传传感器和定子传传感器等），监监控单单台风风力 发电发电 机运行状态态 以秒级级捕获传获传 感器数据，监监控风风机位置、彼此协协作情况，保证发电场证发电场 以最优优状态态工作 以分钟级钟级 捕获传获传 感器数据，监监控

6、输电输电 状态态、效率 大数据行业应用 工业互联网 1.1. 资产管理资产管理 2. 零部件库存管理 3. 资产管理 4. 供应链自动化 5. 工作范围的自动化 6. 场力优化 7. 监控和诊断 8. 状态检修 9. 停电管理 10. 资产生命周期管理 2.2. 操作优化操作优化 3.物流管理 4.控制和工厂自动化 5.燃料消耗的优化 6.排放管理 7.法规遵从 8.健康&安全保证 9.运营管理与监测系统 10. 网络吞吐量的优化 11. 终端客户信息服务 云计算改变IT，大数据应用重在创新 工业互联网和工业大数据特点 基于分布式内存计算技术的IOT逻辑架构 云计算改变IT，大数据应用重在创新

7、 云计算侧重 资源管理，而大数据侧重 业务应用。 云计算资源池化的管理模式是大数据应用的前提。 云计算提供的存储和计算资源池可动态支撑大数据分析业务不断变化的需求 。 目 录 1 1 3 3 大数据分析应用之关键技术 2 2 能源行业之大数据分析应用场景 大数据时代的来临 大数据分析应用的数据内容及实现技术 应用平台提交请求访问的数据，包括结构化和非结 构化两类 在线存储周期超过数据生命周期规划的数据 适合Hadoop分布式架构管理 无法用二维表结构来 逻辑表达的无结构性 的数据。例如文本、 音频数据等。 适合Hadoop架构 方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定

8、，清晰 。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。 支持分析型应用，时效性较低 支持前台交易系统查 询需求，具有可靠性 高、并发度大、采集 频率短的特点 适合分布式内存数据 处理技术 数据类别 数据格式 数据采集频度 大数据分析应用的数据内容及实现技术 在线数据归档数据 非结构化数据 结构化数据 准实时数据非实时数据 面向贴源数据查询和主题数据整合。 数据区，适合X86MPP数据库集群 范式化模型数据 面向分析类应用。 对应ADW，适合MPP数据库集群 维度模型数据 数据模型 大数据分析应用的关键核心技术 大数据分析套件组合：（完善生态链） 关系型数据库, NoSQL, 流计算，

9、SQL on Hadoop, OLAP on Hadoop, OLTP on Hadoop ，Cache 缓存，In-Memory DB, In-Memory Data Grid，非关系型数据库，等等 。 大数据分析应用的关键技术之一 分布式内存数据库 MPP 分布式数据库 流式处理 Hadoop 分析框架体系 大数据分析应用的关键技术之一 PaaS 平台弹性运行时环境 监 控 管 理 层 物理 资源层 PaaS 服务层 业务 应用层 IAAS Interface PaaS 运行时环境 Services Interface PaaS Service 应用中间件Hadoop 消息中间件 SQL

10、数据库NoSQL 数据库 安全管理 资源管理 配置管理 服务目录 服务管理 性能监控 资源监控 存储设备 计算资源池存储资源池网络资源池 计算机网络设备 分析研判类应用预测预警类应用动态监控类应用信息处理类应用 IaaS 服务层 大数据时代平台产品的关键能力 开放弹性开放弹性 架构架构 真正无共享的海量并行处理架构 工业标准的X86平台 服务器资源按需分配，按需搭建集群，按需缩放集群规模 在线线性在线线性 扩展扩展 增加节点可线性增加存储、查询和加载性能 支持在线扩容，扩容期间保证系统继续对外提供服务 拥有成本拥有成本 可控可控 保证用户不被专有平台锁定 企业初期投入和后续扩容的成本可控 海量

11、并行海量并行 处理处理 支持PB级的数据处理、存储和访问 在数据加载、处理、访问等各个环节最大化并行处理能力 优秀混合优秀混合 负载负载 按需分配资源（CPU、内存、IO） 动态调整资源 平台持续平台持续 可用可用 数据镜像、硬件冗余等多种容错技术保证系统高可用 故障切换和恢复，对用户透明 扩容期间可持续对外服务 易于管理易于管理 维护维护 直观的图形化界面，实时的状态监控 最大限度降低管理员的日常管理和维护工作 大数据时代催生 PaaS 平台的变革 IaaS: 硬件的自动化管理，人与机器的解耦合 获得效率/牺牲性能 PaaS：应用的自动化管理，应用与OS的解耦合 获得弹性/牺牲控制 业务创新

12、需要重新定义企业级 PaaS 支持开放标准并与开源有效互动 强调以数据为中心 兼顾各种数据类型处理 充分关注新一代开发人员和新一代企业级应用的需求 为有效进行实时大容量信息处理而设计 同时兼顾与传统应用的互操作性 与传统技术的有效结合 云支撑平台 数据支撑架构应用支撑架构 创新：以数据支撑为中心 未来大数据分析应用的 PaaS 平台发展方向 New Data-fabrics Internet-of-things Pervasive telemetry Open Data PlatformOpen Data Platform Big Data Fast Data Rapid Applicatio

13、n Dev & Integration Gemfire vFabric Cloud Abstraction & App Automation 面向数据的企业级 PaaS平台 快速应用开发 在收集数量庞大的事 件数据的同时对特定 事件进行实时反应 与传统应用和基础 架构有机配合 配合不同云计算平台实现高效运维和水平扩展 存储并且在非常 大量的数据上 进行分析 行业大数据分析应用的数据架构设计 大数据时代云计算及大数据融合架构全景图 计算存储网络 应用运行环境 云平台管理云平台安全 数据批处理 （Hadoop） 近实时分析 （MPP DB） 实时数据处理应用和数据集成 应用开发接口资源和服务交付

14、统一访问门户 应用容器虚拟机 服务器虚拟化 存储虚拟化网络虚拟化公有云接口 iVirtualvSphereNova XenServerPowerVM 分布式文件 系统 分布式块存 储 分布式对象 存储 SAN存储网 关 Open Flow vxLan vSwitch AWSACE AzureGAE 流处理 内存数据库 Hbase Yarn MapReduce Hive, Pig, Mahout SQL Data Distribute Query Planner MPP Exec Load Balancer 分布式缓存 消息中间件 RDBMS 云资源管理 运维管理 桌面管理 业务流程管理 资源计

15、费 网络安全 容灾备份 数据和应用访问 权限管理 安全审计 vRoute 大数据分析应用的 PaaS 平台产品组合 实时的数据处理 Run-Time Applications 企业级数据仓库 大规模数据存储 实时的数据 捕获和共享 分析型数据集市 大数据分析应用的资源池拓扑图 存储系统备份系统 存储系统备份系统 K-HA K-HAK-HA K1 -1K1- 2K1 -3K1- 4K1 -5K1- 6 TS860TS860TS860TS860 核心交换机 虚拟化（非关键应用）资源池 物理（核心业务系统）资源池 物理（大数据分析应用）资源池 大数据分析应用系统架构 系统管理体系 ( 日志审计、用户

16、管理、运维监控 ) 计算资源池存储资源池 网络资源池 平台层 (PaaS) 数据 存储层 数据 准备层 数据 处理层 数据 服务层 分布式文件系统MPP 数据库 分析模型算法引擎挖掘工具 应用层 (SaaS) 基础设施 (IaaS) 应用层 (SaaS) 分析研判类 服务 预测预警类 服务 动态监控类 服务 信息处理类 服务 大数据分析研判系统门户 运营状态监控决策分析预警 安全保障体系 ( 访问权限控制，防病毒、防入侵 ) 内存计算 RDBMS数据块 ODS数据立方体 数据仓库数据集市 基础设施 (IaaS) 流式处理 客户精准营销 数据交 换平台 数据交 换平台 系统管理体系 ( 日志审计、用户管理、运维监控 ) 安全保障体系 ( 访问权限控制，防病毒、防入侵 ) 服务总线 风险模式识别 PaaS平台弹性运行时环境 云数据中心管理平台 目 录 1 1 3 3 大数据分析应用之关键技术 2 2