大数据中心建设思路PPT教学课件

《大数据中心建设思路PPT教学课件》由会员分享，可在线阅读，更多相关《大数据中心建设思路PPT教学课件（81页珍藏版）》请在金锄头文库上搜索。

1、1 国网数据中心概念 2 数据中心建设任务 3 4 数据中心目标架构 展示层 数据分析应用层 数据集市层 企业数据仓库 EDW 数据存储层 数据源层 跨专业综合分析 营销分析 财务分析 生产分析 设备分析 人力分析 计划分析 综合统计分析 电力市场分析 InfoCube 物资分析 项目分析 跨专业综合集市 企业门户 ODS 5 数据中心执行架构 批处理服务 性能与可用服务 通用服务 最终用户访问 数据抽取 数据源 系统 非系统 数据存储 知识发现 在线分析 查询 数据访问 报表 报表 元数据管理服务 技术元数据 业务元数据 元数据知识库 数据仓库架构 数据访问 数据访问架构 门户系 统 数据全

2、域服务 任务重启与 恢复 任务调度 监控 被拒绝数据 管理 错误处理 异常 日志与审核 跟踪 文件传输帮 助 数据归档 线程管理 参数化 文档管理服务 数据注解 应用连接服务 中间件连接 器 抽取 转换 数据集市 数据仓库 加载 数据缓存 ODS 排序过滤 清洗 抽取 转换 关联 更新 加载 DSO 套装软件业务 6 数据中心物理架构 磁带库 光纤交换机 光纤交换机 磁盘柜 存储 备份服务器 BI应用服务器群 ETL Monitor Analysis BI应用服务器可由多个服务器组成应用集群 数据中心建设的终极目标 7 企业统一数据模型 8 数据边界 顶层信息模型 9 实现最终目标的困难 10

3、 11 网省电力数据应用所面临的挑战 数据中心的建设策略 短期见效 应用驱动展现全局指标数据 早出成果 短期见效 以应用促建设非源头数据直接导入 健全全局类指标数据转移部分业务系统查询功能切断统计途径 12 推动数据中心应用 数据中心建设最终是为解决业务部门专业分析能力而服务 在这个逐步推进 不断完善成熟的过程中 应着重解决影响应用实用性不强的如下几点 好的经验 方法和操作流程是关键 促进信任关系的建立 解决互不信任的局面 在一套有效的方法的指导下 同时遵照一个好的流程 就容易得到领导支持 得到业务人员的有效参与和技术人员的有力配合 解决长周期项目中期没有任何产出的现状消除领导及业务人员对数据

4、中心建设疑虑建设期间 获取业务人员对实施过程中的认可和支持 从而不断增强他们对项目的信心及应用实用性的肯定 解决企业数据 进口 与 出口 数据统一切断网省业务人员获取统计数据的其他来源 统一定义从数据中心获取切断业务应用向总部交换数据的其他途径 1 2 3 业务部门主导 过程中不断出成果 切断原有数据统计 汇报方式 13 数据中心的建设方式 1 自顶向下 追溯法 分析应用法 既先分析报表中指标数据 再根据指标的构成进行追溯分析 直至建设粒度到最小的 不可再分的业务细节数据 这种方式有利于梳理统计类指标 分析企业中各统计指标的口径 侧重纵向数据关联 2 自下而上 数据整合法 这种建设思路是先建立

5、企业的概念模型 然后利用数据仓库和企业建模标准等思想进行全面的数据模型设计 物理模型设计 侧重横向分析和标准建设 3 折中建设 14 建设方法对比 方法1 先数据整合 再构建分析应用 方法2 先构建分析应用 再进行数据整合 或者不进行全局整合 方法3 边构建分析应用 边进行数据整合 优势 挑战 适用于 业务较为简单或业务需求明确 数据基础较好有成熟建模经验 业务条线复杂 数据基础水平不一 应用需求层次不同 要具备成熟的数据标准和数据模型数据整合投入较大 短期内与分析应用收益不能相符 可实行有效的数据质量管理可快速进行分析应用的扩展 分析应用快速见效 数据质量无法保障只能满足部门级使用 分析应用

6、快速见效逐步深化的建设方法 兼顾效率和可扩展性 调动业务驱动力工作方法的统一一致建设团队的有效分工 协作 建议采用方法3进行数据中心数据整合的建设 15 分析应用演进 16 专业分析建设方法 17 业务驱动力梳理 分工协作模式确认 建设任务分工 实施验证 业务部门专业分析建设驱动力调研按专业分析建设指导思路 深化业务部门专业分析需求调研 按数据耦合度分工建设可按源系统接入管理 数据整合管理 分析应用建设管理的方式分工建设 组建专业分析应用建设团队 同数据中心运维团队建立分工协作机制 有效推进数据整合工作 按试点 推广 验证的数据中心建设流程迭代完成数据中心逐条线建设策略的部署 18 选择合适专

7、业分析应用 满足业务部门需要量身定制的业务需求 生产分析举例典型日负荷曲线增长趋势分析峰谷差分析责任频率合格率分析电压合格率分析变压器负载情况分析 安全生产分析举例人身事故分析设备事故分析电网事故分析电力设施保护分析设备障碍情况分析 避免综合统计查询建设涵盖面广 集中展现指标集合的现象解决数据粒度粗放 业务主题分析不够深入的问题 按专业分析条线逐步完成数据整合 有利推动一体化平台数据中心的建立 专业分析深入性强 实施路线成熟度高 分析深入性强 需求定义严谨 专业分析内部耦合性强 设计结构要求严谨 专业分析 19 数据中心共享演进 继续完善数据交换平台 提升交换效率 性能 足以支持远程大数据传输

8、的实现 在服务质量保证方面 关注数据交换场所的安全性 可靠性 构建数据交换接口区数据接口规范 随着数据仓库建设的进度而扩展接口区数据规范 综合数据交换区域 营销数据交换区域 生产数据交换区域 ERP数据交换区域 共享数据区域设计 总部深化数据获取日报数据 细化数据深度 提升数据共享性能 20 21 展示层 数据分析应用层 数据集市层 八大业务应用数据和其它外部数据 安全生产 财务绩效 设备生产 企业数据仓库 EDW 数据仓库层 数据的抽取 清洗 整合 数据源层 安全生产分析 营销分析 财务绩效分析 电网运行分析 设备生产分析 人力资源分析 项目分析 物资分析 综合统计分析 电网运行 电力市场分

9、析 人力资源 项目 电力市场 营销 物资 综合统计 网省电力公司数据仓库逻辑架构 数据应用分析通过企业级数据仓库及数据集市提供数据支持 并通过前端展示层将分析的结果用合适直观的方法展现给最终用户 22 数据仓库能力蓝图 数据仓库 集中整合 信息描述 数据移动 分析展现 质量保障 高级应用 提供多维分析能力 使得用户能够把一个实体的多项重要属性定义为多个维度进行深入分析 并能对不同维度值的数据进行比较 同时 还需具备数据挖掘能力 帮助业务分析人员在现有数据中识别数据的模式 针对整个企业的状况和未来发展作出较完整 合理 准确的分析和预测 从复杂难懂的数据中发掘出指引企业发展需要的路径 提供标准的报

10、表和图表功能来帮助不同管理层人员做出正确决策 针对具体分析应用建立数据集市为前端提供高效的数据查询和分析服务 为了方便整个数据仓库保存信息的管理 需要具备强大的元数据管理功能 以实现各类技术术语与流程在企业内部的统一定义 通过数据仓库 使得数据按照业务主题进行存储 完成对分散数据的整合工作 形成企业内部 唯一事实 提供较强的数据抽取 转换与加载能力 能够高效地将前端业务分析所需要的各类数据移动到数据仓库内 根据预先制定的业务规则对数据进行处理转换使其符合目标数据格式 并根据前端展现需求提供高性能数据加载机制 数据仓库应该具备完善的数据质量管理机制 确保企业内部数据的一致性与准确性 提升数据仓库

11、分析结果的可信性 23 数据应用的业务目标 根据对国际先进电力企业的研究 数据应用工作可以通过提高四项能力 即电网安全运营管理 电力营销及服务 财务绩效分析和资源计划及决策 来促进电网的业务发展 数据应用 提高电力营销管理及服务能力通过对用电量 电费 电价的分析 提高电量的需求预测能力 价格制定能力全面了解用电户的电力消费和缴费情况 帮助制定相关的用电政策和服务措施 分析营销手段及效果 提升营销策略的有效性 提高电网安全运营管理能力通过对设备和电网的运行状况 检修 缺陷 事故的及时准确掌握 提高设备和电网的监控管理能力 科学管理电网设备资源 通过对安全人身伤亡事故的分析 提高事故管理和防范能力

12、 提高财务绩效分析能力反映企业单位的财务成果 指导企业单位降低成本和费用 增加收入 充分利用资金 创造好的经济水平员工绩效分析 从组织和个人两个层面为绩效管理提供支撑依据 提高资源计划及决策能力完善报表管理 为领导及时提供全面的关键业务信息 通过国网业务运行状态的分析和监控 提高信息预测能力 为领导的科学决策提供保证 电网用户 前台业务人员 后台管理人员 决策领导 数据分析应用的业务目标 通过构建四项能力来促进网省电力业务的发展 24 数据分析应用基本涵盖了网省电力所有业务数据范围 25 项目管理人员 科信管理人员 网省电力各层次用户通过数据分析应用而受益 26 保证设备综合信息的完整性和历史

13、性 从横向确保完整性 设备运行的情况设备消耗的水 煤 气记录设备运行的可靠性记录记录设备的测试信息 从纵向确保历史性 当期上期历史同期历年情况 设备管理监控人员 后台管理人员 数据整合支持 统一设备视图 设备台帐信息 设备检修 设备测试 设备故障 设备运行 设备消耗 设备事故 设备环境 设备可靠性 其他信息 ODS 数据仓库 ODS保障数据的时实可访问性数据仓库保障数据的历史性 统一信息视图提供了快速访问主题全面信息的能力 某电力设备 27 数据仓库建设策略比较 重复的ETL发开和数据整合 人力资源浪费重复的ETL工具 前端分析工具 数据仓库平台软件的购买 各自的数据模型设计 集市之与集市之间

14、潜在的新一轮数据整合需求 无丰富的企业全面业务数据支撑 无法提供跨系统的业务分析能力集市各自的指标定义 在企业层面 容易出现不一致不符合一体化平台建设要求 形成企业范围内统一信息视图建设统一 可重用的ETL流程ETL工具 前端分析工具 数据仓库平台单次采购和开发 有效降低TCO丰富的企业全面业务数据支撑 领导以及业务人员能够得到更加丰富的数据各业务部门可根据自身需求在统一数据仓库平台上建设更深层次的高级数据分析应用建设元数据管理机制实现企业内术语理解一致建设统一的数据管理机制 提升数据质量 推荐 实现方法I 业务部门单独建立各自数据集市 无企业层面的统一的规化和协调 实现方法II 信息部门牵头

15、统一建设企业数据仓库 VS 28 29 当前已有成果 在相当长的时间内 还需要做的事情 数据模型建立过程 30 数据集市层 八大业务应用数据和其它外部数据 数据仓库层 数据源层 直接满足上层数据分析应用要求查询的高效性和有针对性高度聚合 一般无明细从技术而言是星型模式 数据分析模型 主题1 主题2 主题n 基于主题域侧重于对企业范围内数据进行整合明细数据与聚合数据共享从技术而言是3NF模式 数据仓库模型 数据模型在数据仓库架构中所处的位置 31 企业级概念数据建模目的 主题 主题 主题 主题 主题 主题 主题 主题 主题 业务数据 业务数据 业务数据 业务数据 业务数据 业务数据 业务数据 业

16、务数据 业务数据 数据分类 企业级概念数据建模的目标在于识别网省电力业务主要数据主题并根据各个数据主题间的逻辑关系划分其所属数据主题域 数据主题域集中反映了某方面的业务内容 通常是同类或关联关系较为紧密的数据主题的集合 如 设备主题包括了设备台帐 设备运行相关事件等多个数据主题 数据主题是任何可以区分的人 地点 事情 事件或概念 信息围绕它来保存 属性是实体的特性或数据字段 数据主题域是数据仓库主题建模的基础 通过细化数据主题域即可建立统一的数据仓库模型 统一数据仓库模型是网省电力公司数据仓库进行数据整合和集成的重要基础 32 企业级概念数据建模方法 数据主题梳理 通过仔细分析网省电力公司各类业务系统详细说明 IT咨询组从中梳理出网省电力公司业务所产生和需要的主要数据并形成数据主题清单 这些数据主要包括主数据和事物数据两部分 主数据是指客户 供应商 设备台帐等 而事务数据是指网省电力具体业务运营所产生的各种事务型数据 例如设备检测数据 调度交易数据等 数据主题域设计 根据分析整理得到的数据主题清单 并结合这些数据的特点和网省电力具体业务关注点即可归纳抽像出数据主题域 主题域集中反映了