《大数据中心建设思路(PPT81页)》由会员分享，可在线阅读，更多相关《大数据中心建设思路(PPT81页)（82页珍藏版）》请在金锄头文库上搜索。
1、西安美林 杨晓辉国网数据中心概念数据中心建设任务数据中心目数据中心目标架构架构展示展示层数据分析数据分析应用用层数据数据集市集市层企企业数据数据仓库(EDW)数据数据存存储层数据源数据源层跨专业综合分析营销分析财务分析生产分析设备分析人力分析方案分析综合统计分析电力市场分析营销生产电力市场综合ERP紧耦合耦合业务应用数据用数据营销、生、生产、综合等合等业务应用和其它外部数据用和其它外部数据DSOPSAInfoCube物资分析工程分析跨跨专业综合集市合集市企业门户企业门户ODS数据抽取数据整理数据转换数据汇总集中存储数据分析应用方式展现方式源系统4数据中心执行架构批批处处理效理效劳劳性能与可用性
2、效性能与可用性效劳劳通用效通用效劳劳最最终终用用户访问户访问数据抽取数据抽取数据源数据源系统、非系统数据存数据存储储知识发现在线分析查询数据访问报表报表元数据管理效元数据管理效劳劳技术元数据业务元数据元数据知识库数据数据仓库仓库架构架构数据数据访问访问数据数据访问访问架构架构门户系统数据全域效数据全域效劳劳任务重启与恢复任务调度监控被拒绝数据管理错误处理异常日志与审核跟踪文件传输帮助数据归档线程管理参数化文档管理效文档管理效劳劳数据注解应应用用连连接效接效劳劳中间件连接器抽取转换数据集市数据仓库加载数据缓存ODS排序过滤清洗抽取转换关联更新加载DSO套装软件业务5数据中心物理架构业务系系统数据
3、数据库服服务器器心跳心跳线DSO/DM磁带库光纤交换机光纤交换机磁盘柜存存储WEB备份效劳器BI 应应用效用效劳劳器群器群ETL/Monitor/AnalysisETLAnalysisHPODSDW/DMBI应用效劳器可由多个效劳器组成应用集群6数据中心建设的终极目标企业统一数据模型数据边界顶层信息模型实现最终目标的困难网省网省电力数据力数据应用所面用所面临的挑的挑战业务挑挑战现有分析系统仅提供简单的报表能力，功能单薄领导层无法从企业全局角度出发对企业各个业务条线进行跨业务、多角度、多层次的综合分析业务分析系统多集中于各自专业领域，而跨业务专题的分析应用能力尚不具备存在相同数据多头上报并且上报
4、数据不一致的问题缺乏对现有数据的高级分析应用，没有合理地发挥和利用网省电力业务数据资产的价值技技术挑挑战各个业务系统相互独立，业务人员难以进行跨系统业务分析现有分析型系统与相应生产型系统耦合性较强，受到生产型系统影响较大，缺乏对全业务分析的支持数据不一致问题较严重，对于相同业务数据存在多个不同版本各业务系统自行管理数据，业务数据的含义在企业的各个部门内存在不一致的解释各类业务系统内数据质量较低业务因素因素数据分析类型划分不够明确缺少统一的报表与指标体系规范缺乏明确的数据认责技技术因素因素缺乏规范的数据架构缺乏明确的数据定义数据分布不合理数据模型不一致数据管理不规范缺乏企业级整合的数据缺乏有力的
5、系统实施和使用管控机制11数据中心的建设策略短期见效、应用驱动展现全局指标数据，早出成果，短期见效，以应用促建设非源头数据直接导入，健全全局类指标数据转移局部业务系统查询功能切断统计途径推动数据中心应用数据中心建设最终是为解决业务部门专业分析能力而效劳，在这个逐步推进、不断完善成熟的过程中，应着重解决影响应用实用性不强的如下几点：q好的经验、方法和操作流程是关键，促进信任关系的建立，解决互不信任的局面。q在一套有效的方法的指导下，同时遵照一个好的流程，就容易得到领导支持，得到业务人员的有效参与和技术人员的有力配合 q解决长周期工程中期没有任何产出的现状q消除领导及业务人员对数据中心建设疑虑q建
6、设期间、获取业务人员对实施过程中的认可和支持，从而不断增强他们对工程的信心及应用实用性的肯定q解决企业数据“进口与“出口数据统一q切断网省业务人员获取统计数据的其他来源，统一定义从数据中心获取q切断业务应用向总部交换数据的其他途径123业务部门主导过程中不断出成果切断原有数据统计、汇报方式数据中心的建设方式1、自顶向下追溯法分析应用法既先分析报表中指标数据，再根据指标的构成进行追溯分析，直至建设粒度到最小的、不可再分的业务细节数据；这种方式有利于梳理统计类指标，分析企业中各统计指标的口径。侧重纵向数据关联。2、自下而上数据整合法这种建设思路是先建立企业的概念模型，然后利用数 据仓库和企业建模标
7、准等思想进行全面的数据模型设计、物理模型设计。侧重横向分析和标准建设。3、折中建设建设方法比照方法方法1.1.先数据整合、先数据整合、再构建分析应用再构建分析应用方法方法2.2.先构建分析先构建分析应用、再进行数据整应用、再进行数据整合或者不进行全局合或者不进行全局整合整合方法方法3.3.边构建分析边构建分析应用、边进行数据整应用、边进行数据整合合优势挑战适用于业务较为简单或业务需求明确数据根底较好有成熟建模经验业务条线复杂、数据根底水平不一、应用需求层次不同要具备成熟的数据标准和数据模型数据整合投入较大，短期内与分析应用收益不能相符可实行有效的数据质量管理可快速进行分析应用的扩展分析应用快速
8、见效数据质量无法保障只能满足部门级使用分析应用快速见效逐步深化的建设方法，兼顾效率和可扩展性调动业务驱动力工作方法的统一一致建设团队的有效分工、协作建议采用方法3进行数据中心数据整合的建设分析应用演进专业分析建设方法业务驱动力梳理分工协作模式确认建设任务分工实施验证q业务部门专业分析建设驱动力调研q按专业分析建设指导思路，深化业务部门专业分析需求调研q按数据耦合度分工建设q可按源系统接入管理、数据整合管理、分析应用建设管理的方式分工建设q组建专业分析应用建设团队，同数据中心运维团队建立分工协作机制，有效推进数据整合工作q按试点、推广、验证的数据中心建设流程迭代完成数据中心逐条线建设策略的部署1
9、7选择适宜专业分析应用满足业务部门需要量身定制的业务需求生产分析举例n典型日负荷曲线增长趋势分析n峰谷差分析n责任频率合格率分析n电压合格率分析n变压器负载情况分析平安生产分析举例人身事故分析设备事故分析电网事故分析电力设施保护分析设备障碍情况分析防止综合统计查询建设涵盖面广、集中展现指标集合的现象解决数据粒度粗放，业务主题分析不够深入的问题按专业分析条线逐步完成数据整合，有利推动一体化平台数据中心的建立专业分析深入性强实施路线成熟度高分析深入性强，需求定义严谨专业分析内部耦合性强设计结构要求严谨专业分析18数据中心共享演进p继续完善数据交换平台，提升交换效率、性能，足以支持远程大数据传输的实
10、现。p在效劳质量保证方面，关注数据交换场所的平安性、可靠性。p构建数据交换接口区数据接口标准，随着数据仓库建设的进度而扩展接口区数据标准。综合数据交换区域营销数据交换区域生产数据交换区域ERP数据交换区域共享数据区域设计总部深化数据获取日报数据总部深化数据获取日报数据细化数据深度细化数据深度提升数据共享提升数据共享性能性能完善优化完善特定业务需求的级联要求基本成型完成基于细粒度历史数据的专业分析数据起步速成完成基于粒度粗放数据的综合指标查询数据 19展示展示层数据分析数据分析应用用层数据集市数据集市层八大八大业务应用数据和其它外部数据用数据和其它外部数据平安生产财务绩效设备生产企企业数据数据仓
11、库(EDW)数据数据仓库层数据的抽取数据的抽取/清洗清洗/整合整合数据源数据源层平安生产分析营销分析财务绩效分析电网运行分析设备生产分析人力资源分析工程分析物资分析综合统计分析电网运行电力市场分析人力资源工程电力市场营销物资综合统计网省网省电力公司数据力公司数据仓库逻辑架构架构数据应用分析通过企业级数据仓库及数据集市提供数据支持，并通过前端展示层将分析的结果用适宜直观的方法展现给最终用户 21数据仓库能力蓝图数据数据仓库集中整合集中整合信息描述信息描述数据移数据移动分析展分析展现质量保障量保障高高级应用用提供多维分析能力，使得用户能够把一个实体的多项重要属性定义为多个维度进行深入分析，并能对不
12、同维度值的数据进行比较；同时，还需具备数据挖掘能力，帮助业务分析人员在现有数据中识别数据的模式，针对整个企业的状况和未来开展作出较完整、合理、准确的分析和预测，从复杂难懂的数据中开掘出指引企业开展需要的路径提供标准的报表和图表功能来帮助不同管理层人员做出正确决策；针对具体分析应用建立数据集市为前端提供高效的数据查询和分析效劳为了方便整个数据仓库保存信息的管理，需要具备强大的元数据管理功能，以实现各类技术术语与流程在企业内部的统一定义通过数据仓库，使得数据按照业务主题进行存储，完成对分散数据的整合工作，形成企业内部“唯一事实提供较强的数据抽取、转换与加载能力：能够高效地将前端业务分析所需要的各类
13、数据移动到数据仓库内，根据预先制定的业务规那么对数据进行处理转换使其符合目标数据格式，并根据前端展现需求提供高性能数据加载机制数据仓库应该具备完善的数据质量管理机制，确保企业内部数据的一致性与准确性，提升数据仓库分析结果的可信性22数据数据应用的用的业务目目标根据对国际先进电力企业的研究，数据应用工作可以通过提高四项能力即电网平安运营管理、电力营销及效劳、财务绩效分析和资源方案及决策来促进电网的业务开展。数数数数据据据据应应用用用用提高电力营销管理及效劳能力通过对用电量、电费、电价的分析，提高电量的需求预测能力、价格制定能力全面了解用电户的电力消费和缴费情况，帮助制定相关的用电政策和效劳措施.
14、分析营销手段及效果，提升营销策略的有效性提高电网平安运营管理能力通过对设备和电网的运行状况、检修、缺陷、事故的及时准确掌握，提高设备和电网的监控管理能力，科学管理电网设备资源；通过对平安人身伤亡事故的分析，提高事故管理和防范能力提高财务绩效分析能力反映企业单位的财务成果；指导企业单位降低本钱和费用，增加收入；充分利用资金，创造好的经济水平员工绩效分析，从组织和个人两个层面为绩效管理提供支撑依据。提高资源方案及决策能力完善报表管理，为领导及时提供全面的关键业务信息。通过国网业务运行状态的分析和监控，提高信息预测能力，为领导的科学决策提供保证，电网用户前台业务人员后台管理人员决策领导数据分析应用的
15、业务目标 通过构建四项能力来促进网省电力业务的开展23数据分析应用根本涵盖了网省电力所有业务数据范围安全生安全生产分析分析设备生生产分分析析财务绩效分析效分析电网运行分析网运行分析电力市力市场分析分析营销分析分析人力人力资源分析源分析物物资管理分析管理分析项目建目建设分析分析业务监控电量电费电价分析销售分析市场开发分析需求预测营销分析线损信息分析客户服务分析机构构成分析定员定岗分析人员组成分析工资分析教育培训分析绩效考核报表与信息查询销售分析物资收入经济分析物资消耗经济分析物资库存经济分析分析预算超时限分析市场信息分析建设情况分析投资情况分析投产效果分析分析与国网公司生产建设过程中发生的各类人
16、身伤亡事故相关的数据统计 设备构成分析设备动态信息分析设备检修分析设备缺陷分析设备试验分析财务指标资金分析成本分析利润和收益分析负荷分析电压质量分析电量平衡分析网损分析无功补偿分析电网保护设备分析交易量分析交易费用分析电力价格分析市场需求预测综合分析合分析计划划统计生产经营指标分析用电营业指标分析电网运行产品成本、销售收入和利润电网建设安全指标24公司公司领导财务人人员生生产人人员计划人划人员调度人度人员人人资部部门人人员项目管理人目管理人员科信管理人科信管理人员物物资管理人管理人员营销人人员电力交易人力交易人员网省电力各层次用户通过数据分析应用而受益25保保证设备综合信息的完合信息的完整性和整性和历史性史性从横向确保完整性：设备运行的情况设备消耗的水、煤、气记录设备运行的可靠性记录记录设备的测试信息。从纵向确保历史性：当期上期历史同期历年情况。设备管理管理监控人控人员/后台管理人后台管理人员数据整合支持数据整合支持统一一设备视图设备台帐信息 设备检修设备测试设备故障设备运行设备消耗设备事故设备环境设备可靠性其他信息(ODS)数据仓库ODS保障数据的时实可访问性数据仓库保障数据的历史性
