智慧电力解决方案课件

智慧电力解决方案电网大数据建设背景电力是大数据理念、技术和方法在电力行业的实践。电力大数据涉及到发电、输电、变电、配电、用电、调度各环节，是跨单位、跨专业、跨业务数据分析与挖掘，以及数据可视化。电力大数据由结构化数据和非结构化构成，随着智能电网建设和物联网的应用，非结构化数据呈现出快速增长的势头，其数量将大大超过结构化数据。电网大数据综合整治1、电网大数据综合整治电网大数据综合整治目前现状大量企业从传统数据库时代和传统数仓时代进入到了hadoop时代，数据变得更多、更乱、更难治理，特别是电网行业，数据在当今互联网时代呈现持续爆发增长 电网大数据综合整治工程管理系统用电计量系统互联网营销客户数据调度计划系统传统数据库/Dw数仓效果并不好的数仓形式的数据治理传统的数据治理主要在于建立一套管控机制，主要面向数据管理部门多个hive数仓多个hive数仓多个hive数仓数据更难治理！大数据时代下企业拥有更海量的数据，数据治理已经转变为面向全集团了，并且影响到数据变现的难易程度面临问题业务数据需求开发过程控制数据质量管理组织流程标准怎么找到业务部门提的需求对应到哪些表和开发逻辑？新需求则会新建数据模型报表数据为什么不准了？编码不统一怎么发现模型扩展性差命名规则都不一样源表变动怎么发现空字段有多少？空表、废弃表有多少？数据格式是否统一？是否专人专岗？是否有数据质量考核流程急需解决数据金山不治理治理是否真的了解企业数据现状是否真的了解企业数据现状？低效地获取“金币级别”的大数据服务，对“金块级别”的大数据服务望尘莫及竞争对手是否已经在快速地数据变现？数据治理迫在眉睫！平台建设目标2、平台建设目标在大数据整体应用链路中的位置存通治统一存储计算能力统一维度场景化连接数据连接统一口径类目体系质量基线数据计量血缘地图数据治理用能力沉淀动态组织效果反馈快速验证场景化存储汇聚了解企业数据基本情况：包括数据量、数据类型、数据来源、数据使用情况；知通过“四个统一”（一套机制+三类管理数据管理机制、数据开发管理、数据监控管理、数据应用管理）建立起将企业的数据形成数据资产的基础。基于数据类目体系+标签类目体系，将企业数据打造成为数据资产。管建立规范的组织架构、数据资产管理办法和制度、数据资产管理工具对数据资产进行有效控制。控三步完成数据治理工作“四个统一”数据治理平台数据开发管理数据监控管理数据应用管理类目体系统一的数据管理机制：形成技术与管理相结合的数据治理管理办法与反馈机制统一的数据开发管理：建设统一的数据开发标准与监控统一的数据监控管理：包括数据质量、数据全生命周期管理等统一的服务应用管理：做到数据治理的“最后一公里”,将数据应用与数据开发结合管理数据管理机制数据更易用数据质量更高数据更稳定“三类管理”的建设技术点适配现有存储计算引擎；灵活的数据开发定义；灵活的布署运维适配；资源、权限的隔离；统一开发管理适配现有存储计算引擎；完善的数据标准；数据质量的监测保障；数据的生命周期定义；数据的追踪溯源；统一数据管理适配统一数据管理；方便的运维管控；统一的鉴权机制；稳定的服务能力；统一应用管理关键技术点类目体系介绍超市货柜（标签类目体系）超市仓库（数据类目体系）货品（业务数据）让用户可以根据【可理解的分类方式】快速查找数据、标签。将数据进行归集和分类转化为可计量、可管控、可增值的资产数据无序且杂乱的分布于各业务系统内团队曾负责打造阿里TCIF体系设计超过3000个用户标签（单位用户）目前标签体系涵盖包括：互联网、地产、旅游、交通、制造、医疗、金融、证券等多个领域。与客户共同构建，真正实现用业务语言、符合业务场景、贴合业务需求。标签类目专家标签类目示例建立长效循环机制现状分析数据治理长期循环迭代技术部署效果分析建立组织治理实施稳定的报表分析数据标准有效的关键主数据高效准确的数据服务l发电设备利用统计表l电力电量平衡情况表l电网阻塞分析统计表l设备故障分析报表ll电网负荷主数据l电网安全主数据l智能节能主数据ll电力负荷预测l电网安全评估l智能检修决策电网数据中台平台顶层设计3、平台顶层设计数据治理平台建设思路相对无序的数据库/数仓有序的、可控的数据中心快速构建丰富的电网大数据能力标准管理开发管理监控管理质量管理数据管理建立平台从标签设计到表结构标准的初始标准化配置，是数据治理的基础对大量实时、离线数据抽取、开发任务进行过程管控对数据源、数据开发过程进行实时监控，可半自动化处理异常任务可对数据质量保持随时获知的状态获取企业数据资产现状、数据流转链路等清晰的信息数据治理框架起源DAMA数据治理框架国际数据管理协会提出，它是国际上首家服务于数据管理人员的专业组织，主要为数据管理专业制定标准和方法DGI数据治理框架数据治理研究协会提出，总部位于美国，是一家致力于提供专业数据管理咨询和服务的盈利性组织IBM数据治理框架IBM于2004年发起成立数据治理论坛，并提出该框架。该论坛如今已成为当今最权威的三大数据治理机构之一基于阿里内部数据治理框架基于团队在阿里内部长达8年的数据使用经验，总结出的数据从交换到开发以及最终应用的治理框架智慧电网平台数据治理框架从数据变现、大数据应用角度出发从数据变现、大数据应用角度出发一站式大数据平台级的数据治理一站式大数据平台级的数据治理从半自动化、高效治理海量数据从半自动化、高效治理海量数据数据治理平台架构用电计量系统用电计量系统数据源能量管理系统能量管理系统设备管理系统设备管理系统GISGIS配电管理系统配电管理系统调度计划系统调度计划系统工程管理系统工程管理系统用户管理系统用户管理系统数据权限标准数据权限标准数据源管理数据源管理数据建模标准数据建模标准数据接口标准数据接口标准数据字典管理数据字典管理传输加密传输加密流程制度流程制度数据管理数据监控数据地图数据血缘追溯数据权限管控数据源管理元数据字典智能节能电网大数据应用场景电网架构规划智能检修决策电网安全评估电力负荷预测数据开发管理数据质量数据服务引擎大数据计算引擎HDFS存储任务调度决策中心数据清洗任务数据交换任务数据质量报告质量追责质量现状分析数据生命周期管理数据安全数据质量规则数据应用管理数据源监控ETL过程监控数据开发过程监控数据服务应用监控统一告警中心统一日志中心数据标准数据治理平台承上启下数据标准设计：控制数据底层结构基于数据治理平台，可构建相关的标准，通过标准化的设置降低数据治理的难度、提高数据质量，从数据底层基础开始进行数据治理权限责任标准设计建模标准数据处理逻辑标准单表责任制表级别权限控制数据角色配置数据质量治理平台标准控制中心数据开发过程标准数据采集逻辑标准（ETL）标签设计标准数据模型标准质量标准监控标准数据安全标准新建审核发布变更数据标准设计：反推的数据模型设计标准数据源表抽取监控标准数据开发过程标准 主要面向业务层的标准设计数据标签类目体系设计：要做的数据应用应该由哪些标签组成标签标准定义：名称、描述、逻辑定义、显示类型、值域、安全等级、是否维度列、是否识别列等由资深地产行业专家根据企业现状量身定做主要面向开发层的标准设计数据表结构设计：基于设计好的标签定义、类目体系，进行落地实现的开发层面的数据库表结构设计表分层设计：进行专业的数据表层次设计，定义结构模型主要面向ETL过程的标准设计数据源抽取标准：基于上层已设计好的结果表结构设计，定义所需数据源表的抽取规则，只抽取符合要求的数据、数据应用所需的数据数据监控标准：对所抽取的不同字段进行不同程度的监控标准数据标签类目体系标准数据标准设计：数据权限管理开发测试预发生产单一环境严格环境外包环境生产开发测试预发生产外包员工测试预发生产企业可以自定义配置单一环境（生产）、常规模式（开发、生产）、严格环境（开发、测试、预发、生产）、外包环境（外包人员开发、内部员工开发、测试、预发、生产）等模式。平台以环境级联方式灵活支持企业各类环境需求，方便对资源、权限的控制和隔离。数据标准管理数据开发规范数据治理部门职责权限数据治理考核办法数据错误审查流程数据质量评审流程数据库管理标准数据字段管理标准数据任务执行标准数据质量判断标准数据生命周期管理标准数据开发管理：流程图大数据平台（Hadoop）数据中心（Greenplum）数仓（Informatica）数据库（Oracle/MySQL）统一开发管理采集清洗建模发布运维监控访问安全、权限（数据开发全流程）数据治理的过程往往会对接大量数据源，进行数据的抽取、清洗、转换，依托于数据治理平台，可将ETL过程完全控制，降低数据出错的风险。当然也可以通过插件化形式对接企业异构的存储、计算引擎，适配企业现有的数据治理体系数据开发管理：数据采集任务管理HiveHbaseOther数据治理平台数据采集Oracle ReaderMsSQLReaderMySQLReaderGreepPlumWriterHiveWriterHbaseWriterOtherReaderOtherWriter数据从业务库流向数仓的在线、离线存储，支持高并发异构数据源与异构网络数据智能适配业务人员操作控制UI端电网信息化建设往往拥有多种数据源类型，可以通过同步模块的数据源进行统一管理，方便用户快速通过可视化页面构建数据汇聚工作。同时，数据源的支持以插件方式，通过热插拔来快速支持二次开发。数据源数据监控：为质量管理、数据管理提供血液监控基线数据源数据开发数据应用l对数据源进行实时监控l源表变更实时知晓l超过基线标准自动挂起l开发任务追责制l开发任务调度总览l上游变动下游开发自动停止l对数据服务API调用情况监测l服务与开发任务关联情况监测数据质量数据管理数据监控：平台级半自动化的数据源监控下游：数据开发上游：数据源数据通道监控上游源表变更与源表标准对比判断不超过开发基线标准判断超过开发基线标准自动发邮件通知自动发邮件通知自动执行挂起任务操作手动修改营销的结构和任务参数平台自动修改相应的抽取任务代码日志中心数据质量：质量管理逻辑数据质量：质量规则维度维度存在主键，不为空且全局唯一关键字段不可为空字段值域在取值范围记录波动符合正常要求值记录是否能关联到其他表记录维度数据规范性数据完整性数据唯一性数据准确性针对客户信息表检查每个客户的客户编号不为空，且无重复号针对合约表检查生效日期不为空针对合约表检查合约起息日期=结息日期针对客户信息表检查当证件类型为“组织机构代码证”时，其证件号码的规则为8位字符本体代码和一位字符校验码组成，表示形式为：XXXXXXX-X 数据质量指标数据质量要求数据质量规则数据时效性数据一致性数据质量要求在系统中的具体体现衡量数据质量的标准对数据质量的业务要求数据质量规则：以数据质量要求为依据，针对具体数据字段而制定的的检查方法，包括控制规则和监测规则。质量检查可以与开发任务流结合，对生产过程进行监测，无法符合要求时及时阻断报警，避免线上脏数据。数据质量：自动化的质量分析报告数据源 首次抽取任务增量任务数据表被调用情况质量标准开发任务管理规范数据质量中心整体数据现状分析：快速了解当前数据质量情况单表质量分析：对某张表进行详细的实时分析质量考核：质量报告中可追溯到每张表、每个任务的责任人，对必要情况进行追责定期质量报告：可根据模板定制报告内容，定期产出并导出/邮件通知数据管理：统一数据管理大数据平台（Hadoop）数据中心（Greenplum）数仓（Informatica）数据库（Oracle/MySQL）元数据数据应用生命周期数据血缘安全定级数据地图统一数据管理1、解决异构的存储计算引擎问题，让管理者有一个统一的操作入口。2、管理能力覆盖整个数据的全生命周期，提升数据治理的能力。数据管理：生命周期管理l减少数据冗余，提高数据一致性 l减少存储、硬件、运维等方面基础设施投入 l提升应用系统性能，提高响应速度l满足业务操作和管理分析的需要l满足对历史数据查询相关政策和管理制度的要求 l满足审计管理要求业务规划业务标准设计数据模型设计应用设计实现业务规划定义阶段数据采集应用设计实现阶段数据治理规划数据创建数据