《企业大数据治理管理平台建设和实施方案》由会员分享，可在线阅读，更多相关《企业大数据治理管理平台建设和实施方案（32页珍藏版）》请在金锄头文库上搜索。
1、郎丰利于2023年8月整理制作，碳排放数字化建设及数字化驾驶舱建设综合解决方案整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行郎丰利于2023年8月整理制作，碳排放数字化建设及数字化驾驶舱建设综合解决方案整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行企业大数据治理管理平台建设和实施方案2目录目录/ContentsContents企业数据治理管理解决方案概述
2、企业数据治理管理解决方案概述0101企业数据治理管理平台设计方案企业数据治理管理平台设计方案0202企业数据治理管理项目实施方案企业数据治理管理项目实施方案0303整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行整理制作：郎丰利1519 制作时间：2023年 睿利而行企业数据治理管理解决方案概述n对大数据治理管理的总体认知n企业大数据治理管理产品与服务体系n大数据治理管理的总体解决方案14 4对大数据治理管理的总体认知需求驱动资本业务场景数据智能资产结构化流程化标准化数据治理治理&开发开发共享共享&应用应用跟踪跟踪&记录记录资源复
3、杂性异构性多样性以采集为手段以汇聚为核心以规范为依托以开发为中心以场景为载体以效益为目标大数据治理管理核心要素数据治理数据治理组织组织数据标准数据标准规范规范治理平台治理平台工具工具数据治理数据治理活动活动数据管理数据管理制度制度战略战略引领引领投资投资驱动驱动n n数据是企业非常重要的资数据是企业非常重要的资源，但很难直接使用；源，但很难直接使用；n n需要通过一系列的治理过需要通过一系列的治理过程将数据资源转化为企业程将数据资源转化为企业可使用的数据资产；可使用的数据资产；n n而只有将数据资产真正应而只有将数据资产真正应用到业务中，才能产生效用到业务中，才能产生效益，成为企业的资本；益，
4、成为企业的资本；n n企业进行数据治理管理的企业进行数据治理管理的最大驱动力来自数据的应最大驱动力来自数据的应用价值；用价值；n n数据治理管理是企业重要数据治理管理是企业重要的战略组成部分；的战略组成部分；n n数据治理管理需要企业投数据治理管理需要企业投资来驱动；资来驱动；n n组织、制度、规范、开发组织、制度、规范、开发与工具是企业进行数据治与工具是企业进行数据治理管理的核心要素。理管理的核心要素。汇聚融合提炼抽象服务业务5 5对大数据治理管理概念的理解是构建完善、开放、统一管理数据环境的基本保障和重要组成部分是把数据作为资产来管理、兑现数据应用价值的有效手段确定了一系列岗位角色和相应的
5、责任及管理流程保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性企业进行数据治理的最大驱动力来自数据的价值，通过提高数据质量实现更多的业务价值将实现业务目标作为数据管理治理的核心驱动力，优化数据架构，提升数据资产管理建设，支持企业业务与管理能力提高、精细化和决策的科学性数据治理管理是组织中涉及数据使用的一整套管理行为，是由数据管理部门发起并推行，为了将数据资源转化为数据资产并对外供数据服务以响应数据应用需求，而所采取的元数据管理、数据标准管理、数据开发与数据质量控制等一系列政策、技术与流程管理活动的总称元数据管理、数据标准管理、数据开发与数据质量控制等一系列
6、政策、技术与流程管理活动的总称。6 6企业大数据治理管理方法论数据治理管理数据标准和规范平台和工具支持数据存储计算数据标准管理数据开发管理数据资产管理应用数据标准共享数据标准基础数据标准风险管理应用运营管理应用财务管理应用客户管理应用客户机构产品协议交易财务资产渠道营销地址代码外部数据交换内部数据共享组织与职责决策层管理层执行层制度与流程数据管控制度数据质量管理办法数据标准管理办法数据需求管理办法考核与评价数据标准落地执行数据需求有效性数据质量考核数据治理参与度4321战略愿景体系支撑数据规范支撑技术实现目标分解目标分解实现支撑实现支撑数据服务管理数据质量管理管理机构与制度沉淀数据资源，开发数
7、据资产，构建数据服务，兑现数据价值，驱动业务增长数据采集集成元数据管理7 7企业大数据治理管理产品与服务体系技术工具能力专业团队管理分析理论4PSTP理论PEST分析方法能力成功经验用户使用行为5W2H生命周期逻辑树数据处理管理HadoopAI技术机器学习管理治理数据仓库数据分析对比分析交叉分析回归分析模型开发回归聚类分类神经网络语音识别图像识别ETL交付流程项目需求分析系统开发与测试平台上线应用平台运营支撑功能/模型迭代平台工程师数据工程师项目管理运营支撑架构与功能设计应用开发平台建设咨询服务公式法对比法二八法漏斗法统计分析方法大数据平台建设数仓/BI建设数据治理管理数据建模应用开发数据分析
8、咨询专题主题开发运营支撑功能功能/模型迭代模型迭代算法工程师数据咨询师8 8大数据治理管理解决方案数据源业务系统数据物联网数据实时数据流非结构化数据互联网数据数据采集离线采集实时采集FTP采集接口采集流式采集数据资源中心存储RDMS消息队列分布式存储存储非结构化数据图片数据文本数据实时数据实时存储时实模型离线数据应用租户计算区离线计算实时计算标准层数据湖数据治理管理元数据管理数据标准管理数据开发管理统一调度管理数据资产管理数据架构管理数据服务管理数据质量管理数据管理门户&数据可视化数据应用经营分析辅助决策潜客挖掘用户画像业务预测风险预警数据应用服务管理统一运维基础资源监控应用服务监控监控告警故
9、障管理运维作业管理运维流程管理数据安全统一身份管理统一认证管理数据脱敏管理安全日志管理安全告警安全审计管理企业数据治理管理平台设计方案n数据治理管理平台架构n数据治理管理平台功能与特性21010总体架构元数据管理数据标准管理数据开发调度数据资产管理数据质量管控数据共享服务服务能力服务能力解决方案解决方案金融金融零售零售制造业制造业交通交通农业农业用户群体用户群体行业应用行业应用基础平台基础平台数据开发人员数据分析师业务用户数据科学家数据管理员数据操作员组织、用户、角色、权限管理数据源管理数据采集插件管理数据管理基础平台大数据存储与计算引擎日志管理元数据智能管理调度中心建模设计数据治理服务能力数
10、据共享数据服务引擎服务门户数据门户（Web UI）数据治理（Web UI）元数据管理元数据血缘元数据维护元数据解析元数据采集数据标准管理业务标准管理技术标准管理命名标准管理维度标准管理数据质量管理质量统计分析质量报告管理质量稽核管理质量规则配置数据资产管理数据资产检索数据资产总览数据资产地图数据资产目录数据开发管理统一任务调度数据模型设计可视化开发数据脚本开发数据服务管理订阅审核服务监控服务审核服务管理算法库消息管理互联网互联网电子政务电子政务教育教育1111平台特性一站式数据治理运营平台，支撑全流程数据流转管理EDGP覆盖了从标准、设计、采集、开发到使用，再到交付和运维的全数据治理管理流程，
11、为组织提供了一站式数据治理运营平台，可满足数据共享交换、数据开发、数据运营多种应用场景，并通过构建数据工厂，实现数据治理的标准化、流程化与组件化。数据服务数据生产者业务数据日志数据视频数据物联数据各类文件互联网数据数据消费者内部管理者内部业务部门兄弟单位合作伙伴外部机构内部下属单位大数据资源中心数据治理管理规范标准（元数据、标准、质量、资产、目录）EDGP-企业大数据治理管理平台数据建模数据采集数据共享清洗加工质量稽核资产管理数据生命周期管理持续持续反馈反馈数据归集数据安全管控1212平台特性兼容市面所有常用数据库企业大数据治理管理平台数据底座数据底座数据源端数据源端1313平台特性前置、自动
12、、端到端与智能的元数据管理前向获取自动采集变更监控n提供元数据前向获取功能，在完成数据应用程序的同时，完成元数据的收集n技术与业务元数据n一键自动完成90%以上元数据采集与解析n支持自动扫描、手动配置、文件导入等多种采集方式n对元数据对象的变更情况进行监控n可对有变化的元数据进行增量扫描与采集n对元数据版本做管控一致性保障端到端管控智能应用n实现业务元数据与技术元数据、技术元数据与技术实现、元数据血缘与数据调度的一致性保障n按统一规范对元数据进行集中管理与监控n对数据的一致性、准确性和完整性进行全流程的管理和监控n通过元数据的血缘分析，影响分析帮助组织有效维护管理数据n提供快速数据资源检索与3
13、60度资产画像提供多种异构数据源的元数据采集和维护，基于提供多种异构数据源的元数据采集和维护，基于MOFMOF规规范将元数据统一管理起来，并提供端到端的元数据服务范将元数据统一管理起来，并提供端到端的元数据服务1414平台特性多维、全过程的数据标准管控EDGP支持多元数据标准的制定及数据标准的统一管控，并提供贯穿数据的开发、部署、治理等各个阶段数据标准的管控，确保数据在生命周期的各阶段始终都满足组织的技术与业务规范，把组织纸面上的数据管理与应用规范转化为真正可落实的数据管控策略。数据管理与应用规范数据管理与应用规范数据标准配置库数据标准配置库在线在线管理管理n通过数据标准的制定，能够有效防止业
14、务用语的混乱使用，进一步保障数据的质量和正确性；n数据标准的制定为模型开发、数据质量检查、元数据质量检查提供支撑。多维多维配置配置维度标准命名标准字典标准业务标准标准1515平台特性流程化与可视化的数据开发 可视化程序编排，数据处理流程开发，使程序开发更简便，降低数据开发周期、开发成本；可视化程序开发可结合数据标准化体系，整体数据开发流程与标准化管控切实对接。数数 据据 工工 厂厂1616平台特性灵活、高效的任务调度管理以一个流水线生产为例：传统做法是单条生产线依赖产品的生产工序进行协同生产。在统一开发调度平台可以通过控制中心进行作业命令下发，状态收集进行控制，达到多个工厂，多条生产线的协同调
15、度，实现数据从“采集加工对外应用服务”的全生命周期管理。整理制作郎丰利1519统一调度管理统一调度管理流程设计与管理调度策略管控任务调度控制标准化控件作业/任务管理作业/任务调度作业/任务执行采集转换加载调度监控1717平台特性快捷的数据应用与服务构建模型开发程序开发程序测试审核上线数据探索1818平台特性全数据生命周期的质量管理数据质量管理主要包含对数据完整性、准确性、鲜活性、权威性的分析和管理，并对数据进行跟踪、处理和解决，实现对数据质量的全程管理，提高数据的质量。郎丰利整理制作。质量模型一套规则质检方案一质检方案二质检方案and质量模型实体表数据质量基础单元完整性准确性鲜活性权威性根据业
16、务需要选择实体表和规则，方案与方案之间相互独立，互不干扰。通过执行模型下的质检方案，可以得到用户关心的数据质量分析结果，如问题数据明细信息、数据质量分析结果等。平台能够提供质量规则配置、质量监控、问题处理等功能，及时发现并分析数据质量问题，不断改善数据的使用质量，从而提升数据的可用性，挖掘数据更大的价值空值检查值域检查规范检查逻辑检查重复数据检查及时性检查缺失记录检查引用完整性检查检查质量规则质量规则1919平台特性规范、完整的数据资产管理1.元数据管理2.数据归集3.模型设计4.模型开发5.质量管理6.6.资产管理资产管理数据资产ETL数据库分析报告设计文档处理程序报表服务数据模型资产目录管理资产生命周期管理资产注册资产上下线资产变更管理资产引用管理数据血缘资产地图自动化收集数据可知明确数据来源、含义、用法数据可控数据流可控数据质量可控数据可取方便各层级人员获取 管理目标2020平台特性严密、可靠的数据安全保障安全服务体系平台基础设备信息源身份认证信息数据授权信息安全服务信息数据使用信息大数据治理管理平台数据流数据流安全运营中心安全服务信息平台安全运营安全规范审计事前：统一身份访问控
