普元数据治理解决方案-证券

《普元数据治理解决方案-证券》由会员分享，可在线阅读，更多相关《普元数据治理解决方案-证券（69页珍藏版）》请在金锄头文库上搜索。

1、治理 让创新无限 普元证券行业数据治理 解决方案 普元：领先的基础软件平台产品及解决方案提供商 普元公司介绍-以技术为核心，专注产品研发 基本概况 成立时间: 2001年3月，2010年6月改制为股份公司 总部于上海浦东张江，北京、广州、西安、武汉、成都、南京等地设有分支机构 注册资本： 6678万元 公司经营稳健，于2009年获得国家开发银行控股新开发基金等1亿投资 人员规模： 800+，技术人员占比80%，核心管理和技术团队稳定 国家规划布局内重点软件企业、上海市高新技术企业 2012年和2016年，两次通过CMMI5级认证 国家博士后科研工作站、上海市研究生联合培养单位 国家云计算创新发

2、展示范单位、国家高技术产业化示范工程单位、 2015年成为中国大数据标准成员单位 公司目前拥有15项授权发明专利、在审专利20+项。 资质荣誉 普元公司介绍-数据治理处于国内领先地位，客户涉及各个行业 金融业部分客户 政 策 性 股 份 制 城 商 行 保 险 资 产 农 商 行 其它行业部分客户 证券 普元数据团队：提供咨询、产品、实施、培训一站式服务 团队规模 50+人 团队经验 有10+人参与过5+个数据治理 项目 团队能力 售前咨询与培训、售中产品实 施与开发、售后维护 项目经验 金融行业20+、总共40+ 其他 多名DAMA-CHINA成员/全国信标委大数据标准工作组成员、专家/北

3、上广等多地有本地实施团队 目录 1证券数据治理现状 5 总结 业界数据治理建设经验 数据治理应用场景及平台关键特性 证券数据治理建设方案 证券数据治理现状：高效运营和外部监管是行业数据治理驱动力 证券企业的IT系统经历了数据量高速膨胀的时期，海量的、分散在不同 角落的数据导致了更加复杂的数据环境。企业无法从统一的业务视角去掌控 整个企业内部的数据信息，以便更好的规划IT用于支撑业务运行。 高效 运营 数据是企业的生命线，谁掌握了准确的数据谁就获得了先机。在当前竞 争日益激烈的市场上，企业都在不同的细分市场上争夺优质客户。只有基于 高质量的数据，才能够帮助企业在激烈的竞争中取得竞争优势。 竞争

4、创新 风险 监管 证券公司全面风险管理规范（修订稿）第33条的要求：“证券公司应 当建立健全数据治理和质量控制机制。积累真实、准确、完整的内部和外部 数据，用于风险识别、计量、评估、监测和报告。证券公司应将数据治理纳 入公司整体信息技术建设战略规划，制定数据标准，涵盖数据源管理、数据 库建设、数据质量监测等环节。 证券数据治理现状：大量的券商开始开展数据据治理工作 成长阶段 成熟阶段 随机阶段 认知阶段 创新 阶段 人员组织：临时人员或无 人员 流程制度：无 技术支撑：无 人员组织：科技人员兼职 流程制度：项目方式的临时流程 技术支撑：office文档、数据分散 存储 人员组织：有专职或兼职人

5、员、有明确的职责 流程制度：系统、部门内固化流程 技术支撑：系统内数据管理、数据集市、没有或 有分散的数据管理平台 人员组织：有固定专职人员，人员分工细化 流程制度：跨系统、跨部门的固化流程 技术支撑：数据仓库、企业级数据管理平台 人员组织：专职组织，人员分工常态化，数据服务常态化 流程制度：优化的企业级管理流程 技术支撑：优质数据仓库，大数据仓库，掌握企业数据/业务需求， 联动的、常态化的数据管理平台 0 10 20 30 领导组织 组织环境 制度流程产品支撑 实施能力 数据治理成熟度评估模型 数据治理 评估角度 数据质量 元数据 数据标准 主数据 数据安全 大量券商启动、咨询、规划数据治理

6、项目 华泰、海通等 证券数据治理困难和挑战：数据治理推进还有不少问题需要解决 缺乏对企业数据整体情况了解，想推行数据标准落地防范，不知从何做 起。 数据摸底不清，无从下手 没有完整的数据治理落地方法，即使有管理办法、数据标准也会束之高 阁，没有真正的发挥作用。 缺乏方法指导，落地困难 缺少企业级完善的数据管理体系，组织、流程、标准体系等方面有缺失各自为战，建设内容割裂 数据标准统一非常难，各个业务部门都以数据业务正在使用为由，短期 不愿意去改。 整改周期长，成果见效慢 系统采用不同的技术手段实现，管理难度大，成本高；缺少工具支撑，实施成本高 证券数据治理方法：成熟理论、平台和实施经验解决实施难

7、题 实施方法论 实施计划 复核、监控和更 新 差距分析 实施计划 差距分析差距分析 路线图 评估当前环境 企业数据需求 数据质量元数据 行业数据特性 优化过程 数据蓝图规划 数据标准 数据模型主数据 数据架构管理 数据质量管理 元数据管理 文档 模型数据标准的现状、半自动化建立数据映射、 关键点 加强模型管控、审核、多态环境版本的统一管理 计划 规范定义 开发上线 创建获取 维护使用 归档恢复 定义 开发 阶段 北京银行数据治理功能架构 55 核心系统全流程中小国结商票CRM总账 公共缓冲层DS 基 础 层 财务主题产品主题 协议主题资产主题机构主题 协议级汇总 产品、机构、科目和客户级汇总

8、汇 总 层 地址主题 交易主题 当事人主题 数据仓库 ODS 资产负债类风险管理类财务绩效类统一报表平台监管合规类 55 高管驾驶仓 评级器人力资源 历史拉链存储ODS 临时层（STAT） 监管合规模型实验室风险管理 客户管理财务绩效资产负债 客户关系管理类 源系统 应用系统 数据集市 元 数 据 管 理 变 更 流 程 管 理 元数 据管 理系 统 用 户 权 限 1.上线稽核管理 模型审核：已完成59大项个模型检 核管理。 上线管理：已完成生产环境上线管 理，指标标准的稳定性相较于基础 标准弱，易变化，未来修订工作会 较频繁 2.数据流程 根据数据管理办法的流程，将流程 落地到平台中。 3

9、.管理政策 已发布元数据管理规范和管 理实施细则 北京银行：模型治理流程中的自动化管控 系统设计阶段 数据管理提供在线 的模型设计工具 数据管理与开发平 台结合，获取开发 态元数据 1）模型一致性； 2）元数据质量校 验； 导出建库脚本 数据字典发布 数标落地自动校验 辅助系统上线 模型设计服务 模型变更服务 一致性校验 模板变更通知 导出变更脚本 辅助系统运维 系统开发测试阶段 生产环境（运行态） 新 建 系 统 存 量 系 统 元数据采集适配器 (Db数据字典采集) 存量系统物理库表 数据库表逆向数据模型 设计阶段辅助物理模型设计。开发上线阶段借助，两者进行一致性校验、元数据质量校验以 保

10、证上线前元数据的规范性。上线阶段，导出上线/变更脚本辅助上线及后续系统运维。 模型校验 自动化 生成脚本 自动化 变更通知 自动化 模型校验自动化：校验各开发组提交的数据模型是否符合标准 对 比 系 统 实 际 情 况 与 模 型 设 计 数据模型提交后一致性校验，根据流程提交数据模型，通过数据标准，分析数据之间的依赖关系， 主外键关系等。 生成脚本自动化：根据不同数据库类型自动化生成脚本 根据模型生成脚本：对数据的名称、含义、结构、取值等信息的统 一定义，达成对数据的业务理解、技术实现的一致性 1.确认数据模型： 业务概念、业务含义 举例：各版本 2.脚本对比、确认基线版本： 基线版本数据库

11、字段：最小的数据粒度 举例：身份证号码（中文名称，英文名称，数据类型，长 度，有效取值） 3.确认数据库类型 Oracle,DB2 举例：不同版本数据库类型生成 生成脚本： DDL 存储过程 上线流程： 上线流程规范化脚本 举例：上线时间、上线步骤、上线操作说明等 统一模型 数据字 段 数据模型 导入数据 库 上线流程 生成脚本 不同数据 库类型 模型变更自动化：模型变更后自动触发变更通知 1.模型变更： 结构变更、业务字段变更 举例：字段长度、字段类型 2.影响分析： 根据元数据变更触发影响范围 （中文名称，英文名称， 数据类型，长度，有效取值） 3.确定影响范围 仓库内外、大数据环境内 举

12、例：ODS、核心、风险集市 4.触发流程： 触发数据链路通知 短信、微信等 5.确认修改流程： 确认相关数据修改流程 举例：立即修改、延期修改、 不修改说明，处理方法等 建立代码与字段关系 1 代码采集 代码变更 2 数据变更 创建变 更任务 通知下游系 统接口人 审 核 变 更 不做修改 不变更 下游调 整 发现代码 变更 填写变更单 系统系统表表字段字段 核心系统 （SYM） 公积金贷款表 （AL_LOAN） 贷款利率 （INT_RATE） 系统系统表表字段字段代码代码 核心系统 （SYM） 公积金贷款表 （AL_LOAN） 币种 （CCY） 币种代码表 创建变 更任务 自动影 响分析 选

13、择元数据 重要数据变更流程 北京银行数据治理团队平台实施效果与价值 北 京 银 行 数 据 治 理 实 施 标准规范质量检查流程管理模型管理模型比对模型审核 多态元 数据 开发 管理 上线 管控 关键字： 数据标准明确了数据填写及处理要求，规范了数据源，同时提供了管控方面的保障， 因此数据标准化将直接提升银行的数据质量，为领导的管理决策提供准确、全面的 数据。 1. 多态元数据应用、成为上线固化环节 提升管控质量，提交近300个数据模型、根据模型审核5000余字段，其中60%均 由系统发现并通过流程自动派发，提交管理流程。 2. 提升管控质量、新建系90%的基础字段规范化 3. 设计、开发、上

14、线管控多流程统一管控、强管理 30多个新建系统，50多项标准代码应用加入强管理，系统开发必须引用相关代码。 数据开发中环节，涉及标准字段。 新建系统数据模型引用标准项，可自动判断出标准的引用情况。 国家开发银行：根据数据标准自动生成数据质量检核标准 计划 规范定义 开发上线 创建获取 维护使用 归档恢复 维护阶段 项目建设 背景 国开行2009年开始从事数据治理建设 咨询公司换过几家，咨询方法也使用过多种，但落地效果一直不明显， 多次从事重复性工作。没有建设 目标 重新梳理数据标准化目录； 提升银监会报送与管控处标准落设计到的主要业务指标数据质量”; 提升数据标准落标准确率 关键点 自动化的绩

15、效考核管理工具，保证长效执行 国家开发银行：数据治理、管控平台功能架构 元数据管理 数据源管理 数据地图 元数据导出 模型设计 大文件传输 字典管理采集适配器 任务管理 影响分析 元数据检索 数据开发 部署管理 调度管理SQL执行 数据映射 数据抽取 数据稽核管理 评分卡管理 检核任务管理 稽核结果分析 流程定义 流程建模 稽核规则计划稽核规则管理 检稽方法管理 质量全流程 稽核日志归档 流程定制 报表问题处理 流程管理跟踪与查询 状态管理子流程管理 主题树管理 数标分类 数标任务管理 数标管理 代码层级管理 标准代码管理 问题报表制作 导出打印 可视化查询 SQL查询 Excel导出 仪表盘

16、 主管部门管理 角色管理 菜单管理 权限管理 公共参数配置 机构管理 系统清单 用户管理 公共模块 需求基本信息 基础字段申请 报表台账信息 指标需求 字段逐条审批 例外处理 需求关联 元数据导入 非标建标 字段、报表补录 需求检查项 需求上线与关闭 Step Step Step Step Step Step Step Step Step 数标落地管理 标准定义 分析类数标 规则管理数据流程管理 Step 数据标准流程需求管理流程存量梳理流程单标落地流程元数据流程,数据质量全流程权限申请流程 1.数据质量内容 基础规则：已完成110大项个基础 检核规则，未来需要对标准信息项 的进行修订完善 分析规则：已完成6大指标体系的 分析指标检核定义，指标标准的稳 定性相较于基础标准弱，易变化， 未来修订工作会较频繁 2.数据质量流程