《德勤-证 券行业数据治理现在与未来》由会员分享，可在线阅读，更多相关《德勤-证 券行业数据治理现在与未来（35页珍藏版）》请在金锄头文库上搜索。
1、源于数据 服务于数据 证券行业数据治理的现在与未来 德勤中国 | 风险咨询服务2016年12月 2016.12 01 PART ONE 源于数据，数据治理的驱动力 02 PART TWO 证券行业数据治理规划与推进 03 PART THREE 服务于数据，数据治理的未来 01 PART 1 源于数据，数据治理的驱动力 41.风险管理中的数据治理 公司内各条线的业务人员在业务开展的过程中往往会面临大量的、来自不同数据源的、异构的数据，如何有效管理和使 用这些企业未来最重要的资产经常成为数据管理者和使用者的一大难题 典型的数据源包括：公司内部数据、政府平台数据、征信数据、银联数据、第三方数据供应商
2、数据、社交网络数据、埋 点数据等等 如何管理和使用数据 数据是企业的重要资产 5 德勤全球数据中心（GDC）是一个专注于为客户提供（风险）数据的专业团队，目前设立在重庆 依托德勤丰富的风险管理项目经验以及对客户一线需求的深入理解，该团队搭建了德勤风险数据平台提供风险数据服务 数据来源 德勤拥有丰富的风险管理项目经 验，通过项目实施，在德勤内部数 据库中积累了大量脱敏后的数据 德勤内部数据 针对外部数据的公开性，通过开发 网络爬虫获取各监管单位、行业协 会、类权威财经网等众多网站发布 的数据 通过外包形式，人工收集部分逻辑 复杂的定性/非结构化数据 外部公开数据 通过API接口等方式接入第三方，
3、针 对性的获取第三方数据 通过付费方式购买第三方数据 第三方数据 通过对接工商局、法院、教育部等 政府平台，获取权威数据 有权机关数据 数据仓库 涵盖所有银行、证券等金融企业 所有上市公司、发债企业 其他企业 企业数据 集成自企业数据的业务逻辑，进行 行业整合与分析，为各类企业定位 提供支持 行业数据 涵盖基本背景信息、舆情风险、监 管诉讼等各类外部公开数据 外部数据 全国；32个省、市、自治区、直辖 市；400+地级市；2000+县 1000+指标 宏观数据 客户可根据自身业务需求，订阅评 级、预警、指数等资讯服务，德勤 将第一时间为客户推送相关讯息 数据订阅 数据服务 在项目实施过程中和后
4、续服务期 内，以定期推送的方式为客户提供 相关数据 项目+数据 根据客户需求，为其量身定制成套 数据模板，进行定期更新推送 数据个性定制 客户可通过实时/批量数据接口接入 德勤风险数据平台进行数据查询与 获取 数据接口 数据维度 11+类金融行业 14类非金融行业 25+行业 包含企业基本信息与历史沿革(企业 年限、股权结构与变更等)、经营模 式(技术优势、主营业务等)、上下 游企业(稳定性、集中度等)等定性 指标 120+定性指标 涵盖规模类、杠杆比率、流动性、 盈利能力、运营能力、成长性等6大 类270+定量指标 270+定量指标 通过对原始数据进行清洗整合，根据不 同的维度体系建立不同的
5、数据仓库。 以企业数据为例，主要数据维度如下： 1.风险管理中的数据治理 6 企业数据 1.风险管理中的数据治理 德勤GDC应用展示 71.风险管理中的数据治理 自营资管柜台期货 完整性情况 完整性 规范性 及时性 唯一性 一致性 准确性 数据质量问题各维度 0% 20% 40% 60% 80% 100% 0 100 200 300 400 客户产品协议事件财务资产公用信息 平均通过率 规则数量 本月各主题通过率 产品 规则数量：61 柜台十万条数据中存在941条空值，其余全为数字0。分段结束阶段为空时，分段开始阶段同样为空，但是分段结束日期不为空 柜台十万条数据中存在941条空值，其余全为数
6、字0。分段结束阶段为空时，分段开始阶段同样为空，但是分段结束日期不为空 CRM十万条数据中存在61779条数据为空，且在代理人标识不为空的情况下，仍有61540条数据为空 CRM十万条数据中存在236条数据为空，该列为空时代理人证件类型、代理人姓名存在不为空的情况 柜台51918条数据中存在7102条数据为空，且在登记人不为空的情况下存在6881条数据为空的情况 柜台十万条数据中存在2382条数据为空，由于存在基准利率非空但是基准利率类型为空的情况，可认为基准利率类型填写不完善 柜台十万条数据中存在99990条数据为空，保证金金额不为空的情况下， 仍然有账号为空 柜台十万条数据中存在17962
7、条数据为空，涉及第三方1不为空时存在本字段为空的情况 自营十万条数据中存在18291条数据为空，涉及第三方2不为空时存在本字段为空的情况 自营十万条数据中存在99996条数据为空，涉及第三方3不为空时存在本字段为空的情况 自营十万条数据中存在93998条数据为空，存在还款账号非空但是还款账户名为空的现象 自营十万条数据中存在94026条数据为空，存在还款账户名非空但是还款账号为空的现象 资管十万条数据中存在61779条数据为空，存在代理人证件标识不为空，但是代理人姓名为空的现象 资管十万条数据中存在61896条数据为空，存在代理人姓名不为空，但是证件号为空的现象 期货346数据中存在337条数
8、据为空，存在联系人不为空，但是证件号码为空的情况 期货十万条数据中存在97934条数据为空，存在姓名为空但是电话号码不为空的现象 数据质量问题严重制约数据价值发挥 81.风险管理中的数据治理 数据问题解决方式原因 数据对接人员缺乏 各项目团队各自为战，重复 工作 时效性差 数据未能在第一时间及时更 新 样本缺失 使用过程中发现缺乏一些关 键样本 数据值缺失 一条记录里可能含有缺失值 数据文件损坏 保存或处理方式不当，导致 数据文件损坏 数据文件遗失 电脑系统崩溃、遗失、操作 不当等，导致文件遗失 数据重复 相同或者部分相同的记录出 现多条 数据异常 数据错误 数据没有严格按照规范输 入，导致错
9、误 数据差异 定性数据的录入存在主观性 差异 数据无效 数据完整、但因格式等问题 不可用 数据口径不统一 数据统计口径存在差异，如 财务数据，万元/元等单位不 一 数据处理技术落后 传统工具无法处理 组建数据团队 创建了重庆GDC数据中心，组建了截至目前数 十人的专的数据团队 建立健全的数据机制 以爬虫+API的建立监测机制实时监测数据动态 建立完善的数据流引擎进行数据清洗、数据校检、 异常值处理 建立标准的数据库并以及数据备份机制 规范数据标准 根据业务需求和规范，建立标准的指标体系 规范数据命名、类型、质量标准 搭建数据补录平台，规范数据录入流程及标准 技术革新 结合R、SAS、Spark
10、等专业数据处理软件 引进数据挖掘与机器学习算法 云服务器、分布式、并行等大数据解决方案 没有专业的数据工作人员及团队 没有健全的数据样本和数据监测机制 缺乏异常值处理机制 没有完善的处理机制、备份机制 数据清洗机制不健全 没有严谨的数据校检机制 人工数据录入错误 数据录入不规范 没有建立标准的指标体系 缺乏专业技术应对大数据时代的海量数据 GDC建设过程中曾遇到的各类数据问题 91.风险管理中的数据治理 人员、组织与架构 标准、制度与规范 过去各业务团队独立收取所需数据，易 出现重复收集以及资源不足的情况 过去各业务团队自行收取数据导致数据 标准不统一，数据处理整合难度大 通过建立GDC大数据
11、中心对数据进行 统一收集，再供数给各业务团队，实现 共享化与专业化 通过建立GDC大数据中心，建立统一 的各类数据标准与规范，提升数据管理 效率 宏观数据 行业数据 企业数据 业 务 团 队 A 业 务 团 队 B 业 务 团 队 C 宏观数据 行业数据 企业数据 业务团队A 业务团队B 业务团队C GDC 数据治理案例 101.风险管理中的数据治理 流程、活动与机制 技术、平台与工具 根据项目需求清单整理相关报告，进而 进行数据补录 采用人工的方式对数据情况进行搜索、 下载和分析，耗时耗力 GDC大数据中心集中进行数据自动化补 录，通过数据补录平台，建立了完整的 样本及数据监测机制、数据补录
12、触发机 制、数据清洗机制、数据校检机制，流 程简洁高效 通过数据补录平台，实现数据的自动化 监测、获取、存储以及初步分析 数据治理案例 11 数据治理是成功的企业数据管理中不可或缺的重要组成 数据治理 基于生命周期的数据管理 数据人员、组织与架构 数据流程、活动与机制 数据标准、制度与规范 数据技术、平台与工具 数据模型与分析模型 描述性分析 360度企业全景视图 商业智能应用程序 管理仪表盘，报告 如：客户洞察，客户统一视图 数据应用 基于可靠的信息行动决策 决策流程优化 预测与前瞻性分析 如：以客户为中心的产品研发，营销战略 策略与执行，服新务开发等. 大数据基础架构 数据概要 数据清洗
13、数据整合 明确数据治理职责分工，明确 不同部门在数据生命周期各个 阶段的具体职责 建立数据治理的规则制度及流 程，详细指导数据治理工作的 开展 建立数据标准，建立统一的数 据规范，统一的指标计算规则 与逻辑 建立数据质量管理端到端的闭 环管理机制，做到事前防范， 事中控制，事后治理相结合， 提升数据质量，提升数据应用 的可靠性 结合内外部数据，力求发挥最 大数据价值 数据应用 数据模型与分析模型 数据治理 大数据基础架构 具体 做法 企业数据管理的4个组成部分 1.风险管理中的数据治理 02 PART 2 证券行业数据治理规划与推进 132. 证券行业数据治理工作实践 以证券公司发展战略为导向
14、 围绕证券公司数据的生命周期 从数据管理和服务的整体角度出发 描述券商数据各项功能和活动 证券行业数据治理工作框架 要求、指导 数据应用管理 数据管控 数据组织与职责 企业数据管理 企业 数据 架构 管理 主数 据管 理 元数 据管 理 数据 标准 管理 数据 质量 管理 数据 安全 管理 数据 生命 周期 管理 技术支撑 数据战略与规划 数据应用与数据服务规划与需求管理数据基础平台建设 发展战略 目标 保障 举措 实现 支撑 促 进 数据制度与流程 142. 证券行业数据治理工作实践 各领域工作内容分解 企业数据架构 企业数据模型 企业数据分布 企业数据流转 数据架构管理 数据模型管理 数据
15、分布管理 数据标准管理 基础类数据标准 分析类数据标准 数据标准管理 标准落地实施 标准管理平台维护 存量数据质量管理 增量数据质量管理 数据质量主动保证 数据质量监控 数据质量清洗 数据质量平台建立 元数据管理 业务元数据 技术元数据 操作元数据 元数据获取与应用 元数据管理工具维护 主数据管理 主数据技术支撑 主数据规范与规则 专业系统开发 主数据生命周期管理 主数据规则管理 主数据管理工具维护 数据质量管理 数据生命周期管理 数据分类 数据存储 数据归档 数据销毁 数据备份与恢复 备份存档管理 数据恢复管理 数据认证 数据授权 数据监控 数据审计 数据等级管理 数据安全监控 数据安全事故
16、处理 数据安全管理 数据管控 数据战略与规划数据组织与职责数据制度与流程 数据仓库 ODS 数据集市 ETL 数据应用与数据服务 信息服务 数据需求管理 信息服务体系规划 指标管理 大数据应用规划 规划与需求管理 数据基础平台建设 DAM 数据 应用 管理 DG 数据 管控 EDM 企业 数据 管理 管理报表 仪表盘BI专项应用 监管报表 技术支撑 152. 证券行业数据治理工作实践 德勤在广发证券数据治理项目中的工作内容 产品主数据 落地 基本制度 现状分析及 成熟度评估 制定基础数据 标准 基础数据模型 优化 元数据管理 实施方案 数据质量提升 数据治理 工作实施 数据治理 制度建设 规划数据治理 组织架构 制定数据治理规划方案制定数据治理制度流程
