《德勤-证 券行业数据治理现在与未来v2dtt》由会员分享，可在线阅读，更多相关《德勤-证 券行业数据治理现在与未来v2dtt（35页珍藏版）》请在金锄头文库上搜索。
1、源于数据 服务于数据证券行业数据治理的现在与未来德勤中国 | 风险咨询服务2016年12月2016.1201PART ONE 源于数据，数据治理的驱动力02PART TWO 证券行业数据治理规划与推进03PART THREE服务于数据，数据治理的未来01PART 1 源于数据，数据治理的驱动力41.风险管理中的数据治理公司内各条线的业务人员在业务开展的过程中往往会面临大量的、来自不同数据源的、异构的数据，如何有效管理和使 用这些企业未来最重要的资产经常成为数据管理者和使用者的一大难题 典型的数据源包括：公司内部数据、政府平台数据、征信数据、银联数据、第三方数据供应商数据、社交网络数据、埋 点数
2、据等等如何管理和使用数据数据是企业的重要资产5德勤全球数据中心（GDC）是一个专注于为客户提供（风险）数据的专业团队，目前设立在重庆 依托德勤丰富的风险管理项目经验以及对客户一线需求的深入理解，该团队搭建了德勤风险数据平台提供风险数据服务数据来源德勤拥有丰富的风险管理项目经 验，通过项目实施，在德勤内部数 据库中积累了大量脱敏后的数据德勤内部数据针对外部数据的公开性，通过开发 网络爬虫获取各监管单位、行业协 会、类权威财经网等众多网站发布 的数据 通过外包形式，人工收集部分逻辑 复杂的定性/非结构化数据外部公开数据通过API接口等方式接入第三方，针 对性的获取第三方数据 通过付费方式购买第三方
3、数据第三方数据通过对接工商局、法院、教育部等 政府平台，获取权威数据有权机关数据数据仓库涵盖所有银行、证券等金融企业 所有上市公司、发债企业 其他企业企业数据集成自企业数据的业务逻辑，进行 行业整合与分析，为各类企业定位 提供支持行业数据涵盖基本背景信息、舆情风险、监 管诉讼等各类外部公开数据外部数据全国；32个省、市、自治区、直辖 市；400+地级市；2000+县 1000+指标宏观数据客户可根据自身业务需求，订阅评 级、预警、指数等资讯服务，德勤 将第一时间为客户推送相关讯息数据订阅数据服务在项目实施过程中和后续服务期 内，以定期推送的方式为客户提供 相关数据项目+数据根据客户需求，为其量
4、身定制成套 数据模板，进行定期更新推送数据个性定制客户可通过实时/批量数据接口接入 德勤风险数据平台进行数据查询与 获取数据接口数据维度11+类金融行业 14类非金融行业25+行业包含企业基本信息与历史沿革(企业 年限、股权结构与变更等)、经营模 式(技术优势、主营业务等)、上下 游企业(稳定性、集中度等)等定性 指标120+定性指标涵盖规模类、杠杆比率、流动性、 盈利能力、运营能力、成长性等6大 类270+定量指标270+定量指标通过对原始数据进行清洗整合，根据不 同的维度体系建立不同的数据仓库。 以企业数据为例，主要数据维度如下：1.风险管理中的数据治理6企业数据1.风险管理中的数据治理德
5、勤GDC应用展示71.风险管理中的数据治理自营资管柜台期货完整性情况完整性规范性及时性唯一性一致性准确性数据质量问题各维度0%20%40%60%80%100%0100200300400客户产品协议事件财务资产公用信息平均通过率规则数量本月各主题通过率产品 规则数量：61柜台十万条数据中存在941条空值，其余全为数字0。分段结束阶段为空时，分段开始阶段同样为空，但是分段结束日期不为空柜台十万条数据中存在941条空值，其余全为数字0。分段结束阶段为空时，分段开始阶段同样为空，但是分段结束日期不为空CRM十万条数据中存在61779条数据为空，且在代理人标识不为空的情况下，仍有61540条数据为空CR
6、M十万条数据中存在236条数据为空，该列为空时代理人证件类型、代理人姓名存在不为空的情况柜台51918条数据中存在7102条数据为空，且在登记人不为空的情况下存在6881条数据为空的情况柜台十万条数据中存在2382条数据为空，由于存在基准利率非空但是基准利率类型为空的情况，可认为基准利率类型填写不完善柜台十万条数据中存在99990条数据为空，保证金金额不为空的情况下， 仍然有账号为空柜台十万条数据中存在17962条数据为空，涉及第三方1不为空时存在本字段为空的情况自营十万条数据中存在18291条数据为空，涉及第三方2不为空时存在本字段为空的情况自营十万条数据中存在99996条数据为空，涉及第三
7、方3不为空时存在本字段为空的情况自营十万条数据中存在93998条数据为空，存在还款账号非空但是还款账户名为空的现象自营十万条数据中存在94026条数据为空，存在还款账户名非空但是还款账号为空的现象资管十万条数据中存在61779条数据为空，存在代理人证件标识不为空，但是代理人姓名为空的现象资管十万条数据中存在61896条数据为空，存在代理人姓名不为空，但是证件号为空的现象期货346数据中存在337条数据为空，存在联系人不为空，但是证件号码为空的情况期货十万条数据中存在97934条数据为空，存在姓名为空但是电话号码不为空的现象数据质量问题严重制约数据价值发挥81.风险管理中的数据治理数据问题解决方
8、式原因数据对接人员缺乏 各项目团队各自为战，重复 工作时效性差 数据未能在第一时间及时更 新样本缺失 使用过程中发现缺乏一些关 键样本数据值缺失一条记录里可能含有缺失值数据文件损坏保存或处理方式不当，导致 数据文件损坏数据文件遗失电脑系统崩溃、遗失、操作 不当等，导致文件遗失数据重复 相同或者部分相同的记录出 现多条数据异常数据错误数据没有严格按照规范输 入，导致错误 数据差异 定性数据的录入存在主观性 差异数据无效 数据完整、但因格式等问题 不可用数据口径不统一 数据统计口径存在差异，如 财务数据，万元/元等单位不 一数据处理技术落后传统工具无法处理组建数据团队创建了重庆GDC数据中心，组建
9、了截至目前数十人的专的数据团队建立健全的数据机制以爬虫+API的建立监测机制实时监测数据动态建立完善的数据流引擎进行数据清洗、数据校检、异常值处理建立标准的数据库并以及数据备份机制 规范数据标准根据业务需求和规范，建立标准的指标体系规范数据命名、类型、质量标准搭建数据补录平台，规范数据录入流程及标准技术革新结合R、SAS、Spark等专业数据处理软件引进数据挖掘与机器学习算法云服务器、分布式、并行等大数据解决方案没有专业的数据工作人员及团队没有健全的数据样本和数据监测机制缺乏异常值处理机制没有完善的处理机制、备份机制数据清洗机制不健全没有严谨的数据校检机制人工数据录入错误数据录入不规范没有建立
10、标准的指标体系缺乏专业技术应对大数据时代的海量数据GDC建设过程中曾遇到的各类数据问题91.风险管理中的数据治理人员、组织与架构标准、制度与规范 过去各业务团队独立收取所需数据，易 出现重复收集以及资源不足的情况 过去各业务团队自行收取数据导致数据 标准不统一，数据处理整合难度大 通过建立GDC大数据中心对数据进行 统一收集，再供数给各业务团队，实现 共享化与专业化 通过建立GDC大数据中心，建立统一 的各类数据标准与规范，提升数据管理 效率宏观数据行业数据企业数据业 务 团 队 A业 务 团 队 B业 务 团 队 C宏观数据行业数据企业数据业务团队A业务团队B业务团队CGDC数据治理案例10
11、1.风险管理中的数据治理流程、活动与机制技术、平台与工具 根据项目需求清单整理相关报告，进而 进行数据补录 采用人工的方式对数据情况进行搜索、 下载和分析，耗时耗力 GDC大数据中心集中进行数据自动化补 录，通过数据补录平台，建立了完整的 样本及数据监测机制、数据补录触发机 制、数据清洗机制、数据校检机制，流 程简洁高效 通过数据补录平台，实现数据的自动化 监测、获取、存储以及初步分析数据治理案例11数据治理是成功的企业数据管理中不可或缺的重要组成数据治理 基于生命周期的数据管理 数据人员、组织与架构 数据流程、活动与机制 数据标准、制度与规范 数据技术、平台与工具数据模型与分析模型 描述性分
12、析 360度企业全景视图 商业智能应用程序 管理仪表盘，报告 如：客户洞察，客户统一视图数据应用 基于可靠的信息行动决策 决策流程优化 预测与前瞻性分析 如：以客户为中心的产品研发，营销战略 策略与执行，服新务开发等.大数据基础架构 数据概要 数据清洗 数据整合明确数据治理职责分工，明确 不同部门在数据生命周期各个 阶段的具体职责建立数据治理的规则制度及流 程，详细指导数据治理工作的 开展建立数据标准，建立统一的数 据规范，统一的指标计算规则 与逻辑建立数据质量管理端到端的闭 环管理机制，做到事前防范， 事中控制，事后治理相结合， 提升数据质量，提升数据应用 的可靠性结合内外部数据，力求发挥最
13、 大数据价值数据应用数据模型与分析模型数据治理大数据基础架构具体 做法企业数据管理的4个组成部分1.风险管理中的数据治理02PART 2 证券行业数据治理规划与推进132. 证券行业数据治理工作实践以证券公司发展战略为导向围绕证券公司数据的生命周期从数据管理和服务的整体角度出发描述券商数据各项功能和活动证券行业数据治理工作框架要求、指导数据应用管理数据管控数据组织与职责企业数据管理企业 数据 架构 管理主数 据管 理元数 据管 理数据 标准 管理数据 质量 管理数据 安全 管理数据 生命 周期 管理技术支撑数据战略与规划数据应用与数据服务规划与需求管理数据基础平台建设发展战略目标保障举措实现支
14、撑促 进数据制度与流程142. 证券行业数据治理工作实践各领域工作内容分解企业数据架构企业数据模型企业数据分布企业数据流转数据架构管理数据模型管理数据分布管理数据标准管理基础类数据标准分析类数据标准数据标准管理标准落地实施标准管理平台维护存量数据质量管理增量数据质量管理数据质量主动保证数据质量监控数据质量清洗数据质量平台建立元数据管理业务元数据技术元数据操作元数据元数据获取与应用元数据管理工具维护主数据管理主数据技术支撑主数据规范与规则专业系统开发主数据生命周期管理主数据规则管理主数据管理工具维护数据质量管理数据生命周期管理数据分类数据存储数据归档数据销毁数据备份与恢复备份存档管理数据恢复管理
15、数据认证数据授权数据监控数据审计数据等级管理数据安全监控数据安全事故处理数据安全管理数据管控数据战略与规划数据组织与职责数据制度与流程数据仓库ODS数据集市ETL数据应用与数据服务信息服务数据需求管理信息服务体系规划指标管理大数据应用规划规划与需求管理数据基础平台建设DAM 数据 应用 管理DG 数据 管控EDM 企业 数据 管理管理报表仪表盘BI专项应用监管报表技术支撑152. 证券行业数据治理工作实践德勤在广发证券数据治理项目中的工作内容产品主数据 落地基本制度现状分析及 成熟度评估制定基础数据 标准基础数据模型 优化元数据管理 实施方案数据质量提升数据治理 工作实施数据治理 制度建设规划
16、数据治理 组织架构制定数据治理规划方案制定数据治理制度流程数据治理制度专项制度与流程数据标准、数据质量、元数据、数据安全、数据需求16德勤数据治理体系模型成熟度五级模型同业优秀实践支持重点 部门 访谈问卷 调查现有 资料 文件 整理事实依据收集1成熟度评估工作现状关键问题数据需求能力差距2实施路线图设计目标设定任务识别项目优先级排序实施路线图3组织架构、制度流程设计数据管 理组织 架构数据 管理 流 程、 制度4数据治理体系实施评估(回访阶段）5实施 成效 评估2.1 数据治理现状评估与体系规划工作方法与流程172.1 数据治理现状评估与体系规划数据治理实施路线图设计通过数据治理工作，促进数据质量的标准化，实现数据的全面管控：阶段目标完善重点领域管理能力，数据质量明显改善，加强数据模
