《国信证券数据中心架构0112》由会员分享，可在线阅读，更多相关《国信证券数据中心架构0112（18页珍藏版）》请在金锄头文库上搜索。
1、国信证券数据中心架构信息技术总部|数据中心开发小组2016年01月12日1/17数据中心架构、模型、路线与实践总体架构与理论架构详细设计企业数据仓库（EDW）数据集市（DataMart）应用（APP）下一步工作2内容BillInmon企业信息工厂架构RalphKimball数据集市/数据仓库总线架构VS逻辑设计：NCR金融服务逻辑数据模型（FS-LDM）物理设计：数据分区与切片业务绩效指标体系营销人员绩效指标体系客户指标体系数据中心KPI报表系统客户分析及推荐系统(DA2P)l客户分级分类管理l客户分析及推荐系统二期项目lEDW业务升级（新业务推出，及OTC、集中交易系统升级）数据仓库架构-I
2、nmonvs.Kimball3BillInmon集线器架构/企业信息工厂架构（HubandSpoke/CIFCorporateInformationFactory）BUILDINGTHEDATAWAREHOUSE RalphKimball数据集市/数据仓库总线架构（DataMartBusArchitecture/DataWarehouseBusArchitecture）THEDATAWAREHOUSETOOLKIT 自上而下的方法（TOP-DOWN）；一个集中的企业范围的数据仓库中心（EDW），然后为一个业务部门或者业务流程构建数据集市，集市的数据来源于中心；EDW采用E-R模型构建；通常需要
3、花费较长的时间和成本进行总体规划、构建，然后才能实现业务价值，由于数据的一致性和高重用性，认为有较高的ROA（总资产收益率）。自下而上的方法（BOTTOM-UP）；构建面向业务流程的小的数据集市，然后在不同的业务流程之间，采用通用维度连接数据集市，构成数据仓库总线；数据集市采用Dimensional模型构建；从业务流程或部门需求出发，能快速构建系统并交付业务价值，具有较高的ROI（投资回报率），但由于数据集市的离散性，导致后期集成有较大难度。数据仓库是一个面向主题的、集成的、随时间变化的、非易变的用于支持管理的决策过程的数据集合。-BillInmon Buildingthedatawareho
4、use不同方法论相互借鉴和趋同：1）架构趋同：集线器架构中数据集市采用了维度模型，而总线架构在改进后强调事实表中必须纳入细节粒度的数据；2）交付策略趋同：都开始强调在做好长期规划的前提下，实现短期内的成功交付等做法。ETL（数据采集）数据资源绩效管理APP数据应用层业务价值EDW企业数据仓库层DM数据集市层ODS（操作数据存储层）资讯与市场数据用户渠道应用管理与服务系统国信证券数据中心架构草图(Sketch)4业务系统E-RModelDimensionalModel营销人员绩效指标体系业务绩效指标体系客户指标体系调度服务数据管理基础数据服务客户分析及推荐系统（DA2P）数据中心KPI报表系统算
5、法及机器学习EDW 采用Inmon架构保证一致的事实DM+App采用Kimball架构快速交付业务价值经营分析客户刻画精准营销客户细分客户服务客户挽留风险控制APP基础数据服务客户分析及推荐系统（DA2P）用户接口服务接口数据推送服务数据查询服务数据报送客群算法推荐数据中心报表系统2.0仪表板报表查询算法及机器学习挖掘算法分析统计分析用户国信证券数据中心架构图(Architecture)5数据应用层数据集市层数据仓库层数据资源资讯与市场数据用户渠道应用管理与服务系统业务系统集中交易系统统一账户系统法人清算系统融资融券系统个股期权系统综合管理平台人力资源系统CallCenterCRM聚源资讯数据
6、万德数据金太阳日志鑫网用户日志TalkingData操作数据层ODS业务系统数据区管理服务系统数据区市场资讯数据区用户渠道应用数据区贴源设计保存历史表版本InformaticaGPLoadBCPDump数据采集SQLServerIntegrationServicesDWE-RModelDimensionalModel面向主题集成/清洗后的数据保证一致的事实FS-LDM集成清洗维度化转换团体资产财务地域活动协议事件组织产品渠道DM营销人员绩效指标体系业务绩效指标体系(KPI)客户指标体系面向业务部分主题维度模型基本属性投资偏好营销感知账户属性操作偏好服务感知资产情况盈利能力交易情况客户价值公司整
7、体融资融券小额贷经纪业务个股期权约定式购回投行业务沪港通质押回购资管业务金天利OTC净手续费客户维护新增资产客户盈利能力新增有效户息费收入投顾增量佣金利差收入ETL数据管理数据质量管理分布分区管理归档备份计算资源分配系统监控元数据管理维度管理调度服务任务管理任务依赖线程管理调度服务监控服务血缘影响分析重做（redo）管理系统集中交易系统经纪事业部绩效小组经纪事业部财富中心机构业务部资金运营部CRM系统财务系统风控系统渠道应用监管单位系统管理员风控部融资融券部DBA外部总部分支机构IT资产管理部分支机构电脑经理分支机构营销人员数据处理程序数据区/数据部分实现/未完善模块图例总体架构与理论架构详细
8、设计企业数据仓库（EDW）数据集市（DataMart）应用（APP）下一步工作计划6内容BillInmon企业信息工厂架构RalphKimball数据集市/数据仓库总线架构VS逻辑设计：NCR金融服务逻辑数据模型（FS-LDM）物理设计：数据分区与切片业务绩效指标体系营销人员绩效指标体系客户指标体系数据中心KPI报表系统客户分析及推荐系统(DA2P)l客户分级分类管理l客户分析及推荐系统二期项目lEDW业务升级（新业务推出，及OTC、集中交易系统升级）DataAlignmentMPP数据中心架构-EDW部分712345物理设计：数据分布与分区数据资源ODSEDW业务系统E-RModelDime
9、nsionalModel保存表历史版本ER模型-维度模型3 2 1例子：fundassetDataNode1DataNode2DataNode3DataNode4DataNode5DataNode6DataNode7DataNode812CD1112.DistributedBY(CUSTID)201020102010201020102010201020102011201120112011201120112011201120122012201220122012201220122012201320132013201320132013201320132014201420142014201420142
10、0142014PartitionBY(DCDATE)数据中心架构-EDW部分8主题域中文名称概念定义Party当事人指金融机构所服务的任意对象和感兴趣进行分析的各种对象。如个人或公司客户、潜在客户、代理机构、雇员、分行、部门等。InternalOrg 内部组织组织机构（如分行、支行、网点、部门等），也可能是任何一个法人机构当事人的内部组织，严格意义上这些也是一种特殊的PARY。Agreement协议是金融机构与当事人之间针对某种特定产品或服务而签立的契约关系，它可以是多样化的，如帐户、客户和银行签订的合同等。Asset资产可能采集到的客户的资产（负债）信息，也包括银行向外租赁的资产信息。这些信
11、息的来源很多情况下是在客户申请贷款时所提供的各种担保品信息、抵质押品信息等。Product产品指为拓展市场占有率，满足客户更广泛需求而制定的可营销的交易品种的集合，产品是金融机构向用户销售的或提供给客户所使用的服务。Location地域是希望观察和分析的任何区域，既包括传统类型的地址信息（如国家、地区、城市、区县、街道等），又包括如电话信息、邮箱、黄页等电子地址信息。Event事件是一个范围很广义的概念，可以记录各种与银行相关的活动的详细情况。既可以与资金相关，也可以与资金无关；既可以有客户参与，也可以没有客户参与；既可以与帐户相关，也可以与帐户无关；可以由客户发起，也可以由银行发起。Camp
12、aign营销活动记录针对客户所做的宣传、促销等活动的相关信息Finance财务主要包括银行的总帐信息，是描述科目组织、控制、内部核算等银行核心科目帐务以及预算管理有关的内容。该主题抽象地描述了银行内部帐务的组织模式，能够适应不同的科目组织体系。Channel渠道描述的是当各种事件发生时，当事双方（主要是指客户和银行）进行交互和接触的手段及方法，通过它客户与银行进行接触、购买产品、使用服务并交流信息。逻辑数据模型LDM-它是指导数据仓库进行数据存放、数据组织、以及如何支持应用的蓝图，定义需要追踪和管理的各种重要实体、属性、关系。金融服务逻辑数据模型（FS-LDM）是NCR经过30年来在全球实施2
13、09家金融业数据仓库项目后的经验结晶，是一个非常成熟稳健的逻辑数据模型和全球性产品，蕴含了现代金融服务行业分析决策和客户关系管理的各个方面。另外也可参考IBM金融数据模型FSDM，在金融行业（特别是银行）应用也较为广泛。12345逻辑设计：金融服务逻辑数据模型(FS-LDM)数据中心架构-DM部分912345多层次指标体系业务绩效指标体系营销人员绩效指标体系客户指标体系公司整体融资融券小额贷经纪业务个股期权约定式购回投行业务沪港通股票质押回购资管业务金天利OTC债券回购新三板期权行权融资l覆盖公司14类业务领域l丰富的维度分析，同比、环比和结构分析l可靠的数据质量，每天勾稽检查核对业务类别客户
14、资产贡献传统业务融资融券金天利期货IB约定购回（金汇通）资产管理柜台市场港股通交易金融产品代销股票质押回购小微通期权l三项指标12类业务矩阵l覆盖开户关系及服务关系标签分类标签属性基本属性社会属性/调研信息账户属性客户属性/账户/权限资产情况保证金/市值/资产变动交易情况成交/佣金/委托投资偏好仓位/换手率/偏好操作偏好渠道偏好/时段偏好盈利能力持仓盈利/累计盈利客户价值现有价值/潜在价值营销感知营销效果服务感知服务反馈l10大类28小类，超过387个客户指标l准确的客户资产、负债数据中心架构-APP部分1012345数据中心报表系统数据中心架构-APP部分1112345客户分析及推荐系统总体
15、架构与理论架构详细设计企业数据仓库（EDW）数据集市（DataMart）应用（APP）下一步工作计划12内容BillInmon企业信息工厂架构RalphKimball数据集市/数据仓库总线架构VS逻辑设计：NCR金融服务逻辑数据模型（FS-LDM）物理设计：数据分区与切片业务绩效指标体系营销人员绩效指标体系客户指标体系数据中心KPI报表系统客户分析及推荐系统(DA2P)l客户分级分类管理l客户分析及推荐系统二期项目lEDW业务升级（新业务推出，及OTC、集中交易系统升级）国信数据中心路线图（Roadmap）13数据集成固定报表、查询报表、数据查询KPI/Dashboard/报表：标准化的KPI
16、体系，丰富的数据图表展现多维分析：灵活的数据适应，不同用户自助分析数据挖掘：深入业务的分析、算法模型IntegrationKPISelfBIDataMining业务价值l分离业务交易与历史查询l多个业务系统的数据集成，打破信息孤岛l快速的历史数据查询l及时、准确、一致的数据l标准化指标定义和计算口径l丰富的图表展现l基于丰富的客户标签体系，用户无需编程也能对客户群体进行多维度分析。l支撑精准化营销l支撑差异化客户服务l利用统计算法找到数据规律l更为精准的产品营销l更为个性化的客户服务关键技术l基础技术平台选型l系统总体架构设计ODS/DW/DataMart层次设计l数据切片：分布及分区设计l调
17、度服务：任务依赖、并行、重做管理l元数据管理l数据质量管理l数据模型设计，参考FS-LDMl经纪业务指标体系l创新业务指标体系l营销人员考核指标体系l客户标签体系l动态立方体解析引擎lMPP快速的并行计算能力lR统计分析l机器学习算法、挖掘算法lSPARK并行实施路径l2007年，数据中心项目”，基于SQLSERVER2005。l2012年，并行数据仓库项目”基于GREENPLUMN4.2+Informatical2008年，经纪业务指标体系标准化项目，以及后续不断修订的关键指标；l2010年，“创新业务考核指标系统”l2013年，“营销人员考核指标管理系统”l2014年，“客户分析及推荐系统
18、”项目l2015年，“客户分析及推荐系统”二期项目l2015年，开源R运算平台，集成到“客户分析及推荐系统”项目l2016年，客户分级分类管理1234APP基础数据服务客户分析及推荐系统（DA2P）用户接口服务接口数据推送服务数据查询服务数据报送客群算法推荐数据中心报表系统2.0仪表板报表查询算法及机器学习挖掘算法分析统计分析用户下一步工作计划14数据应用层数据集市层数据仓库层数据资源资讯与市场数据用户渠道应用管理与服务系统业务系统集中交易系统统一账户系统法人清算系统融资融券系统个股期权系统综合管理平台人力资源系统CallCenterCRM聚源资讯数据万德数据金太阳日志鑫网用户日志Talkin
19、gData操作数据层ODS业务系统数据区管理服务系统数据区市场资讯数据区用户渠道应用数据区贴源设计保存历史表版本InformaticaGPLoadBCPDump数据采集SQLServerIntegrationServicesDWE-RModelDimensionalModel面向主题集成/清洗后的数据保证一致的事实FS-LDM集成清洗维度化转换团体资产财务地域活动协议事件组织产品渠道DM营销人员绩效指标体系业务绩效指标体系(KPI)客户指标体系面向业务部分主题维度模型基本属性投资偏好营销感知账户属性操作偏好服务感知资产情况盈利能力交易情况客户价值公司整体融资融券小额贷经纪业务个股期权约定式购回
20、投行业务沪港通质押回购资管业务金天利OTC净手续费客户维护新增资产客户盈利能力新增有效户息费收入投顾增量佣金利差收入ETL数据管理数据质量管理分布分区管理归档备份计算资源分配系统监控元数据管理维度管理调度服务任务管理任务依赖线程管理调度服务监控服务血缘影响分析重做（redo）管理系统集中交易系统经纪事业部绩效小组经纪事业部财富中心机构业务部资金运营部CRM系统财务系统风控系统渠道应用监管单位系统管理员风控部融资融券部DBA外部总部分支机构IT资产管理部分支机构电脑经理分支机构营销人员客户分析及推荐系统二期增加客户价值/3A服务体系等指标功能增强客户分级分类管理客户细分模型客户流失预警（决策树算
21、法）EDW业务升级新股申购/OTC等新业务和系统升级客户分析及推荐系统（二期）基本属性资产情况账户属性交易情况操作偏好投资偏好营销感知服务感知客户分级指标价值量/佣金/盈利能力/仓位控制/交易频度服务质量体系3A-服务标签模型标签原子标签l辅助营销人员识别客户现有价值和潜在价值；l提高服务产品覆盖率，增强客户粘性客户价值模型RFM客户服务质量体系3A客户服务等级3A2A1A通道客户l数据共享：将分析后的数据推送给鑫助手、移动营销平台、综合管理平台等其他系统l系统管理：数据准备模型部署数据监控l数据安全：数据权限管理功能权限管理最近交易距离R交易频率F交易金额M数据资源算法输入算法输出算法包l数据准备自动化l支持数据挖掘任务调度全过程自动调度客户分级分类管理客户分析及推荐系统营销服务平台/鑫助手DataMartEDWSchemaRDDSparkR/SparkML原子标签模型标签TableTableTableTableTableTableSQLSQL任务调度Function()客户细分客户服务客户挽留业务价值推送管理人员业务分析人员投资顾问客户经理客户细分K-MEANS客户流失预警DecisionTree Thank You !谢谢！
