《中国民族证券大数据中心自主建设项目介绍》由会员分享，可在线阅读，更多相关《中国民族证券大数据中心自主建设项目介绍（13页珍藏版）》请在金锄头文库上搜索。
1、word中国民族证券数据中心自主建设项目介绍近年来，各家券商都认识到建设企业级数据中心的重要性，但是由于各家的技术力量、业务水平和目标定位差异很大，所以都普遍面临着“为何建设数据中心 、“如何定位数据中心、“如何建设数据中心等诸如此类的问题。在此，我们将把我们的经验和想法与大家分享。(1) 为何建设数据中心a.简化信息系统架构。数据中心建设后可以大大简化各系统之间的关系，生产系统是数据的生产者，业务系统既是数据的生产者又是数据的消费者，而数据中心是物流中心和配送中心。b.减轻生产系统压力。通过建设数据中心，可以将数据查询、数据统计、数据分析、数据服务等功能与生产系统进展剥离，让生产系统瘦身，从
2、而大大减轻生产系统的压力。c.统一业务统计口径。数据中心中存放的数据并不是简单地把各业务系统数据进展集中存放，而是通过一套标准的业务定义规如此、数据转换规如此和数据组织方式进展存储。其目的就是在保证数据的原始性、完整性、连续性的同时达到数据处理过程中的业务统一性。d.提高业务创新能力。数据中心是数据加工厂，同时也是价值发现者，为业务分析和知识发现提供了一个平台，从而能够大大提高业务的创新能力。e.提升决策分析水平。数据中心的数据具有全面性、包容性和权威性，为数据深度挖掘提供了先决条件，也为决策分析提供了强有力的支持。(2) 如何定位数据中心a.数据加工厂。在保持业务数据原始性和完整性的根底上，
3、按一定的业务规如此、指标、粒度对数据进展加工处理。b.数据服务者。建设统一的数据服务平台，为各个业务系统和数据消费者以一定服务形式提供所需数据。c.数据发布者。数据中心表现了数据的权威性，向外报送的数据可以以统一的口径对外发布。d.业务发动机。数据中心的建设为创新业务的开拓奠定了坚实的根底，有了数据中心的根底，可以很方便很快速开发和实施一些增值服务系统。e.价值发现者。通过数据中心数据长期的积累，我们可以从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的但又是潜在有用的信息和知识。(3) 如何建设数据中心a.走自主开发建设道路。能够贯彻落实属于我们的业务，量身定做
4、,快速响应业务部门的需求，节约运行维护本钱，推动业务创新。b.分步骤建设数据中心。数据中心是一个持续建设的项目，应根据现实和未来的需求分步骤来建设数据中心。c.构建稳定高效的平台。面向海量数据，构建一个稳定高效的数据处理平台和服务平台是数据中心建设的核心。d.建立科学的数据模型。根据证券行业业务的特点，结合科学的数据组织方式搭建企业数据仓库，为今后数据统计、数据分析和数据挖掘打好根底。e.建立智能的信息平台。针对数据中心存放的不同数据类型采用成熟的智能分析、统计、挖掘、推理等工具对数据信息进展深加工和处理，获取有价值的信息。以上是我们对建设企业级数据中心的理解。在实施这个项目过程中，我们遵循自
5、我为主的原如此，把技术和业务进展有效的融合，真正把数据中心建设成既高度自主可控又充分发挥效能的平台。一、项目特点介绍(1) 自主开发，量身定制随着行业新业务不断推出和竞争越来越激烈，券商越来越迫切需要通过技术创新来提供差异化产品和差异化服务。由于证券交易类产品行业同质化比拟大，这类应用系统可以由专业开发商提供并实施。而诸如数据中心、CRM等业务管理系统个性化强，只有通过自主开发来真正实现量身定制。所以我公司从项目立项开始就提出要走自主建设的道路，这种模式的特点是随着项目建设的不断深入，量身定制的优势将越来越突现。(2) 贴近业务，快速响应项目之初，业务人员对数据中心到底能做什么还是不太清楚，但
6、随着项目建设的深入以与业务人员参与度的提高，他们已经越来越感受到数据中心建设的价值和其发挥的成效。在后续的建设过程中，由于“需求提出软件开发数据服务运行保障整个链条都是自己掌控，数据中心越来越能贴近业务，真正实现了速响应业务的需要。例如，CRM中只要提出一些新的数据需求，数据中心就能够很快很方便地提供这样的服务。(3) 持续改良，助力创新由于始终坚持自主开发的根本原如此，一方面，我们不但能够对数据中心技术平台进展持续的改良，同时也能够根据业务的开展和需求的变化不断完善业务模型和业务规如此；另一方面，随着研发的逐步深入，依靠自身的力量和先进的手段完全能够从丰富的数据中不断发现新的价值，为业务创新
7、提供强有力的支持。上面所述的持续改良和助力创新的参与者主要是公司内部的技术人员和业务人员，通过数据中心产生的研发成果和业务创新不容易被复制，能够成为一个企业核心竞争力的产品。(4) 拓展应用，制造产品自从有了数据中心，依托于数据中心拓展了多个业务应用系统，而且这种拓展速度较以前快得多。如公司的反洗钱系统和CRM系统，这两个系统依托了数据中心强大的数据处理功能和数据服务功能在短期内就达到了建设的目标。数据中心不仅是一种资源，同时还是数据加工厂、数据服务者、数据发布者、业务发动机和价值发现者。在这根底上，能够迅速把应用延伸到CRM、风控、经纪业务管理、呼叫中心、合规管理、门户等应用系统中。证券行业
8、正处于一个产业升级时期，金融工业化要求券商需要打造产品生产流水线的平台。例如，随着投顾业务的开展，可以利用数据中心平台高速的计算能力和处理能力，通过建立业务模型，设计并生产出我们需要的投顾产品。这项工作正在进展中，预计年内会通过平台推出第一批数据产品。(5) 培养队伍，持续建设通过自主开发的模式，我们就能够建立自己的人员梯队，并持续培养自己的业务专家和技术专家，为数据中心的持续化建设做好人力资源的保障。(1) 采用自主化建设模式自主化建设模式是项目开始就定下的原如此，基于这个原如此，从项目规划、系统选型、项目实施到后续的系统运行依靠自己的力量来完成，包括工具的选型、系统搭建、数据处理过程、数据
9、服务过程、数据模型设计、商业智能应用、系统运维。数据中心几乎涵盖了公司所有应用系统的业务数据，也只有我们自己才能够正确把握使用部门提出的需求和实现方法，在某种意义上，我们使用数据中心根底平台工具实现需求目标的能力要超出那些专业厂商。不仅如此，由于数据中心存储着公司大量的重要数据资产和个性化、专业化计算模型，只有自主开发才能真正实现自主可控。虽然数据仓库、ETL、BI等工具提供商专业性要胜于我们，但是我们的优势是了解熟悉信息系统架构和安全架构，整合和合理利用资源的能力强，能够防止信息化建设过程中产生不必要的资源浪费和冗余。(2) 采用开放式主流技术采用开放式主流技术其优势和好处是不言而喻的，也只
10、有采用开放式主流技术才能发挥自主开发的作用，进而保障所建数据中心的延续性和生命力。从上图可以看出，我们选用的平台硬件、操作系统、数据库、工具都是些开放式的主流技术平台，完全可以自己掌握、自己运维。特别是选型过程中，我们在开放性、兼容性、可用性方面做了大量的测试，确保系统之间能够无缝对接。(3) 采用高性能处理平台我们选择的数据仓库平台EDW、数据整合平台ETL和商业智能工具BI都能支持高性能处理的要求。数据仓库选用的是GreenPlum产品，它采用的是一种“海量数据并行处理MPP技术，通过多节点并行处理机制完成对海量数据的高速运算和处理，这在后续的系统运行过程中得以证明。数据整合工具采用的是I
11、BM DataStage产品，它也是采用了并行扩展和并行处理的技术，可以根据处理数据量的大小方便地进展平行扩展，任务调度统一管理。商业智能工具采用的是IBM Cognos产品，它在商业智能应用方面一种很优秀的工具，不仅处理效率高，而且自带多维处理和多维分析功能。(4) 采用适宜的数据模型在数据仓库建设过程中，以往大家都为怎样组织数据发愁，数据组织得好坏将直接影响后续平台的运算效率、数据一致性、统计正确性、业务扩展能力等。在项目实施过程中，我们首先借鉴金融行业普适用的金融数据模型，在这根底上结合证券业务的特点重新梳理这个模型，并进展了改良。当然，随着业务的不断开展和变化，这个模型需要不断丰富和优
12、化。(5) 注重数据质量的管控数据中心是数据加工厂、数据服务者、数据发布者、业务发动机和价值发现者，如果数据质量出现问题，一切皆无从谈起。所以，加强数据质量的管理和保障数据处理的每个环节无误才能真正树立数据中心数据的权威性。在这方面，我们主要采用了技术元数据的管理、业务源数据业务规如此监控、数据处理监控和核对等技术手段。(6) 充分发挥平台服务效能数据中心最终是要把数据处理的结果服务给其他系统或数据消费者，所以提高数据中心的数据服务能力也是本项目的一大技术特点。数据中心的数据除了有大量的结构化的数据外，还有大量的如网页、图片、视频等非结构化的数据，所以提供的数据服务的技术手段和方式也是多样的。
13、数据服务方式，从调用方式可以是主动推送，也可以被动调用；从接口方式可以是接口表、协议接口和消息机制等。我们的思路是要建立统一的数据服务平台，并以SOA的形式为数据消费者服务。目前数据服务平台的功能还在不断扩展和完善中。如下图是数据服务示意图：业务与其他数据源实时数据 (Oracle)数据仓库 (EDW)数据集市 (EDM )操作数据 (ODS)同步抽取抽取装载转换装载转换转换抽取转换分析、服务平台调用调用推送调用业务系统调用二、项目创新点介绍我公司建设数据中心不同于以往的做法。早期，数据中心根本上是以风险控制系统或其他业务系统为根底慢慢开展演变成一个数据中心，而且大局部是由开发商开发和实施。从
14、技术层面看，大局部使用传统的事务型数据库技术和数据处理、展示手段，很难满足高效、灵活以与可扩展性的要求。我公司在建设数据中心的过程中，不仅实现了模式创新，同时在金融行业首次采用开放式海量数据平行处理MPP数据仓库、元数据管理、快速开发平台、数据处理流程化和智能化等先进技术和理念。内首用开放式MPP技术架构数据仓库是数据中心的核心平台，数据仓库的效率直接影响数据中心的可用性，为此我们选用了GreenPlum产品。它采用了一种“海量数据并行处理MPP技术，通过多节点并行处理机制完成对海量数据的高速运算和处理。从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构(SMP：Symmet
15、ric Multi-Processor)、非一致存储访问结构(NUMA：Non-Uniform Memory Access)、以与海量并行处理结构(MPP：Massive Parallel Processing)。它们的特征分别描述如下：SMP服务器的主要特征是共享，系统中所有资源(CPU、内存、I/O等)都是共享的。也正是由于这种特征，导致了SMP服务器的主要问题，那就是它的扩展能力非常有限。对于SMP服务器而言，每一个共享的环节都可能造成SMP服务器扩展时的瓶颈，而最受限制的如此是内存。NUMA服务器的根本特征是具有多个CPU模块，每个CPU模块由多个CPU(如4个)组成，并且具有独立的本地内存、I/O槽口等。由于其节点之间可以通过互联模块(如称为Crossbar Switch)进展连接和信息交互，因此每个CPU可以访问整个系统的内存(这是NUMA系统与MPP系统的重要差异)。但NUMA技术同样有一定缺陷，由于访问远地内存的延时远远超过本地内存，因此当CPU数量增加时，系统性能无法线性增加。MPP提供了另外一种进展系统扩展的方式，它由多个SMP服务器通过一定的节点互联网络进展连接，协同工作，完成一样的任务，从用户的角度来看是一个服务器系统。其根本特征是由多个SMP服务器(每个SMP服务器称节点)，通过
