《民族证券的数据中心建设情况交流》由会员分享，可在线阅读，更多相关《民族证券的数据中心建设情况交流（26页珍藏版）》请在金锄头文库上搜索。
1、企业级数据中心建设研讨,全有文档,建设具有民族特色的数据中心,主要内容,一、项目概述 二、系统介绍 三、建设过程 四、实现效果,前言,什么是数据中心： 数据中心是企业的业务系统与数据资源进行集中、集成、共享、分析的场地、工具、流程等的有机组合。 1、从应用层面看，包括业务系统、基于数据仓库的分析系统； 2、从数据层面看，包括操作型数据和分析型数据以及数据与数据的集成/整合流程； 3、从基础设施层面看，包括服务器、网络、存储和整体IT 运行维护服务。感官上出现的几个关键字： 系统 投入 海量,一、项目概述,2009年度行业科技奖获奖统计的思考“数据中心裂变”,一、项目概述,三大要素，八项原则架构
2、、开发模式、项目管理、团队建设企业+高校的模式,一、项目概述：why？,简化信息系统架构。数据中心建设后可以大大简化各系统之间的关系，生产系统是数据的生产者，业务系统既是数据的生产者又是数据的消费者，而数据中心是物流中心和配送中心。减轻生产系统压力。数据中心的数据不仅权威而且全面。利用先进的实现方法，使得统计和分析更便捷，这样会大大减轻生产系统的压力，同时也为建设新一代订单系统打下了坚实的基础。保证业务数据统一。许多业务系统需要同类型的数据，由于不同系统处理方式和统计口径不尽统一，往往同类数据在各个系统中都不统一。数据中心建设后可以解决数据统一问题。提高业务创新能力。数据中心是数据加工厂，同时
3、也是价值发现者，这样为我们后续业务系统的建设和完善提供了强有力的数据支持。提升决策分析水平。数据中心的数据全面性和包容性强，为数据深度挖掘提供了先决条件，也为决策分析提供了强有力的支持。案例：数据中心作为恢复之用,一、项目概述：how？,走自主开发建设道路。能够贯彻落实属于我们的设计理念，快速响应业务部门的需求，节约运行维护成本，推动业务创新。 企业+高校合作模式； 构建稳定高效的平台。面向海量数据，构建一个稳定高效的数据处理平台和服务平台是数据中心建设的核心。采用成熟的开发工具。利用成熟的ETL工具，能够保证数据整合的完整性、高效性和可维护性；利用成熟的BI工具，能够快速、灵活、多视角、丰富
4、地展示各类数据。建立科学的数据模型。根据证券行业业务的特点，结合科学的数据组织方式搭建企业数据仓库，为今后数据统计、数据分析和数据挖掘打好基础。分步骤建设数据中心。数据中心是一个持续建设的项目，我们将根据我们的现实需求和未来需求分步骤来建设我们的数据中心。 （国家发改委项目）,一、项目概述：What？,数据加工厂。在保持业务数据原始性和完整性的基础上，按一定的业务规则、指标、粒度对数据进行加工处理。数据服务者。建设统一的数据服务平台，为各个业务系统以一定服务形式提供所需数据。数据发布者。数据中心体现了数据的权威性，向外报送的数据可以以统一的口径对外服务。业务发动机。数据中心的建设为创新业务的开
5、拓奠定了坚实的基础，有了数据中心的基础，我们可以很方便很快速开发和实施一些增值服务系统。价值发现者。通过数据中心数据长期的积累，我们可以从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的但又是潜在有用的信息和知识。 案例：商场与网售,一、项目概述：八项基本原则,原则之一：逐步投入、分步建设原则之二：先易后难、逐步深入原则之三：标准统一、服务多样原则之四：架构稳定、灵活扩展原则之五：包容业务、有别业务原则之六：来自应用、服务应用原则之七：数据积累、知识发现原则之八：树立权威、体现创新,二、系统介绍：技术框架,二、系统介绍：数据关系,DA T A S T A G EE
6、 T L,DA T A S T A G EE T L,二、系统介绍：处理流程,三、建设过程：系统选型之数据仓库选型,高性能。基于X86架构的多节点并行处理，MPP结构决定性能。低成本。包括硬件、软件、开发、扩展和维护成本。开放性。主流操作系统和数据库，支持主流的ETL、BI及开发工具。维护性。系统维护简单易学。,GreenPlum满足了我们的需求！海量并行处理结构(MPP：Massive Parallel Processing) 由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征是由多个SMP服务器(每个SMP服务器称节点)
7、通过节点互联网络连接而成，每个节点只访问自己的本地资源(内存、存储等)，是一种完全无共享(Share Nothing)结构，因而扩展能力最好，理论上其扩展无限制，目前的技术可实现512个节点互联，数千个CPU。,三、建设过程：系统选型之BI工具选型,兼容性。操作性。功能性。展现力维护性,IBM Cognos满足了我们的需求！,三、建设过程：系统集成,ODS数据库部署。IBM P570、Oracle 10g、HDS AMS1000(10T)EDW数据仓库部署。 Dell R600、Dell MD1000、Suse Linux、GPDataStage系统部署。 Dell R300、RHL Linu
8、x、DataStage 8.1Cognos系统部署。 Dell R300、RHL Linux、Cognos 8展示和管理平台部署。 Dell R300、RHL Linux、Resin、开发平台,三、建设过程：开发过程,三、建设过程：开发过程,SVN：实现版本控制BugFree：实现任务调度和缺陷管理,三、建设过程：开发过程,Datastage作为ETL工具，在民族数据中心中的使用，有如下几个方面：数据的采集，通过Datastage将源业务系统的数据根据数据中心的需要，进行采集。这部分主要是数据的简单复制 数据的清洗，这部分包括两部分，一是从原始层到ODS层的清洗，另外一个是从ODS层到EDW层
9、的清洗，前者主要通过调用存储过程来实现，后者则通过Datastage自带的数据处理组件来实现。 数据的转换，这部分主要是ODS层到EDW层的转换。 调度的管理，对于按照设计方案，需要进行周期性处理的任务，由Datastage负责进行调度。调度分两块，一是Datastage自身带的调度管理工具，另外一个是Datastage和操作系统的调度管理相结合的使用。 数据服务，使用Datastage的数据快速复制功能，满足数据中心对周边业务系统的数据采集需要，进行数据的主动推送，并发送推送状态报告给业务系统。,三、建设过程：开发过程,业务建模快速开发质量控制,四、实现效果：技术效果,开放式技术架构：便于集
10、成、开发和扩展 清晰的数据层次：数据流清晰明了，有利于数据的扩展 先进的整合工具：实现统一调度，处理大数据量性能高 强大的展示工具：实现快速报表和多位分析 卓越的数据仓库：具有高速海量数据处理能力 灵活的业务模型：数据仓库以七大主题进行数据规划和组织 快速的开发平台：通过建立业务处理模型就可以快速开发应用，不需要太多的编程工作,四、实现效果：技术优势,建设成本低 维护成本低 扩展成本低 性能优势大：行业首用MPP架构 业务支持好 应用开发快：开发平台,2010年3月3日通过专家鉴定会鉴定,四、实现效果：创新效果,包容业务、有别业务。数据中心基础数据都来自各个业务系统，但并不是简单的数据整合，而
11、是按一定的标准、规则、处理方式和数据模型进行重新组织，以便能够进行深度挖掘，为业务发展提供价值发现和决策分析。 来自应用、服务应用。数据中心基础数据都来自各个业务系统，同时又要为各个业务系统服务。如，数据中心可以从柜台系统、CRM系统采集所需要的客户信息、交易信息、经纪人信息，通过数据中心进行数据处理后为CRM中经纪人推送相关的客户行为分析数据、资金周转率数据、佣金贡献率数据、监控指标数据等。 支持动态分析过程。利用数据模型中的业务数据，结合业务模型，并通过商业智能工具进行动态分析。如，利用数据中心平台，针对公司净资本变化情况进行相应的敏感性分析和压力分析，帮助决策机构进行投资分析。 支持快速开发业务系统。数据中心提供标准的WebService接口，能够为各业务系统快速开发业务功能提供快捷的方式。,四、实现效果：快速查询效果演示,四、实现效果：多维分析图,四、实现效果：获奖,2009年10月24日，数据中心建设项目，由于其信息化项目的实施效果和影响，经峰会专家组评定，一举夺得“2009年中美CIO峰会”大会 2009信息化最佳IT项目实施奖。,就应用而言数据中心是一种资源不是成品； 其建设就如烹调，火候很重要： 烧焦与夹生，不完全具有复制性 掌握火候，做一道适合自身口味的美味佳肴 建设具有自身特点的数据中心 行业知识共享，加强沟通与探索,
