《数据大集中的联机交易处理平台构建》由会员分享，可在线阅读，更多相关《数据大集中的联机交易处理平台构建（6页珍藏版）》请在金锄头文库上搜索。
1、1数据大集中的联机交易平台构建方式探讨数据大集中的联机交易平台构建方式探讨自从中国加入以来，面对金融全球化带来的生存压力和不断深化的竞争压力，面对决策层对传统管理体制的变革需要，我国银行业积极投入了数据大集中工程的建设，并希望通过数据大集中来推动金融创新，推动银行管理体制和经营策略的改革。数据大集中系统建设已经成为银行竞争制胜的关键，而数据大集中工程的核心是主机交易系统。数据大集中系统在给银行业务拓展和集约化经营管理等方面带来提升时，也对系统平台的建设提出了更高的要求。以往每天通过几十个或几百个分布式系统进行处理的业务数据（通常一家银行每天业务量有几百万笔甚至上千万笔之多） ，现在要在一个或几
2、个集中式系统上进行处理，这对系统的安全性、稳定性、可靠性、可用性、高效性、可拓展性和可恢复性等诸多方面提出了更为严格的要求。而主机交易平台的架构，决定了数据大集中系统对上述要求的满足能力。银行的数据集中将以前分布在许多省、市分行处理的业务集中在若干个数据中心进行处理，各种风险也相应的集中。根据有关资料表明，国内一个大型银行的业务处理在高峰时期每秒钟交易量在 700 到 1000 笔。一旦出现宕机不能对外服务，将不再是一个省、市不能正常服务，而是许多个省市甚至是半个或整个中国不能正常开展业务，影响和损失将是十分巨大的，因此对系统的高效性、稳定性和可靠性提出了非常高的要求。这里指的系统不仅仅是硬件
3、系统，还包括操作系统、数据库管理系统、交易处理系统等。本文着重对数据大集中主机联机交易平台的构建方式进行一些探讨，以阐述主机交易平台的构架原理和设计思路。为了保证良好的性能，系统采用应用服务器和数据库服务器进行分离的实现架构，数据库服务器负责运行数据库应用程序，如 IBM DB2 或 ORACLE，而应用服务器负责运行业务处理的应用程序，二者一般均不是由单台服务器组成的，都是有两台或者两台以上的服务器组成的集群结构。1 数据库服务器构建技术数据库服务器构建技术数据大集中对数据的大规模处理有着苛刻的要求，目前可以选择的方式一般有两种，基于小型机的 ORACLE RAC 和基于大型机（IBM Z
4、系列）的 DB2。ORACLE RAC 是 ORACLE Real Application Cluster 的缩写，代表 ORACLE 的集群方式。与 DB2 和 Z/OS 的高度集成不同，ORACLE RAC 是一种软件实现的集群结构，它提供几个节点共同对一份数据（分布在磁盘阵列上）进行存取，在一定程度上提高 ORACLE数据库的整体性能。下面是 ORACLE RAC 与 DB2 之间的比较表格，取自：Enterprise Database Cluster Solutions - ITG - Oct 2003。2项目项目Oracle RACDB2 for z/OS备注备注Survey Bas
5、e198 Organisations203 Clusters168 Organisations260 ClustersOracle RAC sample has many DW, other appsOLTP applications78 Clusters (typically single application)260 Clusters (typically multiple applicationsTransaction Volumes(Production)81% 1 Million/daymax. 45 M; avg 8.8 MSysplex- approx 10x daily vo
6、lumesCluster Size(Prod 18% 3 1% 6 node 36% 2 node; 37% 3 26% 5+ nodesCluster Overhead(Locking, Coherency .)20% 2 node; 30% 4 node, 39% 6 node11% 2node; 13% 4 node; 15% 8 nodeRAC has approx double overhead with known bottlenecksProduction Tps(Peak & Sustained)Peak 400 tpsSustained 100 tpsPeak & Susta
7、ined - 13 orgs 1000 cplx tpsSysplex - at least 10x sustained tps proven12-month Availability (all outage types)16% achieved 100%+ 32% 99.90% 31% achieved 100%+31% 99.90% Recovery TimeFailover: 60-90 secondsFull recovery: 5-20 minsFailover: 0-20 secondsFull recovery: 1-10 mins可见，在支持大型的数据库处理大量的联机交易方面，
8、 DB2 for z/OS 具有非常明显的优势。另外，IBM 大型机和 DB2 之间具有良好的集成性，主要体现在：DB2 利用耦合设备来控制在一个 DB2 共享组内的各种类型的数据共享操作。DB2 使用三种不同类型的 CF 结构：锁结构用于控制跨综合体的全局锁。系统通讯区列表结构用于各种状态跟踪。组缓冲区缓存结构用于控制缓冲区的一致性。DB2 周期性地将已更改的组缓冲区内的表页写到磁盘。这一过程称 castout。castout 过程以后台方式运行，并不影响前台交易运行。基于 IBM 大型机的 DB2 用于大规模的数据处理，具有以下优势：大型机支持的 Parallel Sysplex（并行系统
9、综合体）技术是通过耦合器 CF(Coupling 3Facility)将多台 IBM 大型机耦合在一起，通过硬件和软件的支持实现这些机器的互相通信和合作，达到更强的处理能力和更高的可靠性与可用性。大型机具有极强的可用性、极强的扩展能力和极高的安全性。据统计，单机的可用性就可达到 99.9%，如果采用业界最先进的群集技术 并行系统综合体技术，则可用性就可达到 99.999%，被誉为具有业界最高的可用性。渐进式增长：Sysplex 可以逐步的增长。您可以在另一主机上增加一个新的 DB2成员而通过新 DB2 仍然访问同样的数据。工作负载均衡：DB2 数据共享为数据量增长和工作负载均衡提供了灵活性。当
10、一个新的 DB2 子系统增加后，该 DB2 新成员将享有与同一数据共享组内其它现有成员同样的直接的数据访问能力。按需分配的处理能力：数据共享配置可以应对峰值负载。可扩展性同时还包含更多方面，如：处理器、I/O、内存、功能组件与交易应用，以及批量与查询。而用户数量与数据量也必须能够扩展。DB2 for ZOS 在同一个表内可以支持多达128 TB 的数据量。因此，在金融行业进行大集中时，大部分金融系统都使用大型机和 DB2 数据库系统。2 应用服务器的集群技术应用服务器的集群技术应用服务器的架构可以象数据库服务器一样基于 IBM Z 系列机器，也可以采用小型机，如 IBM P 系列小型机，如 P
11、690、P670 等。下面将对这两种方式进行分别的论述。2.1 使用使用 CICS 中间件和大型机实现应用服务器集群中间件和大型机实现应用服务器集群通常所说的联机交易系统是指所有联机交易及其处理功能整合在一个 CICS 联机环境中的系统。随着银行业务的不断发展和交易量的不断增长，单个联机交易系统已不能满足业务处理的要求。在 CICSPLEX 技术产生前，提高联机交易系统处理能力的惟一手段是购买更大或更多的主机，并开设多个独立的联机系统。CICSPLEX 即实现了每个联机终端对多个 CICS 联机系统的实时共享，使系统的处理能力和可用性同时得到了提高。应用服务器可以基于 CICSPLEX 进行构
12、建，如下图所示：4TLLB0520CICS Transaction Server - Workload BalancingSingle Node ImageDynamic Session BalancingDynamic Transaction Routing Across AORsDBCICS TORCICS TORAORAORDBMSAORDBMSAORTerminalTerminalCFDynamic Trans RoutingTemp. Storage QueuesIMS/DB DB2 VSAMVTAM GR图 1 CICS 交易处理示意图其中：TOR（Terminal Owning
13、Region）负责终端的管理AOR（Application Owning Region）负责进行业务逻辑处理另外，还有 DOR（Data Owning Region）负责数据处理。CICS 合在一起形成 CICSPLEX，CICSPLEX 技术为应用系统实现系统间的耦合，使对应用系统的稳定性、可靠性、可用性和高效性等要求可以通过应用联机系统的线性增加来实现。VTAM 的 GR(Generic Resource)功能是指当一个终端启动会话（Session）和CICSPLEX 的使用相同的 Generic Resource name 的 TOR 建立连接，VTAM 会根据一定的算法动态的选择一个拥
14、有相同的 Generic Resource 名字相同的 TOR 建立好连接。该 TOR将根据动态交易路由算法 DTR（Dynamic Transaction Routing）从 AOR 中动态选择一个将交易路由到该 AOR 进行业务处理。每个 AOR 都与该 LPAR 的 DBCTL 相连接，通过DBCTL 访问 IMS 数据库。DBCTL 之间是通过 IRLM(Internal Resource Lock Manager)和CF 来实现数据的共享和一致性控制。 当某个 TOR 或者 AOR 由于某种原因异常终止(Abend)时,随后的交易会通过其他的TOR 或 AOR 进行正常的执行， CI
15、CSPLEX 会自动屏蔽单个异常 AOR，保障整个应用系统正常运行，从而实现无间断的业务处理。并且 Parallel Sysplex 有自动重起(Auto Restart)子系统的功能，当 TOR，AOR 或 DBCTL 异常终止时，系统会自动重起该子系统，不需人工进行干预，这样会大大减少了故障发生时间，降低影响面。CICSPLEX 通过“Workload Balance”功能，对相同功能的 AOR 设定负载平衡策略，实现应用系统交易处理负载的动态平衡，以均衡、有效地利用系统资源，提高系统的处理5性能。对新增加的应用子系统或交易，CICSPLEX 可单独分配到一个或一组 AOR 中去，实现与原
16、应用系统的“逻辑隔离” ，保证系统不会因为新增应用或交易的影响而导致整体系统故障。CICSPLEX 联机交易平台的建设可分为以下几个步骤：(1)确定联机应用系统中的不可“克隆”功能。不可“克隆”功能主要包括一些内 存表、TSQ 和 TDQ 等，这些功能可单独放置在一个特殊的“AOR”中来实现， 也可通过 CF（Coupling Facility 来实现。(2)应用系统的 CICSPLEX 改造。应用系统的 CICSPLEX 改造主要指应用系统因分 离不可“克隆”功能而必须实施的相关应用程序的修改，以及因替换 CICS 不 支持的功能而对系统的修改等。 (3)交易分类和 AOR 功能组分类。(4)建立相应的 TOR、DOR 等。(5)制定和实施 AOR 功能组的系统参数配置策略和负载平衡策略。(6)对不同功能组的 AOR 按一定数量进行相应的“克隆” 。目前，国内很多大型银行的应用服务器采用此种架构方式。2.2 使用使用 TUXEDO 中间件实现应用服务器集群中间件实现应用服务器
