多对一数据复制技术

《多对一数据复制技术》由会员分享，可在线阅读，更多相关《多对一数据复制技术（31页珍藏版）》请在金锄头文库上搜索。

1、 Oracle GoldenGate 多对一数据库复制技术多对一数据库复制技术 Amituofo 2011/3/28 OracleGoldenGateTDM是一种基于软件的数据复制方式，它从数据库的日志 解析数据的变化。 2 一、多对一复制方案一、多对一复制方案 1.实现原理：实现原理：多对一复制方案适用于从多个数据源向一个目标数据库进行数 据汇总。 在 GoldenGate 中实现多对一的 方式和一对一方式类似，在目标数据库 建立多个 Replicat，分别对应不同的数 据源即可。在建立 Replicat 时，需要使 用不同的 trail ID,以区分不同的数据源 发过来的 Trail。 对

2、于多对一的方式，客户应用程序应保 证不同的数据源向目标传送的数据是不同的，否则将在目标端引发数据冲突。 2、业务需求：、业务需求： 某部门需要对下设的十五个单位的数据进行汇总， 以便于对数据进行海量分 析，提供宏观决策。 二、多对一复制方案实现过程二、多对一复制方案实现过程 1、建立需要的同步的数据库表。 （略） 2、用户配置 2.1 同步用户 该用户用于在 GoldenGate 中将源数据库中的数据同步到目标数据库，该用 户必须能够访问源数据库用户和目标数据库用户下的所有数据。 方案是以 Goldengate 专用用户作用同步用户。 2.2 源数据库用户 方案中以 NMG、HET、BTS、W

3、HM、CFS、TLO、ODS、HBR、BAM、ULM、 HIN、XGO、ALM、ELS、MZL 作为十五个数据源的用户。 2.3 目标数据数据库用户 方案中目标数据库用户以 GoldenGate 专用用户 ggs 3、源数据的配置 3.1 源数据 NMG 的配置 3 3.1.1 增加 Primary Extract GGSCI EDIT PARAMS NMGEXT EXTRACT NMGEXT USERID nmg, PASSWORD nmg EXTTRAIL ./dirdat/nm TABLE nmg.*; GGSCI ADD EXTRACT NMGEXT, TRANLOG, BEGIN N

4、OW EXTRACT added. GGSCI ADD EXTTRAIL ./dirdat/nm, EXTRACT NMGEXT, MEGABYTES 5 EXTTRAIL added. 3.1.2 增加 Pump Extract GGSCI EDIT PARAMS NMGPUMP EXTRACT NMGPUMP PASSTHRU RMTHOST 10.X.X.X, MGRPORT 15000 RMTTRAIL REPLICAT, GROUP NMGREP RMTTRAIL ./dirdat/nm TABLE nmg.*; GGSCI ADD EXTRACT NMGPUMP, EXTTRAIL

5、SOURCE ./dirdat/nm EXTRACT added. GGSCI ADD RMTTRAIL ./dirdat/nm, EXTRACT NMGPUMP, MEGABYTES 5 RMTTRAIL added. GGSCI START EXTRACT NMGEXT Sending START request to MANAGER (GGS) . EXTRACT NMGEXT starting GGSCI START EXTRACT NMGPUMP Sending START request to MANAGER (GGS) . EXTRACT NMGPUMP starting 3.1

6、.3 检查启动状态 4 查看 Extract 的状态，确保都正常运行 GGSCI INFO ALL Program Status Group Lag Time Since Chkpt MANAGER RUNNING EXTRACT RUNNING NMGEXT 00:09:08 00:00:00 EXTRACT RUNNING NMGPUMP 00:00:00 00:01:08 3.2 源数据 HET 配置 3.2.1 增加 Primary Extract GGSCI EDIT PARAMS HETEXT EXTRACT HETEXT USERID het, PASSWORD het EXTT

7、RAIL ./dirdat/he TABLE HE.*; GGSCI ADD EXTRAC THETEXT, TRANLOG, BEGIN NOW EXTRACT added. GGSCI ADD EXTTRAIL ./dirdat/he, EXTRACT HETEXT, MEGABYTES 5 EXTTRAIL added. 3.2.2 增加 Pump Extract GGSCI EDIT PARAMS HETPUMP EXTRACT HETPUMP PASSTHRU RMTHOST 10.X.X.X, MGRPORT 15000 RMTTRAIL REPLICAT, GROUP HETRE

8、P RMTTRAIL ./dirdat/he TABLE het.*; GGSCI ADD EXTRACT HETPUMP, EXTTRAILSOURCE ./dirdat/he EXTRACT added. GGSCI ADD RMTTRAIL ./dirdat/he, EXTRACT HETPUMP, MEGABYTES 5 RMTTRAIL added. GGSCI START EXTRACT HETEXT 5 Sending START request to MANAGER (GGT) . EXTRACT HETEXT starting GGSCI START EXTRACT HETP

9、UMP Sending START request to MANAGER (GGT) . EXTRACT HETPUMP starting 3.2.3 检查启动状态 查看 Extract 的状态，确保都正常运行 GGSCI INFO ALL Program Status Group Lag Time Since Chkpt MANAGER RUNNING EXTRACT RUNNING HETEXT 00:09:08 00:00:00 EXTRACT RUNNING HETPUMP 00:00:00 00:00:08 3.3 源数据 BTS 的配置 3.3.1 增加 Primary Extra

10、ct GGSCI EDIT PARAMS BTSEXT EXTRACT BTSEXT USERID BTS, PASSWORD BTS EXTTRAIL ./dirdat/bt TABLE BTS.*; GGSCI ADD EXTRACT BTSEXT, TRANLOG, BEGIN NOW EXTRACT added. GGSCI ADD EXTTRAIL ./dirdat/bt, EXTRACT BTSEXT, MEGABYTES 5 EXTTRAIL added. 3.3.2 增加 Pump Extract GGSCI EDIT PARAMS BTSPUMP EXTRACT BTSPUM

11、P PASSTHRU RMTHOST 10.X.X.X, MGRPORT 15000 RMTTRAIL REPLICAT, GROUP BTSREP RMTTRAIL ./dirdat/bt 6 TABLE BTS.*; GGSCI ADD EXTRACT BTSPUMP, EXTTRAILSOURCE ./dirdat/bt EXTRACT added. GGSCI ADD RMTTRAIL ./dirdat/bt, EXTRACT BTSPUMP, MEGABYTES 5 RMTTRAIL added. GGSCI START EXTRACT BTSEXT Sending START re

12、quest to MANAGER (GGS) . EXTRACT BTSEXT starting GGSCI START EXTRACT BTSPUMP Sending START request to MANAGER (GGS) . EXTRACT BTSPUMP starting 3.3.3 检查启动状态 查看 Extract 的状态，确保都正常运行 GGSCI INFO ALL Program Status Group Lag Time Since Chkpt MANAGER RUNNING EXTRACT RUNNING BTSEXT 00:09:08 00:00:00 EXTRACT

13、 RUNNING BTSPUMP 00:00:00 00:01:08 3.4 源数据 WHM 的配置 3.4.1 增加 Primary Extract GGSCI EDIT PARAMS WHMEXT EXTRACT WHMEXT setenv (NLS_LANG=“AMERICAN_AMERICA.ZHS16GBK“) USERID WHM, PASSWORD WHM EXTTRAIL ./dirdat/wh numfiles 1000 TABLE WHM.*; GGSCI ADD EXTRACT WHMEXT, TRANLOG, BEGIN NOW EXTRACT added. 7 GGS

14、CI ADD EXTTRAIL ./dirdat/wh, EXTRACT WHMEXT, MEGABYTES 5 EXTTRAIL added. 3.4.2 增加 Pump Extract GGSCI EDIT PARAMS WHMPUMP EXTRACT WHMPUMP setenv (NLS_LANG=“AMERICAN_AMERICA.ZHS16GBK“) PASSTHRU RMTHOST 10.X.X.X, MGRPORT 15000 RMTTRAIL REPLICAT, GROUP WHMREP NUMFILES 1000 RMTTRAIL ./dirdat/wh TABLE WHM

15、.*; GGSCI ADD EXTRACT WHMPUMP, EXTTRAILSOURCE ./dirdat/wh EXTRACT added. GGSCI ADD RMTTRAIL ./dirdat/wh, EXTRACT WHMPUMP, MEGABYTES 5 RMTTRAIL added. GGSCI START EXTRACT WHMEXT Sending START request to MANAGER (GGS) . EXTRACT WHMEXT starting GGSCI START EXTRACT WHMPUMP Sending START request to MANAG

16、ER (GGS) . EXTRACT WHMPUMP starting 3.4.3 检查启动状态 查看 Extract 的状态，确保都正常运行 GGSCI INFO ALL Program Status Group Lag Time Since Chkpt MANAGER RUNNING EXTRACT RUNNING WHMEXT 00:09:08 00:00:00 EXTRACT RUNNING WHMPUMP 00:00:00 00:01:08 8 3.5 源数据 CFS 的配置 3.5.1 增加 Primary Extract GGSCI EDIT PARAMS CFSEXT EXTRACT CFSEXT setenv (NLS_LANG=“AMERICAN_AMERICA.ZHS16GBK“) USERID CFS, PASSWORD CFS EXTTRAIL ./dirdat/cf numfiles 1000 TABLE CFS.*; GGSCI ADD EXTRACT CFSEXT, TRANLOG, BEGIN NOW E