dsgrealsync管理维护手册.doc

《dsgrealsync管理维护手册.doc》由会员分享，可在线阅读，更多相关《dsgrealsync管理维护手册.doc（49页珍藏版）》请在金锄头文库上搜索。

1、DSG RealSync 操作管理手册操作管理手册 2012/1/14 DSGdata Inc. 目目 录录 1REALSYNC 工作原理工作原理.4 1.1原理概论4 1.2日志抓取（Data Capture） 5 1.3日志分析（Analyze）5 1.4交易合成（Synthesize）6 1.5交易传输7 1.6数据装载8 2REALSYNC 支持列表支持列表.10 2.1首次全同步10 2.2复制关系维护10 2.3DML 操作复制支持10 2.4DDL 操作复制支持12 2.5常见的不支持操作及处理方式14 3各复制端口一览表各复制端口一览表16 4软件部署结构说明软件部署结构说明1

2、9 5发起全同步并启动复制发起全同步并启动复制20 6REALSYNC 目录和文件结构说明目录和文件结构说明.23 6.1源端安装目录说明23 6.1.1config 目录重点文件说明 23 6.1.2scripts 目录中的文件说明23 6.1.3bin 目录重点文件说明 .24 6.1.4log 目录重点文件说明 .24 6.1.5rmp 目录重点文件说明25 6.2目标端安装目录说明25 6.2.1scripts 目录重点文件说明25 6.2.2bin 目录重点文件说明 .26 6.2.3log 目录重点文件说明 .26 6.2.4rmp 目录重点文件说明26 7REALSYNC 日常维

3、护日常维护.28 7.1进程检查28 7.1.1数据复制的进程检查28 7.2如何停止和启动进程29 7.2.1源端进程的停止29 7.2.2源端进程的启动29 7.2.3目标端进程的停止30 7.2.4目标端进程的启动30 7.3日志监控31 DSG Realsync 管理维护手册 2019-8-21 迪思杰（北京）数码技术有限公司3/49 7.3.1源端日志分析监控31 7.3.2目标端装载日志34 7.4队列累积查看36 7.4.1源端日常是否 xf1 积压36 7.4.2目标端日常是否 xf1 积压37 7.5如何进行重新全同步37 7.5.1停止并清空源端的 realsync 程序只

4、需执行 full_sync_ds.sh37 7.5.2停止并清空目标端的 realsync 程序秩序执行 full_sync_dt.sh.40 7.5.3重新启动源端的 realsync 程序只需执行 start_dsg.sh41 7.5.4重新启动目标端的 realsync 程序只需执行 start_dsg_dt.sh.42 7.5.5确认全同步已经结束并且进入到实时同步阶段42 7.6如何修改日志分析间隔45 7.7维护需要过滤的 DDL 操作.45 7.7.1过滤 DDL 操作的意义.45 7.7.2支持的过滤操作种类45 7.8日常需要删除的一些文件48 7.8.1检查磁盘阵列的剩余空

5、间48 7.8.2删除源端 realsync 的文件48 7.8.3删除目标端 realsync 的文件49 1 RealSync 工作原理工作原理 1.1 原理概论原理概论 RealSync 技术是针对数据库提供了基于逻辑的交易复制方式。该方式通过直接捕获源 数据库的交易，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数 据的一致性。 如上图所示，RealSync 在数据源（Data Source，简称 DS）端和数据目标端（Data Target 端，简称 DT）分别安装 Agent 进程，Source 端的 Agent 进程对 ORACLE 日志进行 监控，发现改变及时对

6、目标数据库进行更新。 当应用系统在 Data Source 端向数据库进行任何操作时时，这些信息都将在 Redo Log 中保存，RealSync Agent 通过对实时获取的 Log 日志进行分析，获得本次操作的交易指令 和交易数据，然后将这些交易指令和交易数据经过格式转化生成 XF1 数据格式，并实时通 过网络传送到 Data Target 系统。 Data Target 系统的 RealSync Agent 接收数据库包，经过校验码检查，确认正确的数据 库包后，调用 Oracle 函数按照交易的先后顺序在 Data Target 系统中执行该交易。 ologxologx Archived

7、 log Redo Log QUEUE XEXPXEXP sendersender receiverreceiver QUEUE ROWID Mapping Table loaderloader Transactions XF1 Format OCI DSG Realsync 管理维护手册 2019-8-21 迪思杰（北京）数码技术有限公司5/49 1.2 日志抓取（日志抓取（Data Capture） RealSync 对数据的抓取是通过安装在 Data Source 端的 Agent 模块定时分析 Oracle Redo Log 来获取 Data Source 端的交易类型及数据的。 Re

8、alSync Agent 在判断 Data Source 端的 Oracle 系统是否有新的交易产生时是通过定期 检查 oracle 提供的视图中记录的当前 SCN 号来判断的，这样避免每次检都通过读取 log 文 件来判断否有新的交易产生时造成的系统影响。 在确认有新的交易产生时，可以同时获得当前的 Redo Log 组，以及最新日志在日志 文件的最新位置。 RealSync Agent 模块根据这些信息将上次抓取时记录的日志位置与本次读取的最新位 置之间的 Log 读取并加以分析。然后将这些数据保存在 Online Log Cache 文件中，等待下 一步作交易合成处理。 RealSync

9、RealSync 的优势：的优势： 与其他类似日志复制产品相比，RealSync 对日志进行分析，得到交易信息再进行传送； 而其他类似产品不对日志作分析，传送全部日志，然后在目标端通过日志作 Recover， 这 样一来，不仅传送数据量大，而且目标端数据库不能打开。 1.3 日志分析（日志分析（Analyze） Oracle 数据库的所有更改都记录在日志中，其中记录了对数据库中的每一个变化。 当我们需要了解数据库中所作的交易时，一个最有效实用而又低成本的方法就是分析 Oracle 数据库的日志文件。 system view 状状态态 1 状状态态 2 时时间间间间隔隔 T （ 可可任任意意设设

10、置置） Online Redo Group Analyze Module Online Log Cache RealSync Agent 中集成了 DSG 的优秀日志分析功能，该功能完全不同于 oracle 提供的 Logminer 日志分析工具，在性能和功能上都大大提高，主要体现在系统性能的优化上，大 幅度提高日志分析的速度，使得对于高并发业务系统的复制成为可能。按照 RealSync 的日 志分析设计目标，每秒能够分析的日志量达到 10M/s。 RealSync 通过对日志的分析，得到该数据库中的每个 SQL 指令，并将这些 SQL 指令 生成 XF1 格式的表达方式。 XF1 格式是 D

11、SG 公司的专有技术，该技术是 DSG 公司用来表达 SQL 指令的方式，该 数据格式能够通过 DSG 的专有转换算法能够直接转换为 ORACL 的内部数据表达格式，从 而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富能够表达 的各种数据类型。 1.4 交易交易合成（合成（Synthesize） 通过 ORACLE REDO LOG 分析的交易指令存在如下的几个特点： （1）这些指令是交叉出现的，属于一个交易（Transaction）的多条 SQL 指令是非连 续存储的，多个交易的 SQL 之间是相互穿插的； （2）Redo log 中记录了所有的 commit 的交易以

12、及没有 commit 的交易； 所以，为了提高系统的可控制性、保证逻辑完整性、避免数据丢失，最好将复制的最 小单位为一个交易（Transaction） ，而不是以单个 SQL 指令为复制单位，这样在 Data Target 端的交易装载更加容易控制。 同时，对于复制的数据而言，只有那些 Commit 的数据对于 Data Target 端系统是有意 义的，而对于那些 Rollback 的数据无需复制到 Data target 系统上。 所以 RealSync 在复制过程中不是复制每个 SQL 语句，而是对抓取的数据进行交易整 合后以交易（Transaction）为单位进行复制，同时只复制 CO

13、MMIT 的交易。 Online Log Cache T1/SQL1 T2/SQL1 T1/SQL2 T1/SQL3 T2/SQL2 T1 COMMIT T3/SQL1 T2 COMMIT T3 Rollback T2 T1 丢丢弃弃 传传输输 Synthesize Module DSG Realsync 管理维护手册 2019-8-21 迪思杰（北京）数码技术有限公司7/49 如上图所示，在 Online Log Cache 文件中，包括 Commit 的交易，没有 Commit 的交易 和 Rollback 的交易。交易合成模块首先按照交易序号对 SOL 语句进行划分，每个交易包含 多条

14、SOL 语句。然后，以交易为单位进行处理，将已经 Commit 的交易，传至传输处理模 块；将未提交的交易保存在本地，一旦通过日志得知保存的未提交交易已提交，立即将该 交易发送到传输处理模块；对 Rollback 的交易作丢弃处理。 RealSync 的优势： RealSync 是以交易为单位进行传输的，而不是以 SOL 语句为单位进行传输的，更容易 保证数据的一致性和完整性。 1.5 交易传输交易传输 RealSync 技术为了保证数据传输的安全、可靠，在传输处理上作了特殊的处理与支持: （1）数据在传输之前首先存入 Data Source 端的 Cache，传输进程（sender）从 Ca

15、che 中读取交易数据封装为 TCP/IP 数据包传送给 Data target 端的 vagentd 进程。 （2）在 data target 端，vagentd 进程在收到传输的交易数据包后，首先存入 Queue，然 后由 Load 进程从 Queue 中严格按照交易的顺序装载交易信息。 如上图所示，负责传输的进程（sender）从本地队列中按照先进先出的原则抓取需要 传输的交易，将交易数据封装成一个数据包后通过 TCP/IP 协议传递给对端系统。在封装的 数据包的包头部分描述了包的大小。 对端系统在接受到传来的数据包后，首先根据包头描述的包大小进行传输的合法性检 查，判断是否传输完整。

16、Capture Process Export Process Import Process 10 11 12 13 14 15 16 10 11 12 13 14 15 16 17 Queue 10 11 12 13 14 15 16 10 11 12 13 14 15 16 17 Post Process 10 11 12 13 14 15 16 10 11 12 13 14 15 16 17 Queue HeaderBody 1.6 数据装载数据装载 在传统的复制技术中，常用的数据装载方式是采用 Oracle 的 SQL 接口，通过 Insert、Update、Delete 等 SQL 语句实现数据的装载。这种方式在通用性上很好，但关键在 于性能问题非常突出。 SQL 语句的执行需要经过 parse、plan、格式转换等过程，造成大量的系统开销。尤其 是 update 和 Delte 操作的大量 Where 子句操作需要进行复杂的查询定位任务，从而导致装 载性