《DSGRealSync管理手册.docx》由会员分享，可在线阅读，更多相关《DSGRealSync管理手册.docx（49页珍藏版）》请在金锄头文库上搜索。
1、DSGRealSync管理手册 2021/1/14DSGdata Inc.目 录1REALSYNC工作原理41.1原理概论41.2日志抓取Data Capture51.3日志分析Analyze51.4交易合成Synthesize61.5交易传输71.6数据装载82REALSYNC支持列表102.1首次全同步102.2复制关系爱护102.3DML操作复制支持102.4DDL操作复制支持122.5常见的不支持操作及处理方式143各复制端口一览表164软件部署结构说明195发起全同步并启动复制206REALSYNC名目和文件结构说明236.1源端安装名目说明236.1.1config名目重点文件说明
2、236.1.2scripts名目中的文件说明236.1.3bin名目重点文件说明246.1.4log名目重点文件说明246.1.5rmp名目重点文件说明256.2目标端安装名目说明256.2.1scripts名目重点文件说明256.2.2bin名目重点文件说明266.2.3log名目重点文件说明266.2.4rmp名目重点文件说明267REALSYNC日常爱护287.1进程检查287.1.1数据复制的进程检查287.2如何停止和启动进程297.2.1源端进程的停止297.2.2源端进程的启动297.2.3目标端进程的停止307.2.4目标端进程的启动307.3日志监控317.3.1源端日志分析
3、监控317.3.2目标端装载日志347.4队列累积查看367.4.1源端日常是否xf1积压367.4.2目标端日常是否xf1积压377.5如何进行重新全同步377.5.1停止并清空源端的realsync程序只需执行full_sync_ds.sh377.5.2停止并清空目标端的realsync程序秩序执行full_sync_dt.sh407.5.3重新启动源端的realsync程序只需执行start_dsg.sh417.5.4重新启动目标端的realsync程序只需执行start_dsg_dt.sh427.5.5确认全同步差不多终止同时进入到实时同步时期427.6如何修改日志分析间隔457.7爱
4、护需要过滤的DDL操作457.7.1过滤DDL操作的意义457.7.2支持的过滤操作种类457.8日常需要删除的一些文件487.8.1检查磁盘阵列的剩余空间487.8.2删除源端realsync的文件487.8.3删除目标端realsync的文件491 RealSync工作原理1.1 原理概论RealSync技术是针对数据库提供了基于逻辑的交易复制方式。该方式通过直截了当捕捉源数据库的交易，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数据的一致性。如上图所示，RealSync在数据源Data Source，简称DS端和数据目标端Data Target端，简称DT分别安装Age
5、nt进程，Source端的Agent进程对ORACLE日志进行监控，发觉改变及时对目标数据库进行更新。当应用系统在Data Source端向数据库进行任何操作时时，这些信息都将在Redo Log中储存，RealSync Agent通过对实时猎取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据通过格式转化生成XF1数据格式，并实时通过网络传送到Data Target系统。Data Target系统的RealSync Agent接收数据库包，通过校验码检查，确认正确的数据库包后，调用Oracle函数按照交易的先后顺序在Data Target系统中执行该交易。1.
6、2 日志抓取Data CaptureRealSync对数据的抓取是通过安装在Data Source端的Agent模块定时分析Oracle Redo Log来猎取Data Source端的交易类型及数据的。RealSync Agent在判定Data Source端的Oracle系统是否有新的交易产生时是通过定期检查oracle提供的视图中记录的当前SCN号来判定的，如此幸免每次检都通过读取log文件来判定否有新的交易产生时造成的系统阻碍。在确认有新的交易产生时，能够同时获得当前的Redo Log 组，以及最新日志在日志文件的最新位置。RealSync Agent模块依照这些信息将上次抓取时记录的
7、日志位置与本次读取的最新位置之间的Log读取并加以分析。然后将这些数据储存在Online Log Cache文件中，等待下一步作交易合成处理。RealSync的优势：与其他类似日志复制产品相比，RealSync对日志进行分析，得到交易信息再进行传送；而其他类似产品不对日志作分析，传送全部日志，然后在目标端通过日志作Recover， 如此一来，不仅传送数据量大，而且目标端数据库不能打开。1.3 日志分析AnalyzeOracle数据库的所有更换都记录在日志中，其中记录了对数据库中的每一个变化。当我们需要了解数据库中所作的交易时，一个最有效有用而又低成本的方法确实是分析Oracle数据库的日志文件
8、。RealSync Agent中集成了DSG的优秀日志分析功能，该功能完全不同于oracle提供的Logminer日志分析工具，在性能和功能上都大大提高，要紧表达在系统性能的优化上，大幅度提高日志分析的速度，使得关于高并发业务系统的复制成为可能。按照RealSync的日志分析设计目标，每秒能够分析的日志量达到10M/s。RealSync通过对日志的分析，得到该数据库中的每个SQL指令，并将这些SQL指令生成XF1格式的表达方式。XF1格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直截了当转换为ORACL的内部数据表达格式，从而
9、在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富能够表达的各种数据类型。1.4 交易合成Synthesize通过ORACLE REDO LOG分析的交易指令存在如下的几个特点：1这些指令是交叉显现的，属于一个交易Transaction的多条SQL指令是非连续储备的，多个交易的SQL之间是相互穿插的；2Redo log中记录了所有的commit的交易以及没有commit的交易；因此，为了提高系统的可操纵性、保证逻辑完整性、幸免数据丢失，最好将复制的最小单位为一个交易Transaction，而不是以单个SQL指令为复制单位，如此在Data Target端的交易装载更加容易操纵。
10、同时，关于复制的数据而言，只有那些Commit的数据关于Data Target端系统是有意义的，而关于那些Rollback的数据无需复制到Data target系统上。因此RealSync在复制过程中不是复制每个SQL语句，而是对抓取的数据进行交易整合后以交易Transaction为单位进行复制，同时只复制COMMIT的交易。如上图所示，在Online Log Cache文件中，包括Commit的交易，没有Commit的交易和Rollback的交易。交易合成模块第一按照交易序号对SOL语句进行划分，每个交易包含多条SOL语句。然后，以交易为单位进行处理，将差不多Commit的交易，传至传输处理
11、模块；将未提交的交易储存在本地，一旦通过日志得知储存的未提交交易已提交，赶忙将该交易发送到传输处理模块；对Rollback的交易作丢弃处理。RealSync的优势：RealSync是以交易为单位进行传输的，而不是以SOL语句为单位进行传输的，更容易保证数据的一致性和完整性。1.5 交易传输RealSync技术为了保证数据传输的安全、可靠，在传输处理上作了专门的处理与支持:1数据在传输之前第一存入Data Source端的Cache，传输进程sender从Cache中读取交易数据封装为TCP/IP数据包传送给Data target端的vagentd进程。2在data target端，vagent
12、d进程在收到传输的交易数据包后，第一存入Queue，然后由Load进程从Queue中严格按照交易的顺序装载交易信息。如上图所示，负责传输的进程sender从本地队列中按照先进先出的原那么抓取需要传输的交易，将交易数据封装成一个数据包后通过TCP/IP协议传递给对端系统。在封装的数据包的包头部分描述了包的大小。对端系统在同意到传来的数据包后，第一依照包头描述的包大小进行传输的合法性检查，判定是否传输完整。1.6 数据装载在传统的复制技术中，常用的数据装载方式是采纳Oracle 的SQL接口，通过Insert、Update、Delete等SQL语句实现数据的装载。这种方式在通用性上专门好，但关键在
13、于性能问题专门突出。SQL语句的执行需要通过parse、plan、格式转换等过程，造成大量的系统开销。专门是update和Delte操作的大量Where子句操作需要进行复杂的查询定位任务，从而导致装载性能低下，对处理能力的要求比生产系统的还高。DSG RealSync在设计之初就定位于电信级大数据量系统的应用，因此在装载性能上进行了大幅度的改善，使得装载端的性能和处理能力需求降至最低。在其中DSG RealSync采纳了两个关键的技术提高了装载速度：1采纳XF1数据格式的装载；2采纳Rowid mapping的方式实现快速定位；XF1DSG Extend Format格式是DSG公司的专有技术
14、，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直截了当转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富sql语句的表达方式。Oracle数据库系统在设计上提供了4个层次的接口，其中包括User层，SQL层，Transformation层和I/O层。其结构为：USERSQLTransformationI/O在这四层当中，当采纳SQL接口进行数据装载时，调用的是User层，而DSG RealSync通过XF1数据格式装载时，调用I/O层直截了当将数据通过Oracle的最底层函数写入系统中，因此DSG RealSync在装载层上有一定优势；关于交易中的操作，存在着大量的Where子句操作，在采纳标准SQL语句执行这些操作时，系统需要第一定位目标记录所在的数据文件的位置信息，这将带来大量的索引查询开销，当并发执行数千条指令时，系统的开销将变得专门庞大。DSG RealSync工具不采纳该方式实现装载数据的定位，而是通过ROW Mapping的方式实现记录的快速定位：当RealSync从源端Log文件中读取交易数据时，将获得该交易对应记录的所在位置，用rowid表示为rowid
