《goldengate培训教程》由会员分享，可在线阅读，更多相关《goldengate培训教程（29页珍藏版）》请在金锄头文库上搜索。
1、GoldenGate软件及工作原理介绍 高级技术顾问： 公司目标 GoldenGate为客户提供交易数据管理（Transactional Data Management）解决方案. 有效帮助客户优化数据访问性能，提高交易数据的可访问性 和可用性，满足关键业务的需要 Real-Time Access to Real-Time Information 公司简介 历史及现状 与多家著名厂商 结为战略合作伙伴 全球35个国家300 多客户， 超过4000多个安装 广泛的客户基础 始建于 1995 Oracle公司2009年7月 收购 在北美、欧洲、亚 太、拉丁美洲设有 分公司 24x7 全球技术支持
2、交易数据管理Transactional Data Management TDM提供异构环境下交易数据的实时捕捉、变换、投递。 TDM 具有: 实时性 秒一级延迟 异构环境支持 在不同平台和数据库环境下复制数据 以交易为单位复制 维护交易一致性 特点: 高性能 能够以低资源消耗完成每秒数千交易的复制 可扩展 开放的结构使客户适应各种异构数据平台 可靠 保证数据的连续可用 GoldenGate支持平台 数据库操作系统 抽取: Oracle DB2 OS/390 DB2 UDB Microsoft SQL Server Sybase Enscribe SQL/MP SQL/MX Teradata 投
3、递: All listed above MySQL, Ingres and any ODBC compatible databases Windows 2000, 2003, XP Linux Sun Solaris HP-UX IBM AIX HP NonStop TRU64 IBM z/OS, LUW GoldenGate 解决方案 高可用性与容灾 活动备份 无宕机运行 Active-Active 层次化企业数据 实时数据集成 数据仓库实时数据供给 实时报表 数据整合 实时数据 实时访问 灾难恢复 灾难容忍 无间断运行 磁带备份 磁盘镜像 块复制 热备份 Active-Active 硬件
4、存储 数据库 应用 物理结构 数据 交易 批处理 即时复制 近似实时复制 实时复制 脚本 ETL工具加脚本 EAI和ETL工具加脚本 GoldenGate TDM Weeks Days Hours Minutes / SecondsSub-seconds Real Time Threshold 高可用性 数据整合 实时性要求 为什么选择 GoldenGate TDM? 消除批处理窗口 方便实现整合流程 低资源占用 实时获取数据 基于日志的复制 对源系统影响小 只捕捉数据变化 降低系统负荷 无需额外编程 保证交易完整性和一致性 可以保证在各种平台下数据的完整性和 一致性 GoldenGate T
5、DM软件技术概览 Transactional Data Management (TDM) Software Platform TDM 工作原理: 模块化 “积木” 网络 源数据库 目的数据库 双向复制 队列文件: 暂存数据变化. 传输: 数据经过压缩和加密传送到目的地. Capture: 实时读取交易日志捕捉数据变化并可实现过滤. Delivery:执行所需的数据变化，然后将 数据变化提交到目的库. Capture Source Trail Target Trail Source Trail Target Trail Deliver Deliver Capture 逻辑逻辑 数据复制的几个重要
6、问题问题 （一） 数据变化来源 读取在线日志或归档日志 在信息不足时时与数据库库交互 - 数据字典信息 - 查询日志不足信息，例如大对象 只复制提交交易 如何标志记录的唯一性？ Rowid - 逻辑复制源和目标的rowid是不一致的，除非自行为两端 记录建立额外的rowid map 主键 - 实际应用中主要业务表均建立有主键 - 唯一索引也可作为唯一标识 - 无主键表可使用全部列作为唯一标识 逻辑逻辑 数据复制的几个问题问题 （二） oracle数据库附加日志 缺省状况下只记录变化记录的rowid及对应变化（前 影像、后影像） 为了能够在目标投递到对应的记录，需在日志中记录 主键或唯一索引 数
7、据库级附加日志 - SUPPLEMENTAL_LOG_DATA_MIN （最小附加日志） - SUPPLEMENTAL_LOG_DATA_PK/UI - SUPPLEMENTAL_LOG_DATA_FK/ALL（10g） 表级附加日志 GoldenGate建议方式 - sqlplus alter table add supplemental log group - Ggsci add trandata ctais2.mytable /自动寻找PK/UI - Dba_log_groups和dba_log_group_columns - 每个log group不能超过32列，超过需要人工分组 逻辑
8、逻辑 数据复制的几个问题问题 （三） 目标端使用附加日志还原sql 根据附加日志中的主键信息构筑where条件 如果没有附加日志或者没有足够的列则无法执行 update和delete操作，而insert不受影响 主键变化要重新添加表的附加日志 无主键表则列的增删均要重新添加表的附加日志 CREATE TABLE tcustmer ( cust_code VARCHAR2(4), name VARCHAR2(30), city VARCHAR2(20), state CHAR(2), PRIMARY KEY (cust_code) USING INDEX ); For Record: (a,a,
9、a,a) Update tcustmer set name=b; Oracle附加日志会记录cust_code列的值 a到日志中； 目标端根据cust_code=a构筑update 的 sql语句； 如果两端主键变为city，而没有重新添加 附加日志，则目标端会根据自己的主 键city建立附加日志，此时日志中没 有该字段值，导致目标update失败 如果修改表但没有修改主键，则附加日 志不受影响 逻辑逻辑 数据复制的几个问题问题 （四） 如何将数据装载到目标库？ 常规加载 - 通过SQL装载 直接加载载 - 通过过数据块块装载载 - 不利用空闲闲存储储空间间 - 不检查检查 外键键等约约束 -
10、 装载速度较快 GoldenGate采用常规加载 - 保证数据安全和一致性 - 有效提高性能的选项 合并小交易 拆分大交易 批处理的加速 单向复制 报表、灾备 双向复制 立即接管 点对点 负载均衡, 高可用性及容灾 广播复制 数据分发 集中复制 数据仓库 灵活的拓扑结构 多级复制 层次化企业数据 Data Pumps 与一对多复制 Database Transaction Logs Extract Proces s Trail Extract Proces s Trail Trail Trail Extract Proces s Extract Proces s GoldenGate Veri
11、data 快速数据对比方案 能够快速设别和报告在线数据的差异 用途: 降低数据差异带来的风险 简便快捷的对比 无需影响业务 关键特性: 支持大数据量对比 支持在线状态的数据对比 优秀的对比效率和速度 可执行选择性对比 可自动执行无需人工干预 灵活的报表 GoldenGate Director 能够使客户定义、配置和管理 GoldenGate TDM 各节点和进程， 监控运行状态 优化系统管理 关键特性: 集中管理多个GG进程 丰富的客户端和web界面提高可 用性 提供报警以及与第三方软件集成 的接口 实时获取GG进程信息 对原系统无影响 典型案例 案例一：中华华人民共和国海关总总署 l远距离容
12、灾 l低带宽 l低延时 l可随时接管的双业 务中心 l快速业务切换 l异构复制(内部) 案例二：国家体育总局体彩中心 lN+1模式容灾 l各省市集中备份 l远距离 l低带宽 案例三：国家税务总务总 局 lN+1集中容灾 l远距离 l低带宽 案例三：国家税务总务总 局-各试试点 南海灾备中心 生产中心 异址灾备中心 同城备备份 远远程异地备备份 涉及应应用系统统： 一期：CTAIS2系统 二期：JH系统, FWSK系统 * GoldenGate安装及其组件 系统需求 为获取高可用性，建议安装于共享阵列，可以随集群软件切换到备用节点 复制软件只需不到200M空间大小，考虑到需要缓存队列数据，建议保
13、留相 当于数据库归档日志量3-7天的存储空间 复制软件安装目录可位于任何位置 复制软件可使用现有系统用户或者建立专门系统用户，需满足如下条件： 该用户具有为Oracle安装用户组成员，环境变量与Oracle运行用户一致 ，可访问Oracle数据库 其内存限制应当满足数据复制要求，可以通过ulimit a输出察看信息， 具体配置在/etc/security/limits 文件中。 双机环境下的理想配置方案 正常运行状态 备机接管状态 安装步骤 Unix下的安装步骤 1.ftp .gz file to GoldenGate安装目录 2.gzip d *.gz 3.tar xvf *.tar 4.I
14、mplement the GoldenGate Password license 5.GGSCI CREATE SUBDIRS 许可文件pw位于 GoldenGate安装目录下 V10.4版本后，不再需要许可文件 数据库需求 复制用户可以使用现有或者新建用户，DML复制要求权限如下： 源端：CONNECT/ALTER ANY TABLE/ALTER SESSION/CREATE SESSION /FLASHBACK ANY TABLE/SELECT ANY DICTIONARY/SELECT ANY TABLE/“RESOURCE“ 目标端在源端基础上加以下权限：INSERT ANY TABL
15、E/DELETE ANY TABLE/UPDATE ANY TABLE; 需要打开数据库级最小附加日志 select SUPPLEMENTAL_LOG_DATA_MIN from v$database; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 针对所有复制表打开表级附加日志 GGSCI add trandata select * from user_log_group_columns where table_name= ; 超过32列无主键表需要手工添加附加日志： -Alter table add supplemental log group (column,) always; GoldenGate组件与目录结构 基本组件 Manager 管理进程，管理其它进程活动 Extract 抽取进程，抽取日志（队列）获取数据变化 Replicat 投递进程，向目标数据库投递数据 Collector （server进程），收集由源端extract发送过来的数据 Trail 队列，以通用格式存贮的数据变化 Checkpoint 检查点, dirchk下
