《PowerExchange培训教材PPT课件》由会员分享，可在线阅读，更多相关《PowerExchange培训教材PPT课件（37页珍藏版）》请在金锄头文库上搜索。
1、1Informatica PowerExchange for Oracle 培训培训夏夏夏夏 凯凯凯凯2009-012009-01电话：电话：13439473732MSN： 2体系结构体系结构体系结构体系结构安装介绍安装介绍安装介绍安装介绍注册数据源注册数据源注册数据源注册数据源PWXPWX与与与与PCPC集成集成集成集成学学 习习 内内 容容3 PowerExchange Batch： 用于数据源到目标之间的大批量数据迁移，适用于Unix、PC、MVS和AS/400数据格式的数据。 PowerExchange Change： 用于从创建的压缩变更文件（condensed changes fi
2、les）中周期性地获取更新。 PowerExchange Real-time： 从日志信息中直接捕获更新，实时性较高。对于Oracle的数据增量抽取，只能使用PowerExchange Real-time。 PowerExchange Change和PowerExchange Real-time只能捕获到所需的更新数据，将数据加载到目标数据库的任务需要由PowerCenter或其他第三方工具来完成。PowerExchange抽取模式抽取模式4Tools(ETL, EAI, BI)Data Maps for Non-Relational AccessInformaticaPowerCenterI
3、nformaticaData AnalyzerOther ToolsDataRecordsListenerPowerExchange Batch Data MovementSQLInformatica PowerExchangeUser ApplicationsOperating EnvironmentTargetNative DB RequestNative DB Response1、PowerCenter发布一系发布一系列标准列标准SQL请求。请求。2、PowerExchange转换转换SQL通通过过Native方式方式给数给数据源发送请求。据源发送请求。3、数据源通过、数据源通过Nati
4、ve方式做出方式做出反馈。反馈。4、PowerExchange 发送经过翻译后的发送经过翻译后的数据记录给数据记录给PowerCenter。5Informatica PowerExchangeOperating EnvironmentUser ApplicationTools(ETL, EAI, BI)Registration MapsOracleInformaticaPowerCenterInformaticaPowerAnalyzerOther ToolsData RecordsListenerSQLPowerExchange “Change” Architecture for Oracl
5、eLogMinerOracleLogsPWX Condense JobTarget1、通、通过过Oracle的的LogMiner搜集搜集Redo Logs 变变化信息。化信息。2、被收集的、被收集的变变化数化数据会被提交据会被提交给给PWX Condense Job4、PowerCenter发发布一系布一系列列标标准准SQL请请求求给给PowerExchange的的侦侦听程听程序来序来访问变访问变化数据化数据6、PowerExchange 发送经过翻译后的发送经过翻译后的数据记录给数据记录给PowerCenter。3、Condense Job将通过将通过LogMiner接接口捕捉来的变化数据，
6、并基于外部配置口捕捉来的变化数据，并基于外部配置文件产生文件产生Condense文件。文件。5、Listener从从Condense文文件抽取件抽取变化数据。化数据。6Oracle Redo Log是PowerExchange Oracle capture流程的必要部分，被监测数据必须在Archive Log模式下运行。LogMiner读取Redo Log，使PowerExchange能够从指定的时间点抽取数据，这些时间点由Oracle SCN（System Change Numbers）分隔。 Navigator被用做创建变更捕获注册信息，这些注册信息定义了用户需要实时监测的数据。CAPI连
7、接PowerExchange REGISTRATION，获取需要监测的表和列信息，然后连接Oracle和Log Miner，根据restart information确定应该返回哪些变更记录。UOW Cleanser (Unit of Work)保证工作单元能够按照其提交的顺序被依次处理，同时去除回滚的事务 。PWX Condense Job接收变化信息并创建Condense文件。当PowerCenter Workflow被调用后，通过Listenter请求变化信息。OracleLogMiner ApplicationPowerCenterServerOracle9.2.0.7+CAPIUOW
8、 CleanserNavigatorCondense filesRepository(Registrations)Oracle LogsPWXPCPWX ListenerPowerExchange “Change” Architecture for Oracle7Informatica PowerExchangeOperating EnvironmentUser ApplicationTools(ETL, EAI, BI)RegistrationData MapsOracleInformaticaPowerCenterInformaticaPowerAnalyzerOther ToolsDat
9、aRecordsListenerSQLPowerExchange “Real time” Architecture for OracleLogMinerCollectorVirtual Change StreamOracleLogsTarget1、通过、通过Oracle的的LogMiner搜集搜集Redo Logs 变化信息。变化信息。2、被收集的变化数据会、被收集的变化数据会被存储在被存储在change Stream或者或者Virtual Change Stream队列中队列中3、PowerCenter发布一系列标准发布一系列标准SQL请求给请求给PowerExchange的侦的侦听程序来访
10、问变化数据听程序来访问变化数据4、PowerExchange的侦听程序根据请求，发送的侦听程序根据请求，发送经过经过“翻译翻译”后的变化数据给后的变化数据给PowerCenter，从而，从而实现变化数据的实时捕获实现变化数据的实时捕获 Native DB RequestNative DB Response8PowerExchange Listener Agent接收变化信息。(如果Oracle和PowerCenter Server在同一台机器就没有必要)PowerExchange客户端提供PowerExchange和PowerCenter的连接。PowerCenter调用一个持续的Workfl
11、ow应用不断将变化数据迁移到目标。OracleLogMiner ApplicationCAPIUOW CleanserNavigatorListener AgentPWXPCPowerCenterServerTargetOracle9.2.0.7+Repository(Registrations)Oracle LogsPowerExchange “Real time” Architecture for Oracle9体系结构体系结构体系结构体系结构安装介绍安装介绍安装介绍安装介绍注册数据源注册数据源注册数据源注册数据源PWXPWX与与与与PCPC集成集成集成集成学学 习习 内内 容容10操作系
12、统支持情况操作系统支持情况 Windows 2000, XP, 2003 AIX 5.1 and above Solaris 2.7 and above HPUX 11 and above Linux versions (Redhat AS 2.1-3.0 ) with kernel 2.4 Suse Linux ES 8-9 系系 统统 必必 要要 需需 求求Oracle必要条件（最好在必要条件（最好在DBA的配合下操作）的配合下操作）Oracle V9.2.0.6或以上； Real Application Clusters 不支持Oracle 9i版本，在Oracle 10g上支持。 Or
13、acle必须运行在归档模式下； Oracle 9i版本Supplemental Logging必须打开(设置为true)； Oracle LogMiner必须配置完成； Oracle catalog被拷贝到Oracle Redo Log； A template SQLPlus script is provided to perform the above functions11局局 限限 性性 说说 明明支持的数据类型支持的数据类型 NUMBER CHAR VARCHAR2 RAW DATE TIMESTAMP(目前能捕获到微秒级别)不支持的数据类型不支持的数据类型 LONG LONG RAW
14、 LOB types TIMESTAMP WITH LOCAL TIME ZONE LogMiner不支持的类型12安装的几类环境安装的几类环境 PowerExchange采用的是Server/Client模式，在被监控的服务器上安装server（Listener），获取源数据的变更，在数据抽取服务器上安装client（Navigator），定义所要监控的数据。13RegistrationData MapsInformaticaPowerCenterPWXPCOracleOracleLogsLogMinerInformaticaPowerExchangePowerCenter Client ,
15、PWX, PWXPC环境一：所有组件部署在环境一：所有组件部署在同一台同一台Windows主机主机14PowerCenter首先被安装。首先被安装。安装安装PowerExchange。更新更新dbmover.cfg文件，增加文件，增加CAPI信息和信息和Oracle信息。信息。 ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string)CAPT_XTRA=C:Program FilesInformaticaInformatica PowerExchangecapturecamaps“CAPT_PATH=C:P
16、rogram FilesInformaticaInformatica PowerExchangecapture“CAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)注：注： 1、ORACLEID=(collection_id, oracle_sid,connect_string,capture_connect_string ) OR
17、ACLEID：最大为20个字符。 collection_id：在注册捕获定义时会被引用，两者保持必须一致。 oracle_sid：被监测数据库的数据库实例名。 connect_string：被监测数据库的服务访问别名。 capture_connect_string：可选项。2、其中，ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。3、目录capture和camap需要手动创建。所有组件部署在所有组件部署在同一台同一台Windows主机安装配置要点主机安装配置要点15重启机器，完成安装！重启机器，完成安装！安安 装装 过过 程程16Info
18、rmaticaPowerCenterOracleOracleLogsLogMinerPWXPCInformaticaPowerExchangePowerCenter Client ,PWX, PWXPCRegistrationData MapsListener环境二：服务端和客户端环境二：服务端和客户端分开部署分开部署17 PowerCenter首先被安装。首先被安装。 终终端上安装端上安装PWX Navigator。安装。安装PWX软软件，修改件，修改终终端上的端上的dbmover.cfg。NODE=(Server_A,TCPIP,10.1.1.100,2480) /*连接Server_A
19、其中，Server_A是节点名称，在注册捕获定义时需要引用该节点名称。10.1.1.100是被监测数据库所在主机的IP地址。 2480是监听端口号。 Server_A上安装上安装PWX软软件，修改件，修改Server_A上的上的dbmover.cfg。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string) CAPT_XTRA=C:Program FilesInformaticaInformatica PowerExchangecapturecamapsCAPT_PATH=C:Program FilesIn
20、formaticaInformatica PowerExchangecaptureCAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL= Collection-Id)注：注：1、ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。 2、目录capture和camap需要手动创建。服务端和客户端分开部署服务端和客
21、户端分开部署安装配置要点安装配置要点18RegistrationsInformaticaPowerCenterInformaticaPowerExchangePWXPCOracleOracleLogsLogMinerPowerCenter Client ,PWX, PWXPCPWX ListenerCDCRecordsSQL*Net环境环境 三三(1)：服务分开部署用：服务分开部署用SQL*Net访问远程访问远程Oracle19 PowerCenter首先被安装。首先被安装。 终终端上安装端上安装PWX Navigator。安装。安装PWX软软件，修改件，修改终终端上的端上的dbmover.c
22、fg。NODE=(Server_B,TCPIP,10.2.2.200,2480) /*连接Server_B Server_B上安装上安装PWX软软件，修改件，修改Server_B上的上的dbmover.cfg。ORACLEID=(Collection-Id, OracleSID,Connect_string,Capture_connect_string) CAPT_XTRA=C:Program FilesInformaticaInformatica PowerExchangecapturecamapsCAPT_PATH=C:Program FilesInformaticaInformatica
23、 PowerExchangecaptureCAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id)注：注：1、ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。 2、目录capture和camap需要手动创建。服务分开部署服务分开部署SQL*Net访问访问远程远程Oracle安装配置
24、要点安装配置要点20环境环境 三三(2)：服务分开部署用：服务分开部署用PWX Listener访问远程访问远程OracleRegistrationData MapsInformaticaPowerCenterInformaticaPowerExchangePWXListenerPWXPCOracleOracleLogsLogMinerDataRecordsPowerCenter Client ,PWX, PWXPC21 PowerCenter首先被安装。首先被安装。 终终端上安装端上安装PWX Navigator。安装。安装PWX软软件，修改件，修改终终端上的端上的dbmover.cfg。N
25、ODE=(Server_A,TCPIP,10.1.1.100,2480) /*连接Server_A Server_A上安装上安装PWX软软件，修改件，修改Server_A上的上的dbmover.cfg。ORACLEID=(Collection-Id,OracleSID,Connect_string,Capture_connect_string) CAPT_XTRA=C:Program FilesInformaticaInformatica PowerExchangecapturecamapsCAPT_PATH=C:Program FilesInformaticaInformatica Powe
26、rExchangecaptureCAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA)CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection-Id) Server_B上安装上安装PWX软软件，修改件，修改Server_B上的上的dbmover.cfgNODE=(Server_A,TCPIP,10.1.1.100,2480) /*连接Server_A 服务分开部署服务分开部署PWX Listene
27、r访问访问远程远程Oracle安装配置要点安装配置要点22创建和指定归档日志存放路径创建和指定归档日志存放路径 创建针对创建针对PowerExchange 使用的使用的oralce用用户户并并赋赋指定指定权权限限设置设置oracle的的Supplemental logging创建创建LogMiner表空间表空间编译编译LogMiner系统包系统包将将Oracle catalog复制到复制到redo logsCONNECT SYS/CHANGE_ON_INSTALL AS SYSDBA;STARTUP;ALTER SYSTEM SET log_archive_dest_1 = location=
28、C:oraclearchlogs SCOPE=SPFILE;CREATE USER ORACAPT PROFILE DEFAULT IDENTIFIED BY oracapt ACCOUNT UNLOCK;GRANT CONNECT TO ORACAPT;GRANT SELECT ON PUBLIC.V$INSTANCE TO ORACAPT;GRANT SELECT ON PUBLIC.V$DATABASE TO ORACAPT;GRANT SELECT ON SYS.DBA_LOG_GROUPS TO ORACAPT;GRANT SELECT ON SYS.DBA_LOG_GROUP_CO
29、LUMNS TO ORACAPT;GRANT SELECT ON PUBLIC.V$TRANSACTION TO ORACAPT;GRANT SELECT ON PUBLIC.V$ARCHIVED_LOG TO ORACAPT;GRANT SELECT ON PUBLIC.V$LOGMNR_CONTENTS TO ORACAPT;GRANT SELECT ON PUBLIC.V$PARAMETER TO ORACAPT;- The following grant is required for Oracle V10 or greater:- GRANT SELECT ANY TRANSACTI
30、ON TO ORACAPT;GRANT EXECUTE ON SYS.DBMS_FLASHBACK TO ORACAPT;GRANT EXECUTE ON SYS.DBMS_LOGMNR_D TO ORACAPT;GRANT EXECUTE ON SYS.DBMS_LOGMNR TO ORACAPT;GRANT ALTER ANY TABLE TO ORACAPT;COMMIT;ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;COMMIT;CREATE TABLESPACE LOGMNRTS NOLOGGING DATAFILE C:oracleproduct
31、10.2.0oradataorclLOGMNRTS.ora SIZE 50M REUSE AUTOEXTEND ON NEXT 10M MAXSIZE 100M EXTENT MANAGEMENT LOCAL;EXECUTE SYS.DBMS_LOGMNR_D.SET_TABLESPACE(LOGMNRTS);ALTER PACKAGE SYS.DBMS_LOGMNR_D COMPILE BODY;beginSYS.DBMS_LOGMNR_D.BUILD(options = sys.dbms_logmnr_d.store_in_redo_logs);end;Oracle设置要点设置要点23体系
32、结构体系结构体系结构体系结构安装介绍安装介绍安装介绍安装介绍注册数据源注册数据源注册数据源注册数据源PWXPWX与与与与PCPC集成集成集成集成学学 习习 内内 容容24Resources Data CaptureData Capture只能被用做只能被用做实现实现Change Data CaptureApplication Groups 显示被抽取的信息，并支持用户reset下次抽取进程的时间。（数据库连接信息，抽取开始、结束时间等。）Extraction Groups包含被指定注册表的中被抽取的表/字段。Registration Groups所包含仅为Change Data Capture
33、的注册表的信息。说明说明: 增加增加Registration Group会自动创建会自动创建Extraction和和 Application groups。25输入输入Registration Group逻辑名逻辑名选择要在选择要在Registration Group中注册的服务器。中注册的服务器。Location下拉框中列出的是下拉框中列出的是Client端端dbmover.cfg配置文配置文件中配置的所有件中配置的所有节节点点 。添加添加Registration Group选择数据源类型选择数据源类型输入被选数据源的用户名和密输入被选数据源的用户名和密码码输入在输入在DBMOVER.CFG
34、中定义的连接名。中定义的连接名。必必须须与与Listener端端dbmover.cfg中的中的collection_id一致。一致。如果想在添加如果想在添加Registration Group之后之后马马上添加上添加Capture Registration，则则勾勾选选复复选选框。如果清框。如果清除复除复选选框的勾框的勾选选，“下一步下一步”按按钮钮会自会自动变为动变为“完成完成”按按钮钮。一个。一个Registration Group下可以有多个下可以有多个Capture Registration。 26添加添加Capture Registration-表和字段信息表和字段信息输入表的逻辑名
35、输入表的逻辑名输入表的输入表的owner输入表名输入表名双击表名得到表字段双击表名得到表字段list勾勾选选希望希望监监控的列。其中控的列。其中带带有有key标标志的列是志的列是该该表的索引列。表的索引列。如果被如果被监测监测的表没有任何索引列，的表没有任何索引列，则则所有的列都需捕所有的列都需捕获获。 27添加添加Capture Registration-CDC信息信息选择选择CDC状态。状态。Acitve，Registration会立即生效；会立即生效；Inactive，所定，所定义义的的Registration不会不会被被Collection agent立即使用。立即使用。Condens
36、e：设设置是否生成置是否生成压缩压缩文件文件保留保留对对源源库库数据行提交的所有更新。数据行提交的所有更新。 None = Real-time; Part = Change设设置置Supplemental Log的名称，在本的名称，在本步步骤骤中，系中，系统统会自会自动动生成生成设设置置Supplemental Logging的的DDL。勾勾选选，系，系统统会在当前步会在当前步骤骤完成完成时时立即立即执执行所行所产产生的生的DDL。清除勾清除勾选选，用，用户户需要手需要手动执动执行相行相应应的的DDL文件。在文件。在执执行行实时监实时监控之前，必控之前，必须须运行运行该该DDL以以设设置置Su
37、pplemental Logging，否，否则实时则实时捕捕获获将不起作用。将不起作用。 28在本地保存执行的在本地保存执行的DDL。一旦保存一旦保存DDL后后,该该DDL将被执行在指定表上启动将被执行在指定表上启动Supplement Logging。添加添加Capture Registration-执行执行DDL29Extraction Definition-Row Test 使用使用Row Test功能可以随机功能可以随机查询查询出一个出一个Extraction Group的的变变化数据。化数据。 DTL_ 字段提供一字段提供一组组信息，如什么信息，如什么时间时间，什么地方，被，什么地方
38、，被谁执谁执行行过过怎么的操作等信怎么的操作等信 息，和息，和实际实际数据一起数据一起显显示。示。30Extraction Definition-Row TestDTL_CAPXACTION 值显示记录是否被值显示记录是否被Insert、Update、Delete。该选项影响被数据抽取的方式。该选项影响被数据抽取的方式。说明被抽取的信息。说明被抽取的信息。31Extraction Definition-Advanced Options设设置置执执行行Logminer的超的超时时间时时间，不是，不是Logminer的初始化的初始化时间时间。从定义从定义oracle信息：信息：Oracle Ins
39、tance: Oracle Connection String:Oracle Schema: Extract：SL、RS。SL：抽取从上次抽取之后的所有数据。：抽取从上次抽取之后的所有数据。RS：重复抽取上一次的抽取。：重复抽取上一次的抽取。Image：BA、AI、TU。BA：以：以Update、Delete、Insert记录记录的方的方 式捕式捕获获修改前和修改后的修改前和修改后的值值。AI：只捕：只捕获获最近一次修改的修改后的最近一次修改的修改后的值值。TU：捕：捕获获修改前和修改后的修改前和修改后的值值， 用用indicator标识变标识变更更类类型。型。32体系结构体系结构体系结构体系
40、结构安装介绍安装介绍安装介绍安装介绍注册数据源注册数据源注册数据源注册数据源PWXPWX与与与与PCPC集成集成集成集成学学 习习 内内 容容33 PowerExchange与PowerCenter的集成是通过PowerExchange Interfaces for PowerCenter完成。在运行PowerCenter的机器上安装PowerExchange之后，PowerExchange Interfaces for PowerCenter会被自动安装，无需单独安装。 概概 述述 PowerExchange Interfaces for PowerCenter分为两种： PowerExch
41、ange Client for PowerCenter(PWXPC)：是完全集成到PowerCenter 中的本地插件。 PowerExchange (PWX) ODBC：PowerCenter对PowerExchange的Original Interface，使用的是ODBC连接。PWXPC和和ODBC接口的功能接口的功能对对比比功功 能能PWXPCODBCRelational connectionsYesYesApplication connectionsYesNoCan use the same mapping for batch and CDC (Change or Real-time
42、)YesNoAutomatically processes change indicator (Insert/Update/Delete) without an Update StrategyYesNo34定义变更数据源和定义变更数据源和Mapping配置信息描述：配置信息描述：Location：列出Client端配置文件中配置的所有节 点，从中选择要监控的数据库所在的 节点；User name和和Password：非必输项，连接被监测数 据库的用户名和密码；Source Type：选择“Oracle”；CDC Datamaps：必须勾选；Schema和和Map Name：非必输项，与Navi
43、gator中 Extraction Definition的 Schema和Map Name相对 应，输入后可以过滤出符 合条件的Extraction Definition，支持通配符“?” 和“*”。35定义连接和定义连接和Workflow 在Connection Object Definition界面中，需要对Connection的如下属性进行定义： Name：必输项，为连接指定唯一的名称； Code Page：必输项，所连接数据库的代码页； Location：必输项，所连接数据库的节点名，即在 PowerExchange配置文件dbmover.cfg中设置 的node的名称； User N
44、ame、Password：可选项，连接数据库的用户名和 密码； Image Type：可选项，提供的选项有：AI、BA。 AI：只抽取修改后的值； BA：抽取修改前和修改后的值。缺省为AI。 Encryption Type：必输项，加密类型，提供的选项有： None、RC2、DES。缺省为None。 Pacing Size：必输项。Pacing Size决定了从Listener传递到 Source或Target的数据量。在session中，如果 外部应用、数据库或PowerCenter的 Integration Service节点是性能瓶颈，则需要 设置Pacing Size来降低数据传递的速率。 缺省为0。 点击“OK”保存配置。36Thank you !Q & A37部分资料从网络收集整理而来，供大家参考，感谢您的关注！
