《informaticapowercenter使用交流文档资料》由会员分享，可在线阅读，更多相关《informaticapowercenter使用交流文档资料（59页珍藏版）》请在金锄头文库上搜索。
1、Informatica Informatica powercenterpowercenter使用交流使用交流叶俊叶俊1主要内容主要内容ETL背景知识介绍Informatica PowerCenter 框架介绍客户端工具介绍组件介绍服务器端介绍2主要内容ETL背景知识介绍背景知识介绍Informatica PowerCenter 框架介绍客户端工具介绍组件介绍服务器端介绍3ETL背景知识介绍ETL的含义ETL的主要功能4ETL的含义数据采集(ETL)，即数据抽取(Extract)、转换(Transformation),清 洗(Cleansing)装载(Loading)的过程.ETL就是对原有的、
2、跨网络的、跨系统的数据进行提取、转换、加载，使它们成为有用数据并保存于数据库。5ETL的主要功能数据抽取(data extract)数据转换(data transform)数据装载(data loading)6数据抽取(data extract)数据抽取功能是确定数据采集所涉及到的数据源并采集原始数据。数据抽取通过不同的数据接口，实现从不同的网络、操作平台、数据库及数据格式和应用中抽取数据，并能通过对数据源的分析，抓取原始数据的元数据，为后续的数据转换等工作提供了基础。 7数据转换(data transform)数据转换包括数据的清洗和转换两部分功能。数据的清洗要求对抽取来的原始数据进行有效性
3、检查，对于数据项丢失或无效的记录和相似重复记录进行处理;数据转换则根据数据抽取时获取的元数据信息和目标数据仓库中表的元数据信息来对数据项进行转换，其中包括数据的合并、汇总、过滤、转换等。数据转换功能保证了数据的正确性、一致性、完整性和可靠性，为后续的工作提供了数据支持。8数据转换(data transform)举例:滤掉不合法数据,进行数据表达方式的转化9数据装载(data loading)数据装载负责将数据按照目标数据库元数据定义的表结构装人数据仓库。该功能是对经过清洗和转换的数据进行汇总、保存，以达到数据级整合的目的。10主要内容主要内容ETL背景知识介绍Informatica Power
4、Center 框架介绍框架介绍客户端工具介绍组件介绍服务器端介绍11Informatica PowerCenter 框架介绍PowerCenter框架介绍PowerCenter相关概念解析123.Informatica PowerCenter 体系结构体系结构3.1体系架构图132 个Server：Informatica Repository Server：知识库Server，管理ETL 的元数据。Informatica Server：ETL 引擎，读取存储在知识库中的Mapping和WorkFlow元数据，根据元数据规则实现ETL任务调度5 个Client：Repository Server
5、 Administrator Console：资料库的建立与维护。Repository Manager：资料库管理，包括安全性管理等。PowerCenter Designer：设计开发环境，定义源及目标数据结构；设 计转换规则，生成ETL 映射。Workflow Manager：合理地实现复杂的ETL 工作流，基于时间、事 件的作业调度。Workflow Monitor：监控Workflow 和Session 运行情况，生成日志和 报告。3.Informatica PowerCenter 体系结构体系结构 3.2 工具介绍141.Repository Server Administration
6、 Console：创建repository(知识库)，存储元数据。2.Repository Manager ：创建folder，存储元数据和管理知识库及其用户权限安全性管理。3.Designer：定义Mappings，定义ETL规则4.WorkFlow Manager：创建Session，调度任务执行，管理日志及出错处理。5.WorkFlow Monitor：监视任务执行，查看日志3.Informatica PowerCenter 体系结构体系结构 3.3设计流程153.Informatica PowerCenter 体系结构 1.Create repository2.Create Folde
7、r3.定义定义ETL 规则规则 Mappings4.定义定义Session WorkFlow5.调度查看日志调度查看日志3.3设计流程设计流程16PowerCenter相关概念解析TransformationMappingSessionTaskWorkflow17TransformationTransformation change the data they receiveGenerate modify or pass dataData passes into and out of transformations through ports that you link in a mappin
8、g18MappingLogically Defines the ETL ProcessReads data from sourcesApplies transformation logic to dataWrite transformed data to targets19TaskAn executable set of actions,functions or commandsSession task runs a mappingCommand task runs a shell scriptEmail task sends an email20Session A session is a
9、set of instructions that tells the Integration Service how and when to move data from sources to targets. A session is a type of task, similar to other tasks available in the Workflow Manager. In the Workflow Manager, you configure a session by creating a Session task. To run a session, you must fir
10、st create a workflow to contain the Session task.21Session22WorkflowA collection of ordered taskTasks can be linked sequentially,concurrently and/or combinedLinks can be conditional on previous tasks completing23主要内容主要内容ETL背景知识介绍Informatica PowerCenter 框架介绍客户端工具介绍客户端工具介绍组件介绍服务器端介绍24客户端工具介绍Repository
11、 ManagerDesigner Workflow ManagerWorkflow Monitor25Repository Manager连接已有的repository加入新的repository（已存在）查看已有工作区创建新的工作区2627Designer导入/创建数据源元数据导入/创建目标数据元数据制作ETL计算规则（Mappings）调试Mappings设置变量和参数 2829Workflow Manager设置数据库联接创建Mapping实例（session）制作Workflow实现ETL过程303132Workflow调度运行（Start）调度（Scheduler）33设定调度时间频
12、率34Workflow Monitor监控Workflow查看结果数据源和目标数据库的读出和写入情况给出错误信息3536Workflow Monitor 中的中的状态状态 Stop 停止 Task, Workflow, 或 WorkletAbort 异常中断 task, workflow, 或 WorkletResume 在修改了失败的Task后，在继续挂起的 Workflows Restart 重新开始 Tasks, Workflows, 或Worklets 37主要内容主要内容ETL背景知识介绍Informatica PowerCenter 框架介绍客户端工具介绍组件介绍组件介绍服务器端介
13、绍38transformation组件介绍Active(所有 input/output)：表示该transformation可以改变通过它的数据的行数SourceQualifier、 Aggregator、 Filter, Update , Router, Normalizer , Joiner,rankPassive：表示该transformation不改变通过它的数据的行数Lookup、 expression, Sequence Generator39Informatica PowerCenter 提供了 多种数据转化组件:Source Qualifier:从源表中查询出所有的数据(非XM
14、L)XML Source Qualifier:从XML数据源中查询数据Normalizer:从VSAM 或关系数据源中格式化记录Expression:基于单行记录的表达式计算Aggregator:基于多行记录的汇总计算 组件介绍组件介绍40Filter:执行条件过滤Router:按照条件分组来过滤数据Sorter:基于键字段进行排序Update Strategy:允许逻辑的插入, 更新, 删除, 或拒绝Lookup:查找相关的值并且传送给其他的对象Joiner:关联异构数据源Stored Procedure:调用存储过程并且获取返回值41Sequence Generator:产生一组唯一的序列
15、idRank:取出最大或最小的一定数量的记录Input:定义Mapplet的输入,仅在Mapplet designer中可用Output:定义Mapplet的输出,仅在Mapplet designer中可用42Source QualifierSource Qualifier组件组件 用来从源表或源文件中抽取数据，它可以用来转换源表的数据类型，方便PowerCenter之后的各种操作，另外还有过滤及关联源表的数据功能。43FilterFilter组件组件 是用来过滤已经被PowerCenter 读取过来的数据，在需要过滤的数据上添加过滤条件，只有符合条件的才可以通过，与Source Qualif
16、ier不同的是，Filter还可以过滤的文本的数据。但为了提高性能，需尽量在Source Qualifier 中将数据过滤掉。44JoinerJoiner组件组件 通过关联条件关联两个数据源，一个Joiner只能关联两个表，可以关联异构数据源，但大量数据对内存要求也高，所以同构数据的关联应尽可能使用Source Qualifier。45ExpressionExpression组件组件 可以对节点进行表达式操作。新增输出端口，编辑该端口的表达式，要进行列运算一般用Expression，需要注意的是它不能作Sum, Avg 等汇总函数操作46LookupLookup组件组件 可以将代码表加载入内存
17、，对表作查询，实现嵌套查询，可以针对文件操作，当对表的查询发生频繁时这样可以提高效率。47AggregatorAggregator 组件组件 执行分组聚合运算，可以对数据进行汇总，还能提供增量汇总、条件汇总等特殊的功能。先选择所需分组的列，然后编写聚合表达式来实现分组聚合运算48NormalizerNormalizer 组件组件 格式化记录，这些记录可以是文本形式的49Workflow taskSession 执行mapping的指令Command 在工作流中指定运行 shell commands Email 在工作流中发送 email：Decision决定Infromatica Server
18、如何执行workflowAssignment： workflow可以定义变量，用Assignment来设定变量值，然后用变量值控制workflow走向50Workflow taskTimer ：指定何时执行workflow的下一个任务Control ：控制workflow，如停止、中断等Event Wait ：等待一个事件的触发Event Raise：触发一个用户定义的事件51配置源和目标以及lookup的数据库连接可以在读取和写入的前后设定presql和postsqlTask Session Task52Session Task53主要内容主要内容ETL背景知识介绍Informatica PowerCenter 框架介绍客户端工具介绍组件介绍服务器端介绍服务器端介绍54服务器端介绍服务器端介绍服务器端组织关系DomainServiceNode操作演示55服务器端操作演示服务器端操作演示主要内容:Repository的备份与恢复56Repository的备份57Repository的恢复58Thanks！59
