《datastage培训》由会员分享，可在线阅读，更多相关《datastage培训（73页珍藏版）》请在金锄头文库上搜索。
1、DATASTAGE 培训,内容提要：,一、datastage 介绍 二、如何安装datastage 三、配置datastage 工程 四、设计并运行datastage的job 五、Job的运行及调试,一，datastage的介绍,本章主要讲解ETL的概念，datastage的介绍、组成及主要功能。,ETL概要,ETL包括数据抽取（Extract）、数据转换（Transform）以及数据加载（Load）3个阶段。 一般而言，这三个过程中有一到二次落地（生成中间文件）。,Ascential DataStage 是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市
2、或数据仓库目标数据库的集成工具。 DataStage 能够处理多种数据源的数据，包括主机系统的大型数据库、开放系统上的关系数据库和普通的文件系统 。我们现在项目最主要用了Sybase, Oracle, 文本文件等等。 数据清洗、转换、加载都可以在图形化工具里完成，同样可以灵活的被外部系统调度，提供专门的设计工具来设计转换规则和清洗规则等，实现了增量抽取、任务调度等多种复杂而实用的功能 。,DS介绍：,Datastage的组成：,Datastage的服务器端和客户端,Datastage是C/S软件，服务器端存储所有的ds项目和元数据，由关系型数据库（RDBMS）组成。客户端具有同服务端一样的软件
3、接口。 客户端运行于windows95或更高版本，服务端可运行于windowsNT4.0或windows2000 版本，datastage的很多版本都支持unix。,DS Administrator在服务端管理ds的项目和服务端操作。主要用于工程的参数调整，变量设置，及command操作。 DS Designer建立ds的job并且编译执行的程序。主要用于job的开发及编译。 DS Director运行和监控ds的job。主要用于job调试。 DS Manager允许编辑和查看在ds中存储的内容。主要用于项目管理或job的导入、导出、备份。,在Datastage中进行开发,在Administr
4、ator中定义全局的和项目属性。 在Datastage中的Manager里导入定义源的元数据和目标的元数据或者可以省略这一步 。 在Datastage中的Designer中验证和编译job。 在Datastage中的Director中验证、运行、和监控job。,开发步聚 1、定义工程的属性在Administrator中。 2、打开工程。 3、导入元数据，在job中定义格式、读入或写入在Manager中。 4、设计job在Designer中。a) 定义数据的抽取（读取）。b) 定义数据流程。c) 定义数据的集合。d) 定义数据的转换。e) 定义数据的约束条件。f ) 定义数据的加载（写入）。g)
5、 定义数据的聚合。 5、编译和调试job在Designer中。 6、运行和监控job在Director中。,第二章 如何安装Datastage,下面的讲解中，将可以了解到： 在Windows系统中安装Datastage服务端。 建立一个Datastage的工程。 安装Datastage的客户端。,Datastage 的服务端要首先安装，之后才可以安装Datastage 客户端，服务端能都安装在WinNT、Windows2000或者UNIX系统中，这个模块将介绍在Windows环境下进行安装。系统的具体配置依赖于所要安装的Datastage 版本，在安装盘上找到最接近的系统需求配置。安装Data
6、stage 服务端需要有哪些安装盘和服务端的许可，这个许可包含以下信息：,1，注册号（序列号）。 2，工程数量一般默认 。在Datastage服务端可以建立的最大工程数量。包括新建的工程，也包括对先前建立的工程进行加上升级。 3，到期时间。 4，授权代码。在许可信息中，这个信息必须被正确输入的。,安装向导会指导通过以下步骤进行：,1，输入许可信息。 2，指定服务器的路径。 3，选择程序的文件夹。 4，创建一个新的工程或升级已经存在的工程。,安装Datastage,首先安装Datastage Server端，鼠标点击 软件会自动安装，安装过程中系统提示使用者选择安装路径和输入产品序列号。在Dat
7、astage Server安装的过程中会提示用户建立一个工程。在安装Datastage Server端以后，需要安装Datastage Client端，鼠标点击 软件会自动进行安装，安装过程中系统提示使用者选择安装路径和输入产品序列号。,Datastage的服务端,安装有Datastage服务端的机器，必须运行着。 需要运行Datastage的客户端。 打开Datastage的控制面板，来停止或启动服务端。 当再次安装Datastage的时候，会停止服务端。,为了保证Datastage客户端程序的正常运行，必须保证Datastage的服务器保持运行状态。在Windows2000的控制面板中打开
8、Datastage的控制面板，可以启动或停止全部的Datastage服务。点击可以启动全部的服务或者停止全部的服务。在安装或重新安装Datastage的时候，这些服务一定要全部停止。,安装Datastage客户端,在安装Datastage服务端之后。 可以安装在WinNT，Windows2000以及WinXP上。 Datastage产品的许可用于安装Datastage的客户端。 Datastage的操作许可只能用于安装Director和Administrator。,Datastage的客户端必须在Datastage的服务端安装过后才可以进行安装，客户端能够安装在Windows95、Window
9、s98、WindowsNT、Windows2000以及WindowsXP操作系统上。这里有俩个版本的Datastage： 1，开发版本的Datastage，包含了解所有的客户端应用程序。 2，操作员版本的Datastage只包含了需要用到的运行和监控Job的应用程序，即Director和Administrator。,安装开发版本的Datastage，需要有Datastage开发版的许可。 安装操作员版本的Datastage，需要有Datastage的Director的许可。,许可包括以下几个信息： 1，序列号 2，用户限制 3，到期时间 4，授权认可代码这些信息必须是正确的数据。,第三章 配置
10、 Datastage 工程,下面的讲解中，将可以了解到。 在Datastage的 Administrator中设置工程属性。 在Datastage的Administrator中设置用户的权限。,Datastage工程属性,建立或者删除Datastage工程。 设置Datastage工程的默认属性。 修改Datastage工程属性的方法。登录Datastage的Administrator。选择要修改属性的工程。,Datastage中所有的开发工作都在一个Datastage的工程中，在安装Datastage服务端时，默认就已经建立了一个工程，可以使用Administrator进行工程的控制。每个工
11、程都有其关联的目录，目录存储了在工程中建立的项目，如Jobs、元数据、自定义的Routines等等。在一个工程中工作之前，必须要先打开它（即进行登录）。在使用Datastage的Administrator时，可以设置默认的工程属性。,设置Datastage工程属性,选择要进行修改的工程，点击“Properties”,工程属性的“General”页框,点击Datastage的Administrator的“Properties”按钮，打开工程属性的窗口，这里有5个页框（“Mainframe”页框只有在许可支持大型机的Jobs的时候可用），默认打开的“General”页框。如果选择“Enable j
12、ob administrator in Director”的选择项，那么在不打开Administrator的情况下在Datastage的Director中可以运行一些管理级别的函数。,在Director中运行一个Job的时候，事件被写入Jobs的运行的日志，例如：记录了何时开始运行Jobs，何时停止，何时终止。日志记录的事件增长量很大，“Auto-purpe of job log”选择框可以让指定用什么条件来筛选这些事件。可以限制记录时间的每天的数量或者运行Jobs运行的数量。,工程属性的“Permissions”页框,使用这个页框可以设置访问和使用Datastage的用户组权限。所有的Dat
13、astage用户中，在登录Datastage之前，都必须拥有一个公认的，属于自己的用户角色，使之用来进行登录，这样可以用来防止匿名的方式使用Datastage工程。这里有三种Datastage用户角色： 1， Datastage Developer，可以访问Datastage工程 全部的范围。 2， Datastage Operator，可以运行、释放、 Datastage的Jobs。 3， Datastage Production Manager，可以管理Datastage 产品组件。,工程属性的“Tracing”页框,在这个页面设置是否在Datastage服务端进行跟踪处理。Datasta
14、ge服务端进行跟踪处理默认是无效的。当使其有效， Datastage客户端运行项目的时候，所有的记录信息都要在Datastage服务端进行监控，并写入监控文件。使用这些底层系统知识可以帮助找到Datastage客户端的问题所在，如果跟踪设置为有效，当调用一个Datastage的客户端的时候，用户会收到一些警告的信息。警告：跟踪会消耗Datastage服务器大量的系统资源，除非用户需要诊断重大的问题，一般不建议设置跟踪有效。,工程属性的“Schedule”页框,使用“Schedule”页框，来指定在选择的项目中运行计划任务的jobs的用户名和口令，如果没有指定，Jobs会在当前系统的计划任务的用
15、户名下运行。,工程属性的“Tunables”页框,在“Tunable”页框中，可以指定当用来读取Hash文件记录时的缓存的大小，Hash文件大多数用于查找操作，这部分介绍会在下面的介绍中进行。,第四章 设计并运行Datastage的Job,下面的讲解中，将可以了解到： 描述什么是Datastage的Job。 一步步讲述如何建立Datastage Job。 描述Link和Stage。 识别不同类型的Stage。 设计一个简单抽取和加载的Job。 编译、验证和运行Job。 监控Job的执行。,什么是Job,一个Job就是一个Datastage的运行程序。在Datastage中，可以设计并运行Job
16、s，执行一些有用的数据仓库，包括数据的抽取、转换、聚合和数据加载等等。Datastage的Job是：1、在Designer中设计和编译。2、在Director中进行任务预定，调度和监控 Jobs。3、全部在Datastage的控制下执行。,Job开发的浏览,在Manager导入数据源和目标数据库的数据结构定义。 在Designer加入Stage定义数据的抽取和加载。 加入Transformer和其它的Stage来定义转换。 从源数据到目的数据，加入Link来定义数据的流向。 编译Job。 在Director中，验证、运行和监控Job。,在这个讲解中，将通过一个单一Job的过程第一步，着手定义元数据。,Designer的工作区域,中间偏右是Datastage的设计区域，可以将Stage和Link从工具的板块上拖动过来放在上面，左边是“Repository”（存储）窗口，显示的是Manager中的分支。Manager中的分支，就像Jobs和表定义一样可以直接拖拽到设计区域，点击“ViewRepository”来显示“Repository”窗口。点击“ViewProperty Browser”来显示“Property Browser”窗口，显示在设计区选择的项目的属性。,
