《[计算机软件及应用]datastage学习文档》由会员分享，可在线阅读，更多相关《[计算机软件及应用]datastage学习文档（66页珍藏版）》请在金锄头文库上搜索。
1、 工作总结 目录1 如何重新启动DataStage效劳器, 步骤如下:52 DataStage开发经验积累:52.1 模板开发52.2 通过Server Shared Container在Parallel Job中添加Server Job Stage52.3 去除不需要的字段52.4 Transformer Stage的使用52.5 Look up/join 空值处理62.6 DataStage中默认和隐式类型转换时注意的问题62.7 配置一个input或output,就view data一下,不要等到run时再回头找error72.8 Data型数据是比拟麻烦的72.9 行列互换之Horiz
2、ontal PivotPivot Stage72.10 行列互换之Vertical Pivot72.11 Oracle EE Stage在VIEW数据时出现的错误及解决方法92.12 DataStage SAP Stage的使用102.13 Colum Import Stage的使用102.14 Colum Export Stage的使用122.15 Got ERROR: Cannot find any process number for stages in Job Jobname解决132.16 Unable to create RT_CONFIGnnn14查看job和client的对应的
3、后台进程14强制杀死DS进程14查看Server Engine的进程15查看Server Locks15关于UNIX系统下无法启动效劳的解决方法16Locked by other user17dataStage Job Log的处理17一些BASIC语言中处理字符串的函数17BASIC程序中使用到的一些语法知识183DS中常见问题记录223.1 权限管理问题223.2 job may be being monitored或者是cleanup问题223.3 删除文件的问题223.4 sequence调度出现的错误问题23字符集问题23VersionControl的问题23sequence调不起J
4、OB的问题24sequence调度失败的问题24DS发送邮件的配置问题24随机错误问题24DS中的日期问题25DS连接oracle问题25在Sequence File Stage中的空值处理问题25在DS中使用Oracle Enterprise Stage必须的权限26DS中去除回车符的问题以及从char类型转变成整型的方法26从后台看JOB列表的方法26Datastage和数据库的连接方法27在datastage中使用环境变量的问题27IConv 和 OConv27在Merge中使用特殊字符284局部常用Stage 的使用说明285dsjob 语法说明:296如何从DataStage效劳器导
5、出所开发的JOBS列表317查看当前效劳器状态信息的方法:348如何在两台机器之间进行FTP文件359如何获得Jobstatus ,步骤如下:3610dsjob run 的用法3811如何在后台运行和停止一个JOB3912DS Oracle EE Stage 配置4111.1 安装Oracle客户端4111.2 添加Oracle用户到dsadm group组选项4111.3 配置DataStage效劳器dsenv文件4111.4 配置4211.5 重起DataStage效劳4211.6 配置Oacle Stage抽取的Select权限4211.7 Oacle EE STAGE配置结束4313D
6、S ODBC 的配置4312.1 修改$DSHOME /dsenv4312.2 修改$DSHOME/.odbc.ini, 来提供数据库连接信息;4312.3 修改ig, 来指定DSN(data source name).4414ETL系统扩展4515Remote Shell (rsh)的配置4514.1 创立并配置 .rhosts文件4514.2 修改文件4616dsadmin命令的使用4615.1 dsadmin命令的使用4617如何启动JobMonApp48184819uvsh常用命令5118.1 LOGTO ProjectName -登录一个工程5118.2 DS.TOOLS -进入DS
7、工具51 LIST DS_JOBS -显示所有的Job及Job的分类Category5118.4 LIST DS_JOBS WITH NAME=JobName -显示某个特定Job的信息51 LIST.READU EVERY -列出所有的锁及锁的拥有用户UserName5118.6 UNLOCK USER userno ALL -解锁用户锁住的Jobs5118.7 LIST.INDEX - 列出资料库的索引5220Usage Analysis来进行影响分析5219.1 如何启动Usage Analysis5219.2 Usage Analysis中Select Columns的使用5319.3
8、 Usage Analysis中View HTML的使用5419.4 Usage Analysis中Locate in Manager的使用5519.5 Usage Analysis可使用的Source类型5621DS Message Handlers5720.1 Message Handlers的两种级别5720.2 Message Handlers的三种动作种类5820.3 Message Handlers的文件格式5822DS Parallel Routine5921.1 Parallel Routine考前须知5921.2 Parallel Routine创立流程5921.3 Para
9、llel Routine例如6023uvconfig文件中参数修改方法62修改文件uvconfig中的参数62运行uvregen62重启DS效劳62校验6224&PH&62cd &PH& 或 cd &PH&6225DB2支持的数据格式6326DB2中Load语法和根本使用641 如何重新启动DataStage效劳器, 步骤如下: 启动DataStage Server 的命令要在$DSHOME/bin 目录下进行. 启动之前要切断所有与效劳器端的连接:1. 登陆DataStage 效劳器,输入: $DSHOME/bin 2. 关闭DataStage 效劳器 ./uv admin stop 3.
10、检查效劳器上是否还有进程没关掉，否那么效劳器无法启动起来，netstat -a | grep ds4. 重起效劳器 ./uv admin start. Note: 关闭DataStage 效劳器后,建议过30 sec 再重起效劳器.2 DataStage开发经验积累: 2.1 模板开发并行JOB中模板的开发可以最大程度的重用并行JOB的构件,节省时间 1. 使用JOB参数(PARAMETER)可以在运行时提供参数的值,增加灵活性,可以在不同的环境处理不同的数据;使用JOB PARAMETER 可以在同一时间使用不同参数运行同一个JOB 2. Shared Container 共享容器可以在多个
11、JOB中共享相同的逻辑,当一个JOB编译时共享容器被嵌入. 2.2 通过Server Shared Container在Parallel Job中添加Server Job Stage 在Designer中创立一个server shared container，添加需要的Server job stage，再把server shared container添加到parallel job并连接到其他parallel stage. 去除不需要的字段 当从数据库中读取数据时,要尽可能早的去除不需要的字段,只读取需要的字段,而不是整个表,这样可以提高数据读取效率. 2.4 Transformer Stag
12、e的使用1. 慎用Transformer Stage,因为它可能降低JOB的运行效率,有些功能能合并成一个单独的STAGE的不要用多个STAGE,要用其他的STAGE来代替Transformer Stage 能完成的任务. 2. Transformer Stage 的数据流程是先经过constraint的过滤,然后再经过Derivation处理3. 对于确定类型的操作,使用其他STAGE 比使用TRANSFORMER 会更好: (1) 对如下情况,使用Copy Stage 将比Transformer Stage 更好 在界面上提供一个JOB 设计占位符 重新命名字段 删除字段 Implicit
13、类型变换 (2) 使用Filter Stage 或者 Switch Stage 来把输入记录按照限制表式分成多个输出分支. (3) 使用Modify Stage 来explicit 类型变换和Null处理 Modify Stage 也可重新命名字段保持(keep)或删除(drop)字段也可增加新字段,并为新增字段赋值,但赋值方式要以字段=字段 形式,例如: new_columnname = old_columnname; 但new_columnname =hf这样赋值是错误的Null的处理destinationColum=handle_null(sourceColum,Value)destin
14、ationColum=make_null(sourceColum,Value),这个使用中有问题,不处理空值2.5 Look up/join 空值处理1. 当使用Lookup Failure = Contunue 时,要把 reference link 的非主键设置成Nullable,即使reference data 是非空的,也要设置成Nullable,这样能够确保Lookup 把空值分配给没有匹配的参考非主键 2. 如果参考非主键没有设置成Nullable ,将会发生什么:Lookup 将会分配一个默认值给没有匹配的的行:Integer 默认值为0Varchar/char默认值为空字符串(0长度的)2.6 DataStage中默认和隐式类型转换时注意的问题当从源向目标
