《datastage经验总结.doc》由会员分享，可在线阅读，更多相关《datastage经验总结.doc（64页珍藏版）》请在金锄头文库上搜索。
1、Dastage经验总结目录1 如何重新启动DataStage服务器, 步骤如下:52 DataStage开发经验积累:52.1 模板开发52.2 通过Server Shared Container在Parallel Job中添加Server Job Stage52.3 去除不需要的字段52.4 Transformer Stage的使用52.5 Look up/join 空值处理62.6 DataStage中默认和隐式类型转换时注意的问题62.7 配置一个input或output,就view data一下,不要等到run时再回头找error72.8 Data型数据是比较麻烦的72.9 行列互换之
2、Horizontal Pivot（Pivot Stage）72.10 行列互换之Vertical Pivot72.11 Oracle EE Stage在VIEW数据时出现的错误及解决方法92.12 DataStage SAP Stage的使用102.13 Colum Import Stage的使用102.14 Colum Export Stage的使用122.15 Got ERROR: Cannot find any process number for stages in Job Jobname解决132.16 Unable to create RT_CONFIGnnn142.17查看job
3、和client的对应的后台进程142.18强制杀死DS进程142.19查看Server Engine的进程152.20查看Server Locks152.21关于UNIX系统下无法启动服务的解决办法162.22Locked by other user172.23dataStage Job Log的处理172.24一些BASIC语言中处理字符串的函数172.25BASIC程序中使用到的一些语法知识183DS中常见问题记录223.1 权限管理问题223.2 job may be being monitored或者是cleanup问题223.3 删除文件的问题223.4 sequence调度出现的错
4、误问题233.17字符集问题233.18VersionControl的问题233.19sequence调不起JOB的问题243.20sequence调度失败的问题243.21DS发送邮件的配置问题243.22随机错误问题243.23DS中的日期问题253.24DS连接oracle问题253.25在Sequence File Stage中的空值处理问题253.26在DS中使用Oracle Enterprise Stage必须的权限263.27DS中去除回车符的问题以及从char类型转变成整型的方法263.28从后台看JOB列表的方法263.29Datastage和数据库的连接方法273.30在d
5、atastage中使用环境变量的问题273.31IConv 和 OConv273.32在Merge中使用特殊字符284部分常用Stage 的使用说明285dsjob 语法说明:296如何从DataStage服务器导出所开发的JOBS列表317查看当前服务器状态信息的方法:348如何在两台机器之间进行FTP文件359如何获得Jobstatus ,步骤如下:3610dsjob run 的用法3811如何在后台运行和停止一个JOB3912DS Oracle EE Stage 配置4111.1 安装Oracle客户端4111.2 添加Oracle用户到dsadm group组选项4111.3 配置Da
6、taStage服务器dsenv文件4111.4 配置tnsnames.ora4211.5 重起DataStage服务4211.6 配置Oacle Stage抽取的Select权限4211.7 Oacle EE STAGE配置结束4313DS ODBC 的配置4312.1 修改$DSHOME /dsenv4312.2 修改$DSHOME/.odbc.ini, 来提供数据库连接信息;4312.3 修改$DSHOME/uvodbc.config, 来指定DSN(data source name).4414ETL系统扩展4515Remote Shell (rsh)的配置4514.1 创建并配置 .rh
7、osts文件4514.2 修改/etc/hosts.equiv文件4616dsadmin命令的使用4615.1 dsadmin命令的使用4617如何启动JobMonApp4818DS.TOOLS4819uvsh常用命令5118.1 LOGTO ProjectName -登录一个工程5118.2 DS.TOOLS -进入DS工具5118.3 LIST DS_JOBS -显示所有的Job及Job的分类Category5118.4 LIST DS_JOBS WITH NAME=JobName -显示某个特定Job的信息5118.5 LIST.READU EVERY -列出所有的锁及锁的拥有用户Use
8、rName5118.6 UNLOCK USER userno ALL -解锁用户锁住的Jobs5118.7 LIST.INDEX - 列出资料库的索引5220Usage Analysis来进行影响分析5219.1 如何启动Usage Analysis5219.2 Usage Analysis中Select Columns的使用5319.3 Usage Analysis中View HTML的使用5419.4 Usage Analysis中Locate in Manager的使用5519.5 Usage Analysis可使用的Source类型5621DS Message Handlers5720
9、.1 Message Handlers的两种级别5720.2 Message Handlers的三种动作种类5820.3 Message Handlers的文件格式5822DS Parallel Routine5921.1 Parallel Routine注意事项5921.2 Parallel Routine创建流程5921.3 Parallel Routine示例6023uvconfig文件中参数修改方法6222.1修改文件uvconfig中的参数6222.2运行uvregen6222.3重启DS服务6222.4校验6224&PH&6223.1cd &PH& 或 cd &PH&6225DB2
10、支持的数据格式6326DB2中Load语法和基本使用641 如何重新启动DataStage服务器, 步骤如下: 1.01启动DataStage Server 的命令要在$DSHOME/bin 目录下进行. 启动之前要切断所有与服务器端的连接:1. 登陆DataStage 服务器,输入: $DSHOME/bin 2. 关闭DataStage 服务器 ./uv admin stop 3. 检查服务器上是否还有进程没关掉，否则服务器无法启动起来，netstat -a | grep ds4. 重起服务器 ./uv admin start. Note: 关闭DataStage 服务器后,建议过30 se
11、c 再重起服务器.2 DataStage开发经验积累: 2.1 模板开发并行JOB中模板的开发可以最大程度的重用并行JOB的构件,节省时间 1. 使用JOB参数(PARAMETER)可以在运行时提供参数的值,增加灵活性,可以在不同的环境处理不同的数据;使用JOB PARAMETER 可以在同一时间使用不同参数运行同一个JOB 2. Shared Container 共享容器可以在多个JOB中共享相同的逻辑,当一个JOB编译时共享容器被嵌入. 2.2 通过Server Shared Container在Parallel Job中添加Server Job Stage 在Designer中创建一个s
12、erver shared container，添加需要的Server job stage，再把server shared container添加到parallel job并连接到其他parallel stage. 2.3 去除不需要的字段 当从数据库中读取数据时,要尽可能早的去除不需要的字段,只读取需要的字段,而不是整个表,这样可以提高数据读取效率. 2.4 Transformer Stage的使用1. 慎用Transformer Stage,因为它可能降低JOB的运行效率,有些功能能合并成一个单独的STAGE的不要用多个STAGE,要用其他的STAGE来代替Transformer Stage
13、 能完成的任务. 2. Transformer Stage 的数据流程是先经过constraint的过滤,然后再经过Derivation处理3. 对于确定类型的操作,使用其他STAGE 比使用TRANSFORMER 会更好: (1) 对如下情况,使用Copy Stage 将比Transformer Stage 更好 在界面上提供一个JOB 设计占位符 重新命名字段 删除字段 Implicit类型变换 (2) 使用Filter Stage 或者 Switch Stage 来把输入记录按照限制表式分成多个输出分支. (3) 使用Modify Stage 来explicit 类型变换和Null处理
14、Modify Stage 也可重新命名字段保持(keep)或删除(drop)字段也可增加新字段,并为新增字段赋值,但赋值方式要以字段=字段 形式,例如: new_columnname = old_columnname; 但new_columnname =”hf”这样赋值是错误的Null的处理destinationColum=handle_null(sourceColum,Value)destinationColum=make_null(sourceColum,Value),这个使用中有问题,不处理空值2.5 Look up/join 空值处理1. 当使用Lookup Failure = Contunue 时,要把 reference link 的非主键设置成Nullable,即使reference data 是非空的,也要设置成Nullable,这样能够确保Lookup 把空值分配给没有匹配的参考非主键 2. 如果参考非主键没有设置成Nullable ,将会发生什么:Lookup 将会分配一个默认值给没有匹配的的行:Integer 默认值为0Varchar/char默认值为
