《ETL平台案例实战》由会员分享，可在线阅读，更多相关《ETL平台案例实战（10页珍藏版）》请在金锄头文库上搜索。
1、精心整理ETL 平台案例实战Lab1 任务开发和调测1.1通过插件配置完成一个简单的ETL 开发 .1.2手动本地方式运行 ETL.1.3跟踪本地方式运行日志 .1.3强制停止本地方式任务实例.1.4手动远程方式运行 .1.5跟踪远程实时运行日志 .1.3强制停止远程方式任务实例.1.4使用 JS插件动态获取时间变量 .1.4添加注释 .1.6小结 (Lab1).Lab2 流程设计和调测2.1创建一个单层流程 .2.2创建一个多层的流程 .2.3增加一个数据校验点2.4增加一个数据校验点2.5增加异常告警点2.6小结 (Lab2).Lab3 流程监控2.1增加一个监控视图 .2.2通过监控视图
2、查看流程执行状态.2.3查看流程运行时间记录 .2.3查看校验点输出结果 .2.3定位异常 .2.3重处理任务 .2.6小结 (Lab3).Lab1 任务开发目标：将表从数据源库复制到本地库。1.登陆进入 ETL 平台，切换到“设计 ”场景下；2.展开目录，定位到目录“ 09 测试”下“ lab ”子目录；3.右键单击“ lab ”子目录，选择“新建任务”，弹出任务设计视图，按Ctrl+S 或工具栏上的保存按钮进行保存，命名为“ T-lab01 ”，按确定后确认保存成功；精心整理精心整理4. 切换左侧 TAB 页签至“插件”栏下，依次从“输入”文件夹拖入“表输入”插件，从“表输出”文件夹中拖入
3、“表输出”插件；5. 选中右侧设计区中“表输入”插件实例，按住shift 键同时按下鼠标连接至“表输出”，再次保存；6. 双击“表输入”插件，进入插件参数配置界面。点击“新建”按钮新建出源表所在的数据库连接，假定源表在 166 的 crm_inter 用户下：将数据库连接取名为LAB(166_crm_inter)7. 点击“测试” ，确认配置正确。 点击“确定” 返回，在当前页面， 再次点击 “数据库连接” 后的“新建 ” 按钮，按 6同样的方法新建出目标库，这里假定是 134 的eda 用户下，连接名取为“ LAB(134_eda) ”8. 返回到“表输入”插件配置表单。将名称改为带业务含义
4、：“主产品实例源表（562 ）”，数据库连接选择“ LAB(166_crm_inter) ”，在 SQL 域填入以下内容：SELECT PRD_INST_ID,PRD_INST_NAME,PRD_INST_DESC,PRD_INST_TY PE_ID,SERVICE_NBR,PHYSICAL_NBR,CUST_AGREEMENT_ID,REGION_I D,SERV_REGION_ID,EXCH_ID,RES_ZONE_ID,URBAN_FLAG,URGE_CD,P RD_INST_STAS_ID,PAY_CUST_ID,USE_CUST_ID,OWN_CUST_ID,CRT_DA TE,EF
5、F_DATE,EXP_DATE,MOD_DATE,EFF_STATE,LATN_ID,PRD_ID,OFR _ID,COMPLETE_DATE,SERV_NUM,INSTALL_ADDR,STAND_ADDR,ORDER _ID,CONTRACT_ID,EVOLUTION_PTY_ID,ACCT_ID,USER_BILL_ID,USER_T YPE_ID,USER_KIND_ID,ACCEPT_DATE,ACCEPT_EMPEE_ID,ACCEPT_TY PE_COD,INSTALL_DATE,INSTALL_EMPEE_ID,SUPP_ADDR_DESC,SEND_ STATUS,LAST_
6、ORDER_ID,DEV_EFP_DATE,DEV_EXP_DATE,BESP_DATE, BESP_SYMBOL,BILL_DATE,BILL_XCHG_ID,PAY_CYCLE,USER_ACCOUNT,IF_PREPAY,IP_FLAG,BASIC_STATE,EXT_STATE,VOICE_AOC_TYPE,DATA_AOC_TYPE,ISMP_AOC_TYPE,SMS_AOC_TYPE,USE_CUST_NAME1,USE_CUST_NAME2,USE_CUST_NAME3,BUSI_NAME,USE_ADDR,IF_IVPN,LOAD_DATE,LOCAL_PARTITION_ID
7、FROM tb_prd_prd_inst_d_562WHERE rownum=100000这里表示从源表中复制所有字段，暂取其中的 10万行记录；点击“预览（ P）”按钮进入数据查看窗体，以此验证 SQL 配置正确性；9.在 SQLPlus 或 PL/SQLDeveloper中通过语句创建出目标表：精心整理精心整理createtabletb_prd_prd_inst_d_562asselect*fromcrm_inter.tb_prd_prd_inst_d_562edwwhere1=2;10. 点“确定” 后返回，双击“表输出” ，按下图输入配置内容， 切换至 “数据库字段” ，点击“获取字段
8、” ，所有的默认映射关系已按顺序自动建立。1.2手动启动本地执行1. 双击“主产品实例接口表 (562) ”插件实例打开参数编辑状态，基于本地机器性能和网络考虑，临时修改“提交记录数量”为 100 ，表示每 100 条提交一次，便于看到演示效果；2. 通过点击任务设计区左上角启动按钮，弹出“执行任务对话框”；3. 选择“本地执行”；4. 选中“执行前清理日志”，选择“详细日志”级别；5. 点击“启动”。1.3实时跟踪本地方式运行实例的执行情况启动一旦生效，可以看到以下几类执行信息：1、点击设计区下方“执行结果” 栏“执行历史”页签中左上角刷新按钮，可看到当前正在运行的任务实例，以 start
9、状态体现，每执行一次这里就会产生条记录；2、设计区下方“执行结果”栏“日志”页签中显示的是当前实例的实时日志；3设计区下方“执行结果”栏“步骤Metrics ”显示的是当前任务的步骤信息、记录数信息，动态刷新；同时通过语句在 SQLPlus或PL/SQLDeveloper中查询到目标端的插入记录数；selectcount(*)fromtb_prd_prd_inst_d_562t4、任务执行期间，点击任务页签上的叉号，关闭当前任务设计窗体，通过资源库目录点击再次打开该任务，查看“执行历史”、“日志”和“步骤Metrics ”页签内容，刷新到最新状态，可看到当前任务仍处于执行状态，但日志和步骤信息清零；稍等片刻后，日志出现“任务完成”信息。上述过程说明，在本地执行时，关闭当前窗体并不关闭任务的执行。退出平台时，手动方式启动的本地执行实例会自动停止。5、设计区下方“执行结果”栏“执行历史页签”中，点击已运行完状态为end 的实例，在最底下可看到日志信息，处于 start 状态的日志则没有。1.4手动启动远程执行1. 点击“当前对象”，右击“子服务器”文件夹“新建”，进入“子服务器对话框”配置界面；配置如下参数：配置好的服务器将在远程执行对话框中可选；2.双击“主产品实例接口表 (562) ”插件实例，修改“提交记录数量”为10000 ；3.通过点击任
