《ETL平台案例实战》由会员分享,可在线阅读,更多相关《ETL平台案例实战(10页珍藏版)》请在金锄头文库上搜索。
1、精心整理ETL 平台案例实战Lab1 任务开发和调测1.1通过插件配置完成一个简单的ETL 开发 .1.2手动本地方式运行 ETL.1.3跟踪本地方式运行日志 .1.3强制停止本地方式任务实例.1.4手动远程方式运行 .1.5跟踪远程实时运行日志 .1.3强制停止远程方式任务实例.1.4使用 JS插件动态获取时间变量 .1.4添加注释 .1.6小结 (Lab1).Lab2 流程设计和调测2.1创建一个单层流程 .2.2创建一个多层的流程 .2.3增加一个数据校验点2.4增加一个数据校验点2.5增加异常告警点2.6小结 (Lab2).Lab3 流程监控2.1增加一个监控视图 .2.2通过监控视图
2、查看流程执行状态.2.3查看流程运行时间记录 .2.3查看校验点输出结果 .2.3定位异常 .2.3重处理任务 .2.6小结 (Lab3).Lab1 任务开发目标:将表从数据源库复制到本地库。1.登陆进入 ETL 平台,切换到“设计 ”场景下;2.展开目录,定位到目录“ 09 测试”下“ lab ”子目录;3.右键单击“ lab ”子目录,选择“新建任务”,弹出任务设计视图,按Ctrl+S 或工具栏上的保存按钮进行保存,命名为“ T-lab01 ”,按确定后确认保存成功;精心整理精心整理4. 切换左侧 TAB 页签至“插件”栏下,依次从“输入”文件夹拖入“表输入”插件,从“表输出”文件夹中拖入
3、“表输出”插件;5. 选中右侧设计区中“表输入”插件实例,按住shift 键同时按下鼠标连接至“表输出”,再次保存;6. 双击“表输入”插件,进入插件参数配置界面。点击“新建”按钮新建出源表所在的数据库连接,假定源表在 166 的 crm_inter 用户下:将数据库连接取名为LAB(166_crm_inter)7. 点击“测试” ,确认配置正确。 点击“确定” 返回,在当前页面, 再次点击 “数据库连接” 后的“新建 ” 按钮,按 6同样的方法新建出目标库,这里假定是 134 的eda 用户下,连接名取为“ LAB(134_eda) ”8. 返回到“表输入”插件配置表单。将名称改为带业务含义
4、:“主产品实例源表(562 )”,数据库连接选择“ LAB(166_crm_inter) ”,在 SQL 域填入以下内容:SELECT PRD_INST_ID,PRD_INST_NAME,PRD_INST_DESC,PRD_INST_TY PE_ID,SERVICE_NBR,PHYSICAL_NBR,CUST_AGREEMENT_ID,REGION_I D,SERV_REGION_ID,EXCH_ID,RES_ZONE_ID,URBAN_FLAG,URGE_CD,P RD_INST_STAS_ID,PAY_CUST_ID,USE_CUST_ID,OWN_CUST_ID,CRT_DA TE,EF
5、F_DATE,EXP_DATE,MOD_DATE,EFF_STATE,LATN_ID,PRD_ID,OFR _ID,COMPLETE_DATE,SERV_NUM,INSTALL_ADDR,STAND_ADDR,ORDER _ID,CONTRACT_ID,EVOLUTION_PTY_ID,ACCT_ID,USER_BILL_ID,USER_T YPE_ID,USER_KIND_ID,ACCEPT_DATE,ACCEPT_EMPEE_ID,ACCEPT_TY PE_COD,INSTALL_DATE,INSTALL_EMPEE_ID,SUPP_ADDR_DESC,SEND_ STATUS,LAST_
6、ORDER_ID,DEV_EFP_DATE,DEV_EXP_DATE,BESP_DATE, BESP_SYMBOL,BILL_DATE,BILL_XCHG_ID,PAY_CYCLE,USER_ACCOUNT,IF_PREPAY,IP_FLAG,BASIC_STATE,EXT_STATE,VOICE_AOC_TYPE,DATA_AOC_TYPE,ISMP_AOC_TYPE,SMS_AOC_TYPE,USE_CUST_NAME1,USE_CUST_NAME2,USE_CUST_NAME3,BUSI_NAME,USE_ADDR,IF_IVPN,LOAD_DATE,LOCAL_PARTITION_ID
7、FROM tb_prd_prd_inst_d_562WHERE rownum=100000这里表示从源表中复制所有字段,暂取其中的 10万行记录;点击“预览( P)”按钮进入数据查看窗体,以此验证 SQL 配置正确性;9.在 SQLPlus 或 PL/SQLDeveloper中通过语句创建出目标表:精心整理精心整理createtabletb_prd_prd_inst_d_562asselect*fromcrm_inter.tb_prd_prd_inst_d_562edwwhere1=2;10. 点“确定” 后返回,双击“表输出” ,按下图输入配置内容, 切换至 “数据库字段” ,点击“获取字段
8、” ,所有的默认映射关系已按顺序自动建立。1.2手动启动本地执行1. 双击“主产品实例接口表 (562) ”插件实例打开参数编辑状态,基于本地机器性能和网络考虑,临时修改“提交记录数量”为 100 ,表示每 100 条提交一次,便于看到演示效果;2. 通过点击任务设计区左上角启动按钮,弹出“执行任务对话框”;3. 选择“本地执行”;4. 选中“执行前清理日志”,选择“详细日志”级别;5. 点击“启动”。1.3实时跟踪本地方式运行实例的执行情况启动一旦生效,可以看到以下几类执行信息:1、点击设计区下方“执行结果” 栏“执行历史”页签中左上角刷新按钮,可看到当前正在运行的任务实例,以 start
9、状态体现,每执行一次这里就会产生条记录;2、设计区下方“执行结果”栏“日志”页签中显示的是当前实例的实时日志;3设计区下方“执行结果”栏“步骤Metrics ”显示的是当前任务的步骤信息、记录数信息,动态刷新;同时通过语句在 SQLPlus或PL/SQLDeveloper中查询到目标端的插入记录数;selectcount(*)fromtb_prd_prd_inst_d_562t4、任务执行期间,点击任务页签上的叉号,关闭当前任务设计窗体,通过资源库目录点击再次打开该任务,查看“执行历史”、“日志”和“步骤Metrics ”页签内容,刷新到最新状态,可看到当前任务仍处于执行状态,但日志和步骤信息清零;稍等片刻后,日志出现“任务完成”信息。上述过程说明,在本地执行时,关闭当前窗体并不关闭任务的执行。退出平台时,手动方式启动的本地执行实例会自动停止。5、设计区下方“执行结果”栏“执行历史页签”中,点击已运行完状态为end 的实例,在最底下可看到日志信息,处于 start 状态的日志则没有。1.4手动启动远程执行1. 点击“当前对象”,右击“子服务器”文件夹“新建”,进入“子服务器对话框”配置界面;配置如下参数:配置好的服务器将在远程执行对话框中可选;2.双击“主产品实例接口表 (562) ”插件实例,修改“提交记录数量”为10000 ;3.通过点击任