《{管理信息化BI商务智能}金蝶KBIV30培训数据整合)》由会员分享,可在线阅读,更多相关《{管理信息化BI商务智能}金蝶KBIV30培训数据整合)(94页珍藏版)》请在金锄头文库上搜索。
1、KBI 业务方案产品部 2013年7月,KBI V3.0产品功能介绍实战篇,数据整合,转换 由源数据库向BI系统输入数据,进行指定规则转换后,注入到目标数据库中; 作业 将转换设计中的各个转换流程串成完整的流程,并且在调度计划中可以定时执行,任务设计,任务设计-转换,转换包含的节点按功能不同分为四类,示例内容 将EAS中计量单位表的数据抽取及转换后,注入到KBI_DW数据库中 目标 掌握以下组件的使用: 表输入、表输出、插入/更新、增加序列、常量,转换示例1:计量单位,节点作用:使用SQL从数据库的表中获取数据并加入到流中 节点操作界面:,任务设计-输入-表输入,节点作用:表输出一般用于将流里
2、面的数据插入到数据库中的表中,系统中提供按照某张表为模板创建一张一样的新表. 节点操作界面,任务设计-输出-表输出,转换示例1:计量单位练习1,练习目标: 将EAS中计量单位表的数据抽取,注入到KBI_DW数据库中,练习步骤: 1、增加转换D_MEASUREUNIT; 2、增加【表输入】组件,并作设置; 3、增加【表输出】组件,并作设置;,转换示例1:计量单位练习1,节点作用:这个步骤利用插入更新条件在表中搜索行。如果行没有找到,就插入行。如果能被找到,并且要被更新的字段没有任何改变,就什么也不做。如果有不同,行就会被更新。 节点操作界面:,任务设计-输出-插入更新,转换示例1:计量单位练习2
3、,练习目标: 将EAS中计量单位表的数据抽取,注入到KBI_DW数据库中,练习步骤: 1、修改转换D_MEASUREUNIT; 2、增加【表输入】组件,并作设置; 3、删除【表输出】组件; 4、增加【插入/更新】组件,并作设置;,节点作用:这个步骤在流中增加一个序列。一个序列是在某个起始值和增量的基础上,经常改变的整数值。你可以使用数据库的序列,也可以使用系统设定的序列。 节点操作界面:,任务设计-转换-增加序列,节点作用:这个步骤比较简单,主要在流中添加常量,在字段列表中给一个常量指定名称,类型,格式,长度,精度等属性(名称和类型必填),再给它赋一个值即完成了常量创建。 节点操作界面:,任务
4、设计-转换-常量,转换示例1:计量单位练习3,练习目标: 将EAS中计量单位表的数据抽取并转换后,注入到KBI_DW数据库中,练习步骤: 1、修改转换D_MEASUREUNIT; 2、增加【增加序列】组件,并作设置; 3、增加【常量】组件,并作设置; 4、增加【插入/更新】组件,并作设置;,转换示例2:销售订单练习1,示例内容 将EAS中销售订单表的数据抽取及转换后,注入到KBI_DW数据库中 目标 掌握以下组件的使用: 表输入、表输出、数据库查询、SQL语句,转换示例2:销售订单,节点作用:当输入组件与输出组件字段名称以及顺序不一致时,需要使用字段选择做字段映射。 节点操作界面:,任务设计-
5、转换-字段选择,转换示例2:销售订单练习1,练习目标: 将EAS中销售订单表最近三个月的的数据抽取后,注入到KBI_DW数据库中,练习步骤: 1、增加转换F_Sale_SaleOrder; 2、增加【表输入】组件,并作设置; 3、增加【字段选择】组件,并作设置; 4、增加【表输出】组件,并作设置;,转换示例2:销售订单练习1,节点作用:在这个步骤中你可以执行 SQL 脚本,或者在转换初始化的时候执行,或者在步骤的每一个输入行执行。 节点操作界面:,任务设计-通用-SQL语句,转换示例2:销售订单练习2,练习目标: 1、删除KBI_DW数据库中最近两个月的销售订单, 2、将EAS中销售订单表最近
6、三个月的的数据抽取后,注入到KBI_DW数据库中,练习步骤: 1、修改转换F_Sale_SaleOrder; 2、增加【SQL语句】组件,并作设置;,转换示例2:销售订单练习2,节点作用:根据上一节点传来的字段设置查询条件,获取查询表符合条件的返回字段值,并输出到下一个节点步骤。 节点操作界面,任务设计-输入-数据库查询LOOKUP,转换示例2:销售订单练习3,练习目标: 1、将销售订单的公司FID、物料FID、计量单位FID转换;,1、,练习步骤: 1、修改转换F_Sale_SaleOrder; 2、增加【数据库查询】组件,并作设置;,转换示例2:销售订单练习3,转换示例3:单个销售指标,示
7、例内容 将指定的EXCEL导入数据库中 目标 掌握以下组件的使用: Excel输入、删除,文件管理,节点作用:提供上传文件的路径 系统界面,节点作用:Excel输入节点提供了对Excel文档的读取处理. 系统界面,任务设计-输入- Excel输入,转换示例3:单个销售指标练习1,练习目标: 1、将上传的EXCEL文件导入数据库中;,练习步骤: 1、增加转换F_Sale_SaleTargets2; 2、增加【EXCEL】组件,并作设置; 3、增加【字段选择】组件,并作设置; 4、增加【表输出】组件,并作设置;,转换示例3:单个销售指标练习2,转换示例3:单个单个销售指标练习2,节点作用:定义删除
8、规则,目标表中符合删除条件的数据将被删除 节点操作界面:,任务设计-输出-删除,转换示例3:单个销售指标练习2,练习目标: 1、删除数据库中的重复数据;,练习步骤: 1、修改转换F_Sale_SaleTargets2; 2、增加【删除】组件,并作设置;,转换示例3:单个销售指标练习2,转换示例4:多个销售指标,示例内容 将上传的多个EXCEL导入数据库中 目标 掌握以下组件的使用: 复制记录到结果、从结果获取记录,设置文件上传路径,通过设置操作系统环境变量,实现文件上传路径的设置,将指标文件文件夹下的文件拷贝到D:UPLOAD,拷贝文件,节点作用:这个步骤允许你在一个任务中将行数据(内存中的)
9、传递到下一个步骤。 节点操作界面:,任务设计-转换-复制记录到结果,转换示例4:多个销售指标练习1,练习目标: 1、得到上传的文件清单;,练习步骤: 1、增加转换F_Sale_SaleTargets1; 2、增加【EXCEL】组件,并作设置; 3、增加【复制记录到结果】组件,并做设置;,转换示例4:多个销售指标练习1,节点作用:这个步骤返回在一个任务中先前步骤生成的行。你可以进入选择先前步骤生成的元数据字段。 节点操作界面:,任务设计-转换-从结果获取记录,转换示例4:多个销售指标练习2,练习目标: 1、得到上传的文件清单;,练习步骤: 1、修改转换F_Sale_SaleTargets2; 2
10、、增加【从结果获取记录】组件,并做设置; 3、修改【Excel输入】组件,修改文件页签;,转换示例4:多个销售指标练习2,作业包含的节点不多,主要是起到将转换串起来的作用,按不同的功能也分到四类,任务设计-作业,节点作用:每个作业的起始节点,作业运行时都必须从一个开始节点开始,开始节点不能有输入。 节点操作界面:无,任务设计-作业-开始,节点作用:在作业中调用一个转换 节点操作界面:,任务设计-作业-转换,在作业中调用一个作业 节点操作界面:,任务设计-作业-作业,作业示例1:销售订单作业,示例内容 将转换添加到作业中 目标 掌握以下组件的使用: 作业,作业示例1:销售订单作业练习1,练习目标
11、: 1、增加作业,调用转换;,练习步骤: 1、增加作业F_Sale_SaleOrder; 2、增加【开始】组件; 3、增加【转换】组件,设置调用F_Sale_SaleOrder;,作业示例2:销售指标作业,示例内容 将转换添加到作业中 目标 掌握以下组件的使用: 作业,作业示例2:销售指标作业练习1,练习目标: 1、增加作业,调用转换;,练习步骤: 1、增加作业F_Sale_SaleTarget; 2、增加【开始】组件; 3、增加【转换】组件,设置调用F_Sale_SaleTargets1; 4、增加【转换】组件,设置调用F_Sale_SaleTargets2; 5、修改转换组件F_Sale_
12、SaleTargets2属性;,作业示例2:销售指标作业练习1,作业示例2:销售作业,示例内容 将作业添加到作业中 目标 掌握以下组件的使用: 作业,作业示例3:销售作业练习1,练习目标: 1、增加作业,调用作业;,练习步骤: 1、增加作业Sale_Index; 2、增加【开始】组件; 3、增加【作业】组件,设置调用SaleOrder; 4、增加【作业】组件,设置调用SaleTarget;,作业示例3:销售作业练习1,调度计划就是对作业的调度,KBI DI提供了灵活的调度方式。调度计划主要提供了以下列表中的功能:,调度计划,调度示例1:销售调度练习1,练习目标: 1、增加调度;,练习步骤: 1
13、、增加调度销售作业; 2、选择作业Sale_Index;,调度示例1:销售调度练习1,参考资料,节点作用:设定条件,转向不同的分支. 节点操作界面:,任务设计-转换- switch/case,节点作用:这个步骤允许你在一个任务中或者虚拟机中设置变量。它仅仅可以用一行数据来设置变量值。 注意: 1、参数设置成功后,需在作业中调用转换才会起作用。 2、如果从数据流中接收字段,每一个字段只能接收一条数据。在运行转换和任务时,如果从数据流中的任何一个字段接收的数据不止一条,系统会提示错误信息,运行停止。 节点操作界面:,任务设计-通用-设置参数,节点作用:获取设置参数中的值 注意: 1、需要指定完整的
14、参数格式【Linux】格式$variable 【Windows】格式%variable% 2、转换中设置参数和换取参数节点不要放到同一个转换中 3、当数据类型设置为Date类型时,获取参数源的值的格式必须与此处的时间格式保持一致。如:获取参数节点要获取一个在设置参数节点中设置的参数,在设置参数中值的格式要与获取参数节点要求的格式一致。 节点操作界面:,任务设计-通用-获取参数,节点作用:系统信息这个节点功能比较简单,在信息项列表中输入名称,选择信息类型如“当前时间”,在转换中使用,将系统信息值附加到输入流中。 节点操作界面: 示例:,任务设计-输入-系统信息,任务设计-输入-文本输入,节点作用
15、:与Excel输入类似,系统提供对格式固定的文本文档的读取处理 节点操作界面,节点作用:与Excel输入类似, 把XML文件作为输入流,读取XML中的数据 节点操作界面,任务设计-输入-XML输入,节点作用:它仅仅执行对目标表的更新操作。 节点操作界面:,任务设计-输出-更新,节点作用:定义删除规则,目标表中符合删除条件的数据将被删除 节点操作界面:,任务设计-输出-删除,节点作用:利用这个步骤,在 系统中,你可以写入数据到一个或者多个Excel 文件中。 节点操作界面:,任务设计-输出-Excel输出,节点作用:将流中的数据保存至文本文件中 节点操作界面:,任务设计-输出-文本输出,节点作用
16、:使用此节点把数据输出到XML文件中 节点操作界面:,任务设计-输出- XML输出,节点作用:这个步骤允许你根据自定义条件和比较符来过滤记录。 节点操作界面:,任务设计-转换-过滤记录,节点作用:数据统计中,为了转变数据的展现方式,将相同类型的数据纵向展示. 节点操作界面:,任务设计-转换-行转列,节点作用:很简单的一个节点,本身不起任何作用,只作为一个占位符满足某些节点特定的输入输出需求. 节点操作界面:,任务设计-转换-空操作,节点作用:DI转换支持调用数据库里面定义好的存储过程 存储过程分有参数的和没有参数的两种,对于没有参数的存储过程,只需选定存储过程名称,关于参数的设置不需填写。 节点操作界面:,任务设计-通用-存储过程,节点作用:这个步骤允许你用 JavaScript 语言做复杂的运算。 节点操作界面:,任务设计-通用- JavaScript,节点作用:使用标准的JAVA语法,编写个性化的操作.比如对某个字段的加解密.该节点提供丰富的代码片段,点击即可加入代码编辑区. 节点操作界面:,任务设计-通用-自定义Java类,节点作用:该节点是为转换添加