《Kettle安装部署及实例演示》由会员分享，可在线阅读，更多相关《Kettle安装部署及实例演示（30页珍藏版）》请在金锄头文库上搜索。
1、Kettle安装部署及实例演示 本文档包括三部分内容：1、Java 的安装部署2、Kettle的安装部署3、Kettle的开发实例演示Date：2013/12/14 Author: LiPin一、 Java安装部署1.1 安装Java 在网站http:/ -ivh jre-7u45-linux-i586.rpm开始安装此时java已成功安装！/*rpm命令安装的java默认安装路径是/usr/java/ jre1.7.0_451.2 配置java环境修改文件/etc/profile：进入profile,敲Ctrl +F到文件末尾，写入以下内容：JAVA_HOME=/usr/java/jre1.
2、7.0_45PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOMEexport PATHexport CLASSPATH其中JAVA_HOME是java的安装路径。/*此处要注意环境变量的java路径是安装路径，不是java的执行路径； Java路径查询：whereis java Java执行路径查询：which java保存退出!在终端键入java，如果显示帮助信息，则表示java环境配置完成：二、 Kettle安装部署2.1 安装Kettle在网站
3、http:/ -R telepow:telepow kettle切换到telepow用户下，开始安装，因为kettle安装包格式为.zip，所以运行：unzip pdi-ce-5.0.1-stable.zip安装到当前目录。安装完成后，可以看到生成一个新的文件夹data-integration，则/opt/kettle/data-integration既是kettle的安装和执行目录进入该目录下，为所有.sh文件赋予执行权限：chmod +x *.sh然后在终端键入./kitchen.sh，如果出现帮助信息，说明kettle安装部署完成三、 Kettle实例演示Java和kettle安装部署完
4、成之后，就可以使用kettle工具了！下面将以实现定时从一台PC上的数据库中抽取数据到另一台PC数据库为例，讲解kettle的使用。3.1 运行kettle在kettle安装目录下运行：./spoon.sh即可弹出kettle操作界面。/*此处注意，如果无法弹出kettle的运行界面，提示缺少图像插件的话，需要为linux的系统安装图形运行工具；将图形工具安装包（libXp-1.0.0-8.1.el5.i386.rpm）上传到root下临时目录，安装：rpm ivh libXp-1.0.0-8.1.el5.i386.rpm接着就是登陆界面Kettle为用户提供两种存储用户编写的kettle脚本
5、的方式：一是kettle工具自身的资源库（相当于一个小型专属数据库）；二是不使用资源库，将脚本信息直接存储在自建目录中；此处我们不使用资源库登陆，点击Cancel弹出的帮助信息点击Close紧接着就可以看到kettle的使用界面3.2 任务信息说明此演示工作涉及到的信息是：PC01IP：192.168.193.130端口号：8000数据库：sybase用户数据库：dynamicdb数据库用户：telepow数据库用户密码：任务表：SWITCHPOWDEVPC02IP：134.81.5.86端口号：8000数据库：sybase用户数据库：dynamicdb数据库用户：telepow数据库用户密码
6、：uo23hoS982_Ow_db任务表：V_SWITCHPOWDEV 需要做的就是将PC02的视图表V_SWITCHPOWDEV中数据定时抽取到PC01的表SWITCHPOWDEV之中3.3 创建转换（Transformation）3.3.1 新建Transformation打开FileNew-Transformation创建一个转换Transformation013.3.2 创建数据库连接在转换视图窗口双击Database Connections 为此转换建立一个数据库连接Connection Name：建立的数据库连接名称-Get_86Connection Type：连接的数据库类型Sy
7、baseAccess：连接方式JDBCHost Name：连接主机的IP地址134.81.5.86Database Name：连接的用户数据库dynamicdbPort Number：数据库端口号8000User Nmae：数据库用户名telepowPassword：数据库用户密码- uo23hoS982_Ow_db配置完成之后点击左下角Test，测试数据库连接状态出现截图信息，说明配置正确，数据库连接正常！点解OK 保存退出!3.3.3 创建转换关系点击转换窗口的Design，将Input中的Table input表输入图标拖入右侧窗口，然后再将Output中的Insert/update插入
8、/更新图标拖入右侧窗口按住Shift键鼠标左击右侧窗口中的Table Input图标，点住不放托至右侧Insert/Update图标上，发现有一条带箭头的连接线将两个图标连接起来。这样两个图标之间就建立了数据抽取与数据存储的关系3.3.4 配置表输入信息双击Table Input图标，弹出表输入配置信息，为抽取PC02中的数据配置相关信息。Step name：步骤名称-Table Input01Connection：所属数据库连接Get_86，即刚刚建立的连接PC02的数据库连接SQL：需要对PC02中任务表做的操作SELECT * FROM dynamicdb.V_SWITCHPOWDEV点
9、击OK保存退出！3.3.5 配置表插入/更新信息同样双击Insert/Update图标，弹出配置界面，为向PC01中插入数据配置相关信息Step name：步骤名称-insert/Update01Connection：所属数据库连接Into_130，此处注意，因为要向PC01中插入数据，所以点击Connection右侧的New新建按钮，创建新的数据库连接，此连接指向PC01Target table：目标表SWITCHPOWDEV，即是要把数据插入PC01中的这张表Conmmit size：数据量限制设置的数值最好大于每次需插入表中总的记录数The Key(s) to look up the v
10、alue(s)：查询关键字抽取PC02中V_SWITCHPOWDEV的数据时筛选所需关键字，点击右侧Get Files获取所有字段，将多余字段删除Update files：更新的字段对PC01中SWITCHPOWDEV表需要更新的字段，点击右侧Get update files获取所有字段点击OK保存退出！3.3.6 运行转换转换信息配置完成之后，先对编写好的转换进行调试，验证有无Bug，点击菜单栏图标，弹出调试结果可以看出没有错误，最后运行此连接，实现数据的抽取，点击菜单栏图标弹出窗口，点击Lanuch-Yes进行保存Name：保存的转换名称Get_86to130Browser for oth
11、er folders：存储路径/opt/kettle/ktllog，将转换保存在自己建立的路径中，方便后续查找调用点击OK开始运行，下方会打印出动态日志，完成之后可以看到日志中的Finished字样至此一个转换已经建立完毕！3.4 创建定时任务Job转换完成之后，开始建立定时任务，已实现定时抽取数据的需求，定时任务有两种途径可以实现：一是利用kettle自身的定时工具Start；二是利用linux中的crontab功能；3.4.1 kettle自带的Star定时功能3.4.1.1 新建Job打开FileNewJob，新建一个任务Job3.4.1.2 创建数据库连接为任务Job创建一个数据库连接
12、即指向PC01的连接，双击Job视图窗口的Database Connection弹出配置界面配置好之后，保存退出！3.4.1.3 创建任务关系打开任务设计窗口General将START和Transformation图标拖入右侧窗口，再将Scripting中SQL拖入右侧窗口，并将图标连接起来。3.4.1.4 配置START信息双击图标START，弹出配置窗口Repeat：重复将此项勾选，表示按下面配置的周期重复Type：周期类型Weekly,按周重复Time of day：时分设置当天的17：10Day of week：星期选择Saturday，定在每周六执行3.4.1.5 编写SQL语句因为上述编写过的转换只能实现将PC02的数据抽取到PC01中（即将PC01与PC02中共有的数据更新和PC01中没有而PC02中有的数据插入PC01中），而不能实现保持PC01与PC02数据完全相同（即不能将PC02中已经没有的数据从PC01中删除），所以在执行转换前要编写个SQL语句，在插入PC02数据之前将PC01中的数据先清空，双击SQL
