《kettle去掉空记录和重复记录》由会员分享,可在线阅读,更多相关《kettle去掉空记录和重复记录(2页珍藏版)》请在金锄头文库上搜索。
1. 新建一个text文件,里面包含空记录和重复记录,如:Web_domain将该文件作为text file input输入,对该文件进行相关处理。2. 在kettle中建立一个transform,如下: 原理:先对输入的数据进行空记录过滤处理,这样就得到了没有空记录的数据,过滤器中配置如下:然后去掉重复记录,但是这一步之前我们需要进行排序操作:最后就是去重复记录操作了:Ok!这就是我做的一个关于去掉空记录和重复记录的transform,希望对你有用。