Kettle使用手冊及測試案例

一、【kettle】window安裝與配置1、下載kettle包，并解壓

2、安裝jdk，并配置java環(huán)境a).翻開我的電腦--屬性--高級--環(huán)境變量b).新建系統(tǒng)變量JAVA_HOME和CLASSPATH變量名：JAVA_HOME變量值：C:\ProgramFiles\Java\jdk1.7.0[具體路徑以自己本機(jī)安裝目錄為準(zhǔn)]變量名：CLASSPATH變量值：.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;c).選擇“系統(tǒng)變量〞中變量名為“Path〞的環(huán)境變量，雙擊該變量，把JDK安裝路徑中bin目錄的絕對路徑，添加到Path變量的值中，并使用半角的分號和已有的路徑進(jìn)行分隔。變量名：Path變量值：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;3、配置kettle環(huán)境在系統(tǒng)的環(huán)境變量中添加KETTLE_HOME變量，目錄指向kettle的安裝目錄：D:\kettle\data-integration

4、啟動spoonWindows直接雙擊批處理文件Spoon.bat具體路徑為：kettle\data-integration\Spoon.batLinux那么是執(zhí)行spoon.sh,具體路徑為：

~/kettle/data-integration/spoon.sh二、使用Kettle同步數(shù)據(jù)同步數(shù)據(jù)常見的應(yīng)用場景包括以下4個種類型：只增加、無更新、無刪除只更新、無增加、無刪除增加+更新、無刪除增加+更新+刪除只增加、無更新、無刪除對于這種只增加數(shù)據(jù)的情況，可細(xì)分為以下2種類型：1)基表存在更新字段。通過獲取目標(biāo)表上最大的更新時間或最大ID，在“表輸入〞步驟中參加條件限制只讀取新增的數(shù)據(jù)。2)基表不存在更新字段。通過“插入/更新〞步驟進(jìn)行插入。插入/更新步驟選項：只更新、無增加、無刪除通過“更新〞步驟進(jìn)行更新。更新選項：增加+更新、無刪除通過“插入/更新〞步驟進(jìn)行插入。區(qū)別是“插入/更新步驟〞中的選項，去掉“不執(zhí)行任何更新〞的勾選：增加+更新+刪除這種數(shù)據(jù)同步情況，可細(xì)分為以下2種情況：1)源庫有表保存刪除、更新和新增的信息。通過條件判斷，分別進(jìn)行“插入/更新〞和“刪除〞即可，如下列圖所示。2)源庫沒有保存增刪改信息Kettle提供了一種比照增量更新的機(jī)制處理這種情況，可通過“合并記錄〞步驟實現(xiàn)，該步驟的輸入是新舊兩個數(shù)據(jù)源，通過關(guān)鍵字進(jìn)行數(shù)據(jù)值比對，比照結(jié)果分為以下4種類型：“Identical〞:關(guān)鍵字在新舊數(shù)據(jù)源中都存在，域值相同“changed〞:關(guān)鍵字在新舊數(shù)據(jù)源中都存在，但域值不同“new〞:舊數(shù)據(jù)源中沒有找到關(guān)鍵字“deleted〞:新數(shù)據(jù)源中沒有找到關(guān)鍵字兩個數(shù)據(jù)源的數(shù)據(jù)都進(jìn)入下一步驟，上述4種結(jié)果類型作為輸出表的標(biāo)志字段進(jìn)行保存。以下為例如：源數(shù)據(jù)庫測試腳本createtablek1(f1varchar2(200),f2varchar2(200))truncatetablek1;insertintok1(f1,f2)values('1','11');insertintok1(f1,f2)values('2','22');insertintok1(f1,f2)values('5','5');commit;目標(biāo)數(shù)據(jù)庫測試腳本createtablek1(f1varchar2(200),f2varchar2(200))truncatetablek1;insertintok1(f1,f2)values('1','1');insertintok1(f1,f2)values('2','2');insertintok1(f1,f2)values('3','3');insertintok1(f1,f2)values('4','4');commit;合并過程如下：其中“合并記錄〞步驟的選項：執(zhí)行后，查詢K1_TEST結(jié)果如下：可以看到，該結(jié)果表的BZ字段保存了更新、刪除、新增的記錄信息，通過條件分支即可分別對這些記錄進(jìn)行相應(yīng)的處理?！皸l件〞選項：小結(jié)Kettle提供了可視化的設(shè)計工具，根本上可通過拖拉配置的方式實現(xiàn)以上4種類型的數(shù)據(jù)同步，操作上相對較為簡單。數(shù)據(jù)同步的性能與源數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)庫以及執(zhí)行Kettle轉(zhuǎn)換操作的主機(jī)相關(guān)，在筆者的測試環(huán)境上〔源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫部署在雙核CPU/4G內(nèi)存的PC機(jī)上、執(zhí)行Kettle轉(zhuǎn)換操作的主機(jī)配置為雙核CPUx2/4G內(nèi)存，JVM內(nèi)存堆棧為256M〕、最后一種類型的數(shù)據(jù)同步，15w的數(shù)據(jù)，在3分鐘內(nèi)可以完成。三、案例1，把172.17.100.189中的ca_fwdj.tpf_txqdjb數(shù)據(jù)同步到172.1中的bank.tpf_txqdjb中。6w級數(shù)據(jù)2，把172.17.100.189中的ca_fwdj.tpf_jcdjb數(shù)據(jù)同步到172.1中的bank.tpf_jcdjb中。14w級數(shù)據(jù)3,連接異構(gòu)數(shù)據(jù)庫,讀取MySql數(shù)據(jù)保存到Oracle數(shù)據(jù)庫中；如果數(shù)據(jù)轉(zhuǎn)換過程中有異常，可以記錄異常信息〔可以記錄到文件或者數(shù)據(jù)中，通過二次開發(fā)，可以實時以短信的形式提醒〕4,異常日志：備注：表輸入支持SQL讀取數(shù)據(jù)，支持多表查詢。四、【kettle】JDBC連接oracle報找不到驅(qū)動初次接觸kettle，環(huán)境都配置好以后，啟動kettle的spoon，新建作業(yè)，配置jdbc的oracle數(shù)據(jù)源連接，報找不到驅(qū)動。解決方法：

1、下載OJDBC14.jar包

2、將該包拷貝到kettle的kettle\pdi-ce-5.0.1.A-stable\data-integration\libswt或者kettle\pdi-ce-5.0.1.A-stable\data-integration\lib路徑下都可以。

3、重啟kettle，重新配置數(shù)據(jù)源連接。問題解五、【kettle】JDBC連接mysql報找不到驅(qū)動初次接觸kettle，環(huán)境都配置好以后，啟動kettle的spoon，新建作業(yè)，配置jdbc的oracle數(shù)據(jù)源連接，報找不到驅(qū)動。解決方法：

1、下載myr包

2、將該包拷貝到kettle的