KETTLE安裝以及學習筆記

本文格式為Word版，下載可任意編輯——KETTLE安裝以及學習筆記文檔名稱

Windows/linux下的KETTLE安裝

1Windows下安裝

1.1安裝JDK

1.下載JDK82.設置環(huán)境變量

JAVA_HOME為C:\\ProgramFiles\\Java\\jdk1.8.0_60在PATH中增加;%JAVA_HOME%\\bin

1.2安裝KETTLE

1.官網(wǎng)下載data-integration52.解壓到指定目錄中3.安裝完畢

1.3運行KETTLE

開啟data-integration，找到spoon.bat,雙擊運行，進入kettle可視化界面

2LINUX下安裝

2.1安裝jdk

2.1.1在/usr/local新建文件夾javamkdir/usr/local/java

把jdk安裝文件jdk-8u60-linux-x64.tar.gz傳入到/usr/local/java下2.1.2安裝jdk

cd/usr/local/java

tar-zxvfjdk-8u60-linux-x64.tar.gz

2.1.3配置環(huán)境變量

vi/etc/profile在最末行參與

第1頁共10頁

文檔名稱

exportJAVA_HOME=/usr/local/java/jdk1.8.0_60

exportCLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin然后保存退出

執(zhí)行source/etc/profile使之環(huán)境變量馬上生效

2.1.4測試

可以小測一把jdk是否配置好了執(zhí)行命令java–versionjavaversion\

Java(TM)SERuntimeEnvironment(build1.8.0_60-b27)

JavaHotSpot(TM)64-BitServerVM(build25.60-b23,mixedmode)

出現(xiàn)這個則說明jdk環(huán)境變量配置OK

2.1.5刪除安裝包

rm/usr/local/java/jdk-8u60-linux-x64.tar.gz

2.2Kettle部署

新建文件夾

mkdir–p/usr/local/kettle

將kettle的軟件包data-interation.zip上傳到/usr/local/kettle文件夾解壓

unzipdata-interation.zip

另外將相關kettle程序代碼拷貝到/usr/local/scripts目錄下[root@ada~]#mkdir.kettle

第2頁共10頁

文檔名稱

[root@ada~]#chmod775.kettle[root@ada~]#ll-d.kettle/

drwxrwxr-x2rootroot4096Oct920:24.kettle/

另外把其中的pertiesshared.xml文件拷貝到/root/.kettle目錄下[root@ada.kettle]#chmod664*[root@ada.kettle]#lltotal20

-rw-rw-r--1rootroot365Sep1719:58perties-rw-rw-r--1rootroot14854Sep1719:59shared.xml

修改perties文件infilepath=/data/collect_dir/csv/outfilepath=/data/di_dir/csv/shellpath=/usr/local/scripts/

假使文件夾不存在建立

[root@adadata]#mkdir-p/data/collect_dir/csv/[root@adadata]#chmod777-R/data/collect_dir/[root@adadata]#mkdir-p/data/di_dir/csv/[root@adadata]#chmod777-R/data/di_dir

第3頁共10頁

文檔名稱

2.3Shell腳本布置

將scripts.zip解壓到/usr/local/scriptsChmod775/usr/local/scripts增加可執(zhí)行權限Cd/usr/local/scripts/Chmoda+x*.sh

3常見問題

3.1新建數(shù)據(jù)庫連接，點擊測試報錯

默認安裝包中不帶對應JDBC的連接驅(qū)動程序，需要下載對應數(shù)據(jù)庫的連接程序(Oracle/Mysql/PostgreSQL),將驅(qū)動庫放在在lib文件夾下

Mysql驅(qū)動：mysql-connector-java-5.1.32-bin.jarPostgreSQL驅(qū)動：postgresql-9.4-1203.jdbc42.jarOracle驅(qū)動：ojdbc6_g.jar

3.2相關配置文件說明

windows文件路徑：C:\\Users\\[用戶名]\\.kettlelinux文件路徑:~/.kettle/perties：配置變量shared.xml：配置公共數(shù)據(jù)庫連接

3.2.1perties

infilepath=C:\\\\outfilepath=C:\\\\

3.3增加日志

1.雙擊空白處-->跳出對話框-->選擇日志選項卡-->選擇日志通道-->選擇日志數(shù)據(jù)庫連接，填入對應的表，點擊SQL，然后按確認就可以創(chuàng)立

3.4Kitchen執(zhí)行說明

Kitchen——作業(yè)執(zhí)行器

是一個作業(yè)執(zhí)行引擎，用來執(zhí)行作業(yè)。這是一個命令行執(zhí)行工具，沒啥

第4頁共10頁

文檔名稱

可講的，就把它的參數(shù)說明列一下。

-rep:Repositoryname任務包所在存儲名-user:Repositoryusername執(zhí)行人-pass:Repositorypassword執(zhí)行人密碼

-job:Thenameofthejobtolaunch任務包名稱

-dir:Thedirectory(don''tforgettheleading/or\\)-file:Thefilename(JobXML)tolaunch

-level:Thelogginglevel(Basic,Detailed,Debug,Rowlevel,Error,Nothing)指定日志級別

-log:Theloggingfiletowriteto指定日志文件-listdir:Listthedirectoriesintherepository列出指定存儲中的目錄結構。

-listjobs:Listthejobsinthespecifieddirectory列出指定目錄下的所有任務

-listrep:Listthedefinedrepositories列出所有的存儲-norep:Don''tlogintotherepository不寫日志例如：Linux:

./kitchen.sh-file=/Users/xuyongbo/Documents/kettle/kaoqintongbu/main_kaoqin.kjb-level=Basic-log=/tmp/run_kettle.logWindows

Z:\\shell\\data-integration\\kitchen.bat/file:Z:\\Documents\\kettle\\kaoqintongbu\\main_kaoqin.kjb/level:Basic/log:E:\\run_kettle.log3.5常用內(nèi)置參數(shù)

Internal.Job.Filename.Directory：當前作業(yè)程序所在路徑

Internal.Transformation.