《KETTLE基礎(chǔ)培訓(xùn)》PPT課件

1、Kettle 基礎(chǔ)培訓(xùn),目錄,一、ETL介紹 二、 Kettle 介紹 三、 Kettle的要求環(huán)境（JDK版本）、安裝、基本操作。 四、 Kettle的組件的類型基本說明（作業(yè)與轉(zhuǎn)換） 五、基于表對表的同步 六、基于文件到表的同步 七、基于表到文件的同步 八、 JAVASCRIPT的基本應(yīng)用 九、文件FTP下載、上傳。 十、作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換。 十一、啟動腳本說明。 十二、 JAVA調(diào)用作業(yè)、轉(zhuǎn)換 十三、使用原則,簡介ETL,ETL(即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)作為BI/DW（Business Intelligence）的核心和靈魂，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價值，是負責(zé)完成數(shù)據(jù)從

2、數(shù)據(jù)源向目標數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是實施數(shù)據(jù)倉庫的重要步驟。 ETL是數(shù)據(jù)抽取（Extract）、清洗（Cleaning）、轉(zhuǎn)換（Transform）、裝載（Load）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。,簡介Kettle,Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle 中文名稱叫水壺。 Kettle這個ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述你想做什

3、么，而不是你想怎么做。 Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個工作流的控制。,KETTLE的要求環(huán)境（JDK版本）、安裝、基本操作,KETTLE要求先安裝JDK1.5版本或以上 無需安裝下載后直接運行spoon.bat即可,5,KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）,Kettle中有兩種腳本文件，transformation（轉(zhuǎn)換，后綴為.ktr）和job（作業(yè), 后綴為.kjb），transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，好比工廠里的生產(chǎn)流水線，每個組件相當(dāng)于一個員工；job則

4、完成整個工作流的控制，好比工廠里的管理。 如果用記事本打開文件可發(fā)現(xiàn)轉(zhuǎn)換和作業(yè)都是xml類型文件。,6,KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）,7,作業(yè)：分串行執(zhí)行和并行執(zhí)行，串行執(zhí)行是先執(zhí)行完其中一條線再執(zhí)行另一條線，并行是兩條線同時執(zhí)行，同一條線上的兩個步聚會先執(zhí)行前面的再執(zhí)行后面的，每個步驟執(zhí)行結(jié)果分兩種：true(成功)/false(失敗),根據(jù)返回結(jié)果可以控制流程走向。,KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）,8,作業(yè)流程圖說明,KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）,9,轉(zhuǎn)換：一傳遞分復(fù)制和分發(fā)兩種模式。開始所有步驟同時運行，記錄會從最前端的步驟向后傳遞，傳

5、遞到相應(yīng)步驟則該記錄被該步驟作相應(yīng)處理，處理完成再把記錄往后傳遞，記錄,KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）,10,復(fù)制：把一份數(shù)據(jù)復(fù)制成多份，后面步驟各占一份。 分發(fā)：把一份數(shù)據(jù)平均分配給后面步驟。,基于表對表的同步,11,表對表同步是最基本的同步方式之一 實現(xiàn)步驟： 一、建立源庫連接和目標庫連接 二、使用表輸入組件進行源表數(shù)據(jù)讀取 三、對記錄進行適配整理 四、使用表輸出組件輸出到目標表,KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）,12,新建一個轉(zhuǎn)換：文件新建轉(zhuǎn)換,基于表對表的同步,13,基于表對表的同步,14,基于表對表的同步,15,基于表對表的同步,16,基于文件到表的同步

6、,17,新建一個轉(zhuǎn)換 流程：從文件讀取記錄插入到數(shù)據(jù)庫中,基于文件到表的同步,18,基于文件到表的同步,19,基于文件到表的同步,20,基于表到文件的同步,21,新建一個轉(zhuǎn)換 實現(xiàn)從表里讀取記錄生成文件,基于表到文件的同步,22,基于表到文件的同步,23,基于表到文件的同步,24,JAVASCRIPT的基本應(yīng)用,25,文件FTP下載、上傳,26,作業(yè)：FTP下載 從FTP上下載相應(yīng)文件到指定目錄下,文件FTP下載、上傳,27,文件FTP下載、上傳,28,文件FTP下載、上傳,29,作業(yè)：FTP上傳 上傳本地文件到相應(yīng)FTP指定目錄上,文件FTP下載、上傳,30,作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換,31,文件新

7、建作業(yè) 作業(yè)可以調(diào)用作業(yè)，這樣方便流程控制。,作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換,32,作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換,33,作業(yè)也可以調(diào)用轉(zhuǎn)換,作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換,34,啟動腳本說明,35,KETTLE程序啟動分兩種，一種是作業(yè)、一種是轉(zhuǎn)換。 作業(yè)調(diào)用啟動腳本： kitchen.sh（ kitchen.bat） 轉(zhuǎn)換調(diào)用啟動腳本： pan.sh（ pan.bat),啟動腳本說明,36,kitchen.sh（span.sh）說明,啟動腳本說明,37,Kitchen.bat(span.bat)說明,啟動腳本說明,38,WINDOWS系統(tǒng)下的作業(yè)啟動腳本寫法 /file 作業(yè)入口路徑 /level 日志輸出等級 /logfi

8、le 日志輸出文件,啟動腳本說明,39,LINUX系統(tǒng)下的啟動腳本寫法,啟動腳本說明,40,轉(zhuǎn)換調(diào)動腳本寫法 WINDOWS和LINUX系統(tǒng)的啟動腳本的寫法基本一樣，就是pan.sh/pan.bat的區(qū)別,Java調(diào)用,引用Kettle jar包,Java調(diào)用JOB,傳入變量 JOB文件設(shè)置變量： 變量傳遞： Variable substitution 選中,Java調(diào)用JOB,調(diào)用JOB JobMeta jobMeta = new JobMeta(jobPath, null); JVM設(shè)置變量： System.getProperties().setProperty(key, value);

9、Job job=new Job(null, jobMeta); job.start(); job.waitUntilFinished();,Java調(diào)用KTR,傳入變量,Java調(diào)用KTR,調(diào)用ktr TransMeta localTransMeta = localTransMeta = new TransMeta(ktrPath); 設(shè)置變量 localTransMeta.setVariable(key,value) Trans tran=new Trans(localTransMeta ) tran.execute(null); tran.waitUntilFinished();,使用原則,可以使用sql 來做的一些操作盡量用sql ； Group , merge , stream lookup ,split field 這些操作都是比較慢的，想辦法避免它們.能用sql 就用sql 盡量避免使用update , delete 操作，尤其是update , 如果可以把update 變成先delete , 后insert . 盡量不要用kettle 的calculate 計算步驟，能用數(shù)據(jù)庫本身的sql 就用sql ,不能用sql 就盡量想辦法用procedure , 實在不行才是calculate 步驟. 能使用truncate tabl