ETL技術(shù)報(bào)告kettle簡(jiǎn)介以及使用Kettle建立一個(gè)簡(jiǎn)單的數(shù)據(jù)倉(cāng)庫(kù)

1、開源ETL工具kettle1/23主要內(nèi)容Kettle介紹Kettle下載與安裝簡(jiǎn)單示例2/23Kettle介紹Kettle是一款國(guó)外開源ETL工具，純java編寫，能夠在Window、Linux、Unix上運(yùn)行，綠色無(wú)需安裝，數(shù)據(jù)抽取高效穩(wěn)定 。它允許你管理來(lái)自不一樣數(shù)據(jù)庫(kù)數(shù)據(jù)，經(jīng)過(guò)提供一個(gè)圖形化用戶環(huán)境來(lái)描述你想做什么，而不是你想怎么做。Kettle中有兩種腳本文件:transformation和job，前者完成針對(duì)數(shù)據(jù)基礎(chǔ)轉(zhuǎn)換 ，后者則完成整個(gè)工作流控制。 3/23Kettle下載與安裝能夠去Kettle官網(wǎng)上去下載/我下載是pdi-ce-4.1.0-stable.zipkettle不需

2、要安裝，直接解壓，運(yùn)行spoon.bat即能看到kettle歡迎界面。需要注意是，計(jì)算機(jī)上必須裝有JDK，不然kettle無(wú)法運(yùn)行。 4/23簡(jiǎn)單示例說(shuō)明：經(jīng)過(guò)下面這個(gè)示例簡(jiǎn)單介紹了kettle一個(gè)種腳本：transformation 。假設(shè)：在銷售水果時(shí)候需要統(tǒng)計(jì)水果一些信息。其中水果產(chǎn)地之類信息存在一個(gè)數(shù)據(jù)庫(kù)中。價(jià)格和銷售情況信息存放在另一個(gè)數(shù)據(jù)庫(kù)中。這些信息能夠使用不一樣數(shù)據(jù)庫(kù)，存放在不一樣計(jì)算機(jī)上。因?yàn)橛?jì)算機(jī)硬軟件限制，我試驗(yàn)只能在一臺(tái)計(jì)算機(jī)上使用同一個(gè)數(shù)據(jù)庫(kù)來(lái)完成。5/23數(shù)據(jù)庫(kù)建立本試驗(yàn)使用了mysql數(shù)據(jù)庫(kù)。在mysql數(shù)據(jù)庫(kù)中新建了三個(gè)數(shù)據(jù)庫(kù)：test1，test2，test3

3、。test1：包含一個(gè)表t_fruit，統(tǒng)計(jì)了水果價(jià)格，以下：6/23數(shù)據(jù)庫(kù)建立test3：包含一個(gè)表t_fruit_info，主要統(tǒng)計(jì)水果產(chǎn)地。7/23數(shù)據(jù)庫(kù)建立test2：作為數(shù)據(jù)倉(cāng)庫(kù)用數(shù)據(jù)庫(kù)，包含一個(gè)表total。8/23建立數(shù)據(jù)倉(cāng)庫(kù)進(jìn)入spoon：解壓從官網(wǎng)下載軟件，雙擊Spoon.bat，等候幾秒就會(huì)進(jìn)入spoon主界面：9/23創(chuàng)建transformation文件 雙擊左邊轉(zhuǎn)換將創(chuàng)建一個(gè)新transformation(也能夠經(jīng)過(guò)菜單里面文件-新建-轉(zhuǎn)換方式新建文件)，點(diǎn)擊另存為，保留到當(dāng)?shù)芈窂?。10/23保留到當(dāng)?shù)刂螅?1/23連接DB在“DB連接”上點(diǎn)擊右鍵選擇“新建”，出來(lái)

4、以下對(duì)話框。12/23連接DB在上述對(duì)話框中依次填入Connection Name 、Host Name、Database、Username、Password。然后點(diǎn)擊”Test”按鈕測(cè)試連接是否成功，假如成功后，點(diǎn)擊OK按鈕。按照上述步驟為要處理三個(gè)數(shù)據(jù)庫(kù)各自建一個(gè)DB連接。13/23連接DB成功14/23抽取、轉(zhuǎn)換、裝載過(guò)程在example頁(yè)面下，點(diǎn)擊左側(cè)“關(guān)鍵對(duì)象”，點(diǎn)擊“輸入”，選中“表輸入”，拖動(dòng)到主窗口釋放鼠標(biāo)。雙擊“表輸入”，在出現(xiàn)對(duì)話框中填入相關(guān)信息。分別為test1和test2建立表輸入。15/2316/23表連接點(diǎn)擊左側(cè)“關(guān)鍵對(duì)象”，點(diǎn)擊“連接”，選中”Merge Join

5、“，拖動(dòng)到主窗口釋放鼠標(biāo)。然后，點(diǎn)擊表輸入，按住shift鍵，再拖動(dòng)鼠標(biāo)到Merge Join，這時(shí)就實(shí)現(xiàn)了在兩個(gè)組件之間連線。 17/23表連接雙擊“Merge Join ”，進(jìn)行以下列圖設(shè)置18/23插入/更新 點(diǎn)擊左側(cè)“關(guān)鍵對(duì)象”，點(diǎn)擊“輸出”，選中“插入/更新” ，拖動(dòng)到主窗口釋放鼠標(biāo)。將它與Merge Join進(jìn)行連線。雙擊”插入/更新”圖標(biāo)，進(jìn)入編輯窗口。填寫以下列圖所表示信息。19/2320/23說(shuō)明數(shù)據(jù)庫(kù)連接選擇數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)，目標(biāo)表選擇對(duì)應(yīng)taotal表，在查詢關(guān)鍵字里，表字段寫info_name(表示倉(cāng)庫(kù)表里字段)，流里字段1里寫入fruit_info_name。比較符用”=”號(hào)。點(diǎn)擊Edit mapping按鈕，將表字段，與流利字段進(jìn)行對(duì)應(yīng)，即流里字段里值輸入到表里哪個(gè)字段里去。21/23執(zhí)行transformation 這么，我們transformation就創(chuàng)建完成了，這時(shí)，我們能夠點(diǎn)擊運(yùn)行，測(cè)試創(chuàng)建transformation是否