Kettle用戶操作手冊(cè)1

1、9 / 34Kettle 用戶操作手冊(cè)1. kettle 介紹1.1 什么是 kettleKettle 是“Kettle E.T.T.L. Envirnonment ”只取首字母的縮寫，這意味著它被設(shè)計(jì)用來幫助你實(shí)現(xiàn)你的 ETTL 需要：抽取、轉(zhuǎn)換、裝入和加載數(shù)據(jù)；它的名字起源正如該項(xiàng)目的主程序員 MAT所說：希望 把各種數(shù)據(jù)放到一個(gè)壺里然后以一種指定的格式流出。Spoons一個(gè)圖形用戶界面，它允許你運(yùn)行轉(zhuǎn)換或者任務(wù)。1.2 Kettle 的安裝要運(yùn)行此工具你必須安裝 Sun公司的JAVA運(yùn)行環(huán)境1.4或者更高版本，相關(guān)資源你可以到網(wǎng)絡(luò)上搜索 JDK 進(jìn)行下載， Kettle 的下載可以到取得

2、最新版本。1.3 運(yùn)行 SPOONSpoon 所支持的腳本：Spoon.bat:在windows 平臺(tái)運(yùn)行 SpoonSpoon.sh: 在 Linux 、 Apple OSX、 Solaris 平臺(tái)運(yùn)行Spoon。1.4 資源庫一個(gè) Kettle 資源庫可以包含那些轉(zhuǎn)換信息，這意味著為了從數(shù)據(jù)庫資源中加載一個(gè)轉(zhuǎn)換就必須連接相應(yīng)的資源庫。在啟動(dòng)spoon時(shí)候，可以在資源庫中定義一個(gè)數(shù)據(jù)庫連接，利用啟動(dòng)spoon時(shí)彈出的資源庫對(duì)話框來定義，如圖所示：單擊加號(hào)便可新增；關(guān)于資源庫的信息存儲(chǔ)在文件 “reposityries.xml ”中，它位于你 的缺省home目錄的隱藏目錄" .ket

3、tle ”中。如果是windows系統(tǒng), 這個(gè)路徑就是 c:Documents and Settings<username>.kettle 。如果你不想每次在Spoon啟動(dòng)的時(shí)候都顯示這個(gè)對(duì)話框，你可以在“編輯/選項(xiàng)”菜單下面禁用它。admin用戶的缺省密碼也是admin 如果你創(chuàng)建了資源庫，你可以在“資源庫/編輯用戶”菜單下面修改 缺省密碼。1.5 定義1.5.1 轉(zhuǎn)換主要用來完成數(shù)據(jù)的轉(zhuǎn)換處理。轉(zhuǎn)換步驟，可以理解為將一個(gè)或 者多個(gè)不同的數(shù)據(jù)源組裝成一條數(shù)據(jù)流水線。 然后最終輸出到某一個(gè) 地方，文件或者數(shù)據(jù)庫等。Step：轉(zhuǎn)換步驟，數(shù)據(jù)流中的處理步驟，對(duì)數(shù)據(jù)進(jìn)行處理Hop：節(jié)點(diǎn)連

4、接，一個(gè)Hop代表兩個(gè)步驟之間的一個(gè)或者多個(gè)數(shù)據(jù)流。 一個(gè)Hop總是代表著一個(gè)步驟的輸出流和一個(gè)步驟的輸入流。表輸入文本文件犒出1.5.2 作業(yè) 完成整個(gè)工作流的控制，執(zhí)行數(shù)據(jù)處理任務(wù)，由一個(gè)或多個(gè)任務(wù)條目TronsforiTiationJob Entry(Job Entries )組成，一個(gè)任務(wù)條目也可以引用一個(gè)轉(zhuǎn)換，也可以 執(zhí)行一些文件處理(比較，刪除等)，還可以ftp上傳，下載文件, 發(fā)送郵件，執(zhí)行shell命令等。1.5.3 變量(Variables )試用變量的方法可以如下制定：$ Variable(unix)%Variable% (windows)1.6 基本操作1.6.1 拖拽對(duì)

5、象按住左鍵“拖拽”對(duì)象到工作區(qū)，如下圖將表輸入拖拽到右側(cè)工作 區(qū)。步寐向芭SI抬砧比自Inpirt*筆 SAP Inpul溫 XBaielfiA厚 XML Input Mhti 曾迎乂 Vaml Input_A文本文/姐人XI生就記受1球取察艇伯懸4和北0弗出® Aucom3：ic Doc Dramatic r 5 fl.Jscr nu:put巽 LD/V> Oulpui忸 MicrvwH Access Output或 Micro ccft txccl DUtput£ | Mkrotcfl E»2 由r；ta已 Ptntaho Report«ig

6、OutputJ Prc p*rt>« dtpjt.RSS Output& Salesforce Delete|ObL<art?e總電4歐 h 100%1.6.2 右鍵編輯功能如圖點(diǎn)擊“表輸入”右鍵，選擇“編輯步驟”編輯表輸入屬性設(shè)置（或雙擊）。艙就入drida表融SELECT 工 Frail rjJtJE=QL61?J24如果語句中有變量，就要在上圖中“替換 SQL語句里的變量”打勾；變量在Parameters中設(shè)置如下圖所示：點(diǎn)擊工作區(qū)空白處，編輯“轉(zhuǎn)換”的屬性設(shè)置，如下圖:SMCt dll-Ofir swill 口執(zhí)行結(jié)臬一 h 廠=三一二. L - -P 三

7、IrjHsfcflTMei&H lag tiW? Step log W J 立印 performK kag 3加 Logg誦g eMZ Iq9 hble*曰e& 1C Srlui<=ad WrSben LsdaiEd ；中門” Cubs. Rq«£jed Ljtqes- 1由e1 q，界 startl?Ble isng¥ end L&g dite劇KfdEEeteg日日瑜依常張瑜鈕表輸入恒;。）SQL 取海Q1.6.3 連接線1）按住shift功能鍵后左鍵按住要連接的起始對(duì)象指向終止對(duì)象。2）在連接線上右鍵可以刪除節(jié)點(diǎn)連接。如下圖，按

8、住shift功能鍵后左鍵按住“表輸入”后指向“表輸出1.6.4 執(zhí)行、調(diào)試、停止如圖所示:轉(zhuǎn)換實(shí)例（Transformation )psi表輸入2. 1數(shù)據(jù)轉(zhuǎn)移（庫一庫）a.文件一新建一轉(zhuǎn)換立）汽唇柝圉 Artion Tools 洋電1新就打開CTRL O從URLTT開文國 Open R&certt關(guān)閉CTftL-RlOq專q All保有CTRUS躬將竟另!導(dǎo)為ZFSJ,”打印從MIV13科:導(dǎo)入CTRL-IExport退出C聿音誨.*而有:詢 用用口e存獻(xiàn)i度TWb.從左側(cè)的核心對(duì)象中拖動(dòng)你想要的步驟至右側(cè)的空白區(qū)（此例中只需拖入表輸入與表輸出即可），并用節(jié)點(diǎn)連接。*在左側(cè)的核心對(duì)象

9、常用的步驟有：輸入、輸出、轉(zhuǎn)換、連接、查詢和腳本。c.雙擊表輸入-數(shù)據(jù)庫連接一新建一填寫你要連接的數(shù)據(jù)庫信息Test oki Dat abase ConnectionConnecticn Ham。TESTDBMS SQlL ServerNflS SQL Server (Native)MsxDB SAF BB)MonatDBMySQLNe<xvi ewl?etEzzaAOracle1OriclKDBFUo HOUP SirvsrPoitgrtSQLRemedy Actigh Revest SystemSAP EEP SystemSQLiUSybaseSyb.zKTeradataUniVer

10、se databaseVpt t ii r fliAcCiSSE :|Nativ« fJIBO1ODBC OCI jimiConnection Typ*.：Settings特征列表d.根據(jù)需要編寫你的sql語句確定日表第人SQLX令SE1ECT * FROM nd事 demo 即 HERE mwixuii鬻立邛nujn咨行I列。確定題范£)取常貶)允許延遲轉(zhuǎn)我口 替換SQL語句里的變量Hrownum表示輸出的語句的條數(shù)，設(shè)置如下：在空白處點(diǎn)擊右鍵轉(zhuǎn)換顯性nx酹換舊志日期性賴雜項(xiàng)監(jiān)控確定©) | 甌 | 取消©e.表輸出設(shè)置數(shù)據(jù)庫連接：同表輸入，根據(jù)需要將

11、生成的表導(dǎo)入到相同或不同的數(shù)據(jù)庫；目標(biāo)表：即生成的表的名字10 / 34n表輸出Wain opiians?*七fi sldi表分區(qū)數(shù)據(jù) 分區(qū)宇陵每個(gè)月分區(qū)數(shù)據(jù)每天分區(qū)數(shù)據(jù) 使用批量插入0表名定義在Y字段里字口包含表名的字段； 4存儲(chǔ)表名字段回返回1個(gè)自動(dòng)產(chǎn)生的關(guān)窿字口一一 一， 確定 消© 弱LSepecify database files 要打勾，當(dāng)要在 Database files 里要獲得字段就可以點(diǎn)擊Get files就可以獲得字段，可以根據(jù)自己的需要是否刪掉不想要的字段。Enter field mapping是設(shè)置流里與生成表里的字段的映射關(guān)系；如下圖所示：18 / 34阿

12、表給出迎.JV 編輯.二.* lilli fieldStrewn Ei tldA1ORDER_IDWR_ID2INDEX_IDIHBEX_ID3TYFE_IDtypeJdqnFE_NWETYFE_NAWE5RULE_NAMERULE_NA!1E5RVUJBaVLE.ID7COMM IND.CDMM INDIC. . .8COMM IKD.C0IM1 IHDIC.9DETAIL_M.DETAIL MON IE10DETAIL_NAMEDETAIL_MAME11FlftSTJUGFIRST JUlG12MERGE_CO.MERGE_COLV.13KGEHTJB*GENT_工口14AGENT JTM

13、1EAGEKTJW1E15施 EoitnKE(HON_rD11CTVmTCJ. THTirrrTLETH inFields to insert：Enter field mapping確定力）取消©Gti fi eldsSQL步驟名稼屋畫數(shù)據(jù)庫容控TESTDBSpecify database fieldsMain options Dat名base fi eldsSream field 是表的輸入流，也就是輸入表的字段，Table field是輸出表的字段，可以根據(jù)自己的需要，起字段名稱。旗字段添加完成后，要執(zhí)行 Sql,在數(shù)據(jù)庫空中就創(chuàng)建了表及表的 結(jié)構(gòu)。1后，我們就可以點(diǎn)擊運(yùn)行按鈕了

14、叵y * n * *助用41aS 100%.如果執(zhí)行成功，就可以到數(shù)據(jù)庫查看你所生成的表了2.2值映射a.界面設(shè)計(jì)值映射b.值映射如圖所示：值映射即把某一字段的源值改變成目標(biāo)值 或者 將某一字 段名更改成目標(biāo)字段名并給其賦值2.3去除重復(fù)記錄a.界面設(shè)計(jì)表輸入表揄出b.去除重復(fù)記錄II A 去捶重復(fù)行?；匾唤徊津q名稱去除重昊記錄Settings塔力口 tt數(shù)黜域±1? 日期船一出Redirect duplicate B Error de script） on用來比皎的字般（著由條目意味著：曲觀在常成了）。 李嗇太褥翹略K1聲1 type_idY| 翱削Q | 曬 |>當(dāng)用來比就

15、選擇如圖所示：選擇某一個(gè)或某些字段將字段中的重復(fù)值去掉；較的字段是多個(gè)時(shí)，他們之間是and的關(guān)系磅加計(jì)數(shù)器到輸出：如果你想知道多少重復(fù)行被去掉,此選項(xiàng)。2.4增加常量II-相領(lǐng)屈UE羽林苴邙 取前G如圖所示：給表中增加字段，并可以給其賦值2.5字段選擇手登胡克舉C傳E茸游二B比苫成 員莢 喊簽Tv泥 JD廣吒MAME：列海足（5貫；三如圖所示：從表輸入中選擇字段，對(duì)字段進(jìn)行處理后輸出；若無移 除，則選擇和修改中的字段要與元數(shù)據(jù)中的字段保持一致;輸出可以進(jìn)行兩種選擇：分發(fā)與復(fù)制。分發(fā)就是將所選字段的數(shù)據(jù)依 次分配到所選的輸出表中 這個(gè)步驟常常用來:1、選擇字段2、重命名字段3、指定字段長度或者精

16、度以下是三個(gè)不同標(biāo)簽的功能:1、選擇和修改：指定輸出流中字段的精確順序和名稱。2、 刪除：指定必須從輸出流中刪除的字段。3、元數(shù)據(jù)：修改數(shù)據(jù)字段的名稱、類型、長度和精度。選項(xiàng)：1、字段名稱：選擇或者修改的字段名稱。2、改名：如果不想改名就留空白。3、長度、精度：輸入數(shù)字指定長度、精度（-1 :代表沒有長度、精度指定）2. 6拆分字段”才分新的#610 號(hào)喇國 避懾度 獐短。 別的號(hào)1 ty|pw_riiffle_AN£占皿5002/ 一片Nitring$00如圖所示：可以把某一字段拆分成多個(gè)字段，例如：type_name=' 代收話費(fèi)，新裝天翼手機(jī)，可以拆分成type_nam

17、e_a='代收話費(fèi)， type_name_b='新裝天翼手機(jī)；這個(gè)例子中只有type_name1有值, type_name 為空*拆分的字段類型必須是String2.7 排序記錄如圖：即根據(jù)需要將某一字段排序（升序或降序）后輸出2.8 行扁平化效果如圖：Fl HUFitldS氏COneAEc二 77 二D二FThrewDEFFan可以顯平化方以n下上FiildlHaldZFAI也Tir«+1TarnHkECOneTwcDEFFour itr附*脂JTN杏中卜-把多條記錄中不存在重復(fù)值的字段進(jìn)行扁平化：具體設(shè)置如下2.9計(jì)算器Ihm®*由恭工旅Lt宜N啥

18、63;取卻白單擊計(jì)算，會(huì)出現(xiàn)各種計(jì)算方法來完成你需要的計(jì)算。(3輸出3.1 文本文件輸出與xml文件輸出一回 S3:-工華自打爸 Ul%iT，*;1L?+4：h；+i| =Run£口田口瑛8：、4 1忖二.dF _j月可為17 / 34Tmr ug口 巴酢,壁盆文榔E世1*際,De net cifflitE lie a: flirt 1%55 cutM to srvf'*只需定義輸出文件的存放位置并在字段選項(xiàng)中獲取字段就可以了。3.2 插入/更新表輸入238 / 34果是只想做新插入的話，就把“不執(zhí)行任何更新”打勾3.3 更新4.1數(shù)據(jù)庫查詢F 耳詼 19；163.1：q,7

19、e19； 16E IK MD日odtdt*no5JlLT t;rp&_idl_ tfp3_nefie t 上一面 cd=_d*iD 口上Tts royaun c K - h1.) &oddemuSiii多&大小10XK)拒孝方 比訪作蘆到 k-N =宇巖工不月二-h數(shù)據(jù)庫查詢一可用于多表連接(5連接5. 1 Merge JoinLEFT OUTER|【NNERLEFT OUTERRIGHT OUTERFULL OUTER5.3合并記錄合并已錄(6腳本6.1 執(zhí)行SQL腳本口果直接在腳本中創(chuàng)建表的結(jié)構(gòu)，可以這樣做創(chuàng)建一個(gè)jobSQL可以設(shè)置不需要定時(shí)，如下圖所示Job定時(shí)

20、在SQL腳本中寫sql語句:作業(yè)項(xiàng)名稱數(shù)據(jù)庫連接561-T的1班v 辭.二朝二執(zhí)行SQL W本.從交件中得到的SQL 口SQL文件名廠Send SQL single 5lateF»eiit? Q| 使用變量替換，<s>SSL腳本:cireate table ods_denc_p as select -* from odjcL醬。wKer-e 1=2： insert into od3_de®Q_p select * fyen od3_denici行1列口A .定一 .旗93J取消©口果不需要用sql語句來創(chuàng)建表的結(jié)構(gòu)，可以這樣做，創(chuàng)建一個(gè)轉(zhuǎn)換。不需要我教

21、你了吧，相信你能行的6.2 Modify java script valueModjfied Java Script Value表輸入和表輸出不需要我在給你做了吧，你也看了這么多了，自己動(dòng)手做吧，下面我們來說說 Modify java script value里面的設(shè)置意：你定義新的字段，要設(shè)置字段的類型分組去除重要記錄注意：分組前要把分組的那個(gè)字段進(jìn)行排序* 一分期字段1 1TYPE_ID構(gòu)成分相的手段:聚合獲取字段# 4.名稱Subject類型值1SEEIAL CUTSERIAL CM求和， _皿. . 1 |>|登取查詢字徽確定取消。分組總返回一個(gè)結(jié)果行口這給你看到這吧，上面也給你

22、展示過去除重復(fù)記錄的例子了，剩下的自己弄吧哈哈生成記錄 generate rows主要是用于：生成一些固定字段的記錄，主要用來模擬一些數(shù)據(jù)進(jìn)行 測試。Generate RowsJava Script ValueXM號(hào)俞出這個(gè)例子是根據(jù)路徑獲取文件名并將文件名輸出到文本中;獲取文件名是通過js腳本實(shí)現(xiàn)。,好稚 一3回WIfdcript hndioM r r-i Transfcnin J j* rj Transform cTranefcnn _擊螞珞 Java Script ValueQ ScriptValu£vat ettArra7 - F i le. 50 S t r mg ().s

23、plit(lR -."'xW *')；?ar last scrArrayscrArray.1engtk-1：位營4.0Corr ps Jbi ity me ''通運(yùn)©)取制q|:卬:靦* eInput - Filc-geiS 口/ Outpyt fis-lc Fileetv T 4 | pi卜&&面進(jìn)入我們的實(shí)戰(zhàn)升級(jí):加模式概念：全量追加模式（一天創(chuàng)建一個(gè)表，保存歷 史數(shù)據(jù)）增量追加模式（一共一個(gè)表，只更新每天新插入的數(shù)據(jù)）全量追加模式展示:Modified Java Script Value思考：這個(gè)模式的關(guān)鍵是每天創(chuàng)建一張表，只要每天創(chuàng)建一個(gè)動(dòng)態(tài)的表即可。腳本里寫的就是每天創(chuàng)建一個(gè)表，相信你能看懂 怎樣來控制每天執(zhí)行一次呢，不可能每天手動(dòng)的執(zhí)行一次吧，這回就 該用到j(luò)ob 了時(shí)間設(shè)置每天執(zhí)行一次再放你需要綁定的轉(zhuǎn)換；轉(zhuǎn)換文件名：是放你不鏈資源庫做的轉(zhuǎn)換下面那倆個(gè)是連接資源庫做的轉(zhuǎn)換，要選好哦 覆關(guān)于這個(gè)轉(zhuǎn)換的I ub信息設(shè)疊:£叵兇酢嶗魚圓口Trsntfwnsitiffli 鐘“iFieEim _迪也士生卷置3恚 春89 PsrajieterEjO轉(zhuǎn)換文件名:I金”電轉(zhuǎn)換名梆贈(zèng)量追加.區(qū)匚wOSpeciiy iby reterence蔚定必， 取1-J表輸出增量追加模