KETTLE組件介紹及使用

1、KETTLE組件介紹與使用4.1 Kettle使用Kettle提供了資源庫的方式來整合所有的工作，；1創(chuàng)立一個新的transformation,點擊保存到本地路徑，例如保存到D:/etltest下，保存文件名為Trans,kettle默認transformation文件保存后后綴名為ktr;2創(chuàng)立一個新的job,點擊保存到本地路徑，例如保存到D:/etltest下，保存文件名為Job,kettle默認job文件保存后后綴名為k;劉覽h主對豢樹夕核心對象|0 1'-1園主對象鋌?梗心對象Input 輸入.，輸出；6轉(zhuǎn)逆 應(yīng)用>臺流程腳下> r 喇> &>

2、r .檢驗 啟統(tǒng)計Big Data> . Agile 加密PaloOpenERP»金作業(yè)> t映射 t nts加戟，田內(nèi)聯(lián)L，日不推薦的> S歷史4.2 組件樹介紹4.2.1 Transformation的主對象樹和核心對象分別如下列圖:，目轉(zhuǎn)換黑db2excel，口D暗接tJdatabaie2exc&,Steps（步驥）qJavaScriptft碼耳Ja血Script代碼2任IMicrosoftExcel就出Edatasource瓦獲煤統(tǒng)信息任茯戟敏信息2除設(shè)制號變量2SHops（書融接）adatasource->MicrosoftExcel等獲取票

3、統(tǒng)信息->JavaScript代碼（hvaSsipt代碼->讀置變量（disala獲取系統(tǒng)信息2->列日£口ipt代碼aJavaScript代碼2設(shè)置變量2（e數(shù)據(jù)庫分區(qū)義第日子器IKettleMWschemasTransformation中的節(jié)點介紹如下：MainTree：菜單列出的是一個transformation中根本的屬性，可以通過各個節(jié)點來查看。DB連接：顯示當前transformation中的數(shù)據(jù)庫連接，每一個transformation的數(shù)據(jù)庫連接都需要單獨配置。Steps：一個transformation中應(yīng)用到的環(huán)節(jié)列表Hops：一個transfo

4、rmation中應(yīng)用到的節(jié)點連接列表核心對象菜單列出的是transformation中可以調(diào)用的環(huán)節(jié)列表，可以通過鼠標拖動的方式對環(huán)節(jié)進展添加：Input:輸入環(huán)節(jié)Output:輸出環(huán)節(jié)Lookup:查詢環(huán)節(jié)Transform：轉(zhuǎn)化環(huán)節(jié)Joins：連接環(huán)節(jié)Scripting：腳本環(huán)節(jié)4.2.2 Job的主對象樹和核心對象分別如下列圖:m添力戊件到結(jié)果文件中E子服務(wù)器工主對象我核心時象瀏覽已作業(yè),db2cxdaDB連接8db2excel已作業(yè)項目START*轉(zhuǎn)換口發(fā)送帆牛匚主又寸蠹樹核心對象EntrEjGeneral-LJ通用START才DUMWY行作業(yè)ni冷設(shè)看專旱海轉(zhuǎn)換he郵件Cj文件修理口

5、rj條件y腳不L.批星加載4BigDC口QXML卜Li應(yīng)用L仁賀口E文件傳輸文件加聲k匕PalorFDeprecatedJob的數(shù)據(jù)庫連接都需要單獨配置。MainTree菜單列出的是一個Job中根本的屬性，可以通過各個節(jié)點來查看。DB連接：顯示當前Job中的數(shù)據(jù)庫連接，每一個Jobentries/作業(yè)工程：一個Job中引用的環(huán)節(jié)列表核心對象菜單列出的是Job中可以調(diào)用的環(huán)節(jié)列表，可以通過鼠標拖動的方式對環(huán)節(jié)進展添加。每一個環(huán)節(jié)可以通過鼠標拖動來將環(huán)節(jié)添加到主窗口中。并可通過shift+鼠標拖動，實現(xiàn)環(huán)節(jié)之間的連接。4.3使用舉例14.3.1 建立轉(zhuǎn)換選中列表中的的“表輸入''、

6、"表輸出'、"插入/更新''，拖拽到右側(cè)工作區(qū)。鼠標選中節(jié)點鍵盤按shift鍵，拖拽即可連線。下列圖是一個轉(zhuǎn)換，有兩個動作，一是直接從數(shù)據(jù)源表同步數(shù)據(jù)到目標表，一是檢查源表的插入和更新，同步到目標表。黑色線為生效，灰色線為失效，節(jié)點和連接可雙擊進展編輯?？深A(yù)覽數(shù)據(jù)是否正確。蒂預(yù)覽數(shù)據(jù).上=號抄爨datasource的教*(5rows)#IDNAMEaddress11zhangsanbeijing22zhangbeijing33listbeijing44lisishanghai55lishanghai關(guān)閉(C)顯示日志(L)雙擊編輯表輸出動作。要獲取的

7、字段設(shè)置如下所示:點擊“Enterfieldmapping/輸入字段映射"進展字段選擇。選擇要用的字段后點確定，注意字段的約束條件。編輯好后點擊上面的執(zhí)行即可。萬、晶融冷晶圖麗F數(shù)攝源插入/更新左側(cè)參數(shù)暫不說明，執(zhí)行完成后可以觀看下方的日志。數(shù)據(jù)源插入/更新執(zhí)行結(jié)果尸I性能圖球執(zhí)行歷史應(yīng)&志st”“tri,eff$«雙擊編輯“插入/更新"動作。然后點擊運行。處據(jù)融軟乳，更研執(zhí)行益果碟執(zhí)行版e:jr*f1RWBSI<fc傳由酊I州次a的正錄被更需刮目標力霆及I£,1*dr復(fù)制的圮累仃舞&wiwvnullm三國aeit物用在-D3WWn

8、J口0口BkA2ISA/甲-MB3WMBIJ0已尋成執(zhí)行前，在源庫里加條新紀錄。確定作業(yè)執(zhí)行正常后可以保存作業(yè)，如保存路徑到本地磁盤地址C:etl2.ktr。4.3.2建立執(zhí)行的JOB/作業(yè)建立JOB的前提是有可以完整執(zhí)行的作業(yè)，上面步驟定制的作業(yè)進展保存。文件而髭輯現(xiàn)圖幀行工具裕助轉(zhuǎn)操CTRL-N打開CTRL-0作業(yè)5CTRL-ALTN從URL打開文件數(shù)據(jù)直注按IWII""打開最近的配置頰CTRL-W關(guān)閉用有SHIFT-CTRLW盼CTRL-S另存為，.另存為»FS)打印從左側(cè)列表拖拽“START","Success，"轉(zhuǎn)換'

9、;'，"發(fā)送到工作區(qū)并連接，如下列圖。聲4然后雙擊“START”動作進展編輯。START轉(zhuǎn)換發(fā)送機件成功作業(yè)定時調(diào)度M:然后雙擊編輯“Transformation”活動。轉(zhuǎn)換文件名選擇上一步編輯好的.ktr文件START及江£中寸雙擊發(fā)送，參數(shù)設(shè)置如下:口發(fā)送郵件國妗i至席扈比由M牛作業(yè)名稱:發(fā)送幽牛地址月咯寄郵偉肖息|附件收俾人收件人地址：，發(fā)件人聯(lián)票包活:回亙地址聯(lián)票人& Help審定(6取消(C)編輯完成后直接點擊運行即可。START斌功發(fā)送郵K運行后查看日志。執(zhí)行結(jié)果A歷史傳日志ff作業(yè)展呈Metrics07*2014/10/2138:47:55-S

10、poon-Spoon2014/10/31諭4欺19Gpncin-Spoon；!4/10/21nS-50-B-Gpcon-Gpow2014/10/21OB：50:52Spoon-Spoon2014/10/2100:53:39-Spoon-正在開軍任考2014/10/21OB53:39tert開網(wǎng)機fi任警2014/10/21Ofi.i3J9-Lett-開始反酹根2014/10/2138.5壯”LoadingtrnJrrnationfromXMLfileEACTVlTketilejabVest.ktrJ20140/2100:53:39test為了排邯解除由丁開始Itest2M4/10Z2108：5

11、3i39-daidwtpuLOCorrectedtodatabasemysqLtestcorrnmii-10002014/10/218:53*42daratource.OFinishreadingqutryrclosingtcnrwcnon.2014/10/2108:53t42datasourcf.O研處理(I-5rO-0TR-0rW-5rU-0rE-02014/10/2138:53:42-datacxjtput.O，泡iESbHl-OrO-5lR-5rW-5,U0hE*02014/10/21QBSJ:42*r«t開始則發(fā)1妙曲3014/KJ/l泊3*Lest“開碗，2014/1W2

12、10g：53o4"te&t知E作業(yè)項應(yīng)明的果=true)2014/KJ/210比53:43-lest-堯威慳業(yè)時紜恚郵件|導(dǎo)案"UU時2014/10/2103551-LM-克底也業(yè)儂能芟酹梟Ytrue)20140/21OS；5343-test-在身比打完生2014/10/2106:53:43-Spoon-。至第東一當任務(wù)執(zhí)行以后可以查看相對應(yīng)的日志，也可自行配置日志。*JETTVS3押,TLTflI-IM«iqLtl在英，任善第自i£fi增5f立科容*tew任煮ten開河iMW»14/10/210START一訪守*MWWilO.STAR

13、T-7：-02OW10/21O-開也前3Fcllmwd無空杵為回E城IWXt/H3mMi風(fēng)X)K10/21C.曲1母花巧*SJnEaLirvm羥仇*jotweit一12DW10/210-ZLS好珥FdlgrdInkafternicer,2014/10/214,任男通行融WB12014/W210-心用蛤即亍砂F日llqwecl1而hflfrerMjcce-.足1川132101詢叼曬麗屬不1弱1V】O/21CU5；心t欄孫12OWW21O.4.4使用舉例2本例是完成讀取目錄下的.log文件，找出其中包含錯誤代碼的行，并統(tǒng)計個數(shù)4.4.1 新建Transformation本例所用到的步驟和組件如下列

14、圖所示：的Spoon-coLint404_vu4on2文件行）編場視圖執(zhí)行工具幫助窗白晅用詡亙主對彖為核，型撮瀏覽器|同巴-f轉(zhuǎn)換Xcount404version2QDB連接）-BSteps（步驟）亨JavdScript代碼樂字符品操作X文本文件輸入H文本文件輸出2S聚合記錄-J獲取文件g身JavaScript代碼2端字符串操作Z任文本文件輸入2力文本文件輸出22J獲取文件82W聚合記錄2&Hops（節(jié)點連接）* 字符里操作-J”aScipt代碼（dhat4文本文件輸入一a字符庠操作（dKabka獲取文件2-文本文件輸入（disable*聚合記錄文本文件輸出2（disableJavaS

15、criptRK聚等己錄（didble* 獲取立d牛名27文本文件愉人2（即日*文本文件輸入2-字符由操作2（ena»字符串操作2J"zEcript代碼2（e* 啟軍日§5口1代碼2-聚合記錄2（ena*聚合記錄2f文本文件輸出22（enaQ數(shù)據(jù)庫分區(qū)3chemdsS子服務(wù)器二砸!2014/10/20 17:10:522014/10/20 17:11:012014/10/20 17:11:24 2014/10/2017:11:26 2014/10/20 17:11:312014/10/20 17:12:072014/10/2017:15:532014/10/20 1

16、7:15:56連接圖如下所示:T目HIP-共安文件文本如陽人.2字福串操咋？JavaScript2果今一上文本宓褐出上2a成取文件名設(shè)置如下:其中已選擇的文件名稱的變量都需要手寫輸入，可以點擊顯示文件名和預(yù)覽記錄檢查是否配置正確。通配踣f?十除：目.顯示文叫名秫(5)“-翻定Ufflfoi£kwi"7匚)取消永b）文本文件輸入設(shè)置如下:文本文件輸入選項中選擇從上一步驟獲取文件名，其中在輸入里的字段被當做文件名一欄輸入uri,步驟讀取的文件名來自填寫獲取文件名2容選項卡的設(shè)置如下：文件類型選擇CSV,分隔符自己定義，格式為mixed,編碼方式選擇UTF-8字段選項可設(shè)置如下:

17、需要手寫輸入str名稱，設(shè)置類型為Stringc）獲取字符串設(shè)置如下：克不克忤獨舌工得串星作2Q口jSl1iulft<52K合:演2室可宜件痂出22St%nameJi11立Vfieldslo口忖$“鼻如就自airfieklOut&tiwwmfle4dTrim-typeLauuei/Upp<erPadding中就Uu»rPadLengGhIrtalCdpEscape1liirnsmenonerwnrronr否None2shGrE_fliendmenonerwaneIHOH#告None3pathnanemtHnone音None4l/pefiaviernfienones

18、NoneSextensionrwinefWttnone害None6面no旭IWiffWP3EE3*<3f躥7MWnonenonerwone3忖的金Sin3ne曲0力熱rw«e否忖的電fStringgpertfti005TL而上Gelftekkd）測試腳本設(shè)置如下其中可以點擊獲取變量和測試腳本來測試腳本的正確性點擊測試腳本界面如下:腳本代碼由JavaScript編寫£TScript1warooawm.it(strgetSliing().11.、w&&arift!W,：is.otStTifinO.：>1u,(_")varnd-1(atrg&

19、#171;?-Sti1113(jIfl'stIr.drz?.('1"l)orjaombrotTnjI»1Itoiinccid+1)01nAJOCi3=Ma1I；k"4-4-1s；i牙立牙eaprfdg"soft府上3白盤3it<ETToada>.iE.d«lj£|JlQ1.-Q90")>"0llIerrcodc.iad«Qf(*01-381">-ClIIezrcodc-:1"Qi-SQZl-jk-1111errmde:匚二二二二<,*01-

20、t00:&0IhrraedB內(nèi)打用上。11。|iBrrerfe-R5ZK1>>BIsTraxljB-r.J-r.f(*521Ilernaede>-<coont4H-varjMbst±*cnimt*0e）聚合記錄聚合記錄就是將上一步的結(jié)果進展聚合，這里的名稱字段是點擊獲取字段獲取的，而不是自己輸入的，newname一列是制定新名字，可以自己輸入填寫，f）文本文件輸出文本文件的輸出設(shè)置如下,其中字段屬性的設(shè)置名稱字段是點擊獲取字段自動獲取的，不是輸入的，設(shè)置如下g）運行日志顯示如下:，苑行歷史"T志”作賽竟星-性靛圖MetricsPreviewd

21、ats口才興JY4Th*.J*J.Y*y*Il"n.QEW,節(jié)J，”>"WWB*"31*>W*?014/10/?01f>:08:?5-JflVriSrfiptnS?.O,行等34。002014/10/2016:08:25-顰爭底2.0-汜鼠行數(shù)34000002014/10/016j08l28-文本立件輸入2。-liiiein34500002OL4/10/J0L6:0S:2fi-JavatriptR工口-345000020110016:08:28-聚含.己錄2.0-講用3450000明工31口笈。15:08:31-文本文行輸入Z0-linenr35

22、CQDOO2011/10/20L6:08:3LJwaStript代碼工口35000002014/10/2016:08:JL聚勺元錄NO汜N行敷35000002014710/2016:08:33文本文件銅入2.0linenr35500002014/10/2016:08:33-JavaScript2.0-田35500002014/10/01&08：33-2.03550000匐14/T0/201fi;08:3fi-立物件翰入？Q-linenr360OQO02014/10/201S:O8:36有Mcfipt代碼2.0-行號36000002014/10/201&0SB6聚合i速NO-記錄

23、行覲托000002014/10/5016:0S:39-文本文件地入Z0-linerii365000020L4/10/J015:0S39-J酢髀。ript代碼2.D-r-365DOOO20H/10/JC16:08:39-聚合.睞2,0-記錄行數(shù)35500gxnn/iru口門1kriNMi.7n.iinan王丁門口mnW14/10/2016:08:56JScriptft2.0-，世4go口00>014/10/2016:03:56理合記錄2.0記錄i強4000000KJ14/10/2016:0&58-立本文m（L2.0-（1=4。兇564,O=0rR=LW=4029564.U=LE=C

24、214門0/2016:06:58-星20-克成處理（1=0,0=0,R=40295fr4,W=4029湖，U=0fE=0>01i1/10/2016：0B：58-JavaScript代昌2.0-克硼理Q=QO=SR=4Q295t4,W=40295&4PU=O.E=OmWlWZO16；08；5R-翩處理（1=0,0=0,R=4029564.W=l,U=%E=0?011/10/2015;Oa；5B文本文件輸出22。完成處理（l-Or。-LXLWl.U-OrEF?011/10/2016;O8;50-Spoon轉(zhuǎn)頂完成!！?011/10/2017:10:42-Spoon-Spoonf014

25、/10/2017:10:52-Spoon-Spoon2014/10/2017:11:01-Spoon-Spoon2014/10/2017:11:24-Spoon-Spoon>014/10/2017:11:56-5poon-Spoon>014/10/2017:11:31-Spoon-Spoon>01/10/2017:1207-Spoon'Spoon川14門口/2017:15:53-Spoon正在阡后任務(wù)>014/10/2017115:56-Spoon任務(wù)已姓廊和014/10/210B47:55-Spoon*Spoon1MtS>*打為史；白右“士疆至鼻-151*!4丁M-qmEwdata3F44時四海naMAMttlEFJE«出£.KS時同原宣,且3加，斯1用R/性理？0a10Q00Q已桓0g120i必不雙“通對010C己M5*nnga0粕理340a0DC已先日5«rn