kele公司內(nèi)部培訓(xùn)手冊

Kettle培訓(xùn)手冊Etl介紹ETL（Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程），對于金融IT來說，經(jīng)常會遇到大數(shù)據(jù)量的處理，轉(zhuǎn)換，遷移，所以了解并掌握一種etl工具的使用，必不可少。Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個工作流的控制。kettle部署運(yùn)行將kettle文件夾拷貝到本地路徑，例如D盤根目錄。雙擊運(yùn)行kettle文件夾下的spoon.bat文件，出現(xiàn)kettle歡迎界面：稍等幾秒歇選擇腔沒有弦資源暫庫，暗打開同ke她tt趁le稀主界蝕面抬創(chuàng)建跡tr花an鐵sf岔or扔ma瘋ti澇on短，相jo乎b客點(diǎn)擊摘頁面性左上踏角的扶創(chuàng)建兆一個諒新的搞tr斜an搜sf脈or玻ma欲ti外on雀，點(diǎn)還擊保止存到昆本地冬路民徑，納例如響保存劃到晌D:稈/e汁tl青te螺st未下，散保存挑文件箭名為痕Et枯lt學(xué)es級tT傲ra因ns悼，土ke名tt易le釋默認(rèn)欺tr帳an等sf秒or握ma凈ti湊on想文件垃保存鮮后后惠綴名掉為夢kt搞r背點(diǎn)擊草頁面殼左上密角的密創(chuàng)建面一個仁新的撿jo開b食，點(diǎn)住擊保牧存到飲本地算路徑藏，例墳如保娛存到繪D:掌/e叮tl鋒te鴿st桶下，皇保存庭文件贊名為急Et烈lt代es卵tJ匹ob耐，憶ke曲tt玉le倉默認(rèn)畫jo席b酒文件挺保存周后后柿綴名沸為被k越j(luò)b淺創(chuàng)建像數(shù)據(jù)嬌庫連夠接培在慰tr役an蕉sf冒or累ma任ti請on講頁面勺下，尼點(diǎn)擊摩左邊鳴的【如Ma押in旗T憂re茄e葬】，哄雙擊感【瘋DB刑連接蔑】，劫進(jìn)行儀數(shù)據(jù)燒庫連雞接配浙置。盜c寺on聲ne謊ct撇io退n善na粒me名自命秒名連乘接名稿稱交Co享nn未ec哪ti陡on堆t孕yp按e姜選擇質(zhì)需要珠連接芳的數(shù)旁據(jù)庫勢Me抬th時od朽o向f址ac渣c(diǎn)e嶼ss煙選擇言連接疑類型任Se原rv盛er偏h道os醒t仁na項(xiàng)me幫寫入冬數(shù)據(jù)給庫服死務(wù)器俱的藝ip裝地址除Da剩ta瓣ba犯se祝n貴am恨e膛寫入諷數(shù)據(jù)紅庫名盯Po濾rt鬧n鉆um暴be勺r裳寫入騎端口源號公Us荒er托na衡me痛寫入俘用戶費(fèi)名鞋Pa嬌ss鳥wo巡rd果寫入般密碼薄例如凡如下弱配置盈：兄點(diǎn)擊駕【餅te松st賓】，桃如果智出現(xiàn)友如下夠提示葬則說魂明配堂置成仰功裙點(diǎn)擊走關(guān)閉貨，再寬點(diǎn)擊化確定柱保存艇數(shù)據(jù)艱庫連購接。崖一個殖簡單添的弊kt駕r生例子蕉目的嚼：舒將一砌個數(shù)月?lián)炱睂?dǎo)入指到另懶一個霸數(shù)據(jù)串庫中約。飽操作習(xí)步驟?。阂蹌?chuàng)建厭一個崇tr索an外sf步or霜ma塘ti錄on透，命坦名為隨e漿tl么T餅es矩tT癢ra諒ns富.k肝tr孫，創(chuàng)洞建數(shù)孕據(jù)庫要連接柿od身s化，點(diǎn)增擊【哄In鴿pu煎t薄】，采選中舒【表暢輸入守】，投拖到顫主窗擱口，湊釋放愿鼠標(biāo)閃，雙參擊打開麗如下勒圖黎點(diǎn)擊熔【愿Tr殺an塔sf余or懶m情】，鏈選中需【字蘇段選游擇】鉗，拖途到主由窗口耳，釋報放鼠敗標(biāo)擋點(diǎn)擊崗【拘Ou認(rèn)tp宏ut貿(mào)】，壓選中叛【表部輸出精】，旗拖到畝主窗禽口，補(bǔ)釋放竿鼠標(biāo)區(qū)建立妙【文蝶本文胸件輸糟入】槳和【子字段珍選擇囑】與乳【字朋段選同擇】燒和【晴表輸跪出】擊的連友接舉雙擊段【表咱輸出樓】，演目標(biāo)抵表中星寫入饑ZT挎_T字ES憂T_四KE性TT京LE躺，，陸確定頭保存笑雙擊倉【字沈段選鄉(xiāng)擇】飄，點(diǎn)位擊弄各獲取數(shù)選擇浩的字改段，釀再點(diǎn)窩擊樓Ed嘉lt訓(xùn)M策ap沒pi耳ng宋，點(diǎn)輛擊辰OK埋確定馬，編允輯所誓有字今段對戒應(yīng)關(guān)啊系，樣點(diǎn)確膨定。局點(diǎn)擊纖運(yùn)行逼這個像轉(zhuǎn)換佳。，圍則將退上一哈個搖kt缸r傲中生濱成的義文本秀，導(dǎo)狗入到甚數(shù)據(jù)夾庫當(dāng)活中。適一個麥簡單歪的摧kj能b對例子船目的倦：潔將上奪一個詠tr設(shè)an歌sf待or纖ma仿ti貧on含在一謙個緣jo導(dǎo)b趨里面旦調(diào)用帝執(zhí)行瞇。正操作泰步驟終：饅在期et武lT蠟es受tJ盛ob框頁面欲，點(diǎn)霜擊【籃Co瞇re逢O寬bj偏ec章ts徑】，紗點(diǎn)擊洞【插Jo踏b饅en左tr宵ie碼s縮】，造選中窗【錄ST籠AR壩T減】裁拖動智到主刻窗口糕釋放辭鼠標(biāo)念，再癢選中郵【杜Tr驢an鐵sf皇or辟ma橋ti穩(wěn)on涌】，鎖拖動缸到主臂窗口姻釋放管鼠標(biāo)握，捐建立街【憲ST貢AR友T傳】和此【籌Tr歷an開sf芹or貞ma慨ti糠on蘆】之謎間的岸連接膏。盤雙擊盼【愁Tr暢an棵sf傍or傅ma作ti束on諷蹲】，士考在貨Tr莖an氣sf蠢or摩ma枝ti種on陶f乖il紅en彩am東e噴中寫歸入胖E:梢\k懶et芳tl多eW待or倆ks怒pa腫ce伍\e壽tl桶Te門st拖Tr淚an末s.裕kt度r扮，確軋定保肌存。彈點(diǎn)擊絨保存努創(chuàng)建無好的岡jo竹b馬。餡點(diǎn)擊窩運(yùn)行悠這個夕轉(zhuǎn)換作。濱待所樸有任缺務(wù)都武顯示押成功瞇，則緞為日jo廈b阻調(diào)用必tr訂an籮sf蹄or傳ma某ti糾on襯運(yùn)行侵成功拳。需一個則增量址的例葬子叔增量細(xì)更新霉按照演數(shù)據(jù)辱種類單的不撕同大毒概可擺以分查成：

繁1.郵

只騙增加嘉，不蕩更新超，

千2.左

只彩更新腫，不歸增加

方3.粗

即限增加購也更膨新

士4.允

有遞刪除很，有濟(jì)增加重，有問更新必下面鉗針對隸前三幸種做寫一個顫增量言的E覽TL俯抽取瞞。過竭程如順下：柳根據(jù)選前面恒講解草的例煮子一茶樣，獲首先堂建立紗源表眨（f陜in肥a_曬te孕st拒1）煙和目帥標(biāo)表劍（f旗in節(jié)a_步te緒st億2）廉，整戶個設(shè)鋸計流鼻程如旱下浙:永其中懇第一慧個步介驟洗（輸瘋?cè)?女目標(biāo)孫表）紅的s軟ql舍大魯概如差下模鑄式：逐s癥el逆ec舍t(yī)鼓if旦nu冊ll已(m擠ax猜(d地at尼e_神se春al張),亭'1國90峰0-民01畏-0寬1撤00遺:0頁0:耀00漫')盆f罪ro刊m街fi憲na揮_t蠢es姑t2蠅你會伍注意屠到第芽二個盞步驟問和第餓一個拾步驟圓的連需接是染黃色羞的線述，這勻是因村為第倍二個跡ta尤bl濫e股in效pu找t泉（輸霧入-晶源表所）奇步驟印把前干面一艷個步狂驟的釀輸出鄰當(dāng)作包一個萄參數(shù)舞來用懇，所架有K雖et講tl交e用蜂黃色忘的線黎來表軌示，船第二付個t癥ab梳le廚i無np食ut味（輸價入-賄源表筆）只的姐sq植l公模式侄大概筑如下?lián)恚?/p>

像SE錫LE陪CT乖姑*基FR貌OM泊f室in洋a_亂te既st噸1童校wh診er耽e姐da袋te纏_s拘ea茫l>朱?初后面寧的一蔥個問圣號就傳是表暢示它糧需要再接受軌一個勞參數(shù)儉，你矮在這方個t妥ab混le冶i耍np啦ut宇（輸矛入-騰源表裕）馳下面洋需要歪指定役re袋pl胳ac蛋e狼va渴ri辦ab晴le厚i竿n百sc憂ri礦pt奴選載項(xiàng)和等執(zhí)華行每歪一行賀囑為選齒中狀受態(tài)，徒這樣續(xù)，K資et萍tl風(fēng)e就牛會循帶環(huán)執(zhí)完行這輩個s還ql世,柱執(zhí)鄰行的管次數(shù)略為前災(zāi)面參鴨數(shù)步惑驟傳柳入的更數(shù)據(jù)珍集的觸大小逃。

腸關(guān)于俱第三肯個步隸驟執(zhí)愈行糾插入殿/更西新鍵步驟允需要貢特別邀解釋漲一下就，味Ke潤tt圍le攀執(zhí)行蒸這個辭步驟匙是需飯要兩擋個數(shù)御據(jù)流礦對比閣，其恥中一埋個是召目標(biāo)逆數(shù)據(jù)冊庫，左你在耍目標(biāo)襖表倉里柔面指砍定的漿，它內(nèi)放在僑用來施查詢絨的關(guān)轎鍵字礙左邊域的貫表字燒段件里面獻(xiàn)的，鑰另外套一個籌數(shù)據(jù)腐流就普是你熊在前歡一個蜜步驟偽傳進(jìn)替來的滑，它鎖放在篇用來海查詢擠的關(guān)脆鍵字波的帶右邊魄，K牌et赤tl光e首惰先用置你傳暑進(jìn)來甜的k益ey蝦在貪數(shù)據(jù)擦庫中必查詢典這些貧記錄染，如趁果沒蹄有找彩到，咬它就榴插入啞一條酬記錄揉，所鐵有的眨值都蔑跟你眾原來兩的值巡相同右，如吩果根襪據(jù)這竊個k千ey扁找到底了這亂條記頑錄，造ke房tt液le房會比去較這符兩條援記錄勵，根惕據(jù)你默指定奸up蓬da瘡te蜂f占ie攀ld歉來巖比較秩，如放果數(shù)沫據(jù)完矩全一技樣，樹ke末tt祝le饑就什屠么都?xì)W不做訊，如詠果記廊錄不爹完全種一樣罷，k驕et墻tl泳e就芹執(zhí)行服一個山up遣da泄te舍步梳驟。組備注挎：主叢鍵被肆修改維得數(shù)獵據(jù)認(rèn)己為是療新記漲錄沉憑末硬刪除蒸的數(shù)凱據(jù)由廢在倉竹庫中乳需要聾保留臣無需跌考慮找然后鴿點(diǎn)擊吊新建厭-j叉ob難，然林后雨jo薦b返的核忽心對觀象短jo周b仇en饒tr疾ie搖s拉坦出組刷建，蓄進(jìn)行仔執(zhí)行揚(yáng)抽取惡。露創(chuàng)建疫ke妖tt寺le巴資料扣庫遣資源蘇庫是盼用來糊保存克轉(zhuǎn)換苦任務(wù)辜的，光用戶爆通過眨圖形類界面奶創(chuàng)建表的的灰轉(zhuǎn)換逆任務(wù)進(jìn)可以渡保存蝕在資絲源庫屋中。防資源敗庫可著以是蜂各種閘常見紹的數(shù)乒據(jù)庫味，用肥戶通蕩過用瘡戶名聚/西密碼綢來訪決問資腥源庫粗中的屠資源榨，默喘認(rèn)的否用戶濁名枕/霧密碼蜘是先ad軋mi正n/序ad決mi巡n介資源帖庫并濁不是裳必須炒的，堆如果職沒有莖資源嘴庫，過用戶介還可宿以把資轉(zhuǎn)換碧任務(wù)舞保存敞在寄x咽ml圓各文件暢中。哨如果寶用戶由需要止創(chuàng)建怨一個佩資源遍庫，鈔在資胖源庫河的登織錄窗纖口（裝P都DI呆查啟動今時的股第一叉?zhèn)€窗挖口）湖中有碗慢【新兇建】蠻料按鈕他，點(diǎn)鵝擊該井按鈕賣彈出罵新建固資源娘庫窗芽口，當(dāng)在該吼窗口碰中選硬擇一曬個數(shù)補(bǔ)據(jù)庫抗連接豪，如浴果沒涼有事殘先定肢義的迫數(shù)據(jù)衣庫連咱接，經(jīng)則還珍要點(diǎn)匙擊【障新建寬】按援鈕，焦來創(chuàng)頸建一矛個數(shù)惰據(jù)庫稈連接傘。選驢擇數(shù)選據(jù)庫鐘連接倍后，疾要為拐該資玻源庫田命名肯，作誦為這評個資經(jīng)源庫抓的唯竹一標(biāo)碧志，禽最后進(jìn)選擇查【創(chuàng)畏建或蔥更新拔】按洗鈕來假創(chuàng)建褲這個毛資源否庫?？Y源倦庫可洗以使陪多用胞戶共聽享轉(zhuǎn)風(fēng)換任喜務(wù)，照轉(zhuǎn)換仔任務(wù)絨在資渣源庫凝中是雜以文辣件夾辦形式粱分組雷管理召的，鵲用戶餡可以紛自定重義文死件夾之名稱禮。繳如何彩使用暑ke效tt洗le部讀取慶包含酸多行晨表的堂Ex臺ce粱l文燃件材如果半E弓xc易el戲工殲作表飾的表亮頭只果有一駐行,揚(yáng)使用段K扛et濱tl腹e釣讀取替這樣設(shè)的文墊件是煉很容屠易的畢.

防如果后E躁xc瞎el慚工郵作表愚的表喚頭是或多行曬的,捐或伍者是探分級晃的就探需要隱在內(nèi)雪容標(biāo)獸簽下剝正確頭設(shè)置劉列名旱所占采行數(shù)密才可膀以讀碌取.講考慮層這樣竭的一世個工叉作表棉如果唱想把拍里面攀的盆12識列數(shù)師據(jù)都頃讀出毛來,幣就折要考屠慮如蹄何處絲理多章級表摸頭.串步驟障設(shè)置顯的詳舊細(xì)描毛述:嫩步驟嗚一爺選擇規(guī)文件狐名縫，現(xiàn)率在文蟲件或椒目錄舌里饒到所損要添醬加的獨(dú)ex柿ce商l文疊檔，樂然后回點(diǎn)擊疼，確窯定后狹，點(diǎn)擺擊昆，

喚步驟州二敲選擇將要讀珠取的枕工作觸表名干稱和姻要讀鍋取的詢內(nèi)容秩在工棕作表排里的特起始臣位置趣,正也就母是表抗頭開鈴始的錘行號倆和列譜號飽(這威里行翼號和糕列號挖是以飼0械開嶺始的夢)污步驟挑三遍設(shè)置倍要讀鍬取的爭內(nèi)容猶的一衛(wèi)些屬貍性,俘這欠里要皆設(shè)置逮表頭要的所雀占行柄數(shù)是飯孔4盞行.裕步驟份四片錯誤床處理紙,久選擇路如果糧有錯涉誤終丘止還擠是繼愧續(xù),舅錯凳誤信甲息保乒存的栽文件結(jié)等.里(圖氧略)

流步驟彼五仁選擇狡字段闖,臟如果縣前面掠的三佛個步銷驟(危不包竭括錯寺誤處俯理步架驟)句都設(shè)遷置正顏確,建在具這個懸頁面亭選擇她"材獲取葡字段綿"頁字段攀按鈕懸,倦就會躬獲得先所有箏的列祥名稱之和數(shù)樓據(jù)類振型.

蘋這里雕我們泥可以岡看到般:漁多級可表頭盤中各做級表遵頭的猴名稱冶被疊暫加起確來,召形盜成了址唯一鼓的列諒名.約點(diǎn)擊蘿[沒預(yù)覽叼]舟按鈕看可以真預(yù)覽凈到數(shù)池?fù)?jù)堡對于糕表頭錫跨連祝續(xù)的變多行雞,哄但不色分級夕的情糟況也堵可以愿使用芳上述督方式怎處理演.蓮ke律tt惕le馬注釋昌：洽ke回tt鴿le券的控制制流勿可以靈設(shè)置劇一些般簡單江的時津間，擊并且剩可以陵實(shí)現(xiàn)晌隔斷亮天、離周、伶月（丙三個頑只能柜選一朵個，資不能絞選那款個月水的那旗周那掩日）瓣，但蔑是k膊et坐tl夕e工繁具不胃能關(guān)愉，如影果關(guān)庭了，禁必須循重新論啟動希。嶺ke談tt簡le爸里面拘缺少憂一個添編輯獵的字趟段的亦插件賭，導(dǎo)辰致字掛段編蛾輯很晃麻煩惜，這艙只能裹先s油ql榆中進(jìn)湯行手告寫，抽這個鑼對即寫簽sq腦l砍的仁要求歪很高池。改一個狼ke億tt喇le屯字段寧轉(zhuǎn)換吸（截座?。┛吹睦枳臃谴笾律缘牧骺闯淌禽叄捍ū磔旔W入還境是正沙常的閥sq堪l(fā)查尾詢，陶沒有粘添加抓參數(shù)擁。版字段軟轉(zhuǎn)換腰（截遞?。┍窃诎襁M(jìn)行絡(luò)修改事。具偏體樣駁式如彎下：疤具體森的用揪法：于tr愿an寒sf噴or貧m節(jié)Fu課nc軋ti偏on翅s劃里面群包括恐了字孩符、富數(shù)字譽(yù)的一校些函蛇數(shù)方檔法，厲這些詢函數(shù)徑方法奪可以據(jù)解決丸一些精字段鎖需要霧轉(zhuǎn)化黑的問敏題。旁In酬pu晶t喊fi欠el液d