Kettle基本知識(shí)培訓(xùn)

Kettle基本知識(shí)培訓(xùn)Kettle基本知識(shí)培訓(xùn)Kettle培訓(xùn)內(nèi)容Kettle功能Kettle控件介紹Kettle案例演示2Kettle培訓(xùn)內(nèi)容Kettle功能2Kettle介紹Kettle是一款開源的、元數(shù)據(jù)驅(qū)動(dòng)的ETL工具集，是開源ETL工具里功能比較強(qiáng)大的一個(gè)。Kettle是”KettleE.T.T.L.Envirnonment”只取首字母的縮寫，這意味著它被設(shè)計(jì)用來幫助你實(shí)現(xiàn)你的ETL需要：抽取、轉(zhuǎn)換、裝入和加載數(shù)據(jù)；翻譯成中文名稱應(yīng)該叫水壺，名字的起源正如該項(xiàng)目的主程序員MATT在一個(gè)論壇里說的哪樣：希望把各種數(shù)據(jù)放到一個(gè)壺里然后以一種指定的格式流出。3Kettle介紹Kettle是一款開源的、元數(shù)據(jù)驅(qū)動(dòng)的ETKettle家族Kettle5.0家族目前包括幾個(gè)產(chǎn)品：Spoon—轉(zhuǎn)換(transform)設(shè)計(jì)工具(GUI方式)Pan—轉(zhuǎn)換(transform)執(zhí)行器(命令行方式)Kitchen—工作(job)執(zhí)行器(命令行方式)

4Kettle家族Kettle5.0家族目前包括幾個(gè)產(chǎn)品：Kettle的安裝要運(yùn)行此工具你必須安裝Sun公司的JAVA運(yùn)行環(huán)境1.4或者更高版本，相關(guān)資源你可以到網(wǎng)絡(luò)上搜索JDK進(jìn)行下載綠色免安裝，解壓即可用。在不同的平臺(tái)上運(yùn)行Spoon所支持的腳本：Spoon.bat:在windows平臺(tái)運(yùn)行Spoon。Spoon.sh:在Linux、AppleOSX、Solaris平臺(tái)運(yùn)行Spoon。5Kettle的安裝要運(yùn)行此工具你必須安裝Sun公司的JAKettle轉(zhuǎn)化功能介紹1Kettle中有兩種腳本文件，transformation(.ktr)和job(.kjb)，transformation完成針對(duì)數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個(gè)工作流的控制。所有功能支持控件化，使用簡(jiǎn)單支持多樣化數(shù)據(jù)源類型：基本的文本文件Access、Excel、XML、Property文件格式MDX查詢語(yǔ)言、Cube文件、StreamingXML數(shù)據(jù)流自動(dòng)產(chǎn)生空記錄或者行從XBase類型文件(DBF)讀取數(shù)據(jù)關(guān)系型數(shù)據(jù)庫(kù)獲取系統(tǒng)信息如文件名稱、系統(tǒng)時(shí)間等6Kettle轉(zhuǎn)化功能介紹1Kettle中有兩種腳本文件，Kettle轉(zhuǎn)化功能介紹2特殊目標(biāo)數(shù)據(jù)源支持把數(shù)據(jù)寫入到Cube把數(shù)據(jù)寫入XML支持多種查詢調(diào)用數(shù)據(jù)庫(kù)存儲(chǔ)過程基本的數(shù)據(jù)庫(kù)查詢判斷表以和列、操作系統(tǒng)文件是否存在從URL接收查詢使用Web服務(wù)查詢信息使用數(shù)據(jù)流中的值作為參數(shù)來執(zhí)行一個(gè)數(shù)據(jù)庫(kù)查詢流查詢：從轉(zhuǎn)換中其他流里查詢值轉(zhuǎn)換功能值映射、分組、去重、拆分字段、行列轉(zhuǎn)換復(fù)制行7Kettle轉(zhuǎn)化功能介紹2特殊目標(biāo)數(shù)據(jù)源支持7Kettle轉(zhuǎn)化功能介紹３支持的腳本JS腳本SQL腳本正則表達(dá)式支持漸變維度更新批量加載：GreenplumBulkLoaderOracleBulkLoaderMSSQLBulkLoaderMYSQLBulkLoaderPostgreSQLBulkLoader支持分區(qū)表和集群8Kettle轉(zhuǎn)化功能介紹３支持的腳本8Kettle作業(yè)功能介紹1可以執(zhí)行操作系統(tǒng)命令和操作：Ping主機(jī)寫日志發(fā)送郵件從POPServer獲取郵件并保存在本地比較文件夾、文件創(chuàng)建、復(fù)制、移動(dòng)、刪除、壓縮文件從HTTP獲取或者上傳文件操作延遲等待9Kettle作業(yè)功能介紹1可以執(zhí)行操作系統(tǒng)命令和操作：9Kettle作業(yè)功能介紹2判斷文件是否存在執(zhí)行JavaScript、SQL、Shell腳本支持安全FTP獲取、上傳文件刪除遠(yuǎn)程文件支持SSH2上傳下載10Kettle作業(yè)功能介紹2判斷文件是否存在10數(shù)據(jù)庫(kù)連接類型和訪問類型支持的數(shù)據(jù)庫(kù)連接類型，截圖如下，有些數(shù)據(jù)庫(kù)類型需要完善jar包，以確保數(shù)據(jù)庫(kù)能夠正確連接11數(shù)據(jù)庫(kù)連接類型和訪問類型支持的數(shù)據(jù)庫(kù)連接類型，截圖如下，11訪問類型數(shù)據(jù)庫(kù)訪問類型支持如下幾種：JDBCOCIODBCJNDI12訪問類型數(shù)據(jù)庫(kù)訪問類型支持如下幾種：12Kettle實(shí)施步驟雙擊運(yùn)行kettle文件夾下的Kettle

文件，出現(xiàn)kettle歡迎界面。創(chuàng)建資料庫(kù)(可省略)創(chuàng)建數(shù)據(jù)庫(kù)連接創(chuàng)建轉(zhuǎn)換創(chuàng)建Jobs，進(jìn)行流程化控制13Kettle實(shí)施步驟雙擊運(yùn)行kettle文件夾下的KeKettle案例案例描述：從oracle數(shù)據(jù)庫(kù)中導(dǎo)出數(shù)據(jù)到文本文件中14Kettle案例案例描述：14創(chuàng)建轉(zhuǎn)換選擇”文件”,選擇”新建”---->”轉(zhuǎn)換”15創(chuàng)建轉(zhuǎn)換選擇”文件”,選擇”新建”---->”轉(zhuǎn)換”15從左側(cè)輸入欄目中選擇”表輸入”控件和”文本文件輸出”控件，拖拽到右側(cè)工作空間中16從左側(cè)輸入欄目中選擇”表輸入”控件和”文本文件輸出”控件，拖選中兩個(gè)控件，在其中一個(gè)控件上右擊，選擇”新建節(jié)點(diǎn)連接”17選中兩個(gè)控件，在其中一個(gè)控件上右擊，選擇”新建節(jié)點(diǎn)連接”17選擇”起始步驟”18選擇”起始步驟”18雙擊”表輸入”控件，進(jìn)行編輯在SQL中輸入：SELECT*FROMEMPWHEREENAME='${ENAME}‘其中${ENAME}是參數(shù)。19雙擊”表輸入”控件，進(jìn)行編輯19數(shù)據(jù)庫(kù)連接點(diǎn)擊”新建”，并測(cè)試連接。點(diǎn)擊確認(rèn)保存改步驟。20數(shù)據(jù)庫(kù)連接點(diǎn)擊”新建”，并測(cè)試連接。點(diǎn)擊確認(rèn)保存改步驟。20雙擊”文本文件輸出”控件，進(jìn)行編輯。瀏覽選擇文件存儲(chǔ)的位置。21雙擊”文本文件輸出”控件，進(jìn)行編輯。瀏覽選擇文件存儲(chǔ)的位置。選擇”內(nèi)容”編輯文本的輸出格式22選擇”內(nèi)容”編輯文本的輸出格式22點(diǎn)擊”字段”選擇需要輸出的內(nèi)容。點(diǎn)擊”獲取字段”，自動(dòng)生成字段。點(diǎn)擊”確定”，保存。23點(diǎn)擊”字段”選擇需要輸出的內(nèi)容。23添加參數(shù)鼠標(biāo)點(diǎn)擊右鍵,選擇”轉(zhuǎn)換設(shè)置”。在”命名參數(shù)”填寫參數(shù):ENAME24添加參數(shù)24測(cè)試轉(zhuǎn)換點(diǎn)擊”運(yùn)行”按鈕,填寫參數(shù)內(nèi)容,并點(diǎn)擊”啟動(dòng)”25測(cè)試轉(zhuǎn)換25查看測(cè)試結(jié)果26查看測(cè)試結(jié)果26查看導(dǎo)出的數(shù)據(jù)文件27查看導(dǎo)出的數(shù)據(jù)文件27Kettle調(diào)用利用Pan工具實(shí)現(xiàn)轉(zhuǎn)換的調(diào)用pan-fileC:\TEST.ktr-levelBasic-logfileC:\TEST.log"-param:ENAME=ADAMS"28Kettle調(diào)用利用Pan工具實(shí)現(xiàn)轉(zhuǎn)換的調(diào)用28Kettle調(diào)用利用Kitchen工具實(shí)現(xiàn)作業(yè)的調(diào)用Kitchen-fileC:\TEST.kjb-levelDetailed-logfileC:\TEST_JOB.log"-param:EN