ETL工具-KETTLE研究及實(shí)踐

2023/2/4IVOConfidential1ETL工具研究

---KETTLE田浩元2014.12.10ETL是什么？ETL（數(shù)據(jù)倉(cāng)庫(kù)技術(shù)）ETL，是英文Extract-Transform-Load的縮寫(xiě)，用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)萃取（extract）、轉(zhuǎn)置（transform）、加載（load）至目的端的過(guò)程。ETL一詞較常用在數(shù)據(jù)倉(cāng)庫(kù)，但其對(duì)象并不限于數(shù)據(jù)倉(cāng)庫(kù)。ETL是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。 ---From百度百科KETTLE介紹Kettle是一款國(guó)外開(kāi)源的ETL工具，純java編寫(xiě)，可以在Window、Linux、Unix上運(yùn)行，綠色無(wú)需安裝，數(shù)據(jù)抽取高效穩(wěn)定。Kettle中文名稱叫水壺，該項(xiàng)目的主程序員希望把各種數(shù)據(jù)放到一個(gè)壺里，然后以一種指定的格式流出。KETTLE介紹Kettle這個(gè)ETL工具集，它允許你管理來(lái)自不同數(shù)據(jù)庫(kù)的數(shù)據(jù)，通過(guò)提供一個(gè)圖形化的用戶環(huán)境來(lái)描述你想做什么，而不是你想怎么做。Kettle中有兩種腳本文件，transformation和job，transformation完成針對(duì)數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個(gè)工作流的控制。KETTLE實(shí)踐Kettle是一款免安裝軟件；Spoon.bat是window下運(yùn)行的批處理文件Spoon.sh則是LinuxKETTLE實(shí)踐歡迎界面KETTLE實(shí)踐該怎么理解KETTLE輸入輸出轉(zhuǎn)換邏輯KETTLE功能簡(jiǎn)介輸入—表輸入選擇表輸入，點(diǎn)擊鼠標(biāo)右鍵，選擇編輯步驟。步驟名稱可以更改，一般更改為和輸入表相關(guān)的名稱。數(shù)據(jù)庫(kù)連接：選擇一個(gè)已建好的數(shù)據(jù)庫(kù)連接，也可以新建一個(gè)。點(diǎn)擊”獲取SQL查詢語(yǔ)句”,可彈出數(shù)據(jù)庫(kù)瀏覽器，選擇自己需要的表或視圖。選擇好表或視圖后，SQL區(qū)域會(huì)顯示相應(yīng)的SQL，如選擇在SQL里包含字段名，你所選擇的表的所有字段均會(huì)顯示.在SQL區(qū)域用戶可手動(dòng)修改SQL語(yǔ)句。輸出—Excel輸出Excel輸出編輯步驟選項(xiàng)，有六個(gè)選項(xiàng)卡。文件選項(xiàng)卡：文件名選擇輸出文件保存的路徑。內(nèi)容選項(xiàng)卡：一般不需做修改。字段選項(xiàng)卡：點(diǎn)擊獲取字段，輸入流中的字段全部會(huì)獲取到，不需要的字段，可選中不需要的行，右鍵刪除。輸出—插入/更新插入/更新:若流里的數(shù)據(jù)在目標(biāo)表中不存在，執(zhí)行插入，否則執(zhí)行更新，數(shù)據(jù)量不大的情況下，一般采用插入/更新操作。輸出—更新這個(gè)步驟類似于插入/更新步驟，除了對(duì)數(shù)據(jù)不作插入操作之外。它僅僅執(zhí)行更新操作輸出—?jiǎng)h除這個(gè)步驟類似于更新步驟，除了不更新操作之外，其他的行均被刪除輸出—表輸出這個(gè)步驟可以存儲(chǔ)信息到數(shù)據(jù)中轉(zhuǎn)換—去除重復(fù)記錄這個(gè)步驟從輸入流中移除重復(fù)的記錄增加計(jì)數(shù)器到輸出:如果想知道多少重復(fù)行被去掉，就勾選此項(xiàng)。字段名：用來(lái)比較的字段的字段名稱。轉(zhuǎn)換—拆分字段這個(gè)步驟允許根據(jù)分隔符來(lái)拆分字段。步驟名稱：在單一轉(zhuǎn)換中必須唯一需要拆分的字段：想要拆分的字段的名稱。分隔符：決定字段結(jié)束的分隔符字段：拆分形成的字段列表。例如：某字段包含：(123,456,789),使用逗號(hào)(,)分割符，可將字段分成三個(gè)段。流程—過(guò)濾記錄這個(gè)步驟根據(jù)條件和比較符來(lái)過(guò)濾記錄。發(fā)送true數(shù)據(jù)給步驟：指定條件返回true的數(shù)據(jù)將發(fā)送到此步驟True和false步驟必須指定。發(fā)送false數(shù)據(jù)給步驟：指定條件返回false的數(shù)據(jù)將發(fā)送到此步驟。連接—記錄集連接（Mergejoin）這個(gè)步驟將來(lái)自兩個(gè)不同的步驟輸入的數(shù)據(jù)執(zhí)行一個(gè)高效的合并。合并選項(xiàng)包括INNER，LEFTOUTER,RIGHTOUTER,FULLOUTER.這個(gè)步驟將輸入的行按照指定的字段存儲(chǔ)被合并的兩個(gè)步驟，必須按照相同的段進(jìn)行排序。KETTLE實(shí)踐要求：將CMS數(shù)據(jù)庫(kù)中的報(bào)案記錄表，篩選出需要的欄位，

插入到KPI數(shù)據(jù)庫(kù)表中該怎么做？程式使用定時(shí)器實(shí)現(xiàn)Exportimport？太浪費(fèi)時(shí)間如何使用KETTLE實(shí)現(xiàn)這就是KETTLE實(shí)現(xiàn)->替換NULL值->KETTLE實(shí)踐1、數(shù)據(jù)的來(lái)源（輸入）有哪些？2、中間的邏輯處理（轉(zhuǎn)換等）能做什么？3、數(shù)據(jù)可以輸出到什么地方？只能輸出到數(shù)據(jù)庫(kù)嗎？KETTLE實(shí)踐實(shí)踐1：KPI第三項(xiàng)要求：記錄報(bào)案，每個(gè)2分

插入到KPI數(shù)據(jù)庫(kù)表user_kpi_score中KETTLE實(shí)踐實(shí)踐2：KPI第四項(xiàng)要求：track報(bào)案，每個(gè)2分

插入到KPI數(shù)據(jù)庫(kù)表user_kpi_score中KETTLE實(shí)踐實(shí)踐3：KPI第五項(xiàng)要求：firstcall，secondcall，每個(gè)5分，

每人每天最高10分

插入到KPI數(shù)據(jù)庫(kù)表user_kpi_score中KETTLE實(shí)踐實(shí)踐4：解析CIM座機(jī)電話記錄要求：從系統(tǒng)課共享