ELT平臺操作手冊_KETTLE

1、word 格式智能數(shù)據(jù)比對系統(tǒng) ELT 平臺操作手冊【用戶手冊】廣州市靈訊通信科技有限公司2011-01-7目錄第 1 章 系統(tǒng)介紹 41.1系統(tǒng)簡介 4第 2 章 系統(tǒng)管理 42.1 基本概念 42.2 主界面介紹 42.3 基本功能 7第 3 章 轉(zhuǎn)換步驟 113.1 文本文件輸入 113.2 表輸入 193.3 EXCELS入203.4 CSVt件輸入203.5 文本文件輸出 223.6 表輸出 233.7 EXCELS出253.8 插入 / 更新 283.9 更新 303.10 刪除 313.11 調(diào)用DB存儲(chǔ)過程323.12 SWITCH 支333.13 修改 JAVASCRIPT的

2、值 343.14 值映射 363.15 列轉(zhuǎn)行 373.16 去除重復(fù)記錄 383.17 去除重復(fù)記錄（哈希集合） 393.18 增加常量 393.19 增加序列 403.20 字段選擇 413.21 字符串裁剪 433.22 封鎖步驟 443.23 執(zhí)行 SQL腳本 443.24 執(zhí)行SQL腳本行 463.25 拆分字段 473.26 排序記錄 483.27 數(shù)據(jù)庫查詢 493.28 數(shù)據(jù)庫連接 513.29 替換字符串 523.30 空操作 533.31 行扁平化 543.32 行標(biāo)準(zhǔn)化 553.33 計(jì)算器 573.34 過濾記錄 583.35 追加流 593.36 從結(jié)果中獲取文件 6

3、03.37 把文件設(shè)置到結(jié)果中 613.38 獲取變量 613.39 獲取系統(tǒng)信息 623.40 設(shè)置變量 63第 4 章 作業(yè)步驟 644.1 START（開始） 644.2 DUMMY654.3 轉(zhuǎn)換 654.4 采集作業(yè) 674.5 SHELL684.6 SQL704.7 發(fā)郵件 714.8 收郵件 734.9 消息對話框 754.10 FTP 764.11 HTTP784.12 SSH2上傳794.13 SSH2獲取814.14 ZIP 文件 814.15 上傳文件到 FTP834.16 從FTP下載文件 834.17 使用加密的 FTP上傳 834.18 寫到文件 844.19 創(chuàng)建

4、一個(gè)文件夾 854.20 創(chuàng)建文件 854.21 刪除FTP文件864.22 刪除多個(gè)文件 874.23 刪除文件 884.24 刪除文件夾 884.25 在結(jié)果中刪除文件名 894.26 復(fù)制或移動(dòng)結(jié)果文件 904.27 復(fù)制文件 924.28 安全的 FTP 934.29 文件比較 944.30 比較文件夾 954.31 添加文件名到結(jié)果 964.32 移動(dòng)文件 974.33 等待文件 984.34 解壓 ZIP 文件 994.35 列在表中存在1014.36 判斷文件夾是否為空 1024.37 判斷文件是否存在 1024.38 判斷文件的指標(biāo) 1034.39 判斷是否有文件被鎖定 104

5、4.40 判斷表中的行數(shù) 1054.41 文件存在 1074.42 檢查WEBSERVIC由勺可用性1074.43 檢查數(shù)據(jù)庫連接 1084.44 檢查表存在 1084.45 等待 1094.46 簡單評估 110第 1 章 系統(tǒng)介紹1.1 系統(tǒng)簡介ETL平臺用于數(shù)據(jù)的抽取、轉(zhuǎn)換、加載，為數(shù)據(jù)比對提供數(shù)據(jù)的采集、 轉(zhuǎn)換、導(dǎo)入、導(dǎo)出等功能。第 2 章 系統(tǒng)管理2.1 基本概念1、 數(shù)據(jù)庫連接：用戶自定義的，在轉(zhuǎn)換或作業(yè)中使用的數(shù)據(jù)庫連接。2、 轉(zhuǎn)換：數(shù)據(jù)抽取、轉(zhuǎn)換、加載流程的封裝。3、 作業(yè)：將多個(gè)轉(zhuǎn)換或一些任務(wù)封裝，用于 ETL任務(wù)的執(zhí)行。4、 知識庫：固定存儲(chǔ)已建立好的連接、轉(zhuǎn)換或作業(yè)的位置

6、。5、 數(shù)據(jù)流：分輸入流和輸出流，輸入流是離開一個(gè)步驟時(shí)的行的堆棧，輸出流是進(jìn)入一個(gè)步驟時(shí)的行的堆棧。6、 節(jié)點(diǎn)連接：連接兩個(gè)步驟的連線。2.2 主界面介紹【功能描述】1、 瀏覽和管理知識庫。2、 增加數(shù)據(jù)庫連接。3、 增加轉(zhuǎn)換或作業(yè)。4、 導(dǎo)入、導(dǎo)出XMLt件【操作步驟或操作內(nèi)容】功能 1：瀏覽和管理知識庫word格式1、用戶進(jìn)入ETL平臺，點(diǎn)擊知識庫頁簽，可瀏覽知識庫，如下圖所示：置目ED二 0目俄合 知識庫 區(qū)主對象樹瀏覽器0 0 LI-V數(shù)據(jù)庫連接e 12H 1瞿日電白采集作業(yè)二匕新文件夾 ：C采集作業(yè)2 :O文件一導(dǎo)入作業(yè) O全采集作業(yè)1；0全采集作業(yè) Q Job 1 i±

7、 3（轉(zhuǎn)損2、雙擊其中一個(gè)數(shù)據(jù)庫連接、采集作業(yè)或轉(zhuǎn)換，可打開相應(yīng)的頁面，進(jìn) 行查看、運(yùn)行、修改和刪除。功能2:增加數(shù)據(jù)庫連接單擊留圖標(biāo)，選擇新建數(shù)據(jù)庫連接選項(xiàng)，打開如下圖所示窗口:1違接信息連接類型設(shè)宜服務(wù)器主機(jī)名MS SQL ServerAlMS 5QL "fv+r GTttivt)MasDB CStf DB)MoAetDB192. 1M.：L4L數(shù)據(jù)庫名稱MySQL NeoviewOracle EIB隼數(shù)據(jù)表空間ui«r k畬Fai。M01AF Sirrsr Foster eSQL索引表空間R&intdy Acti4si£”七金也user s0SAP

8、ERF System SSLite端口號SybazelQ Ttrftdati.UniVerse database Vertiea15?14*用戶名1x2傘dSisr凡W竹5*1密里訪問方法比率，爭ODBCCOJKDI 測試/特征列裴瀏覽 隹授名稱1乂品七白取消| 確認(rèn);連接類型：選擇數(shù)據(jù)庫類型。訪問方法：推薦使用JDBC連接名稱：用戶自定義。服務(wù)器主機(jī)：填寫數(shù)據(jù)庫服務(wù)器IP地址。數(shù)據(jù)庫名稱：填寫數(shù)據(jù)庫名稱。數(shù)據(jù)庫表空間：填寫數(shù)據(jù)庫的用戶數(shù)據(jù)表空間名稱。索引表空間：填寫數(shù)據(jù)庫的索引表空間名稱。端口號：填寫數(shù)據(jù)庫使用的端口號。用戶名和密碼：登陸數(shù)據(jù)庫的用戶名和密碼功能3:增加轉(zhuǎn)換或作業(yè)單擊圖圖標(biāo)，

9、選擇新建轉(zhuǎn)換或新建轉(zhuǎn)換選項(xiàng)功能4:導(dǎo)入、導(dǎo)出*乂1±件單擊“啟圖標(biāo)，可將建立好的轉(zhuǎn)換或作業(yè)導(dǎo)出為 XML±件，存儲(chǔ)在本地, 也可從本地XML文件導(dǎo)入到知識庫。2.3 基本功能【功能描述】1、 轉(zhuǎn)換管理。2、 作業(yè)管理。3、 節(jié)點(diǎn)連接類型。【操作步驟或操作內(nèi)容】功能1:轉(zhuǎn)換管理1、新建或打開一個(gè)轉(zhuǎn)換，可看到轉(zhuǎn)換設(shè)計(jì)頁面，如下圖:用匕技至.a .口 m鼻帛河？日公知識叱a主對盅和x徨對戊件導(dǎo)入流程商'瀏覽器00 II h*i*鼠 目|回二 */mig孤步取rijfi人金文本文件皤入無表疑人二匕1ft出虜IxcD喻出O到除二插入/更新m文本支件輸出j史科£)&#

10、39;表題出M 明利M錯(cuò)過程Ha轉(zhuǎn)由Swi tchSlS口 M- n>rsq .HN42、單擊主對象樹，可將菜單中的轉(zhuǎn)換步驟拖到轉(zhuǎn)換設(shè)計(jì)頁面中3、單擊可運(yùn)行轉(zhuǎn)換4、右鍵單擊空白區(qū)域，可設(shè)置轉(zhuǎn)換的屬性。功能2:作業(yè)管理1、新建或打開一個(gè)作業(yè)，可看到作業(yè)設(shè)計(jì)頁面，如下圖:、加工庫 、王對維利瀏覽耨面可-fi-/-1-七戮據(jù)庫連報(bào)二聚熏作業(yè).新文件真?東奧作史2；文件一導(dǎo)人作業(yè)'至聚案作業(yè)L ?：全采集作立 Q Jeb 1,姆科毋；至茶集作業(yè)J3 _» 3W |畫2、單擊主對象樹，可將菜單中的作業(yè)步驟拖到作業(yè)設(shè)計(jì)頁面中3、單擊，可運(yùn)行作業(yè)4、右鍵單擊空白區(qū)域，可設(shè)置作業(yè)的屬性

11、。功能3:節(jié)點(diǎn)連接類型1、 在一個(gè)節(jié)點(diǎn)處按住SHIFT拖動(dòng)鼠標(biāo)到另一節(jié)點(diǎn)可建立節(jié)點(diǎn)連接2、改變開始復(fù)制的數(shù)量有時(shí)候多次運(yùn)行相同的步驟是非常有用的。 例如，執(zhí)行一個(gè)數(shù)據(jù)庫查 詢?nèi)位蛘呷我陨希@是因?yàn)閿?shù)據(jù)庫連接通常有一個(gè)反應(yīng)時(shí)間， 改變步 驟運(yùn)行的次數(shù)，可以有效的減少反應(yīng)時(shí)間，提高效率。要運(yùn)行一個(gè)步驟的 多個(gè)副本，你只要在圖形界面的步驟上點(diǎn)擊鼠標(biāo)右鍵，選擇“改變開始復(fù) 制的數(shù)量”表輸入數(shù)據(jù)艮編輯步驟編輯步驟描述改變開始復(fù)制的數(shù)量CTRL-CDzL復(fù)制到剪貼梭復(fù)制步驟 卿除步驟 分離步驟3、分發(fā)或復(fù)制分發(fā)表示所有的行被平均分發(fā)到各個(gè)目標(biāo)步驟，復(fù)制表示所有行被 復(fù)制到全部目標(biāo)步驟。懣據(jù)發(fā)送一改變開

12、始復(fù)制的數(shù)量.一輪流發(fā)送模式 復(fù)制發(fā)送模式4、串行或并行僅用在作業(yè)中，默認(rèn)串行，右鍵單擊作業(yè)步驟，選擇并行，可并行 運(yùn)行一個(gè)作業(yè)中的各個(gè)分步驟。5、有連接條件和無條件連接僅用在作業(yè)中，用于控制連接生效的條件，可設(shè)置上一步驟運(yùn)行成功則運(yùn)行下一步驟，或上一步驟運(yùn)行失敗則運(yùn)行下一步驟，或無論成 功或失敗都運(yùn)行下一步驟，即無條件連接。word格式ffl-爵CRM文件評價(jià)H峨1sMp藥 rri指出方向使節(jié).蜀至接實(shí)效刪除節(jié)點(diǎn)連接連接批量修改 ,正程無條件的"當(dāng)結(jié)果為真的時(shí)候睡續(xù)下一步 當(dāng)結(jié)果為暇的時(shí)候舞續(xù)下一步如下圖：帶平行線表示是并行連接；綠色表示該連接生效（灰色表 示失效）；勾號表示結(jié)果為

13、真運(yùn)行下一步驟，圓圈表示結(jié)果為假運(yùn)行下 一步驟，鎖標(biāo)志表示無條件連接。下載CRMi勝1下載CRM文件2CRM主婦牛導(dǎo)入CRMWPN文件導(dǎo)入第3章轉(zhuǎn)換步驟3.1文本文件輸入【功能描述】可通過此步驟讀取大量不同的文本文件，可指定讀取的文件列表，或者 用正則表達(dá)式表小的目錄列表?！静僮鞑襟E或操作內(nèi)容】1、 指定文件名后，并按“增加”按鈕，你可以添加一個(gè)文件到“選擇文件”中，如下所示：2、 你也可以用指定正則表達(dá)式通配符的形式來搜索文件。正則表達(dá)式比簡單的用“ ？”和“*”通配符更有效。文件名正則選擇的文件/dirA/.*userdata.*/.txt所有在/dirA/目錄下的并且文件名包含userd

14、ata、以txt為后綴的文件。/dirB/AAA.*所有在/dirB/目錄下的并且文件名以AAA開頭的文件。/dirC/A-Z0-9.*所有在/dirC/目錄下的并且文件名以字母開 頭、緊接著一個(gè)數(shù)字的文件。功能2:內(nèi)容指定1、內(nèi)容標(biāo)簽允許你指定正在讀取的文本文件的格式:2、下面是標(biāo)簽的選項(xiàng)列表:選項(xiàng)描述文件類型可以是CSV或者Fixed length（固te長度）。分隔符在文本的單行中，一個(gè)或多個(gè)字符將被用來分隔字段，比較有代表性的是；或者一個(gè)tab制表符。封閉字符一些字段能夠被一對允許分隔的字符來封閉。封閉字符串是可選的。逃逸字符如果你的數(shù)據(jù)中有逃逸字符，就指定逃逸字符（或者逃逸字符串）。

15、如果作為逃逸字符，文本 Not the nine'clock news.'（'作為封閉字符），將被解析成Not the nine o ' clock news.頭部/頭部行數(shù)量如果你的文本文件有頭部行就使用這個(gè)。你可以指定頭部行出現(xiàn)的次數(shù)。尾部/尾部行數(shù)量如果你的文本文件有尾部行就使用這個(gè)。你可以指定尾部行出現(xiàn)的次數(shù)。包裝行/包裝行數(shù)量利用這個(gè)來處理被某些頁限制包裝的數(shù)據(jù)行。注：頭部和尾部從來不考慮被包裝。分貝布局/每頁行數(shù)/文檔頭部行在行打印機(jī)上打印的時(shí)候，你可以用這個(gè)選項(xiàng)作為最終 的手段。用頭部行的數(shù)量來跳過介紹性的文本，用每頁 的行數(shù)來定位數(shù)據(jù)行。壓縮如果

16、你的文件是ZIP文件或者GZIP歸檔文件，就啟用這個(gè)。注：此刻歸檔文件中僅僅A個(gè)文件被讀取。沒有空行不往下一步發(fā)送空行。輸出包含文件名如果你想文件名作為輸出的一部分，可以啟用這個(gè)。文件名字段名稱包含文件名的字段名稱。輸出行數(shù)如果你想行數(shù)作為輸出的一部分，可以啟用這個(gè)。行數(shù)字段名稱包含行數(shù)的字段名稱。根據(jù)文件狀取行數(shù)允許每個(gè)文件重置的行數(shù)。格式可以是DOS UNIX或者混合模式。UNIX行終止可以是 回車，DOS中可以是回車或者換行。如果你選擇混合模 式，將不會(huì)驗(yàn)證。編碼方式指定文本文件編碼方式。如果不設(shè)置就使用系統(tǒng)默認(rèn)的編碼方式。如果想用 Unicode ,可以指te UTF-8或者UTF-1

17、6。A次使用的時(shí)候，Spoon將搜索系統(tǒng)，尋找口用的編碼。記錄數(shù)量限制設(shè)置讀取記錄的行數(shù)。0代表讀取所有的。解析日期時(shí)是否嚴(yán)格要求如果你想嚴(yán)格的解析數(shù)據(jù)字段，可以禁用這個(gè)選項(xiàng)。如果啟用的時(shí)候，Jan 32 nd將變成Feb 1 st。本地日期格式在本地日期常常被解析為February wnd,2006 的形式，在用法語本地化的系統(tǒng)中日期將不會(huì)被解析，因?yàn)樵诜ㄕZ本地化中February不能理解。功能3:錯(cuò)誤處理1、 當(dāng)錯(cuò)誤發(fā)生的時(shí)候，錯(cuò)誤處理標(biāo)簽允許你指定這個(gè)步驟將重新做些什么。步驟名稱|文本文件輛入文件'內(nèi)容 錯(cuò)誤處理 71洲字段I國覽記錄2、 下面是標(biāo)簽的選項(xiàng)列表選項(xiàng)描述忽略錯(cuò)誤如果

18、在解析的時(shí)候忽略錯(cuò)誤，就指定這個(gè)選項(xiàng)。跳過錯(cuò)誤行使用這個(gè)選項(xiàng)來跳過那些出現(xiàn)錯(cuò)誤的行。你可以生成另外的文件來包含發(fā)生錯(cuò)誤的行號。如果不跳過錯(cuò)誤行，解析錯(cuò)誤 字段將是空的。錯(cuò)誤計(jì)數(shù)字段在輸出流行中增加一個(gè)字段， 這個(gè)字段將包含錯(cuò)誤發(fā)生的行數(shù)。錯(cuò)誤字段字段名在輸出流行中增加一個(gè)字段， 這個(gè)字段將包含錯(cuò)誤發(fā)生的字段名稱。錯(cuò)誤文本字段名在輸出流行中增加一個(gè)字段，這個(gè)字段將包含解析錯(cuò)誤發(fā)生 字段的描述。警告文件目錄當(dāng)警告發(fā)生的時(shí)候，它們將被放進(jìn)這個(gè)目錄。文件名將是<警告目錄>/文件名.< 日期時(shí)間 >.< 警告文件擴(kuò)展>。錯(cuò)誤文件目錄當(dāng)錯(cuò)誤發(fā)生的時(shí)候，它們將被放進(jìn)這個(gè)目

19、錄。文件名將是<錯(cuò)誤文件目錄>/文件名.< 日期時(shí)間 >.<錯(cuò)誤文件擴(kuò)展>。失敗行數(shù)文件目錄當(dāng)解析行的時(shí)候發(fā)生錯(cuò)誤，行號將被放到這個(gè)目錄。文件名將是錯(cuò)誤行目錄/文件名. 日期時(shí)間 .錯(cuò)誤行擴(kuò)展。功能4:過濾1、 在“過濾”標(biāo)簽中，你可以指定文本文件中要過濾的行2、 下面是標(biāo)簽的選項(xiàng)列表選項(xiàng)描述過濾字符搜索字符串。過濾位置在行中過濾字符串必須存在的位置。0是起始位置，如果你指定一個(gè)小于0的值，過濾器將搜索整個(gè)字符。停止在過濾器如果你想在文本文件遇到過濾字符的時(shí)候，停止處理，就指定丫。功能5:字段1、 設(shè)定要導(dǎo)入的字段預(yù)覽記錄I確定取消步驟名稱|文本文件給人文件

20、的容儲(chǔ)誤處理過濾俘囊、2、 選項(xiàng)選項(xiàng)描述。名稱設(shè)置要在輸出流中顯示的字段名稱。舊子段典型(String、Date、Number 等)。長度對于Number：功效數(shù)的數(shù)量。對于String :字符的長度。對于Date ：打印輸出字符的長度(例如 4代表返回年份)。精度對于Number：浮點(diǎn)數(shù)的數(shù)量。對于 String,Date,Boolean :未使用。貨幣類型用來解釋如$10,000.00 的數(shù)字。小數(shù)小數(shù)點(diǎn)可以是" .”(10;000.00) 或者" ，"(5.000,00)。分組分組可以是".”(10;000.00) 或者"，” (5.00

21、0,00)。如果為空空值如何處理。默認(rèn)字段為空的時(shí)候的默認(rèn)值。去空字符串處理之前先去空。重復(fù)Y/N:如果在當(dāng)前行中對應(yīng)的值為空，則重復(fù)最舟-次不為空的值。3.2表輸入【功能描述】這一步常常用來利用連接和 SQL從數(shù)據(jù)庫中讀取信息。自動(dòng)生成基本的SQL語句【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)選項(xiàng)描述步驟名稱步驟的名稱，在單一的步驟中，名稱必需唯一。連接讀取數(shù)據(jù)的數(shù)據(jù)庫連接。SQLSQL語句用來從數(shù)據(jù)庫連接中讀取數(shù)據(jù)。從步驟插入數(shù)據(jù)指定我們期待讀取數(shù)據(jù)的步驟名稱。這些信息能被插入到SQL語句。限制設(shè)置從數(shù)據(jù)庫中讀取的行數(shù)。 0所有行。示例：指定如下SQL語句:屈"1西wd date E

22、MHW言：；起二:注：日期可以從“獲取系統(tǒng)信息”步驟類型中獲取。word格式3.3 EXCEL 輸入【功能描述】這個(gè)步驟從EXCELS件輸入數(shù)據(jù)【操作步驟或操作內(nèi)容】功能1 :指定文件名參考3.1文本文件輸入功能2:指定內(nèi)容選項(xiàng)描述頭部檢查是否，作表指定了一個(gè)頭部行。非空記錄檢查是否不需要空行輸出。停在空記錄當(dāng)步驟在讀取工作表遇到一個(gè)空行的時(shí)候停止讀取。限制限制輸出的行數(shù)，0代表輸出所有行。功能3:字段和錯(cuò)誤處理參考3.1文本文件輸入3.4 CSV文件輸入【功能描述】這個(gè)步驟從CSW件輸入數(shù)據(jù)【操作步驟或操作內(nèi)容】選項(xiàng)描述文件名csVc件名。分割符文件中使用的分割符。#附件只將符號內(nèi)的字符串輸

23、入。NIO的緩沖區(qū)大小定義緩沖區(qū)大小。延遲轉(zhuǎn)換是否延遲轉(zhuǎn)換。標(biāo)題行存在是否去掉標(biāo)題行。添加文件名到結(jié)果是否在結(jié)果中輸出文件名。行號字段行號字段命名。并行運(yùn)行指定并行屬性。文件編碼選擇字符集編碼。3.5 文本文件輸出【功能描述】這個(gè)步驟將數(shù)據(jù)流輸出到文本文件【操作步驟或操作內(nèi)容】功能1 :指定文件選項(xiàng)描述文件名稱輸出文件名。以命令行方式運(yùn)行根據(jù)指定，把結(jié)果輸出到命令行或者腳本。擴(kuò)展名在文件名的最后添加一個(gè)點(diǎn)和擴(kuò)展名（ .txt ）。文件名里包含步驟數(shù)如果你在多個(gè)拷貝中運(yùn)行步驟，拷貝的數(shù)量將包含到文件名中（在擴(kuò)展名之前）。文件名包含分區(qū)文件名中包含數(shù)據(jù)分區(qū)數(shù)量。文件名包含日期文件名中包含系統(tǒng)日期（

24、_20041231 ）。文件名包含時(shí)間文件名中包含系統(tǒng)時(shí)間（_235959）。特殊日期格式指定特殊日期格式。功能2:指定內(nèi)容選項(xiàng)描述追加是否在指定的文件最后追加行。分隔符指定在文本中分隔字段的字符，例如；或者制表符。封閉符封閉字段的一對字符?？蛇x。頭部如果你想有一個(gè)頭部行，使這個(gè)選項(xiàng)可用（文件第一行）。尾部如果你想有一個(gè)尾部行，使這個(gè)選項(xiàng)可用（文件最 行）。格式DOS或者UNIX。UNIX文件行分隔符是換行符。DOS文件可以是換行符或者回車符。編碼指定文件使用的編碼。如果空白就使用系統(tǒng)缺省的編碼。壓縮指te壓縮的尖型（zip或者gzip）。長度固定在字段最后添加空格或者刪除字符，直到長度達(dá)到指

25、定。快速數(shù)據(jù)導(dǎo)出當(dāng)處理大量數(shù)據(jù)到一個(gè)文本文件時(shí)，提高性能。（不包含 任何格式化信息）。分拆每一行如果N比0大，用N行拆分文本文件，分割成多個(gè)部分。增加文件結(jié)束行指定輸出文本的結(jié)束行。功能3:指定字段參考3.1文本文件輸入3.6 表輸出【功能描述】這個(gè)步驟將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫表【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)選項(xiàng)描述連接用來寫數(shù)據(jù)的數(shù)據(jù)庫連接。目標(biāo)模式數(shù)據(jù)庫的模式名。目標(biāo)表要與數(shù)據(jù)的表名。提交記錄數(shù)量在數(shù)據(jù)表中用事務(wù)插入行。如果 N比0大，每N行提交一 次連接。否則，不使用事務(wù)，速度會(huì)，慢一些。裁列表在A行數(shù)據(jù)插入之前裁剪表。忽略插入錯(cuò)誤使Kettle 忽略比喻違反主鍵約束之類的插入錯(cuò)誤，最多

26、 20個(gè)警告將被日志記錄。在批量插入的時(shí)候這個(gè)功能不 可用。使用批量插入如果你想批量插入的話，就使用這個(gè)選項(xiàng)。這個(gè)選項(xiàng)的速 度最快，默認(rèn)被選上。表分區(qū)數(shù)據(jù)使用這個(gè)選項(xiàng)可以在多個(gè)表之間拆分?jǐn)?shù)據(jù)。word格式表名定義在一個(gè)字段使用這些選項(xiàng)可以拆分?jǐn)?shù)據(jù)到一個(gè)或者多個(gè)表里，目標(biāo)表名可以用你指定的字段來定義。例如如果你想存儲(chǔ)顧客性別數(shù)據(jù)，這些數(shù)據(jù)可能會(huì)存儲(chǔ)到表 MK表F里面（female女 性和male男性表）。這個(gè)選項(xiàng)可以阻止這些字段插入到 對應(yīng)的表里。返回一個(gè)自動(dòng)產(chǎn)生的關(guān)鍵字往表中插入行時(shí)，是否產(chǎn)L個(gè)關(guān)鍵字。自動(dòng)產(chǎn)生關(guān)鍵字的字段名稱指定包含關(guān)鍵字的輸出字段的字段名稱。指定數(shù)據(jù)庫字段只導(dǎo)入指定的字段，

27、多余的字段忽略。功能2:字段值與數(shù)據(jù)流對應(yīng)Main options Database £ieldsFields to inEert：Ef 上Ttile . . Str* ，2SWH_DATEsum_dateAREAtr tt4I«SIimsitield mapping5IPAYMENTID payment3.7 EXCEL 輸出【功能描述】這個(gè)步驟將數(shù)據(jù)寫入EXCELo【操作步驟或操作內(nèi)容】選項(xiàng)描述文件名和擴(kuò)展名用于指定輸出文件。不要在啟動(dòng)時(shí)創(chuàng)建文件只寫入已存在義件。文件名里包含步驟數(shù)允許文件并行創(chuàng)建，并在文件名里包含步驟數(shù)。文件名里包含日期在文件名里包含日期。文件名里包含

28、時(shí)間在文件名里包含時(shí)間。指定日期時(shí)間格式指定日期時(shí)間格式。添加文件名到結(jié)果中輸出字段中包含文件名字段。功能2:指定內(nèi)容word 格式自動(dòng)調(diào)整列大小口 保鑿空值（WX） 步驟名稱文件內(nèi)容字段 _追加頭0模板使用模板口取士式模版+. -1 1 ate.xls® I瀏覽而二追加Excj模版口確定 | 取消© 選項(xiàng)描述追加追加記錄。頭檢查表單是否有頭部。腳檢查表單是否有尾部。編碼指定EXCEL1單使用的編碼。分割所有行分割數(shù)據(jù)到幾個(gè)輸出文件中。使用模板輸出的EXCEL數(shù)據(jù)是否使用模板。EXCELS格式化EXCEL輸出的模板的名稱。追力口 EXCEL®是否將EXCEL輸出添

29、加到指定的EXCEL模板中。指定你想輸出到EXCEL文件中的字段3.8 插入 / 更新【功能描述】這個(gè)步驟利用查詢關(guān)鍵字在表中搜索行。如果行沒有找到，就插入行。 如果能被找到， 并且要被更新的字段沒有任何改變， 就什么也不做。如果有不同，行就會(huì)被更新。 ?！静僮鞑襟E或操作內(nèi)容】功能 1：指定選項(xiàng)word格式選項(xiàng)描述連接用來寫數(shù)據(jù)的數(shù)據(jù)庫連接。目標(biāo)模式數(shù)據(jù)庫的模式名。目標(biāo)表要寫數(shù)據(jù)的表名。提交記錄數(shù)量提交之前要改變（插入/更新）的行數(shù)。不執(zhí)行任何更新如果被選擇，數(shù)據(jù)庫的值永遠(yuǎn)不會(huì)被更新。 僅僅可以插入。用來查詢的關(guān)鍵字可以指定字段值或者比較符?？梢杂靡韵卤容^符：=,<>,<,&

30、lt;=,>,LIKE,BETWEEN,IS NULL,IS NOT NULL 。更新字段指定你想要插入/更新的字段。3.9 更新【功能描述】這個(gè)步驟查找當(dāng)前數(shù)據(jù)庫符合要求的記錄，并更新指定字段【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)更新口叵區(qū)# 表字段比較將流里的字段1流里的字段之1用來查詢值的關(guān)鍵字：費(fèi)取字段更新字段表字殷流里的字段獲取更新字段確走)| 取消© 刈L選項(xiàng)描述連接用來寫數(shù)據(jù)的數(shù)據(jù)庫連接。目標(biāo)模式數(shù)據(jù)庫的模式名。目標(biāo)表要與數(shù)據(jù)的表名。提交記錄數(shù)量提交之前要改變的行數(shù)。跳過掃描不執(zhí)行查詢。忽略查詢失敗如果被選擇，則查詢失敗時(shí)不執(zhí)行任何操作。用來查詢值的關(guān)鍵字可以指定

31、字段值或者比較符?？梢杂靡韵卤容^符：=,<>,<,<=,>,LIKE,BETWEEN,IS NULL,IS NOT NULL 。更新了段指定你想要更新的字段。3.10 刪除【功能描述】這個(gè)步驟查找當(dāng)前數(shù)據(jù)庫符合要求的記錄，并刪除?！静僮鞑襟E或操作內(nèi)容】功能1:指定選項(xiàng)word格式功能1:指定選項(xiàng)13回區(qū)I登聯(lián)字段薦-表字段比較符流里的字段1流里的字段Z1查詢值所需的關(guān)鍵字：確定©)取消©選項(xiàng)描述連接用來寫數(shù)據(jù)的數(shù)據(jù)庫連接。目標(biāo)模式數(shù)據(jù)庫的模式名。目標(biāo)表要寫數(shù)據(jù)的表名。提交記錄數(shù)量提交之前要改變的行數(shù)。查詢值所需的關(guān)鍵字可以指定字段值或者比較符。

32、可以用以下比較符：=,<>,<,<=,>,LIKE,BETWEEN,IS NULL,IS NOT NULL 。3.11 調(diào)用DB存儲(chǔ)過程【功能描述】這個(gè)步驟允許你運(yùn)行一個(gè)數(shù)據(jù)庫存儲(chǔ)過程，獲取返回結(jié)果【操作步驟或操作內(nèi)容】選項(xiàng)描述連接存儲(chǔ)過程所有的數(shù)據(jù)庫的連接名稱。存儲(chǔ)過程名稱調(diào)用的存儲(chǔ)過程或者函數(shù)名稱。自動(dòng)提交在運(yùn)行存儲(chǔ)過程的時(shí)候自動(dòng)提交。返回值名稱調(diào)用存儲(chǔ)過程或者函數(shù)返回結(jié)果的名稱。返回值類型調(diào)用存儲(chǔ)過程或者函數(shù)返回結(jié)果的類型。參數(shù)存儲(chǔ)過程或者函數(shù)需要的參數(shù)列表。3.12 Switch 分支【功能描述】這個(gè)步驟允許你將數(shù)據(jù)流按條件分流，輸送到不同的下一個(gè)步驟【操

33、作步驟或操作內(nèi)容】word格式【操作步驟或操作內(nèi)容】選項(xiàng)描述字段名稱轉(zhuǎn)換待判斷分流條件的字段名。使用字符串包含開啟模糊匹配?；剡x擇數(shù)據(jù)類型。格式表達(dá)式指定數(shù)據(jù)的格式（數(shù)字格式或日期格式）。小數(shù)點(diǎn)符號指定小數(shù)點(diǎn)符號。分組符號指定分組符號。值指定不同的值，以及相應(yīng)的目標(biāo)步驟。3.13 修改 Java Script 的值【功能描述】這個(gè)步驟允許你用JavaScript語言做復(fù)雜的運(yùn)算功能1 ：指定選項(xiàng)腳本期11Java腳本.步腰名稱里+號換腳本上已受操常數(shù)*e轉(zhuǎn)變功能-輸入手段B datetime刁口中帶入字貸部 d&letimt. KetValufr (vaj甘凰本L國/虻力var dmc

34、nthHdo e2 _ tr (datat ims, " yyyyHM"):字段名稱 戰(zhàn)名為>11行號0兼容模式？類型長度精室String替換值'字段名'前面新命. 否睹定坦)取消©藪取變量測鼠腳本gJava腳本功能針對可用的腳本、函數(shù)、輸入字段和輸出字段，提供一個(gè)樹菜單瀏覽。腳本這個(gè)區(qū)域?yàn)槟闾峁┠_本的編輯。你可以插入函數(shù)、常量、輸入字段等等字段字段表包含了腳本變量的列表，其中包括元數(shù)據(jù)。獲取變量獲取腳本中的變量列表。測試腳本word 格式測試腳本的語法。3.14 值映射【功能描述】這個(gè)步驟簡單的映射字符串，從一個(gè)值映射到另一個(gè)值。例如：如果

35、你想替換Language codes ，你可以：使用的字段名： LanuguageCode目標(biāo)字段名： LanguageDesc源值 / 目標(biāo)值：EN/English,FR/French,NL/Dutch,ES/Spanish,DE/German,【操作步驟或操作內(nèi)容】功能 1：指定選項(xiàng)word格式值映射匚I百疑告驟名稱：審腳騰if,匡使用的字段名：mincutv j目標(biāo)字段名(empty=o ver write) 3r 啟 取裁認(rèn)時(shí)不匹配：o字段值:#源值目標(biāo)值A(chǔ)11330221200c21330222200313302232004133022420051330225200613302262

36、0C1133022720081330226200g133022920C10133023020011133023175512133023220013133023320。Id1 胃 TrtPWd7W1選項(xiàng)描述使用的字段名待進(jìn)行值映射轉(zhuǎn)換的字段名。源值轉(zhuǎn)換前的值。目標(biāo)值轉(zhuǎn)換后的值。3.15 列轉(zhuǎn)行【功能描述】這個(gè)步驟允許你將按列存儲(chǔ)的數(shù)據(jù)轉(zhuǎn)換為按行存儲(chǔ)【操作步驟或操作內(nèi)容】選項(xiàng)描述分隔字段需要列轉(zhuǎn)行的字段名。分隔符字段中的分隔符。新字段名轉(zhuǎn)換后的字段名。3.16 去除重復(fù)記錄【功能描述】這個(gè)步驟允許你去除關(guān)鍵字重復(fù)的記錄。【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)選項(xiàng)描述拒絕重復(fù)行增加重復(fù)行數(shù)到輸出。錯(cuò)

37、誤描述包含重復(fù)行號的字段的名稱。用來比較的字段指定重復(fù)值字段。3.17 去除重復(fù)記錄（哈希集合）【功能描述】參考3.16去除重復(fù)記錄3.18 增加常量【功能描述】這個(gè)步驟很簡單，主要是添加常量到流中。它的使用也很容易：用字符串形式指定名稱，類型和值。利用選擇 的數(shù)據(jù)類型指定轉(zhuǎn)換格式。word格式【操作步驟或操作內(nèi)容】功能1 ：指定選項(xiàng)步驟名稱腐c增加常數(shù)加常量選項(xiàng)描述名稱增加的字段名稱。舊字段類型。格式字段格式（數(shù)據(jù)格式、日期格式）。長度、精度增加的字段的長度和精度。3.19 增加序列【功能描述】這個(gè)步驟在流中增加一個(gè)序列。一個(gè)序列是在某個(gè)起始值和增量的 基礎(chǔ)上，經(jīng)常改變的整數(shù)值。你可以使用數(shù)

38、據(jù)庫的序列，也可以使用ETL 工具決定的序列。備注：ETL序列在同一個(gè)轉(zhuǎn)換中是唯一使用的。每一次轉(zhuǎn)換運(yùn)行的時(shí)候，序列的值又會(huì)重新循環(huán)一次（從開始值開始）功能1 ：指定選項(xiàng)選項(xiàng)描述值的名稱新序列值的名稱，將被添加到流中。使用數(shù)據(jù)庫獲取序列如果想使用數(shù)據(jù)庫的序列，使用些選項(xiàng)。使用計(jì)數(shù)器來計(jì)算序列如果想使用ETLX具生成的序列，使用此選項(xiàng)。計(jì)數(shù)器名稱（可選）如果一個(gè)轉(zhuǎn)換中多個(gè)步驟生成同樣的值名稱，這個(gè) 選項(xiàng)允許你指定計(jì)數(shù)器的名稱，避免按照先后順序 通過多個(gè)步驟。3.20字段選擇【功能描述】word格式這個(gè)步驟常常用來：選擇字段、重命名字段、指定字段的長度或者精度。卜面是三個(gè)不同標(biāo)簽的功能: 1、選擇

39、和修改：指定需要流到輸出流中的字段的精確順序和名稱。2、刪除：指定必須從輸出流中刪除的字段。3、元數(shù)據(jù)：修改元數(shù)據(jù)字段的名稱、類型、長度和精度?！静僮鞑襟E或操作內(nèi)容】功能1 ：指定選項(xiàng)inl2S字段選擇獲取選擇的字段確定I取消|步驟名稱選擇和修霞7除元數(shù)據(jù) 1Edrt Mapping選項(xiàng)描述字段名稱選擇或者修改的字段名稱。改名如果不想改名，就使用空白。長度輸入數(shù)字指定長度（-1 :代表沒有長度指定）。精度輸入數(shù)字指定精度（-1 :代表沒有精度指定）。3.21字符串裁剪【功能描述】這個(gè)步驟允許你將數(shù)據(jù)流中的字符串進(jìn)行裁剪，生成新的字符串【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)選項(xiàng)描述在流中輸入流中

40、的原字段名。輸出流裁剪后的輸出字段名。開始開始裁剪位置（若從 A個(gè)字符開始，填 0）。結(jié)束結(jié)束裁剪位置（第一個(gè)字符為 1，依次類推）。3.22 封鎖步驟【功能描述】這是一個(gè)非常簡單的步驟。它凍結(jié)所有的輸出，直到從上一步驟來 的最后一行數(shù)據(jù)到達(dá)，最后一行數(shù)據(jù)將發(fā)送到下一步。你可以使用這個(gè)步 驟觸發(fā)常用插件、存儲(chǔ)過程和 Java Script等等。【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)如被凍結(jié)的步彝nrnifx確是） 一版消選項(xiàng)描述通過所有行勾選這個(gè)選項(xiàng)將使所有行都通過，行。不勾選則只通過最舟-3.23 執(zhí)行SQL卻本【功能描述】在這個(gè)步驟中你可以執(zhí)行 SQL腳本，或者在轉(zhuǎn)換初始化的時(shí)候執(zhí) 行，或

41、者在步驟的每一個(gè)輸入行執(zhí)行。可以在 SQL腳本中使用參數(shù)。word格式功能1 ：指定選項(xiàng)選項(xiàng)描述數(shù)據(jù)庫連接指定一個(gè)數(shù)據(jù)庫連接。SQL卻本輸入SQL卻本，腳本中的？將被參數(shù)替代。執(zhí)行每一行接收來自前一步驟的每一行，都執(zhí)行一遍SQL卻本。作為單個(gè)語句執(zhí)行將整個(gè)SQL卻本作為單個(gè)語句執(zhí)行。變量替換替換腳本中的變量。參數(shù)指定來自前一步驟的參數(shù)字段。包含插入狀態(tài)的字段在輸出流中包含插入狀態(tài)的統(tǒng)計(jì)。包含更新狀態(tài)的字段在輸出流中包含更新狀態(tài)的統(tǒng)計(jì)。包含刪除狀態(tài)的字段在輸出流中包含刪除狀態(tài)的統(tǒng)計(jì)。包含讀狀態(tài)的字段在輸出流中包含查詢狀態(tài)的統(tǒng)計(jì)。3.24 執(zhí)行SQL卻本行【功能描述】這個(gè)步驟允許你運(yùn)行一個(gè)數(shù)據(jù)庫存

42、儲(chǔ)過程，獲取返回結(jié)果【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)選項(xiàng)描述數(shù)據(jù)庫連接指定一個(gè)數(shù)據(jù)庫連接。提交一次提交的行數(shù)。SQ字段名SQ用句包含的字段名。字段以包含插入的統(tǒng)計(jì)在輸出流中包含插入狀態(tài)的統(tǒng)計(jì)。字段以包含更新的統(tǒng)計(jì)在輸出流中包含更新狀態(tài)的統(tǒng)計(jì)。字段以包含刪除的統(tǒng)計(jì)在輸出流中包含刪除狀態(tài)的統(tǒng)計(jì)。word格式字段以包含查詢的統(tǒng)計(jì)在輸出流中包含查詢狀態(tài)的統(tǒng)計(jì)。3.25 拆分字段【功能描述】這個(gè)步驟允許你根據(jù)分隔符來拆分字段【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)選項(xiàng)描述word格式需要拆分的字段想要拆分的字段的名稱。分隔符決定字段結(jié)束的分隔符。字段拆分形成的字段列表。例如：SALES_VALUE群

43、段包含：“500,300,200,100 ”，使用以下的設(shè)置可以將字段拆分成4個(gè)字段：分隔符：，字段：SALE1, SALE2, SALE3, SALE4Id:移除 ID： no,no,no,no類型：Number, Number, Number, Number格式：#.#,#,#,#.#,#.#分組：十進(jìn)制：貨幣：長度：3, 3, 3, 3精度：0, 0, 0, 03.26 排序記錄【功能描述】這個(gè)步驟利用你指定的字段排序行，無論他們是按照升序還是降序備注：當(dāng)行數(shù)超過5000行的時(shí)候，將使用臨時(shí)文件來排序行?！静僮鞑襟E或操作內(nèi)容】功能1:指定選項(xiàng)目記錄排序回回區(qū)怛忸傳遞聿重復(fù)的記錄？（恒忸校

44、驍關(guān)僚字）手段:#字曲名秫升與大小富國慝南定W取消©弦里字段選項(xiàng)描述排序目錄臨時(shí)文件存儲(chǔ)的目錄。如果缺省則為標(biāo)準(zhǔn)的系統(tǒng)臨時(shí)文件夾。排序緩存大小存儲(chǔ)在內(nèi)存中的行越多，排序的速度就越快。臨時(shí)文件前綴選擇一個(gè)好記的前綴，以便在臨時(shí)目錄中容易尋找。壓縮臨時(shí)文件當(dāng)需要完成排序的時(shí)候，這個(gè)選項(xiàng)將壓縮臨時(shí)文件。未使用的內(nèi)存限值限定內(nèi)存使用限度。僅僅傳遞非重復(fù)記錄去除重復(fù)記錄。字段指定排序字段，升序或降序等。3.27 數(shù)據(jù)庫查詢【功能描述】這個(gè)步驟允許你運(yùn)行一個(gè)數(shù)據(jù)庫存儲(chǔ)過程，獲取返回結(jié)果【操作步驟或操作內(nèi)容】功能1 ：指定選項(xiàng)選項(xiàng)描述數(shù)據(jù)庫連接指定待查詢的數(shù)據(jù)庫連接。查找模式指定數(shù)據(jù)庫模式，一般為

45、數(shù)據(jù)庫用戶名。查詢的表指定待查詢的表名。使用緩存指定是否使用數(shù)據(jù)庫緩存查詢結(jié)果。查詢所需關(guān)鍵字指定查詢條件。word格式查詢表返回的值指定返回結(jié)果。排序指定排序方式。3.28 數(shù)據(jù)庫連接【功能描述】這個(gè)步驟允許你使用先前步驟的數(shù)據(jù)，運(yùn)行一個(gè)數(shù)據(jù)庫查詢能夠指定查詢參數(shù)：1、在SQL查詢中使用”2、在SQL查詢中使用數(shù)據(jù)網(wǎng)格中的字段例如：cos r m rFROMpiDduct oi zlers, eusLdei&rMHER£白工片工區(qū)，亡li H E.白EneEn工 " 仁口四亡,口£包工亡u巴L白匚班工Ei工ANDDxdei s .pr t>dii

46、ctnr ?ORDER BY Cue T.Qtti-E* i * g 口E _hl I Lh【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)word格式【操作步驟或操作內(nèi)容】數(shù)據(jù)庫連接IZI叵區(qū)步驟名稱數(shù)據(jù)庫連摟數(shù)據(jù)叫接丁族-fi版二返回的行數(shù),外連接?替換變量口使用的參數(shù):#參數(shù)字段名參數(shù)類型確定取消© H 援百字段|選項(xiàng)描述數(shù)據(jù)庫連接使用的數(shù)據(jù)庫連接。SQL查詢腳本，用？號代表參數(shù)。返回的行數(shù)0代表所有行，其它數(shù)字限制行的輸出。外連接如果選中了這個(gè)，總是會(huì)返回一個(gè)結(jié)果， 就算查詢腳本沒有結(jié)果。替換變量替換查詢中的變量。參數(shù)查詢中使用的參數(shù)。3.29 替換字符串【功能描述】這個(gè)步驟允許你使用

47、指定的字符串替換輸入流中的指定字符串，并生成新的輸出字段功能1 ：指定選項(xiàng)選項(xiàng)描述輸入輸入流字段名，待替換的字段。輸出輸出流字段名，替換后的字段。使用正則表達(dá)式替換的正則表達(dá)式。搜索搜索待替換的字符串。替換替換為何值。全字是否全字替換。區(qū)分大小寫是否區(qū)分大小寫。3.30 空操作【功能描述】這個(gè)操作什么都不做。它的主要作用是，在你想測試什么的時(shí)候， 充當(dāng)一個(gè)占位符。例如有一個(gè)轉(zhuǎn)換，你至少需要兩個(gè)彼此連接的步驟， 再集中輸入到一個(gè)步驟，你可以將它連接到一個(gè)空操作步驟。例如以下 的示例：空操作（什么也不做）3.31行扁平化【功能描述】這個(gè)步驟將數(shù)據(jù)流中的一個(gè)字段拆分為多個(gè)字段，從而將多行合并 為一行

48、?！静僮鞑襟E或操作內(nèi)容】功能1:指定選項(xiàng)word格式指定需要拆分的字段，以及拆分后的目標(biāo)字段示例:FieldlField2Field3FlattenABCOneABCTwo可以扁平化為:FieldlField2Field3TargetlTarget2ABCOneTwo3.32行標(biāo)準(zhǔn)化【功能描述】這個(gè)步驟轉(zhuǎn)動(dòng)表，標(biāo)準(zhǔn)化數(shù)據(jù)例如以下的銷售數(shù)據(jù):MonthProductAProduct2003/01105172003/0212719你想把它轉(zhuǎn)換成以下數(shù)據(jù):MonthProductSales2003/01A102003/01B52003/01C17【操作步驟或操作內(nèi)容】功能1 ：指定選項(xiàng)字卷步驟名稱

49、|row Normal iser 字段類型typefield4字殷名福類型1新的字段1I心肖word格式選項(xiàng)描述字段類型子段類型的名稱。（例如在本例中的Product ）字段字段名稱：標(biāo)準(zhǔn)化的字段名稱（例如示例中的Product A ,Product C 等）。類型：用字符串分類字段（例如示例中的A, B, Q。新字段：你可以指定一個(gè)或者多個(gè)新值將要轉(zhuǎn)入的字段（例 如示例中的sales ）。備注：可以一次轉(zhuǎn)換多個(gè)字段。3.33 計(jì)算器【功能描述】這個(gè)步驟提供一個(gè)功能列表，可以在字段值上運(yùn)行。計(jì)算器的一個(gè)重要優(yōu)勢是，它有著幾倍于常用的JavaScript腳本的速度。【操作步驟或操作內(nèi)容】功能1:指定選項(xiàng)word格式Fillarvalue A1 A*fl v-ld tv