JAVA版數(shù)據(jù)清洗工具操作手冊(cè)

第第8頁(yè)共30頁(yè)【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.010111011]草案[]正式公布[]正在修訂序號(hào)版本變更描述變更履歷修訂人審核/日期批準(zhǔn)/日期11.0草案屈雪23456789名目\l“_TOC_250028“系統(tǒng)初始化 3\l“_TOC_250027“創(chuàng)立MySQL中間庫(kù)etl-mid 3\l“_TOC_250026“修改中間庫(kù)配置文件conf/mysql.xml 5\l“_TOC_250025“中間庫(kù)配置文件 5\l“_TOC_250024“導(dǎo)入建表腳本conf/etl-mid.sql 5\l“_TOC_250023“系統(tǒng)啟動(dòng) 7\l“_TOC_250022“啟動(dòng)ETL工具 7\l“_TOC_250021“主界面 8\l“_TOC_250020“系統(tǒng)主界面 8\l“_TOC_250019“主界面介紹 8\l“_TOC_250018“模塊功能 9\l“_TOC_250017“任務(wù) 9\l“_TOC_250016“任務(wù) 9\l“_TOC_250015“翻開(kāi)配置文件 9\l“_TOC_250014“配置文件編寫指導(dǎo) 10\l“_TOC_250013“測(cè)試數(shù)據(jù)源〔是否可以連接數(shù)據(jù)庫(kù)〕 11\l“_TOC_250012“執(zhí)行任務(wù)或停頓任務(wù) 12\l“_TOC_250011“定時(shí)設(shè)置 14\l“_TOC_250010“具體錯(cuò)誤日志 15\l“_TOC_250009“字典治理 16\l“_TOC_250008“字典治理主界面 16\l“_TOC_250007“機(jī)構(gòu)類別治理 17\l“_TOC_250006“字典治理 23\l“_TOC_250005“字典子項(xiàng)治理 25\l“_TOC_250004“參數(shù)配置 27\l“_TOC_250003“系統(tǒng)幫助 28\l“_TOC_250002“系統(tǒng)幫助 28常見(jiàn)或重點(diǎn)關(guān)注的問(wèn)題 29導(dǎo)入字典文本 29\l“_TOC_250001“格式及編碼 29數(shù)據(jù)庫(kù) 30\l“_TOC_250000“5.2.1 密碼 301-4：建數(shù)據(jù)庫(kù)第第8頁(yè)共30頁(yè)【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0系統(tǒng)初始化MySQLetl-mid安裝MySQL數(shù)據(jù)庫(kù)。安裝NavicatPremium數(shù)據(jù)庫(kù)治理工具。圖1-1NavicatPremium1-2所示。1-2：創(chuàng)立連接1-3所示。1-3：連接數(shù)據(jù)庫(kù)右鍵點(diǎn)擊連接，建數(shù)據(jù)庫(kù)。操作如圖1-4所示。建數(shù)據(jù)庫(kù)，操作如圖1-5etl-miUnicodutf8_general_c1-5：建數(shù)據(jù)庫(kù)conf/mysql.xml中間庫(kù)配置文件中間庫(kù)配置文件為文件夾configmysql.xml。1-6：中間庫(kù)配置文件中間庫(kù)配置文件中，可以配置效勞器名稱、數(shù)據(jù)庫(kù)名稱、登錄名、密碼和數(shù)據(jù)源最大連接數(shù)，1-7所示。1-7：中間庫(kù)配置導(dǎo)入建表腳本conf/etl-mid.sql翻開(kāi)治理工具NavicatPremium，右鍵點(diǎn)擊數(shù)據(jù)庫(kù)，運(yùn)行SQL文件。圖1-8SQL文件選擇運(yùn)行的sql文件〔如圖1-9所示，操作如圖1-10所示。1-9：中間庫(kù)圖1-10SQL文件也可以導(dǎo)入建表腳本，輸入命令行：sourse<文件名目>/conf/etl-mid.sql。【盛唐】JAVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0【盛唐】JAVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0系統(tǒng)啟動(dòng)ETL工具將名為ETLTools.rar2-1所示的文件夾appTool。2-1：解壓壓縮包進(jìn)入文件夾，雙擊etltools.jar,2-3所示。2-2：雙擊啟開(kāi)工具2-3：工具主界面第8頁(yè)共30頁(yè)【盛唐】JAVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0【盛唐】JAVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0主界面系統(tǒng)主界面主界面介紹通過(guò)頂端導(dǎo)航選擇操作；其它三個(gè)區(qū)域可進(jìn)展相關(guān)信息的查看。3-1：主界面介紹可以通過(guò)點(diǎn)擊如圖3-2所示的箭頭，伸縮區(qū)域，便利查看相應(yīng)信息。也可以通過(guò)鼠標(biāo)，拖動(dòng)邊框，調(diào)整區(qū)域適合的大小。3-2：區(qū)域伸縮第8頁(yè)共30頁(yè)JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0【盛唐】JAVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0無(wú)錫曼荼羅軟件第14無(wú)錫曼荼羅軟件第14共30無(wú)錫曼荼羅軟件9無(wú)錫曼荼羅軟件930模塊功能任務(wù)任務(wù)4-1所示菜單。翻開(kāi)配置文件

4-1：點(diǎn)擊任務(wù)點(diǎn)擊“翻開(kāi)配置文件4-2所示。彈出如圖4-4所示窗口。4-2：翻開(kāi)配置文件〔taskId沒(méi)有重復(fù)，且配置文件編碼為UTF-8時(shí)template.xml4-4所示。4-3：配置文件模板4-4：選擇配置文件配置文件編寫指導(dǎo)

圖4-5：添加的任務(wù)mysql.xml配置文件為該工具的數(shù)據(jù)庫(kù)配置文件，即中間庫(kù)配置文件。依據(jù)實(shí)際狀況修改效勞器地址，數(shù)據(jù)庫(kù)名稱等信息。圖4-6：清洗工具數(shù)據(jù)庫(kù)配置JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0無(wú)錫曼荼羅軟件第14無(wú)錫曼荼羅軟件第14共30無(wú)錫曼荼羅軟件第14無(wú)錫曼荼羅軟件第14共30添加任務(wù)時(shí)需翻開(kāi)配置文件，配置文件編寫請(qǐng)參考template.xml。mysql、sqlserver、oracle數(shù)4-7所示。4-7：數(shù)據(jù)庫(kù)配置每個(gè)任務(wù)有唯一的taskId；具體參數(shù)請(qǐng)查看template.xml文件。上傳至效勞器的數(shù)據(jù)轉(zhuǎn)換規(guī)章和TransformSupport.js〔轉(zhuǎn)換、ValidateSupport.js〔校驗(yàn)〕文件中添加方法。如圖4-8TransformRuldic后面對(duì)應(yīng)字典碼；如為“customdictCode”后面通過(guò)“$JS”調(diào)用對(duì)應(yīng)TransformSupport.jsvalidateMethod”后面“$SYS”為使用系統(tǒng)方法，$JS為調(diào)用ValidateSupport.js里的校驗(yàn)方法。提示：系統(tǒng)內(nèi)置校驗(yàn)方法在CommonUtil.java中。autoUploatru”時(shí)，清洗數(shù)后直接上傳至目標(biāo)效勞器fals”時(shí)不會(huì)上傳。4-8：任務(wù)配置測(cè)試數(shù)據(jù)源〔是否可以連接數(shù)據(jù)庫(kù)〕4-9所示。彈出如圖4-10所示窗口。4-9：測(cè)試數(shù)據(jù)源選擇數(shù)據(jù)庫(kù)信息前的復(fù)選框，點(diǎn)擊“測(cè)試”按鈕，對(duì)數(shù)據(jù)源進(jìn)展連接測(cè)試。操作如圖4-10所示。執(zhí)行任務(wù)或停頓任務(wù)

4-10：測(cè)試數(shù)據(jù)源選擇任務(wù)前的復(fù)選框，如圖4-11所示。選中任務(wù)，任務(wù)信息變藍(lán)色，可通過(guò)右鍵點(diǎn)擊任務(wù)，取消選定。執(zhí)行任務(wù)前，請(qǐng)測(cè)試數(shù)據(jù)源連接是否正常。4-11：選中任務(wù)4-12所示。4-12：執(zhí)行或停頓任務(wù)假設(shè)任務(wù)已經(jīng)執(zhí)行過(guò)，想要重執(zhí)行任務(wù)，其次次翻開(kāi)該任務(wù)對(duì)應(yīng)的配置文件，之前執(zhí)行的結(jié)果將會(huì)清空。留意：如停頓任務(wù)時(shí)，已經(jīng)上傳數(shù)據(jù)至中心效勞器，中心效勞器上的數(shù)據(jù)需手動(dòng)刪除。執(zhí)行任務(wù)中，可以查看執(zhí)行任務(wù)的具體信息，如圖4-13所示。4-13：執(zhí)行任務(wù)詳情執(zhí)行中產(chǎn)生的錯(cuò)誤信息會(huì)在右側(cè)區(qū)域顯示。4-14：執(zhí)行中產(chǎn)生的錯(cuò)誤信息當(dāng)執(zhí)行多個(gè)任務(wù)時(shí)，未選中任何一個(gè)任務(wù)，右側(cè)區(qū)域顯示任務(wù)錯(cuò)誤信息為全部執(zhí)行任務(wù)的錯(cuò)誤信息。當(dāng)任務(wù)列表選中一個(gè)任務(wù)時(shí)，右側(cè)區(qū)域顯示對(duì)應(yīng)任務(wù)的錯(cuò)誤信息。如圖4-15所示，左側(cè)任務(wù)列表選中taskId為“task_LISRESULT_TEST”的任務(wù)，右側(cè)區(qū)域顯示錯(cuò)誤信息都是taskId為“task_LISRESULT_TEST”的任務(wù)錯(cuò)誤信息。選中任務(wù)后需要查看全部信息時(shí)，鼠標(biāo)右鍵點(diǎn)擊選中的任務(wù)，所點(diǎn)擊的選中任務(wù)將取消選中。錯(cuò)誤信息列表將顯示全部未選中任務(wù)的錯(cuò)誤信息。定時(shí)設(shè)置

圖4-15：選中任務(wù)的執(zhí)行錯(cuò)誤信息設(shè)置定時(shí)設(shè)置功能的配置信息4-16所示。4-16：定制設(shè)置配置文件中，可以對(duì)“定時(shí)設(shè)置”功能進(jìn)展配置。配置信息如圖4-17autoStartTime”表示自動(dòng)化作業(yè)的開(kāi)頭時(shí)間cyclePerio”表示循環(huán)周期〔小時(shí)durationTim行多久〔小時(shí)template.xml。圖4-14-18所示窗口，在配置文件中設(shè)置的autoStartTime、cyclePeriod、durationTime值對(duì)應(yīng)“自動(dòng)執(zhí)行時(shí)間4-18：定時(shí)任務(wù)設(shè)置修改定時(shí)設(shè)置配置信息1.選擇需修改信息前的復(fù)選框〔每次只能選擇一個(gè)復(fù)選框息的方式，進(jìn)展修改。4-19：修改配置信息翻開(kāi)或關(guān)閉定時(shí)1.選擇需要執(zhí)行的任務(wù)前的復(fù)選框，點(diǎn)擊“開(kāi)啟定時(shí)”或“關(guān)閉定時(shí)”即可轉(zhuǎn)變?nèi)蝿?wù)的定時(shí)狀態(tài)。當(dāng)“狀態(tài)”為翻開(kāi)時(shí)，對(duì)應(yīng)的數(shù)據(jù)清洗任務(wù)將在指定時(shí)間〔即自動(dòng)執(zhí)行時(shí)間〕開(kāi)頭執(zhí)行，不需要手動(dòng)點(diǎn)擊“執(zhí)行任務(wù)一任務(wù)已經(jīng)設(shè)置定時(shí)，并“狀態(tài)”為翻開(kāi)，在非該任務(wù)執(zhí)行時(shí)間段內(nèi)，手動(dòng)執(zhí)行該任務(wù)，任務(wù)將被執(zhí)行，但系統(tǒng)檢測(cè)出當(dāng)前時(shí)間非該任務(wù)運(yùn)行時(shí)間時(shí)，任務(wù)停頓執(zhí)行。具體錯(cuò)誤日志

圖4-20：開(kāi)啟定時(shí)或關(guān)閉定時(shí)點(diǎn)擊“具體錯(cuò)誤日志4-21所示。彈出如圖4-22所示窗口。4-21：具體錯(cuò)誤日志在錯(cuò)誤日志窗口中，用戶可以選擇每頁(yè)條數(shù)，選擇任務(wù)，進(jìn)展查詢。點(diǎn)擊“清空錯(cuò)誤信息”按鈕，系統(tǒng)將清空數(shù)據(jù)庫(kù)中對(duì)應(yīng)的錯(cuò)誤記錄。如圖4-22所示。4-22：錯(cuò)誤日志執(zhí)行任務(wù)時(shí)，或執(zhí)行任務(wù)后，可以在任務(wù)右側(cè)查看錯(cuò)誤信息。錯(cuò)誤列表區(qū)域如圖4-23所示。字典治理

4-23：錯(cuò)誤信息字典治理主界面4-24所示窗口。4-24：字典治理4-25所示信息。4-25：按類別查看數(shù)據(jù)字典選擇字典信息，即可在下邊表格中查看對(duì)應(yīng)字典的子項(xiàng)信息。如圖4-26所示。機(jī)構(gòu)類別治理

4-26：查看字典子項(xiàng)4-27所示菜單。4-27：機(jī)構(gòu)類別治理4-28：添加子節(jié)點(diǎn)4-29所示的操作窗口。4-29：修改本節(jié)點(diǎn)點(diǎn)擊“刪除本節(jié)點(diǎn)4-30：刪除節(jié)點(diǎn)〔即機(jī)構(gòu)，將同時(shí)刪除其下屬機(jī)構(gòu)和字典。4-30：刪除節(jié)點(diǎn)警示框4.2.2.1。4.2.2.1 導(dǎo)入字典前的預(yù)備工作找出數(shù)據(jù)庫(kù)中字典表〔以表YY_YYDMK為例，如圖4-31作量很大時(shí)，可使用字典的導(dǎo)入功能，批量導(dǎo)入字典數(shù)據(jù)。4-31：字典表例如選中表格，右鍵點(diǎn)擊表格，選擇“導(dǎo)出向?qū)avicat支持mysql數(shù)據(jù)庫(kù)的界面治理工具。4-32：導(dǎo)出表選擇文本文件，點(diǎn)擊下一步。選擇導(dǎo)出地址，如圖4-34所示。4-33：選擇文本文件4-34：導(dǎo)出表取消全部欄位，選擇idname導(dǎo)出即可。4-35：選擇導(dǎo)出列4-36：選擇導(dǎo)出樣式下一步后，點(diǎn)擊“開(kāi)頭”按鈕，看到“Finished-Successfully”提示，即完成導(dǎo)出工作。4-37所示。4-37：導(dǎo)出表格結(jié)果在文本頂端添加字典名稱，例如[儀器或藥品狀態(tài)]。4-38：導(dǎo)入文本文件導(dǎo)入字典文本，如圖4-39所示。標(biāo)準(zhǔn)詞為存入數(shù)據(jù)庫(kù)的值，當(dāng)指定數(shù)據(jù)為近義詞集合中的某一個(gè)時(shí)，清洗后的數(shù)據(jù)為對(duì)應(yīng)的標(biāo)準(zhǔn)詞。導(dǎo)入時(shí)，標(biāo)準(zhǔn)詞默認(rèn)為源數(shù)據(jù)的第一列數(shù)據(jù)，具體使用中需要依據(jù)源字典和目標(biāo)庫(kù)字典的對(duì)應(yīng)關(guān)系進(jìn)展相應(yīng)修改。4-39：導(dǎo)入字典文本當(dāng)需要同時(shí)導(dǎo)入多個(gè)字典時(shí)，可以將多個(gè)表導(dǎo)出的結(jié)果存放在一個(gè)txt文件中，如以下圖。導(dǎo)入的txt文件編碼需設(shè)置為utf-8。4-40：批量導(dǎo)入字典字典治理查看字典1.依據(jù)條件快速搜尋字典信息，操作如圖4-41所示。4-41：搜尋數(shù)據(jù)字典增字典1.點(diǎn)擊“增”按鈕，添加數(shù)據(jù)字典信息，點(diǎn)擊“確定”按鈕，即可完成添加操作。4-42：增數(shù)據(jù)字典修改字典選擇字典信息前的復(fù)選框，點(diǎn)擊“修改”按鈕，操作如圖4-43所示，即可進(jìn)入如圖4-44所示的修改界面。留意：修改字典信息時(shí)，請(qǐng)選擇字典信息且只能選擇一條字典信息。雙擊字典信息記錄也可以彈出修改窗口。4-43：修改數(shù)據(jù)字典修改字典信息后，點(diǎn)擊“確定”按鈕，即可完成修改操作。4-44：修改字典信息刪除字典1.選擇字典前復(fù)選框，點(diǎn)擊“刪除”按鈕，完成刪除操作。如圖4-45所示。4-45：刪除字典字典子項(xiàng)治理增字典子項(xiàng)1.點(diǎn)擊“增字典子項(xiàng)”按鈕，進(jìn)展增字典子項(xiàng)操作。添加信息后，點(diǎn)擊“確定”按鈕，完4-46所示。JAVAJAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0JAVA版數(shù)據(jù)清洗工具操作手冊(cè)v1.0無(wú)錫曼荼羅軟件第14無(wú)錫曼荼羅軟件第14共30無(wú)錫曼荼羅軟件第14無(wú)錫曼荼羅軟件第14共304-46：增字典子項(xiàng)修改字典子項(xiàng)選擇字典子項(xiàng)信息前的復(fù)選框，點(diǎn)擊“修改字典子項(xiàng)”按鈕，操作如圖4-47所示。也可以通過(guò)雙擊信息方式，彈出修改窗口。4-47：修改字典子項(xiàng)修改字典子項(xiàng)信息，點(diǎn)擊“確定”按鈕，提交修改內(nèi)容。如圖4-48所示。4-48：修改字典子項(xiàng)刪除字典子項(xiàng)1.選擇字典子項(xiàng)前的復(fù)選框，點(diǎn)擊刪除字典子項(xiàng)按鈕，如圖4-49所示。參數(shù)配置

4-49：刪除字