任務單3_1：模擬案例1

1、任務單3 1:模擬案例11. 基本信息任務名稱模擬案例1預計時長5小時實際時長小時任務目標按要求自行完成文件的自動抽取重要知識點校驗任務、郵件通知工具資料工具：Tomcat； ETL客戶端；Mysql;參考文檔：久其ETL數(shù)據(jù)集成工具培訓（基本應用）；JQ_ETL久其ETL數(shù)據(jù)集成工具用 戶手冊（更新至4.1.3）2. 任務導讀某公司不定時向文件服務器上傳遞文件，包括校驗文件（.chk ）和數(shù)據(jù)文件 （.txt ）。文件名稱中的時期格式，如“ PX_20090801D”其中PX DX為固定字 母，“20090801”表示服務器日期（見附件）。檢測到文件后，需檢查文件是否在網(wǎng)絡傳輸過程中出現(xiàn)丟失

2、數(shù)據(jù)或者損壞。若傳輸中出現(xiàn)問題，發(fā)送郵件提示管理員（內(nèi)容不限）并將文件轉(zhuǎn)移到指定 目錄。若文件正常，將數(shù)據(jù)抽取到目標表 MNAL仲。下表命名為MNAL1模擬案例1）時期單位是否內(nèi)公司指標1指標2指標3指標4指標5銀行銀行運輸部公司名稱名稱卡號方式字符字符字符字符浮點浮點浮點浮點浮點字符字符字符950520018,218,218,218,218,220050100其中：時期：為9位字符串，格式為“年度+時期類型+期數(shù)”。如：2009Y0008 前四位取自源文件名中的年度；丫表示源文件中時期類型的值；后四位取自 源文件名中的月份（不足四位，左側(cè)補 0）單位:根據(jù)如下映射關系表將源單位代碼轉(zhuǎn)換為關系

3、表的目標單位代碼記錄到目標表中iSWRw21C2202 30辭3CO2402 50rw右的co2 GO磁甜3002 BO是否內(nèi)部公司：將原來的“是”、“否”轉(zhuǎn)換為“ T、“0”。（內(nèi)建） 公司名稱：剔除掉公司名稱字段中的前后空格。將名稱之中含有的英文括號替換成中文括號。運輸方式：根據(jù)文本中的信息轉(zhuǎn)換為其對應的代碼。清除記錄中存在一致的數(shù)據(jù)，將錯誤數(shù)據(jù)輸出到文件中。（重定向）知識點（來自JQ_ETL久其ETL數(shù)據(jù)集成工具用戶手冊（更新至 4.1.3）數(shù)據(jù)校驗任務：數(shù)據(jù)校驗任務用在檢測網(wǎng)絡傳輸?shù)奈募欠裼衼G失或者文件 內(nèi)數(shù)據(jù)在通過網(wǎng)絡傳輸后，是否與原文本內(nèi)容一致。該任務主要的原理是將要網(wǎng) 絡發(fā)送的

4、文件的大小及 MD5碼預存在一個控制文件中，通過比較控制文件中預存 的對應文件的文件大小及 MD5碼來比較文件是否發(fā)送成功或者是否完整。郵件任務：主要作用是發(fā)送郵件，ETL方案中使用郵件任務一般用于方案執(zhí) 行成功與否返回日志內(nèi)容。此任務可以單獨使用，配置好發(fā)送郵件的郵箱和接受 郵件的郵箱，點擊“執(zhí)行控制流”。在接受郵箱中可以接受到發(fā)送郵箱發(fā)送的一 封以主題和郵件內(nèi)容為內(nèi)容的郵件。3. 任務步驟解析：本案例模擬的是服務器生成的文件首先通過 ETL進行校驗，如果chk文件和 txt文件大小一致可按照導讀后續(xù)要求處理，如果不一致，需要發(fā)送郵件通知。 最終將處理結(jié)果輸出到目標表（MNAL1中。一、確認

5、啟動MySql服務和Tomcat服務；二、在控制流中編輯校驗數(shù)據(jù)，按照導讀中的要求，如果通過繼續(xù)進行控制流處理數(shù)據(jù)，如果失敗則發(fā)郵件通知，郵件內(nèi)容：“您好，本次數(shù)據(jù)校驗未通過， 請及時處理?！辈渥⒆约旱牟块T及姓名，便于指導老師檢查。（提示：在控制流 下利用“數(shù)據(jù)校驗任務”、“郵件任務”實現(xiàn)）。需注意：表示成功的轉(zhuǎn)移線為綠 色；表示失敗的轉(zhuǎn)移線為紅色（在轉(zhuǎn)移線上點擊鼠標右鍵設置即可）。下圖為控制流選擇數(shù)據(jù)校驗任務后，填寫內(nèi)容。其中 $為變量符號，整體構(gòu) 成為附件的文件名稱。文也塵稱:PX_ddta18)DX.chk13文件大小13翹賂揑制立件中韋劭姒文哼戟肖三、校驗成功后，新建一個數(shù)據(jù)流任務并按照導讀要求在數(shù)據(jù)流中完成對數(shù)據(jù)的處理。參考步驟如下：從附件中輸入數(shù)據(jù)（文本輸入）；時期格式設置（計算字段）；替換單位代碼（查找）（函數(shù)使用拼接字符串）；去除日期、公司名稱中的空格，替換英文括號為中文括號（計算字段）；替換是否內(nèi)部公司為代碼形式（查找或計算字段）；去除重復數(shù)據(jù)（冗余分練）；若執(zhí)行成功進行排序并輸出數(shù)據(jù)到命名為“案例一”的數(shù)據(jù)庫中，否則