ECIFETL總體設(shè)計(jì)說明書V01 1209

1、中國大地財(cái)產(chǎn)保險(xiǎn)股份有限公司中國大地財(cái)產(chǎn)保險(xiǎn)股份有限公司 企業(yè)級客戶信息管理平臺項(xiàng)目（企業(yè)級客戶信息管理平臺項(xiàng)目（ecifecif） etletl總體設(shè)計(jì)說明書總體設(shè)計(jì)說明書 文檔修訂記錄表文檔修訂記錄表 版本號版本號作者作者操作操作日期日期說明說明 目目 錄錄 第第 1 1 章章 引言引言.4 4 1.1編寫目的 .4 1.2預(yù)期讀者 .4 1.3定義 .4 1.4參考資料 .4 第第 2 2 章章 etletl 設(shè)計(jì)目標(biāo)和原則設(shè)計(jì)目標(biāo)和原則 .5 5 2.1系統(tǒng)目標(biāo) .5 2.2數(shù)據(jù)目標(biāo) .5 2.3功能目標(biāo) .5 2.4設(shè)計(jì)原則 .5 第第 3 3 章章 開發(fā)工具選擇開發(fā)工具選擇.6 6

2、 3.1開發(fā)工具比較 .6 3.1.1etl plus .6 3.1.2存儲過程 .6 3.1.3unix shell .7 3.2開發(fā)工具選擇結(jié)論 .7 第第 4 4 章章 etletl 開發(fā)流程設(shè)計(jì)開發(fā)流程設(shè)計(jì) .8 8 4.1數(shù)據(jù)分析 .8 4.2開發(fā)流程 .8 4.3測試流程 .10 4.4上線流程 .11 第第 5 5 章章 etletl 總體設(shè)計(jì)總體設(shè)計(jì) .1212 5.1etl 總體邏輯架構(gòu).12 5.2etl 關(guān)鍵任務(wù)設(shè)計(jì).13 5.3etl 調(diào)度控制設(shè)計(jì).15 5.3.1實(shí)現(xiàn)目標(biāo) .16 5.3.2觸發(fā)動作 .16 5.3.3檢查運(yùn)行環(huán)境 .16 5.3.4執(zhí)行作業(yè) .17

3、5.3.5調(diào)度配置 .17 5.3.6日志記錄 .18 5.3.7系統(tǒng)參數(shù) .18 5.4etl 備份 作業(yè)類型：sqlload job、sp、可執(zhí)行文件等; 所屬作業(yè)組：該作業(yè)所屬作業(yè)組; 觸發(fā)作業(yè)：說明該作業(yè)完成后觸發(fā)的后續(xù)作業(yè)。 作業(yè)啟動時間：設(shè)定作業(yè)的啟動時間，或根據(jù)設(shè)定的觸發(fā)條件刻啟動該作業(yè) 5.3.65.3.6 日志記錄日志記錄 整個調(diào)度過程會記錄每個任務(wù)執(zhí)行的開始時間、結(jié)束時間、執(zhí)行的狀態(tài)等。同時 要求，每個任務(wù)依據(jù)情況詳細(xì)記錄其日志。 管理人員可通過日志監(jiān)控整個 etl 調(diào)度的執(zhí)行狀態(tài)。 5.3.75.3.7 系統(tǒng)參數(shù)系統(tǒng)參數(shù) 為了提高 etl job 的靈活性，需要設(shè)置一些公

4、共的環(huán)境參數(shù)供 etl job 在運(yùn)行過程 中動態(tài)使用，這些參數(shù)在運(yùn)行過程中可以由運(yùn)行人員根據(jù)實(shí)際的運(yùn)行情況進(jìn)行調(diào)整。 以下是 jobparams.cfg 文件中的部分參數(shù)定義列表 參數(shù)名稱說明 workdate 當(dāng)前 etl 數(shù)據(jù)日期，格式 yyyymmdd etldat exf 文件的存放目錄 dbname 目標(biāo)庫的數(shù)據(jù)庫名 dbusr 目標(biāo)庫用戶 id dbpwd 目標(biāo)庫用戶密碼 5.45.4 etletl 備份備份& &恢復(fù)設(shè)計(jì)恢復(fù)設(shè)計(jì) 5.4.15.4.1程序備份程序備份 手工定期進(jìn)行程序備份、數(shù)據(jù)庫存儲過程備份、sqlload project 備份 5.4.25.4.2數(shù)據(jù)文件備份

5、數(shù)據(jù)文件備份 源系統(tǒng)抽取后的數(shù)據(jù)接口文件保留前三次的接口文件備份。超過三次以前的接口 文件手工刪除或手工備份到磁帶。 5.4.35.4.3日志文件備份日志文件備份 手工定期進(jìn)行日志文件備份 5.55.5 etletl 測試設(shè)計(jì)測試設(shè)計(jì) 5.5.15.5.1etletl 功能測試功能測試 5.5.1.15.5.1.1模塊功能模塊功能 功能模塊功能子模塊測試指標(biāo)測試方法 源文件監(jiān)控與 檢核 文件是否正常 是否遺漏文件 記錄數(shù)及文件大小是 否符合 可在較小的時間窗口內(nèi)輪 詢，分批放入測試文件 etl 數(shù)據(jù)處理 數(shù)據(jù)清洗清洗是否成功 是否有干凈數(shù)據(jù)被清 洗 性能是否滿足要求 針對不同清洗規(guī)則，選擇 若

6、干數(shù)據(jù)文件進(jìn)行測試 文件監(jiān)控是否有遺漏文件未監(jiān) 控 作業(yè)監(jiān)控能否正確捕捉作業(yè)的 執(zhí)行狀態(tài)，統(tǒng)計(jì)信息 是否正確 etl 監(jiān)控 資源監(jiān)控資源是否能有效獲取 數(shù)據(jù)庫監(jiān)控?cái)?shù)據(jù)庫信息是否能有 效獲取 5.5.1.25.5.1.2調(diào)度功能調(diào)度功能 測試內(nèi)容測試指標(biāo)測試方法 etl 調(diào)度是否正確執(zhí)行調(diào)度任務(wù)，參數(shù) 傳遞是否正確，job 是否按照 預(yù)定順序執(zhí)行，調(diào)度序列是否 正確。作業(yè)之間的依賴關(guān)系是 否正確 5.5.25.5.2數(shù)據(jù)準(zhǔn)確性測試數(shù)據(jù)準(zhǔn)確性測試 5.5.2.15.5.2.1準(zhǔn)確性測試的原則準(zhǔn)確性測試的原則 模型對數(shù)據(jù)處理的要求，體現(xiàn)在 mapping 文檔中，應(yīng)當(dāng)依據(jù) mapping 文檔對處理

7、 的詮釋，進(jìn)行數(shù)據(jù)準(zhǔn)確性測試 需制定完整的指標(biāo)檢核體系，應(yīng)當(dāng)依據(jù)這套檢核指標(biāo)體系進(jìn)行數(shù)據(jù)準(zhǔn)確性測試 5.5.2.25.5.2.2準(zhǔn)確性測試的方法準(zhǔn)確性測試的方法 數(shù)據(jù)準(zhǔn)確性主要由用戶測試進(jìn)行保證，用戶測試的方法請參考用戶測試相關(guān)文檔 5.5.35.5.3性能測試性能測試 5.5.3.15.5.3.1測試方法測試方法 統(tǒng)計(jì)各作業(yè)的運(yùn)行時間，調(diào)整作業(yè)依賴關(guān)系及串并行關(guān)系 監(jiān)控主機(jī)資源、數(shù)據(jù)庫資源利用狀況 5.5.3.25.5.3.2調(diào)優(yōu)原則調(diào)優(yōu)原則 充分利用主機(jī)資源 調(diào)整數(shù)據(jù)庫參數(shù)配置 調(diào)整 sqlload job 開發(fā)邏輯 調(diào)整 sp 開發(fā)邏輯 第第 6 6 章章etletl 開發(fā)規(guī)范開發(fā)規(guī)范

8、6.16.1 etletl 程序開發(fā)規(guī)范程序開發(fā)規(guī)范 為了提高 etl 的開發(fā)質(zhì)量，降低開發(fā)周期，增強(qiáng)代碼的可重用性和易讀性，使程 序便于維護(hù)，開發(fā)人員間便于交流和協(xié)作，需指定 etl 的開發(fā)規(guī)范，在本項(xiàng)目中包 含 etl plus、oracle pl/sql、shell 三種開發(fā)規(guī)范，請參看相應(yīng)文檔。 6.26.2 目錄及權(quán)限定義規(guī)范目錄及權(quán)限定義規(guī)范 開發(fā)、測試環(huán)境的目錄如下： 目錄目錄說明說明 /ecifetl ecif 項(xiàng)目 etl 根目錄 /ecifetl/ dat/workdate 存放 etl 過程生成的 dat 文件 /ecifetl/tmp 存放 etl 過程生成的臨時文件 /ecifetl/script 存放 script 程序 /ecifetl/para 存放參數(shù)配置文件 /ecifetl/log 存放日志文件 數(shù)據(jù)庫用戶及權(quán)限安排如下： 用戶用戶權(quán)限權(quán)限 ecif_own 接口庫和集市庫所有者 ecif_etl 接口庫和集市庫讀寫權(quán)限，主要供 etl 過程使用 ecif_dm 集市庫讀寫權(quán)限，主要供分析過程使用 ecif_qry 接口庫和集市庫只讀讀權(quán)限，供普通用戶查詢用 6.36.3 文件格式定義規(guī)范文件格式定義規(guī)范