數(shù)據(jù)倉庫-系統(tǒng)設計說明書

1、歸一大數(shù)據(jù)平臺數(shù)據(jù)倉庫系統(tǒng)設計說明書?？刂曝问芸夭皇芸禺斁幪柊姹咎柗謨悦Q第冊/共冊總、頁數(shù)止義附錄，制審批生效日期修改變更記錄:更改條款及內容更改人審批人更改日期創(chuàng)建文檔閻飛謝益武2015-11-5目錄1 引言51.1 文檔編制目的51.2 背景61.3 詞匯表61.4 參考資料62 總體設計72.1 軟件體系結構72.2 系統(tǒng)運行體系錯誤！未定義書簽。2.2.1 運行體系圖錯誤！未定義書簽。2.2.2 程序/模塊對應表錯誤！未定義書簽。2.3 系統(tǒng)物理結構72.4 技術路線83 系統(tǒng)接口設計83.1 用戶接口84 子系統(tǒng)/模塊設計84.1 數(shù)據(jù)倉庫84.1.1 ODL（操作數(shù)據(jù)）層設計84

2、.1.2 BDL（數(shù)據(jù)倉庫）層設計104.1.3 IDL（寬表）層設計114.1.4 PDL（應用）層設計124.1.5 PUB（維度）層設計154.1.6 數(shù)據(jù)導出設計165 數(shù)據(jù)結構與數(shù)據(jù)庫設計176 外部存儲結構設計177 故障處理說明178 尚需解決的問題18編寫指南：本模板力圖給出系統(tǒng)設計階段可能包括的基本信息，重點在于和需求分析文檔相聯(lián)系。描述系統(tǒng)整體情況。如果某個章節(jié)在項目或當前階段中無法描述，則可保留其標題，注明“不-4-適用”；如果需要對本模板的個別章節(jié)詳細描述，也可將其形成單獨的文檔，成為本文檔附件。若文檔中的某個章節(jié)已經在其他項目文檔中加以描述，可保留標題，注明“參見（文

3、檔編號）（文檔名稱）（條款）”。形成正式文檔后須刪除斜體字內容。0報告編制要求這里列出本系統(tǒng)設計報告編制的經驗性要求，須由系統(tǒng)設計人員參照其進行裁剪以確定本次報告編制的相關規(guī)定。序號要求1對各種結構圖要求米用Visio繪制。2軟件體系結構圖通常包括：子系統(tǒng)實體、子系統(tǒng)間數(shù)據(jù)流、相關說明。3軟件結構圖通常包括：模塊實體、模塊間數(shù)據(jù)流、數(shù)據(jù)存儲、相關說明。4運行體系圖包括：進程實體、啟動順序、并發(fā)性、數(shù)據(jù)交換。5物理結構圖包括：物理節(jié)點實體、物理節(jié)點分布、物理節(jié)點描述、物理節(jié)點間相互關系。6對數(shù)據(jù)庫結構的描述要求采用結構圖方式描述，而非采用過多表格。7數(shù)據(jù)庫結構圖主要包括：表實體、表間關系、主要字

4、段、相關說明四部分。8對于平臺性產品，要求有系統(tǒng)層次的劃分圖。9通常要隔離應用對數(shù)據(jù)庫的直接訪問。1引言1.1 文檔編制目的指導開發(fā)人員進行后期的開發(fā)工作；指導測試人員進行解決方案級的系統(tǒng)測試;1.2 背景敘述系統(tǒng)設計階段的目標、作用范圍以及其他應向讀者說明的理解本報告所需的背景,如與公司其它軟件之間的聯(lián)系等。1.3 詞匯表列出本系統(tǒng)設計說明書中專門術語的定義、英文縮寫詞的原詞組和意義、項目組內達成致意見的專用詞匯，同時要求繼承全部的先前過程中定義過的詞匯。詞匯名稱詞匯含義備注備注中注明該詞匯的來源，或有其他更詳細的解釋的文檔位置；以及對該詞匯的其他叫法。1.4 參考資料需求規(guī)格說明書系統(tǒng)架構

5、設計說明書數(shù)據(jù)倉庫命名規(guī)范.docx2總體設計2.1 軟件體系結構技術架構ft?Is可尸中心以上Jfc速計9所H握牛市蝦酎況元刑SM，l*-Lrrjfcr謝h：掘二n刊宛1取庫2.2 系統(tǒng)物理結構描述使用本軟件系統(tǒng)典型用戶的物理設備分布圖及設備上相應基本軟件配置。軟件環(huán)境包括：操作系統(tǒng)、數(shù)據(jù)庫、以及其它支撐軟件；硬件環(huán)境包括：主機類型、網絡類型、存儲器容量、其它特殊設備。要求：1）盡量為系統(tǒng)的每個物理節(jié)點定義一個和功能相關的名稱，名稱的含義在詞匯表中說明；2）結合運行體系圖中提到的“程序”，將相關的“運行程序”分布到各個物理節(jié)點中；3）采用網絡拓撲圖表示。2.3 技術路線描述本軟件系統(tǒng)在實現(xiàn)過

6、程中所采用的技術路線、方法。對較新的技術給予詳細的闡述及必要的說明，在可能的情況下給出相應的技術參考資料。3系統(tǒng)接口設計3.1用戶接口無接口。4子系統(tǒng)/模塊設計4.1 數(shù)據(jù)倉庫4.1.1 ODL（操作數(shù)據(jù)層）設計4.1.1.1 功能描述實現(xiàn)從外部系統(tǒng)導入數(shù)據(jù)到大數(shù)據(jù)平臺,ODL層數(shù)據(jù)與數(shù)據(jù)源保持一致同步方式包括：增量同步全量同步數(shù)據(jù)源類型包括：數(shù)據(jù)庫4.1.1.2 業(yè)務流程流程圖:數(shù)據(jù)同步流程圖調度系統(tǒng)分布式數(shù)據(jù)倉庫數(shù)據(jù)源系統(tǒng)開始）數(shù)據(jù)庫:一J遠程調用數(shù)據(jù)庫同步讀取同步腳本一I.X.J.<是否成功是N0D*施袤異常處理二一葭結束流程說明：1 .調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè).2 .作業(yè)讀取

7、數(shù)據(jù)同步腳本，遠程調用數(shù)據(jù)庫接口.3 .數(shù)據(jù)庫接口返回遠程調用結果.4 .接收數(shù)據(jù)庫接口返回的數(shù)據(jù)集，裝載到ODL本地表.異常處理：調度系統(tǒng)捕獲異常并處理日志說明：由調度系統(tǒng)負責記錄作業(yè)（正常和異常）日志.數(shù)據(jù)源說明：1 .通過視圖封裝需要同步的物理表，與業(yè)務進行隔離.當物理表發(fā)生變動盡量通過修改視圖兼容.2 .數(shù)據(jù)同步程序訪問數(shù)據(jù)源視圖.數(shù)據(jù)粒度說明：與數(shù)據(jù)源保持完全一致。4.1.1.3作業(yè)設計詳見<<數(shù)據(jù)同步列表.xlsx>>4.1.2 BDL（事物層）設計BDL層對ODL數(shù)據(jù)進行清洗、轉換，實現(xiàn)統(tǒng)一維度的數(shù)據(jù)整合。4.1.2.2 業(yè)務流程流程說明：1 .調度系統(tǒng)定

8、時啟動數(shù)據(jù)同步作業(yè).2 .作業(yè)t取ODL表，進行數(shù)據(jù)清洗，對不符合規(guī)則的數(shù)據(jù)進行丟棄或轉換3 .將轉換后的結果數(shù)據(jù)裝載到BDL本地表.異常處理：調度系統(tǒng)捕獲異常并處理.日志說明：由調度系統(tǒng)負責記錄作業(yè)（正常和異常）日志.數(shù)據(jù)粒度說明：與ODL保持一致.4.1.2.3 作業(yè)設計詳見<<數(shù)據(jù)倉庫轉換文檔.xlsx>>4.1.3 IDL（寬表層）設計4.1.3.2 功能描述在IDL層對BDL事實表按主題進行合并，形成一次寫多次讀的寬表，降低系統(tǒng)整體開銷.并實際根據(jù)需要進行用戶級粒度的聚合，進一步提高查詢效率.4.1.3.3 業(yè)務流程流程說明:1 .調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè)

9、.2 .按主題讀取相關BDL表，進行關聯(lián)，盡量補齊維度字段,生成事物級寬表.3 .按用戶級粒度聚合，生成用戶級寬表.異常處理：調度系統(tǒng)捕獲異常并處理日志說明：由調度系統(tǒng)負責記錄作業(yè)（正常和異常）日志.數(shù)據(jù)粒度說明：1 .事物級粒度.2 .用戶級粒度.4.1.3.3作業(yè)設計詳見<<數(shù)據(jù)倉庫轉換文檔.xlsx>>4.1.4PDL（應用層）設計4.1.4.1 功能描述PDL層按業(yè)務需求，IDL寬表匯總查詢生成各種結果表4.1.4.2 業(yè)務流程流程圖：流程說明：1 .調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè).2 .讀取IDL寬表,按業(yè)務需求進行聚合，篩選，生成指標數(shù)據(jù).3 .結果寫入PDL

10、層結果表.異常處理：調度系統(tǒng)捕獲異常并處理日志說明：由調度系統(tǒng)負責記錄作業(yè)（正常和異常）日志.數(shù)據(jù)粒度說明：1.按業(yè)務需求的各種粒度.4.1.4.3 業(yè)務賬數(shù)據(jù)統(tǒng)計設計業(yè)務賬數(shù)據(jù)統(tǒng)計如下特點：業(yè)務賬指標由多個交易類型代碼組合，一個交易類型代碼對應多個業(yè)務指標，例如：業(yè)務賬指標A交易類型代碼M00010,M00001,M00002,M00003，業(yè)務賬指標B交易類型代碼M00010,M00011,M00012,M00013，業(yè)務賬指標C交易類型代碼M00000,M00011,M00002,M00023,隨需求也業(yè)務變化，業(yè)務賬指標及其交易類型代碼也會變化.每個業(yè)務賬指標統(tǒng)計算法相同，只是其交易類

11、型代碼組合不同.每個業(yè)務賬指標可能會被多個報表調用，例如積分總金額”針對以上特性，通過抽象的方法，設計對指標（交易類型代碼）配置化管理、運算統(tǒng)一化技術的功能,減少系統(tǒng)維護成本。4.1.4.4 作業(yè)設計詳見<<數(shù)據(jù)倉庫轉換文檔.xlsx>>4.1.5PUB（維度）庫設計4.1,5.1功能描述采用異步LOOUP方法，主動捕獲非法維度數(shù)據(jù)，經過人工識別生成維度數(shù)據(jù)4.1.5.2業(yè)務流程流程說明：1 .調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè).2 .異步讀取ODL表和維表，對比維度映射表查找是否有不存在的維度數(shù)據(jù)3 .如果發(fā)現(xiàn)非法維度數(shù)據(jù)，經過人工識別，寫入維度映射表和維度表.異常處理：調

12、度系統(tǒng)捕獲異常并處理日志說明：由調度系統(tǒng)負責記錄作業(yè)（正常和異常）日志.4.1,5.3作業(yè)設計詳見<<數(shù)據(jù)倉庫轉換文檔,xlsx>>4.1.6 業(yè)務賬（數(shù)據(jù)集市）庫4.1.7 數(shù)據(jù)導出設計4.1.7.1 功能描述將PDL表和維度導出，同步給mysql庫,供統(tǒng)計報表查詢使用4.1.7.2 業(yè)務流程數(shù)據(jù)導出流程圖調度系統(tǒng)分布式數(shù)據(jù)倉庫門戶系統(tǒng)讀取同步腳本裝載一一統(tǒng)計表、維表PD/、維表抽取流程說明:1 .調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè)2 .讀取PDL表和維表，將數(shù)據(jù)裝載到MYSQL庫對應的表中.異常處理：調度系統(tǒng)捕獲異常并處理日志說明：由調度系統(tǒng)負責記錄作業(yè)（正常和異常）日志.4.1.7.3作業(yè)設計5數(shù)據(jù)結構與數(shù)據(jù)庫設計詳見<<數(shù)據(jù)庫設計說明書.docx>>6外部存儲結構設計說明本系統(tǒng)存貯于磁盤等持久性存貯介質，而且不是由數(shù)據(jù)庫管理系統(tǒng)進行管理的數(shù)據(jù)的組織結構，包