數(shù)據(jù)倉庫實(shí)踐系列課程(3)-BI數(shù)據(jù)架構(gòu)

1、數(shù)據(jù)倉庫實(shí)踐系列課程（3） BI數(shù)據(jù)(shj)架構(gòu)文思(wn s)海輝共四十三頁總體(zngt)數(shù)據(jù)架構(gòu)ESB數(shù)據(jù)采集和交換平臺(tái)集成型數(shù)據(jù)區(qū)歷史數(shù)據(jù)訪問應(yīng)用數(shù)據(jù)挖掘工具監(jiān)管報(bào)送平臺(tái)即席查詢工具數(shù)據(jù)集成平臺(tái)新核心系統(tǒng)老核心系統(tǒng)客戶系統(tǒng)外圍系統(tǒng)渠道系統(tǒng)外部系統(tǒng)(外聯(lián)平臺(tái))操作型數(shù)據(jù)區(qū)分析型數(shù)據(jù)區(qū)應(yīng)用服務(wù)區(qū)應(yīng)用服務(wù)器報(bào)表工具WEB服務(wù)器歷史數(shù)據(jù)區(qū)統(tǒng)一報(bào)表平臺(tái)管理會(huì)計(jì)系統(tǒng)流動(dòng)性風(fēng)險(xiǎn)系統(tǒng)市場(chǎng)風(fēng)險(xiǎn)系統(tǒng)歷史數(shù)據(jù)平臺(tái)數(shù)據(jù)挖掘平臺(tái)大數(shù)據(jù)平臺(tái)數(shù)據(jù)交換區(qū)實(shí)時(shí)事件處理平臺(tái)貼源模型層（ODS）主題模型層（EDW）應(yīng)用集市層數(shù)據(jù)緩沖層共性加工層 (GDM)國家審計(jì)署平臺(tái)非現(xiàn)場(chǎng)審計(jì)共四十三頁課程(kchng)大綱引言BI環(huán)

2、境(hunjng)中的數(shù)據(jù)層次各層次設(shè)計(jì)重點(diǎn)BI用戶與各層次數(shù)據(jù)使用課程總結(jié)Q&A共四十三頁課程(kchng)大綱引言BI環(huán)境中的數(shù)據(jù)層次各層次設(shè)計(jì)重點(diǎn)(zhngdin)BI用戶與各層次數(shù)據(jù)使用課程總結(jié)Q&A共四十三頁銀行有多少數(shù)據(jù)(shj)？-范圍出生日期婚姻狀況投資(tu z)組合聯(lián)系電話咨詢/投訴存取款信用評(píng)級(jí)供養(yǎng)人口稱謂姓名是否進(jìn)入黑名單還款/遲繳職業(yè)收入學(xué)歷關(guān)聯(lián)客戶科目消費(fèi)賬戶余額房產(chǎn)理財(cái)產(chǎn)品促銷活動(dòng)聯(lián)系地址證件信息偏好渠道開戶機(jī)構(gòu)內(nèi)部機(jī)構(gòu)產(chǎn)品渠 道交 易資源/資產(chǎn)營銷/策略性別財(cái) 務(wù)汽車其他投資交易渠道網(wǎng)銀轉(zhuǎn)賬積分明細(xì)兌換歷史管理機(jī)構(gòu)客戶經(jīng)理房貸存款信用卡貸款還款情況總帳協(xié)議/賬戶

3、客 戶共四十三頁銀行有多少數(shù)據(jù)(shj)？-數(shù)量系統(tǒng)表個(gè)數(shù)字段數(shù)AI108888B2I21285CAS1081994CCIF102859CIF91500CIFSC49398CMP1172419CMS2442442CMS383420388DTS901201GTS1762498IB2604171IFAR2925707PDS1902344儲(chǔ)蓄式國債47467貸記卡外掛623528記賬式國債681221開放式基金39655總計(jì)309649965特點(diǎn)：數(shù)量多分布廣內(nèi)容龐雜挑戰(zhàn)：這么多的數(shù)據(jù)(shj)怎么管？重點(diǎn)是什么？數(shù)據(jù)應(yīng)該怎么分類？每類的定義和特點(diǎn)是什么？跨系統(tǒng)同類數(shù)據(jù)是否遵循同樣的標(biāo)準(zhǔn)？共四十三頁

4、實(shí)施(shsh)分類管理貸記卡系統(tǒng)(xtng)卡片信息授信信息利率信息額度信息儲(chǔ)蓄系統(tǒng)客戶信息機(jī)構(gòu)信息賬戶信息利率信息貸款核銷產(chǎn)品信息信貸系統(tǒng)客戶信息機(jī)構(gòu)信息授信信息賬戶信息利率信息貸款展期貸款核銷產(chǎn)品信息客戶信息機(jī)構(gòu)信息額度信息積分信息賬戶信息產(chǎn)品信息銀保通客戶信息機(jī)構(gòu)信息賬戶信息利率信息保單信息產(chǎn)品信息網(wǎng)上銀行客戶信息賬戶信息轉(zhuǎn)賬信息支付信息產(chǎn)品信息機(jī)構(gòu)信息數(shù)據(jù)模型7將各系統(tǒng)、各部門分散、重復(fù)的業(yè)務(wù)概念進(jìn)行統(tǒng)籌、整合。從企業(yè)級(jí)視角進(jìn)行結(jié)構(gòu)化、規(guī)范化的設(shè)計(jì)，統(tǒng)一數(shù)據(jù)定義，明晰數(shù)據(jù)之間的關(guān)系。數(shù)據(jù)主題客戶賬戶交易機(jī)構(gòu)渠道資產(chǎn)財(cái)務(wù)共四十三頁數(shù)據(jù)模型設(shè)計(jì)(shj)示例以“客戶(k h)”為例不同的

5、數(shù)據(jù)模型設(shè)計(jì)沒有絕對(duì)的對(duì)錯(cuò)，合適的就是最好的。共四十三頁課程(kchng)大綱引言BI環(huán)境中的數(shù)據(jù)層次各層次設(shè)計(jì)重點(diǎn)BI用戶與各層次數(shù)據(jù)使用課程(kchng)總結(jié)Q&ABI數(shù)據(jù)架構(gòu)各層次數(shù)據(jù)模型的定位與特點(diǎn)各層次數(shù)據(jù)模型示例共四十三頁一個(gè)相對(duì)完整的BI數(shù)據(jù)(shj)架構(gòu)應(yīng)用集市層面向(min xin)應(yīng)用按需定制共性加工層初級(jí)的數(shù)據(jù)加工依賴對(duì)應(yīng)用的提煉技術(shù)緩沖層ETL專用的純技術(shù)層完全與源系統(tǒng)結(jié)構(gòu)一致近源模型層基本依照源系統(tǒng)建模盡量保持業(yè)務(wù)數(shù)據(jù)原貌整合模型層面向整合主題設(shè)計(jì)提供規(guī)范和共享共四十三頁技術(shù)(jsh)緩沖層定位服務(wù)于數(shù)據(jù)(shj)加載和轉(zhuǎn)換的需要，不對(duì)外提供數(shù)據(jù)(shj)服務(wù)特點(diǎn)數(shù)據(jù)

6、原樣加載，與源系統(tǒng)結(jié)構(gòu)一致有增量，有全量可能需要保留數(shù)天歷史(重加/查數(shù))共四十三頁技術(shù)(jsh)緩沖層示例表外帳戶(zhn h)貸款戶明細(xì)共四十三頁近源模型(mxng)層定位盡量保持源系統(tǒng)數(shù)據(jù)原貌，提供基于業(yè)務(wù)數(shù)據(jù)原貌的訪問特點(diǎn)簡單處理不考慮整合保留較短期歷史(lsh)（重點(diǎn)考慮保留策略）共四十三頁近源模型(mxng)層示例開始(kish)日期結(jié)束日期。共四十三頁整合(zhn h)模型層定位長期的，細(xì)節(jié)的，整合的數(shù)據(jù)存儲(chǔ)，為各類業(yè)務(wù)需求提供支持特點(diǎn)(tdin)面向主題，數(shù)據(jù)整合提供規(guī)范和共享中性設(shè)計(jì)，偏范式化，靈活可擴(kuò)展細(xì)節(jié)信息，保留長期歷史共四十三頁整合(zhn h)模型層示例產(chǎn)品/服務(wù)事

7、件協(xié)議渠道客戶資產(chǎn)財(cái)務(wù)/風(fēng)險(xiǎn)地區(qū)/地址市場(chǎng)營銷內(nèi)部機(jī)構(gòu)共四十三頁共性(gngxng)加工層定位提供相對(duì)中性，具有業(yè)務(wù)意義的初級(jí)加工數(shù)據(jù)，支持上層應(yīng)用的數(shù)據(jù)加工，或供業(yè)務(wù)人員的訪問特點(diǎn)全局考慮(kol)，提煉需求共性多層次設(shè)計(jì)，多種數(shù)據(jù)粒度側(cè)重業(yè)務(wù)理解，蘊(yùn)含豐富的業(yè)務(wù)規(guī)則共四十三頁共性(gngxng)加工層示例：匯總加工(ji gng)出常用的變量，方便數(shù)據(jù)處理與查詢遵循業(yè)務(wù)常用原則共四十三頁共性加工層示例：統(tǒng)計(jì)(tngj)信息蘊(yùn)含一定(ydng)業(yè)務(wù)規(guī)則的復(fù)雜加工共四十三頁應(yīng)用(yngyng)集市層定位提供(tgng)特定應(yīng)用支持特點(diǎn)面向應(yīng)用形式各異，各自獨(dú)立按需定制，滿足特定業(yè)務(wù)的需求共四十

8、三頁報(bào)表(bobio)模型示例：常見表樣共四十三頁多維模型(mxng)示例：卡交易量分析事實(shí)(shsh)表共四十三頁數(shù)據(jù)挖掘示例(shl)復(fù)雜加工(ji gng)的變量共四十三頁目標(biāo)以數(shù)據(jù)下載的結(jié)構(gòu)為準(zhǔn)，一般與源系統(tǒng)結(jié)構(gòu)相同數(shù)據(jù)可能是增量，也可能是全量用于技術(shù)加工短期的，細(xì)節(jié)的反應(yīng)業(yè)務(wù)原貌的數(shù)據(jù)存儲(chǔ)直接提供基于源系統(tǒng)結(jié)構(gòu)的簡單原貌訪問為BI環(huán)境中適合的業(yè)務(wù)需求提供支持長期的，細(xì)節(jié)的，整合的數(shù)據(jù)存儲(chǔ)為BI環(huán)境中適合的各類業(yè)務(wù)需求提供支持相對(duì)中性，具業(yè)務(wù)意義的初加工數(shù)據(jù)，但不面向特定應(yīng)用作為上層應(yīng)用數(shù)據(jù)加工的基礎(chǔ)，或供業(yè)務(wù)人員直接訪問服務(wù)特定應(yīng)用原則簡單處理關(guān)注源系統(tǒng)結(jié)構(gòu)的變化簡單處理，不考慮整合

9、關(guān)注保留策略面向全局，數(shù)據(jù)整合中性設(shè)計(jì)，靈活擴(kuò)展提供規(guī)范和共享提煉應(yīng)用需求共性多種數(shù)據(jù)粒度易于理解和使用面向具體應(yīng)用按需設(shè)計(jì)形式源系統(tǒng)模型近源系統(tǒng)模型設(shè)計(jì)根據(jù)支持應(yīng)用情況可以保留短期歷史面向主題設(shè)計(jì)偏范式化長期保留歷史初步數(shù)據(jù)加工分層設(shè)計(jì)形式各異，依具體應(yīng)用不同 技術(shù)(jsh)緩沖層 近源模型(mxng)層 整合模型層共性加工層應(yīng)用集市層各數(shù)據(jù)層次的定位共四十三頁課程(kchng)大綱引言BI環(huán)境中的數(shù)據(jù)(shj)層次各層次設(shè)計(jì)重點(diǎn)BI用戶與各層次數(shù)據(jù)使用課程總結(jié)Q&A整合模型層共性加工層應(yīng)用集市層共四十三頁重點(diǎn)關(guān)注(gunzh)的層次近源模型層 基本依照源系統(tǒng)建模 盡量保持(boch)業(yè)務(wù)數(shù)

10、據(jù)原貌整合模型層 面向整合 主題設(shè)計(jì) 提供規(guī)范和共享應(yīng)用集市層 面向應(yīng)用 按需定制共性加工層 初級(jí)的數(shù)據(jù)加工 依賴對(duì)應(yīng)用的提煉技術(shù)緩沖層 ETL專用的純技術(shù)層 完全與源系統(tǒng)結(jié)構(gòu)一致共四十三頁各層設(shè)計(jì)(shj)重點(diǎn)整合模型層主題定義框架設(shè)計(jì)整合策略實(shí)施方法共性加工層應(yīng)用篩選應(yīng)用提煉應(yīng)用集市層整體性一致性共四十三頁整合模型(mxng)層設(shè)計(jì)主題定義產(chǎn)品客戶化自行設(shè)計(jì)項(xiàng)目(xingm)目標(biāo)是什么？可參考主題都有哪些？該主題在當(dāng)前環(huán)境下是否適用？是否需要其他修改？目標(biāo)達(dá)成！項(xiàng)目目標(biāo)是什么？總是有這些共通的主題：客戶、協(xié)議(賬戶)、產(chǎn)品、事件(交易)其他業(yè)務(wù)信息的歸納使用業(yè)務(wù)熟悉的主題詞匯目標(biāo)達(dá)成！共四

11、十三頁整合(zhn h)模型層設(shè)計(jì)框架設(shè)計(jì)主實(shí)體名稱含義分類分類依據(jù)子類名稱子類含義關(guān)系主實(shí)體間關(guān)系其他重要關(guān)系框架設(shè)計(jì)體現(xiàn)了模型設(shè)計(jì)原則(yunz)框架決定了模型的整體結(jié)構(gòu)主實(shí)體及其關(guān)系主實(shí)體分類關(guān)鍵實(shí)體及重要關(guān)系共四十三頁 整合(zhn h)后的對(duì)象標(biāo)識(shí)選擇已有標(biāo)識(shí)還是新建？整合前信息是否(sh fu)保留？ 選擇單一信息源(系統(tǒng))？還是多個(gè)源？是否整合依賴業(yè)務(wù)現(xiàn)狀，需要確定影響性？整合模型層設(shè)計(jì)整合策略是否整合同一業(yè)務(wù)對(duì)象有多種實(shí)例確定信息源源保留策略整合標(biāo)識(shí)選擇確定業(yè)務(wù)對(duì)象整合策略共四十三頁共性加工(ji gng)層設(shè)計(jì)設(shè)計(jì)目標(biāo)技術(shù)層面避免相同匯總數(shù)據(jù)的重復(fù)計(jì)算和存儲(chǔ)，減少系統(tǒng)開銷實(shí)現(xiàn)

12、共享，降低應(yīng)用(yngyng)開發(fā)和數(shù)據(jù)查詢的復(fù)雜度避免數(shù)據(jù)加工口徑的不一致業(yè)務(wù)層面實(shí)現(xiàn)對(duì)常用統(tǒng)計(jì)口徑的統(tǒng)一定義和維護(hù)便于業(yè)務(wù)人員理解，直接進(jìn)行數(shù)據(jù)分析共四十三頁共性(gngxng)加工層設(shè)計(jì)設(shè)計(jì)理念中間層是因?yàn)樾枨蠖a(chǎn)生的，所以一定要基于需求，可以借鑒行業(yè)經(jīng)驗(yàn)，但是每個(gè)行的應(yīng)用建設(shè)過程有所不同，所以本行的需求才是根本需求驅(qū)動(dòng)中間層是提煉不同應(yīng)用公共指標(biāo)，提煉的程度太高會(huì)失去匯總層的意義，個(gè)性化程度太高會(huì)導(dǎo)致與應(yīng)用層無區(qū)別，所以模型設(shè)計(jì)人員的經(jīng)驗(yàn)很重要提煉共性在中間層再分明細(xì)層和匯總層，明細(xì)層是協(xié)議主題的擴(kuò)展，是協(xié)議的業(yè)務(wù)呈現(xiàn)。匯總層是除協(xié)議外的其他主題業(yè)務(wù)呈現(xiàn)架構(gòu)分明中間層的建設(shè)是一個(gè)循環(huán)往

13、復(fù)的過程，不可能一步到位。隨著應(yīng)用的增加和對(duì)應(yīng)用理解的深入，中間層會(huì)不斷的豐富和發(fā)展，提升其業(yè)務(wù)價(jià)值迭代開發(fā)共四十三頁共性加工(ji gng)層數(shù)據(jù)處理方法33預(yù)計(jì)(yj)算預(yù)連接預(yù)聚類將分散在基礎(chǔ)層數(shù)據(jù)中的很多實(shí)體根據(jù)應(yīng)用的要求進(jìn)行預(yù)先連接，這種預(yù)連接可以有不同的實(shí)現(xiàn)方式，比如可以采用物理表、視圖，更多的是采用視圖的方式。將在基礎(chǔ)層數(shù)據(jù)中以及應(yīng)用集市中難于計(jì)算，通常是規(guī)則比較復(fù)雜，或者計(jì)算一次所需的時(shí)間比較長的數(shù)據(jù)預(yù)先計(jì)算出來，比如日均、重定價(jià)日等，但粒度不變，仍為最細(xì)的賬戶粒度，因需要運(yùn)行的時(shí)間也比較長，建議采用物理表的方式。以維度建模方式對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行匯總和聚合，不再是最細(xì)粒度了；采用物

14、理表與視圖結(jié)合的方式，對(duì)于預(yù)聚合粒度比較粗的，數(shù)據(jù)量上會(huì)減少很多，所以適當(dāng)?shù)亩嗖捎梦锢肀淼姆绞?，以?jié)約系統(tǒng)資源，提高查詢效率，對(duì)于預(yù)聚類粒度還是很細(xì)的，數(shù)據(jù)量減少不多，建議采用視圖方式，如匯總層的客戶匯總表。預(yù)連接預(yù)計(jì)算預(yù)聚類共四十三頁 Account & Card level summary 卡賬戶平均余額匯總 average balance 卡賬戶遲繳歷史 Delinquent 卡賬戶重要交易匯總 important events 最近(zujn)三個(gè)月卡重要交易匯總 events in recent 3 months 最近六個(gè)月卡重要交易匯總 events in recent 6 mon

15、ths 賬戶利潤組成匯總 profit components 卡賬戶利潤匯總 profit 卡賬戶準(zhǔn)備金計(jì)提記錄 risk reservation amount Customer level summary 客戶平均余額匯總(huzng) average balance 客戶持卡信息匯總 Card holds by customer 客戶遲繳歷史 Delinquent 客戶交易匯總 events 客戶重要交易匯總 important events 客戶利潤匯總 profit Organization level summary 機(jī)構(gòu)平均余額匯總 average balance 機(jī)構(gòu)發(fā)卡匯總 C

16、ard issued by org 機(jī)構(gòu)交易匯總 Issuer events IST事件匯總 IST events 機(jī)構(gòu)利潤匯總 profit共性加工層設(shè)計(jì)示例（信用卡）共四十三頁建模時(shí)將產(chǎn)品層與機(jī)構(gòu)層用一張匯總表來實(shí)現(xiàn)。共性加工(ji gng)層設(shè)計(jì)示例（逐層匯總）共四十三頁應(yīng)用集市層設(shè)計(jì)(shj)按需定制面向應(yīng)用的模型(mxng)設(shè)計(jì)盡可能使用共性加工層模型實(shí)體整體性一致性 加工規(guī)則應(yīng)盡量和已有規(guī)則保持一致業(yè)務(wù)驅(qū)動(dòng)，按需定制共四十三頁課程(kchng)大綱引言BI環(huán)境中的數(shù)據(jù)層次(cngc)各層次設(shè)計(jì)重點(diǎn)BI用戶與各層次數(shù)據(jù)使用課程總結(jié)Q&A共四十三頁各數(shù)據(jù)(shj)層次的定位目標(biāo)以數(shù)據(jù)下

17、載的結(jié)構(gòu)為準(zhǔn)，一般與源系統(tǒng)結(jié)構(gòu)相同數(shù)據(jù)可能是增量，也可能是全量用于技術(shù)加工短期的，細(xì)節(jié)的反應(yīng)業(yè)務(wù)原貌的數(shù)據(jù)存儲(chǔ)直接提供基于源系統(tǒng)結(jié)構(gòu)的簡單原貌訪問為BI環(huán)境中適合的業(yè)務(wù)需求提供支持長期的，細(xì)節(jié)的，整合的數(shù)據(jù)存儲(chǔ)為BI環(huán)境中適合的各類業(yè)務(wù)需求提供支持相對(duì)中性，具業(yè)務(wù)意義的初加工數(shù)據(jù)，但不面向特定應(yīng)用作為上層應(yīng)用數(shù)據(jù)加工的基礎(chǔ)，或供業(yè)務(wù)人員直接訪問服務(wù)特定應(yīng)用原則簡單處理關(guān)注源系統(tǒng)結(jié)構(gòu)的變化簡單處理，不考慮整合關(guān)注保留策略面向全局，數(shù)據(jù)整合中性設(shè)計(jì)，靈活擴(kuò)展提供規(guī)范和共享提煉應(yīng)用需求共性多種數(shù)據(jù)粒度易于理解和使用面向具體應(yīng)用按需設(shè)計(jì)形式源系統(tǒng)模型近源系統(tǒng)模型設(shè)計(jì)根據(jù)支持應(yīng)用情況可以保留短期歷史面向

18、主題設(shè)計(jì)偏范式化長期保留歷史初步數(shù)據(jù)加工分層設(shè)計(jì)形式各異，依具體應(yīng)用不同重點(diǎn)理解源結(jié)構(gòu)理解源結(jié)構(gòu)主題定義框架設(shè)計(jì)整合策略實(shí)施方法應(yīng)用篩選應(yīng)用提煉整體性一致性用途不對(duì)外提供數(shù)據(jù)服務(wù)業(yè)務(wù)原貌查詢即時(shí)報(bào)表數(shù)據(jù)質(zhì)量檢查靈活查詢整合規(guī)則檢查常規(guī)報(bào)表靈活查詢業(yè)務(wù)規(guī)則檢查特定應(yīng)用 技術(shù)(jsh)緩沖層 近源模型層 整合模型層共性加工層應(yīng)用集市層共四十三頁不同類型項(xiàng)目的數(shù)據(jù)層次(cngc)建議ODS視加工過程是否需要而定，非必須，但一般會(huì)有同源設(shè)計(jì)，基本不做處理必須，是ODS核心模型層簡單處理視項(xiàng)目具體需求而定，非必須建設(shè)層次只針對(duì)必須整合且比較基礎(chǔ)的部分才考慮建設(shè)此層視項(xiàng)目具體需求而定，非必須建設(shè)層次視項(xiàng)目具體需求而定，分倉內(nèi)倉外兩種建設(shè)策略EDW視加工過程是否需要而定，非必須，但一般會(huì)有同源設(shè)計(jì)，基本不做處理視項(xiàng)目具體需求而定，非必須建設(shè)層次必須，是EDW核心模型層整合設(shè)計(jì)建議保留兼顧業(yè)務(wù)需求和數(shù)據(jù)處理性能雙