數(shù)據(jù)倉庫建模方法論課件

數(shù)據(jù)倉庫建模方法論........數(shù)據(jù)倉庫建模方法論....1

數(shù)據(jù)倉庫概念

數(shù)據(jù)倉庫數(shù)據(jù)架構(gòu)

邏輯數(shù)據(jù)模型數(shù)據(jù)模型標(biāo)準(zhǔn)化工藝流程主題........數(shù)據(jù)倉庫概念主題....2數(shù)據(jù)倉庫領(lǐng)域的兩位大師BillInmon數(shù)據(jù)倉庫之父，數(shù)據(jù)倉庫概念的創(chuàng)始人理論：CorporateInformationFactory(CIF)主要著作：《數(shù)據(jù)倉庫》、《企業(yè)信息工廠》主要著作：《數(shù)據(jù)倉庫工具箱－維度建模的完全指南》、《數(shù)據(jù)倉庫生命周期工具箱－設(shè)計、開發(fā)和部署數(shù)據(jù)倉庫的專家方法》RalphKimball數(shù)據(jù)倉庫方面的知名學(xué)者理論：MutildimensionalArchitecture(MD)

........數(shù)據(jù)倉庫領(lǐng)域的兩位大師BillInmon主要著作：《數(shù)據(jù)倉3企業(yè)數(shù)據(jù)倉庫EDW企業(yè)數(shù)據(jù)倉庫定義：詳細交易及相關(guān)業(yè)務(wù)數(shù)據(jù)的集合包含必要的內(nèi)部與外部信息來自于多個數(shù)據(jù)源/業(yè)務(wù)操作系統(tǒng)保存一定的時間周期按照企業(yè)內(nèi)業(yè)務(wù)規(guī)則所決定的模型來存儲企業(yè)數(shù)據(jù)倉庫作用：基于數(shù)據(jù)/信息來回答相關(guān)的業(yè)務(wù)問題和提供決策支持，并確保：一致、集成的數(shù)據(jù)存儲任意的數(shù)據(jù)粒度在整個企業(yè)的業(yè)務(wù)范圍保持企業(yè)內(nèi)一致的信息視圖企業(yè)內(nèi)一致的信息視圖（SingleVersionoftheTruth）>集成的企業(yè)信息（Integratedcorporateinformation）>不針對特定應(yīng)用（Applicationneutral）>無冗余（Nonredundant）>用于報表和決策支持（Reportinganddecisionmaking）最詳細的數(shù)據(jù)和信息（DetailedData）任何時候，針對任意數(shù)據(jù)，提出任意業(yè)務(wù)問題（Askanyquestion,anydata,anytime）........企業(yè)數(shù)據(jù)倉庫EDW企業(yè)數(shù)據(jù)倉庫定義：企業(yè)數(shù)據(jù)倉庫作用：企業(yè)內(nèi)4數(shù)據(jù)倉庫的特點........數(shù)據(jù)倉庫的特點....5企業(yè)信息工廠........企業(yè)信息工廠....6數(shù)據(jù)倉庫總線........數(shù)據(jù)倉庫總線....7企業(yè)總線........企業(yè)總線....8總線架構(gòu)矩陣........總線架構(gòu)矩陣....9多維體系結(jié)構(gòu)與企業(yè)信息工廠體系結(jié)構(gòu)比較方面多維體系結(jié)構(gòu)企業(yè)信息工廠體系結(jié)構(gòu)范圍優(yōu)先考慮業(yè)務(wù)單位范圍優(yōu)先考慮企業(yè)總體范圍角度關(guān)心業(yè)務(wù)部門的需求多維建模師以企業(yè)視角，建立一致性維度。從企業(yè)角度解決供應(yīng)源數(shù)據(jù)的問題，但并不是整個企業(yè)的數(shù)據(jù)必須在項目第一個階段都處理。相反而是選擇企業(yè)所有數(shù)據(jù)的一個子集。數(shù)據(jù)流實施方法采用自底向上的：如何快速的獲取由用戶控制的業(yè)務(wù)部門專有的數(shù)據(jù)，并最小限度的考慮整個企業(yè)的使用快速需求收集和實現(xiàn)過程使得為整個環(huán)境提供一致而可靠數(shù)據(jù)的任務(wù)變得復(fù)雜。實施方法是自頂向下的：企業(yè)數(shù)據(jù)利用業(yè)務(wù)需求將數(shù)據(jù)從數(shù)據(jù)源推至需要這些數(shù)據(jù)的地方，其核心問題是從最初的項目開始為任何數(shù)據(jù)集市的使用而集成企業(yè)數(shù)據(jù)。為了制定盡可能在整個企業(yè)范圍內(nèi)一致的主題域和業(yè)務(wù)數(shù)據(jù)需要增加模型開銷，需要更多的時間和代價。但后續(xù)項目則需要較少時間和代價，尤其對于使用現(xiàn)有的、健全的主題域的業(yè)務(wù)單位更是如此。實現(xiàn)對存儲空間最小需求，非冗余方式防止了在多個位置存儲數(shù)據(jù)。這種特性使更新或刪除異常最小化或者消除。易失性聚集數(shù)據(jù)集市：當(dāng)業(yè)務(wù)過程發(fā)生變化，為了消除或減少對事實表重建，需要增加新的維或改變維。原子數(shù)據(jù)集市：由于事實表可能包含幾億甚至更多的數(shù)據(jù)，重建將會帶來嚴(yán)重后果數(shù)據(jù)倉庫模型是與過程無關(guān)的，它摒棄了由于處理過程影響而帶來的變化數(shù)據(jù)倉庫模型的設(shè)計依賴于企業(yè)的業(yè)務(wù)規(guī)則，而不依賴與在其上將運行什么查詢。如果一個已經(jīng)建好的數(shù)據(jù)集市需要改變或加強，可以根據(jù)存儲在數(shù)據(jù)倉庫中的細節(jié)數(shù)據(jù)合理且快速地進行重建靈活性多維設(shè)計是很多業(yè)務(wù)過程聚集在一起的結(jié)果。當(dāng)處理請求發(fā)生變化時，多維數(shù)據(jù)庫的設(shè)計未必能夠適度地變化。數(shù)據(jù)倉庫模型存放數(shù)據(jù)粒度級別為原子級別，原子級別可以任意組合。故可以支持將來未知需求。復(fù)雜性數(shù)據(jù)集市模型易于業(yè)務(wù)人員理解?？梢院苋菀讟?gòu)建數(shù)據(jù)集市，然而，當(dāng)一個一個地建立數(shù)據(jù)集市時，由于數(shù)據(jù)的企業(yè)視圖的復(fù)雜性，對于這種結(jié)構(gòu)，完成更新時相當(dāng)復(fù)雜的。數(shù)據(jù)倉庫中的細節(jié)數(shù)據(jù)是與處理過程無關(guān)的，因此數(shù)據(jù)倉庫的數(shù)據(jù)模型使得數(shù)據(jù)不一致的風(fēng)險最小。功能性為多維處理提供了理想環(huán)境，切片和切塊、上鉆和下鉆等查詢提供良好的性能支持?jǐn)?shù)據(jù)挖掘、統(tǒng)計分析和即席查詢持續(xù)維護總體目標(biāo)是防止由于環(huán)境的后續(xù)構(gòu)建、調(diào)整和優(yōu)化而產(chǎn)生的高昂的代價。一個良好的數(shù)據(jù)倉庫模型將為企業(yè)提供長久的服務(wù)，將提供如下回報：整個環(huán)境端到端一致性和集成性易于建立新的數(shù)據(jù)集市加強現(xiàn)有數(shù)據(jù)集市數(shù)據(jù)倉庫和有關(guān)數(shù)據(jù)集市的維護和可持續(xù)發(fā)展........多維體系結(jié)構(gòu)與企業(yè)信息工廠體系結(jié)構(gòu)比較方面多維體系結(jié)構(gòu)企業(yè)信10OLTP與OLAP針對特定問題的聯(lián)機數(shù)據(jù)訪問和數(shù)據(jù)分析技術(shù)滿足對數(shù)據(jù)進行多角度、快速、一致、交互、深入觀察使用預(yù)定義的多維數(shù)據(jù)視圖對數(shù)據(jù)進行分析處理，支持對數(shù)據(jù)的切片、切塊、鉆取。多維數(shù)據(jù)庫是一種以多維數(shù)據(jù)存儲形式來組織數(shù)據(jù)的數(shù)據(jù)管理系統(tǒng)，在使用時需要將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫中轉(zhuǎn)載到多維數(shù)據(jù)庫中方可訪問。也稱為面向交易的處理系統(tǒng)，其基本特征是顧客的原始數(shù)據(jù)可以立即傳送到計算中心進行處理，并在很短的時間內(nèi)給出處理結(jié)果。這樣做的最大優(yōu)點是可以即時地處理輸入的數(shù)據(jù)，及時地回答。也稱為實時系統(tǒng)(RealtimeSystem)。衡量聯(lián)機事務(wù)處理系統(tǒng)的一個重要性能指標(biāo)是系統(tǒng)性能，具體體現(xiàn)為實時響應(yīng)時間(ResponseTime)，即用戶在終端上送入數(shù)據(jù)之后，到計算機對這個請求給出答復(fù)所需要的時間。

OLTP數(shù)據(jù)庫旨在使事務(wù)應(yīng)用程序僅寫入所需的數(shù)據(jù)，以便盡快處理單個事務(wù)。On-LineAnalyticalProcessingOn-LineTransactionProcessing........OLTP與OLAP針對特定問題的聯(lián)機數(shù)據(jù)訪問和數(shù)據(jù)分析技術(shù)11OLTP與OLAPOLTPOLAP用戶操作人員,低層管理人員決策人員,高級管理人員功能日常操作處理分析決策DB設(shè)計面向應(yīng)用面向主題數(shù)據(jù)當(dāng)前的,最新的細節(jié)的,二維的歷史的,聚集的,多維的集成的,統(tǒng)一的存取讀/寫數(shù)十條記錄讀上百萬條記錄工作單位簡單的事務(wù)復(fù)雜的查詢用戶數(shù)上千個上百個DB大小100MB-GB100GB-TBROLAP表示基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)（RelationalOLAP）MOLAP表示基于多維數(shù)據(jù)組織的OLAP實現(xiàn)（MultidimensionalOLAP）........OLTP與OLAPOLTPOLAP用戶操作人員,低層管理人員12ROLAPMOLAP沿用現(xiàn)有關(guān)系數(shù)據(jù)庫技術(shù)專用技術(shù)響應(yīng)速度相對molap要慢性能好，響應(yīng)速度快數(shù)據(jù)轉(zhuǎn)載計算速度快數(shù)據(jù)轉(zhuǎn)載速度慢存儲空間耗費小，維數(shù)沒有限制需要進行預(yù)計算，可能導(dǎo)致數(shù)據(jù)爆炸，維數(shù)有限，無法支持維的動態(tài)變化借助rdbms對數(shù)據(jù)存儲，無文件大小限制受操作系統(tǒng)平臺文件大小限制，難以達到tb級可以通過sql語句實現(xiàn)詳細數(shù)據(jù)和概要數(shù)據(jù)的存儲缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問的標(biāo)準(zhǔn)不支持預(yù)計算的讀寫操作無法完成維之間的運算無法完成多行計算支持高性能的決策支持計算復(fù)雜的跨維計算多用戶讀寫操作行級計算ROLAP

vsMOLAP........ROLAPMOLAP沿用現(xiàn)有關(guān)系數(shù)據(jù)庫技術(shù)專用技術(shù)響應(yīng)速度相13

數(shù)據(jù)倉庫概念

數(shù)據(jù)倉庫數(shù)據(jù)架構(gòu)

邏輯數(shù)據(jù)模型數(shù)據(jù)模型標(biāo)準(zhǔn)化工藝流程主題........數(shù)據(jù)倉庫概念主題....14數(shù)據(jù)架構(gòu)形態(tài)........數(shù)據(jù)架構(gòu)形態(tài)....15各數(shù)據(jù)架構(gòu)比較........各數(shù)據(jù)架構(gòu)比較....16源系統(tǒng)ODSEDW獨立數(shù)據(jù)集市DataMart#1DataMart#2Non-conformedDimensionsandFacts從屬數(shù)據(jù)集市DataMart#1DataMart#2ConformedDimensionsandConformedFactsDataMart數(shù)據(jù)集市類型........源系統(tǒng)ODSEDW獨立數(shù)據(jù)集市DataMart#1Dat17活期存款定期存款零售信貸公司信貸債券投資票據(jù)信息同業(yè)拆借儲蓄國債衍生品儲蓄國債參與者交易流水會計單元理財產(chǎn)品風(fēng)險緩釋市場數(shù)據(jù)計量結(jié)果公共信息數(shù)據(jù)挖掘模型風(fēng)險引擎數(shù)據(jù)接口星型模型報表模型多維分析模型風(fēng)險計算引擎信用風(fēng)險績效衡量和資本分配合規(guī)性與披露市場風(fēng)險操作風(fēng)險流動性風(fēng)險防欺詐和反洗錢EnterpriseDateWarehouseODS風(fēng)險計量結(jié)果返回ODS多維分析匯總層應(yīng)用層監(jiān)管報表風(fēng)險數(shù)據(jù)集市數(shù)據(jù)架構(gòu)........活期存款定期存款零售信貸公司信貸債券投資票據(jù)信息同業(yè)拆借儲蓄18風(fēng)險數(shù)據(jù)集市建設(shè)目標(biāo)........風(fēng)險數(shù)據(jù)集市建設(shè)目標(biāo)....19

數(shù)據(jù)倉庫概念

數(shù)據(jù)倉庫模型

邏輯數(shù)據(jù)模型數(shù)據(jù)模型標(biāo)準(zhǔn)化工藝流程主題........數(shù)據(jù)倉庫概念主題....20為什么需要邏輯數(shù)據(jù)模型為復(fù)雜的數(shù)據(jù)倉庫系統(tǒng)實施提供了規(guī)范和基礎(chǔ)結(jié)構(gòu)－藍圖促進業(yè)務(wù)部門用戶和IT分析人員之間的有效溝通明確業(yè)務(wù)需求解決業(yè)務(wù)問題形成對重要業(yè)務(wù)定義和術(shù)語的統(tǒng)一認(rèn)識具備跨部門，能夠表達所有的業(yè)務(wù)........為什么需要邏輯數(shù)據(jù)模型為復(fù)雜的數(shù)據(jù)倉庫系統(tǒng)實施提供了規(guī)范和基21

技術(shù)緩沖層ETL專用的純技術(shù)層完全與源系統(tǒng)結(jié)構(gòu)一致近源模型層基本依照源系統(tǒng)建模盡量保持業(yè)務(wù)系統(tǒng)原貌整合模型層面向整合主題設(shè)計提供規(guī)范和共享應(yīng)用集市層面向應(yīng)用按需定制多維建模匯總數(shù)據(jù)核心系統(tǒng)對公信貸票據(jù)系統(tǒng)儲蓄國債市場數(shù)據(jù)核心系統(tǒng)對公信貸票據(jù)系統(tǒng)儲蓄國債市場數(shù)據(jù)…..…..復(fù)雜交易復(fù)雜交易數(shù)據(jù)挖掘模型風(fēng)險引擎數(shù)據(jù)接口星型模型報表模型多維分析模型匯總層當(dāng)事人財務(wù)產(chǎn)品資產(chǎn)事件內(nèi)部機構(gòu)協(xié)議計量結(jié)果市場數(shù)據(jù)LDM在數(shù)據(jù)倉庫系統(tǒng)中的地位........技術(shù)緩沖層ETL專用的純22ODSEDWDataMartDataMining目標(biāo)?短期的，細節(jié)的，同源的數(shù)據(jù)存儲；?直接提供基于源系統(tǒng)結(jié)構(gòu)的簡單原貌訪問；?為BI環(huán)境中適合的業(yè)務(wù)需求提供支持?長期的，細節(jié)的，整合的數(shù)據(jù)存儲；?為BI環(huán)境中適合的業(yè)務(wù)需求提供支持

?服務(wù)特定應(yīng)用

?長期歷史分析性指標(biāo)匯總?為企業(yè)提供預(yù)測性、趨勢分析性需求提供支持原則?簡單處理，不考慮整合；?關(guān)注保留策略；

?面向全局，數(shù)據(jù)整合?中性設(shè)計，靈活擴展?提供規(guī)范和共享?面向具體應(yīng)用?按需設(shè)計

?針對業(yè)務(wù)目標(biāo)、挖掘算法設(shè)計數(shù)據(jù)模型形式?偏源系統(tǒng)模型；?根據(jù)支持應(yīng)用情況可以保留短期歷史?面向主題設(shè)計；?偏范式化；?長期保留歷史

?形式各異，依具體應(yīng)用不同；

?一條記錄表示一個觀測?多條記錄表示一個觀測重點?理解源結(jié)構(gòu)

?主題定義?框架設(shè)計?整合策略?實施方法?整體性?一致性?業(yè)務(wù)理解?數(shù)據(jù)理解?數(shù)據(jù)準(zhǔn)備用途?業(yè)務(wù)原貌查詢?即時報表?數(shù)據(jù)質(zhì)量檢查?靈活查詢?整合規(guī)則檢查?特定應(yīng)用?特定業(yè)務(wù)專題設(shè)計思路比較........ODSEDWDataMartDataMining目標(biāo)?短23EDW邏輯數(shù)據(jù)模型設(shè)計目標(biāo)中性的，共享的：不針對某個特別的應(yīng)用而設(shè)計；靈活的，可擴展的：存放最詳盡的歷史數(shù)據(jù)，業(yè)務(wù)發(fā)生變化時易于擴展，適應(yīng)復(fù)雜的實際業(yè)務(wù)情況；穩(wěn)定的，經(jīng)得起考驗的：能夠在很長時間內(nèi)保持穩(wěn)定性，回答不斷產(chǎn)生、不斷變化且無法預(yù)先定義的業(yè)務(wù)問題；規(guī)范的，易懂的：使用業(yè)務(wù)語言進行模型設(shè)計，易于讓業(yè)務(wù)人員理解和使用，有助于IT和業(yè)務(wù)部門人員的溝通........EDW邏輯數(shù)據(jù)模型設(shè)計目標(biāo)...2425邏輯視圖(第三級)細節(jié)(第三級)主題區(qū)域(第一級)概念(第二級)邏輯數(shù)據(jù)模型的不同級別........25邏輯視圖細節(jié)主題區(qū)域概念邏輯數(shù)據(jù)模型的不同級別...25邏輯數(shù)據(jù)模型的主題域........邏輯數(shù)據(jù)模型的主題域....26主題域模型案例-市場風(fēng)險數(shù)據(jù)集市........主題域模型案例-市場風(fēng)險數(shù)據(jù)集市...27主題域模型案例-信用卡數(shù)據(jù)集市........主題域模型案例-信用卡數(shù)據(jù)集市...28主題域模型優(yōu)點

指導(dǎo)業(yè)務(wù)數(shù)據(jù)模型開發(fā)有助于數(shù)據(jù)一致性，避免冗余。當(dāng)確定一個新的實體時，基于定義可以確定實體的恰當(dāng)?shù)刂黝}域。根據(jù)主題域劃分工作量，可使重復(fù)工作量最小化，并有利于相互協(xié)調(diào)指導(dǎo)數(shù)據(jù)倉庫項目選擇為基于數(shù)據(jù)的項目分組提供了一種高層次劃分方法。在確定項目開發(fā)順序時，應(yīng)該同時考慮業(yè)務(wù)優(yōu)先級、技術(shù)實現(xiàn)難度、人員可用性等信息指導(dǎo)數(shù)據(jù)倉庫開發(fā)有助于確定哪些相關(guān)的業(yè)務(wù)專家主題域模型目標(biāo)

提供廣泛的理解提供對每一個主題域的理解，包括各個主題域的名稱和定義，通過業(yè)務(wù)規(guī)則將這些主題域聯(lián)系起來，形象地表達這些主題之間依賴關(guān)系和規(guī)則。因為在主題域?qū)哟?，所以，主題域模型更容易覆蓋廣泛的領(lǐng)域。業(yè)務(wù)規(guī)則使主題域模型增加更多的準(zhǔn)確性和清晰性。

確定范圍通過形象地表達主題域和他們的業(yè)務(wù)規(guī)則，我們能夠更容易地識別出將要分析的模型的范圍。

指引方向主題域模型能夠提供全景視圖，可以幫助我們確定：計劃中的應(yīng)用程序和現(xiàn)有的應(yīng)用程序?qū)⒃鯓庸泊妗Ｏ乱徊?，企業(yè)將需要什么樣新功能。主題域模型提供方向和指南。建立對業(yè)務(wù)的高層次理解，為邏輯數(shù)據(jù)分析和建模打下基礎(chǔ)主題域模型........主題域模型優(yōu)點主題域模型目標(biāo)主題域模型...29概念模型........概念模型....30影響數(shù)據(jù)倉庫粒度級別的主要因素匯總數(shù)據(jù)匯總數(shù)據(jù)能夠改善數(shù)據(jù)交付處理性能，匯總數(shù)據(jù)不會節(jié)省存儲空間，因為創(chuàng)建匯總的細節(jié)可能會繼續(xù)被保留。匯總提供的好處主要包括：在線存儲需求減少

分析的標(biāo)準(zhǔn)化以及數(shù)據(jù)交付性能的改善合并實體通過減少連接操作的數(shù)量，提高了數(shù)據(jù)交付處理的性能，并且可以增強一致性。分離數(shù)據(jù)根據(jù)穩(wěn)定性和用法來分離數(shù)據(jù)。穩(wěn)定性分析根據(jù)各個數(shù)據(jù)屬性是否經(jīng)常變化的特性將這些屬性進行分組。影響因素描述當(dāng)前業(yè)務(wù)需求粒度級別必須足以回答定位在該數(shù)據(jù)倉庫迭代范圍內(nèi)的每一個業(yè)務(wù)問題。提供高的粒度級別增加了數(shù)據(jù)倉庫和項目的開發(fā)成本，如果業(yè)務(wù)不需要細節(jié)，則增加的成本就沒有商業(yè)價值。未來業(yè)務(wù)需求按照目前明確需求建立數(shù)據(jù)倉庫，但在建立并抽取數(shù)據(jù)時要適應(yīng)考慮未來的需求數(shù)據(jù)挖掘需求數(shù)據(jù)挖掘算法需要細節(jié)級明細數(shù)據(jù)派生數(shù)據(jù)需求派生數(shù)據(jù)在計算時使用了其它的數(shù)據(jù)元素，除非在代價和開發(fā)時間方面有很大增長，否則所選的粒度級別應(yīng)該適用于存儲所有用于派生其它數(shù)據(jù)元素的元素。操作系統(tǒng)粒度操作源系統(tǒng)中有效的細節(jié)級別，對于不同粒度的源系統(tǒng)需要決定是否在最低的公共級別上抽取數(shù)據(jù)，以使所有的數(shù)據(jù)很好的整合，或者從每一個系統(tǒng)中根據(jù)他的有效粒度來抽取數(shù)據(jù)。存儲開銷粒度級別對存儲開銷有很大影響備份和恢復(fù)數(shù)據(jù)倉庫需要周期性地進行備份和恢復(fù)，細節(jié)越多，日常備份需要的時間也越多。數(shù)據(jù)倉庫粒度級別........影響數(shù)據(jù)倉庫粒度級別的主要因素匯總數(shù)據(jù)影響因素描述當(dāng)前業(yè)務(wù)需31逆規(guī)范化指南問題類型解決方法關(guān)系類型層次關(guān)系：子對父通常有很強的依賴性。傾向于將把這些概念逆規(guī)范化到一個實體同等關(guān)系：在獨立的表中保存獨立的實體，可以保證設(shè)計與業(yè)務(wù)規(guī)則保持一致。一對一關(guān)系：如果當(dāng)一個實體值僅與來自另一個實體的一個實體值相關(guān)，反之亦然。傾向于逆規(guī)范化。確定關(guān)系：父實體決定子實體的意義。通常為事務(wù)處理數(shù)據(jù)到引用數(shù)據(jù)的關(guān)系和關(guān)系實體，在多對多關(guān)系引入的關(guān)系表被認(rèn)為是子，而參與多對多關(guān)系的兩個表被認(rèn)為是父。在事務(wù)處理引用關(guān)系中，事務(wù)處理表是子，而引用表是父。通常，子表很大且易變。父表通常穩(wěn)定的多且小。所以傾向于把這兩個實體保存在各自的表中。參與率確定關(guān)系中每個實體的參與性。對于一個給定的父實體數(shù)值，大概會有幾個子實體數(shù)值。父子關(guān)系越接近一對一，將父實體逆規(guī)范化到子實體，將有最小數(shù)量的冗余。父實體中有多少數(shù)據(jù)元素如果將父實體逆規(guī)范化到子實體，保證子實體中具有存放父實體的數(shù)據(jù)元素額外空間。使用率兩個實體的耦合或相關(guān)程度如何。如果在許多用戶查詢和發(fā)布中，來自兩個實體的數(shù)據(jù)元素將一起出現(xiàn)，那么，如果這些信息在同一表中而不是分布于多個表之內(nèi)，則信息獲取將會更快捷。父實體是否變化如果未來父實體不需要加入更多的數(shù)據(jù)元素或關(guān)系，那么新業(yè)務(wù)規(guī)則不會對父實體引起完整性和強制性影響。進行逆規(guī)范化的可行性就較強。如果未來父實體需要加入更多的數(shù)據(jù)元素或關(guān)系，那么新父實體數(shù)據(jù)元素會引起額外的冗余和空間。為了避免將來的維護和冗余問題，需要保持兩個實體的獨立性。變動對比率在同一時間周期內(nèi)，兩個實體的插入和更新頻率是否相近。主要考慮性能和數(shù)據(jù)同步問題。即數(shù)據(jù)穩(wěn)定性。........逆規(guī)范化指南問題類型解決方法關(guān)系類型層次關(guān)系：子對父通常有很32風(fēng)險數(shù)據(jù)集市-匯總層........風(fēng)險數(shù)據(jù)集市-匯總層....33風(fēng)險數(shù)據(jù)集市-應(yīng)用層........風(fēng)險數(shù)據(jù)集市-應(yīng)用層....34

數(shù)據(jù)倉庫概念

數(shù)據(jù)倉庫數(shù)據(jù)架構(gòu)

邏輯數(shù)據(jù)模型數(shù)據(jù)模型標(biāo)準(zhǔn)化工藝流程主題........數(shù)據(jù)倉庫概念主題....35步驟任務(wù)項目準(zhǔn)備與策劃模型設(shè)計人員的主要職責(zé)是參與制定模型相關(guān)的項目實施策略，包括確定數(shù)據(jù)源范圍，明確最終提交物和項目日程等。此外，模型設(shè)計人員在進場前可參與提出客戶相關(guān)資料的具體需求，，包括一些參考模板，以保證后續(xù)工作的輸入。項目啟動模型設(shè)計人員參與模型相關(guān)的工作流程制定、標(biāo)準(zhǔn)文檔的客戶化，負責(zé)在整個項目組范圍內(nèi)組織模型培訓(xùn)，明確LDM在整個信息架構(gòu)中的定位和作用，并就工作方法達成共識。系統(tǒng)需求模型設(shè)計人員參與業(yè)務(wù)訪談、數(shù)據(jù)和功能的需求分析系統(tǒng)設(shè)計系統(tǒng)設(shè)計工作是模型組工作的主體，主要由模型小組主導(dǎo)。它包括：信息調(diào)研、構(gòu)建概念模型、邏輯數(shù)據(jù)模型詳細設(shè)計，以及物理數(shù)據(jù)模型設(shè)計。系統(tǒng)開發(fā)與單元測試模型設(shè)計人員主要起到支持的作用，為開發(fā)人員解釋模型設(shè)計，協(xié)助驗證單元測試的結(jié)果等，并根據(jù)測試發(fā)現(xiàn)的問題進行相應(yīng)修改和變更。數(shù)據(jù)模型標(biāo)準(zhǔn)工藝概述........步驟任務(wù)項目準(zhǔn)備與策劃模型設(shè)計人員的主要職責(zé)是參與制定模型相36項目準(zhǔn)備與策劃在項目準(zhǔn)備與策劃階段，模型設(shè)計人員的主要職責(zé)是參與制定模型相關(guān)的項目實施策略，包括確定數(shù)據(jù)源范圍，明確最終提交物和項目日程等。此外，模型設(shè)計人員在進場前可參與提出客戶相關(guān)資料的具體需求，包括一些參考模板，以保證后續(xù)工作的輸入。確定項目人員本階段將確定參與項目實施的所有人員名單，包括全職和兼職人員。其中，在確定模型人員時，需考慮對人員進行如下要求：熟悉使用建模工具擁有豐富模型設(shè)計經(jīng)驗熟悉銀行業(yè)務(wù)較強的溝通表達能力具備數(shù)據(jù)敏感性收集資料資料名稱資料說明相關(guān)模板名稱系統(tǒng)數(shù)據(jù)結(jié)構(gòu)相關(guān)系統(tǒng)完整的數(shù)據(jù)結(jié)構(gòu)（含字段/代碼的取值說明和索引等信息）供分析用源系統(tǒng)數(shù)據(jù)字典模板.xls業(yè)務(wù)需求客戶提供的各種業(yè)務(wù)需求材料

部門職能調(diào)查問卷對目標(biāo)訪問部門的職能/業(yè)務(wù)范圍進行調(diào)研

訪談材料現(xiàn)狀介紹/業(yè)務(wù)調(diào)查問卷/數(shù)據(jù)調(diào)查問卷

制定實施策略明確與模型相關(guān)的數(shù)據(jù)源范圍里程碑提交物工作日程........項目準(zhǔn)備與策劃在項目準(zhǔn)備與策劃階段，模型設(shè)計人員的主要職責(zé)是37項目啟動在項目啟動階段，模型設(shè)計人員參與模型相關(guān)的工作流程制定、標(biāo)準(zhǔn)文檔的客戶化，負責(zé)在整個項目組范圍內(nèi)組織模型培訓(xùn)，明確數(shù)據(jù)模型在整個信息架構(gòu)中的定位和作用，并就工作方法達成共識。制定工作流程劃分不同小組的工作邊界確定模型組人員的工作分工確定項目組內(nèi)部以及對外的工作模式對公司標(biāo)準(zhǔn)項目實施流程進行客戶化進行模型培訓(xùn)介紹源系統(tǒng)由客戶介紹源系統(tǒng)，內(nèi)容包括：系統(tǒng)架構(gòu)/設(shè)計思想/系統(tǒng)定位業(yè)務(wù)功能/重要流程關(guān)鍵數(shù)據(jù)表以及關(guān)系和其他系統(tǒng)的關(guān)系培訓(xùn)內(nèi)容相關(guān)模板名稱數(shù)據(jù)模型的基本概念、定位及常用的建模方法數(shù)據(jù)模型培訓(xùn)模板.ppt模型設(shè)計規(guī)范邏輯數(shù)據(jù)模型設(shè)計規(guī)范模板.pdf數(shù)據(jù)模型設(shè)計工具

模型產(chǎn)品培訓(xùn)

【可選，依是否使用模型產(chǎn)品而定】

........項目啟動在項目啟動階段，模型設(shè)計人員參與模型相關(guān)的工作流程制38系統(tǒng)需求在系統(tǒng)需求階段，模型設(shè)計人員參與配合業(yè)務(wù)顧問（以業(yè)務(wù)顧問為主導(dǎo)），進行需求分析、業(yè)務(wù)訪談工作，對需求人員所編寫的《業(yè)務(wù)需求說明書》就模型相關(guān)部分進行確認(rèn)。業(yè)務(wù)訪談業(yè)務(wù)訪談階段

訪談議程及內(nèi)容設(shè)定：訪談目的/訪談方式/調(diào)查問卷調(diào)查問卷填寫：填寫說明/雙方交流問卷反饋內(nèi)容

訪談過程記錄：專人負責(zé)記錄/錄音

聯(lián)系人員確認(rèn)：確定對口聯(lián)系人，跟進未盡事宜

模型設(shè)計人員參與業(yè)務(wù)訪談過程內(nèi)容總結(jié)階段

模型設(shè)計人員參與文檔整理：訪談紀(jì)要的整理發(fā)送/調(diào)查問卷的收集整理/不明確問題的確認(rèn)

業(yè)務(wù)調(diào)研總結(jié)報告報告編寫、確認(rèn)總結(jié)報告需求分析業(yè)務(wù)數(shù)據(jù)分析涉及的指標(biāo)查詢條件分析維度統(tǒng)計口徑計算公式處理周期功能分析

目的與用途流程調(diào)研報表格式、展現(xiàn)方式權(quán)限分配、用戶管理補錄數(shù)據(jù)對《業(yè)務(wù)需求說明書》的模型相關(guān)內(nèi)容要求報表類需求需包含：對報表需求分類，簡述報表的目的。報表的訪問頻度、使用部門、權(quán)限要求報表數(shù)據(jù)項定義、查詢條件報表樣式分析類需求需包含：對分析類需求分類，簡述分析的目的訪問頻度、使用部門、權(quán)限要求分析維度定義分析指標(biāo)定義........系統(tǒng)需求在系統(tǒng)需求階段，模型設(shè)計人員參與配合業(yè)務(wù)顧問（以業(yè)務(wù)39信息調(diào)研本階段工作由模型設(shè)計人員主導(dǎo)，在系統(tǒng)需求調(diào)研的基礎(chǔ)上進行系統(tǒng)數(shù)據(jù)滿足度分析。模型設(shè)計人員解讀《業(yè)務(wù)需求說明書》中產(chǎn)生的問題，記入《業(yè)務(wù)需求問題跟蹤單》進行跟蹤確認(rèn).業(yè)務(wù)顧問需根據(jù)數(shù)據(jù)滿足度中的數(shù)據(jù)缺口，確認(rèn)或變更相應(yīng)業(yè)務(wù)需求說明書的內(nèi)容。........信息調(diào)研本階段工作由模型設(shè)計人員主導(dǎo)，在系統(tǒng)需求調(diào)研的基40構(gòu)建概念模型本階段工作由模型設(shè)計人員主導(dǎo)進行，主要工作包括建立主題域，確認(rèn)重要業(yè)務(wù)關(guān)系，生成概念模型。如果項目中有規(guī)范小組，則由規(guī)范小組主導(dǎo)“規(guī)范關(guān)鍵定義”的工作。........構(gòu)建概念模型本階段工作由模型設(shè)計人員主導(dǎo)進行，主要工作包括41邏輯數(shù)據(jù)模型詳細設(shè)計本階段工作由模型設(shè)計人員主導(dǎo)，進行邏輯數(shù)據(jù)模型設(shè)計。業(yè)務(wù)人員需對模型人員提出的重要規(guī)則及處理原則進行確認(rèn)。........邏輯數(shù)據(jù)模型詳細設(shè)計本階段工作由模型設(shè)計人員主導(dǎo)，進行邏輯42物理數(shù)據(jù)模型設(shè)計本階段的工作由技術(shù)人員主導(dǎo)，將邏輯數(shù)據(jù)模型轉(zhuǎn)化成可具體實施的物理數(shù)據(jù)模型,邏輯模型設(shè)計人員提供支持。物理數(shù)據(jù)模型與平臺緊密相關(guān)，在實際的數(shù)據(jù)庫平臺上談?wù)撐锢頂?shù)據(jù)模型具有更高的可操作性........物理數(shù)據(jù)模型設(shè)計本階段的工作由技術(shù)人員主導(dǎo)，將邏輯數(shù)據(jù)模型43系統(tǒng)開發(fā)與單元測試在系統(tǒng)開發(fā)與單元測試階段，模型設(shè)計人員主要起到支持的作用，為開發(fā)人員解釋模型，支持開發(fā)人員的數(shù)據(jù)映射和關(guān)聯(lián)關(guān)系驗證等工作，協(xié)助驗證單元測試的結(jié)果，并根據(jù)測試發(fā)現(xiàn)的問題進行相應(yīng)修改和變更。支持模塊開發(fā)對模型進行說明和解釋支持?jǐn)?shù)據(jù)映射支持關(guān)聯(lián)關(guān)系驗證協(xié)助模塊單元測試協(xié)助單元測試結(jié)果驗證協(xié)助進行錯誤原因分析

修改、完善設(shè)計

根據(jù)開發(fā)和測試中發(fā)現(xiàn)的問題調(diào)整模型，進行模型變更........系統(tǒng)開發(fā)與單元測試在系統(tǒng)開發(fā)與單元測試階段，模型設(shè)計人員主要44完善優(yōu)化邏輯數(shù)據(jù)模型健康性檢查邏輯數(shù)據(jù)模型健康性檢查是針對邏輯數(shù)據(jù)模型設(shè)計與維護中的關(guān)鍵項目定期進行評估與回顧的活動，及早發(fā)現(xiàn)可能存在的問題與不足，提升人員認(rèn)知，給出合理化改進建議，完善規(guī)范與流程，保持邏輯數(shù)據(jù)模型健康持續(xù)發(fā)展，從而為各項工作提供邏輯清晰、設(shè)計規(guī)范、架構(gòu)合理、使用方便的邏輯數(shù)據(jù)模型，提升數(shù)據(jù)服務(wù)質(zhì)量。架構(gòu)層面健康性檢查整體架構(gòu)檢查

檢查主題是否完整檢查主題間關(guān)系是否完整、準(zhǔn)確檢查涵蓋的業(yè)務(wù)范圍是否合理檢查支持和服務(wù)的應(yīng)用領(lǐng)域是否合理主題架構(gòu)檢查

檢查各主題的核心分類是否符合現(xiàn)狀、是否具備擴展性檢查核心實體的業(yè)務(wù)定義是否準(zhǔn)確和清晰檢查是否采用了父子結(jié)構(gòu)和重要關(guān)聯(lián)關(guān)系表等技術(shù)檢查業(yè)務(wù)規(guī)則的表達是否合理檢查是否有細分的子主題，劃分的詳略程度是否合適管理流程健康性檢查版本檢查

檢查有沒有使用工具進行版本控制檢查不同版本的劃分是否具有標(biāo)準(zhǔn)核實每次發(fā)生版本變化的主要原因是什么檢查歷史版本如何管理、版本是否有簡要說明維護檢查

檢查是否有源系統(tǒng)變更管理流程檢查是否有分析需求變更管理流程檢查是否有統(tǒng)計匯總加工規(guī)則變化管理流程元數(shù)據(jù)檢查檢查模型是否具備發(fā)布機制檢查模型是否能夠與元數(shù)據(jù)保持同步檢查業(yè)務(wù)人員是否能查詢到所需信息業(yè)務(wù)層面健康性檢查易用性檢查

檢查用戶了解模型與數(shù)據(jù)的所有方式檢查是否有幫助文檔檢查是否有培訓(xùn)體系一致性檢查

檢查現(xiàn)有業(yè)務(wù)規(guī)則的處理是否為大家接受檢查新的或者變化的業(yè)務(wù)規(guī)則的處理方法了解使用中的主要問題有哪些方面檢查業(yè)務(wù)規(guī)則在不同層次之間是否一致完整性檢查

檢查業(yè)務(wù)應(yīng)用中是否發(fā)現(xiàn)缺失的業(yè)務(wù)信息核實缺失業(yè)務(wù)信息的原因檢查已采納的業(yè)務(wù)數(shù)據(jù)是否完整、是否一致........完善優(yōu)化邏輯數(shù)據(jù)模型健康性檢查架構(gòu)層面健康性檢查管理流程健康45完善優(yōu)化物理數(shù)據(jù)模型優(yōu)化檢查進行物理數(shù)據(jù)模型優(yōu)化的工作要點

檢查字段命名是否符合規(guī)范參考物理模型設(shè)計階段制定的命名規(guī)則進行檢查；對不符合規(guī)范的字段了解原因，并決定是否進行修改；

檢查字段數(shù)據(jù)類型是否符合規(guī)范檢查字段的數(shù)據(jù)類型是否符合加工規(guī)則、加載需求及應(yīng)用需求；如果制訂了數(shù)據(jù)類型規(guī)范，則應(yīng)對照數(shù)據(jù)類型規(guī)范進行檢查；

對數(shù)據(jù)量大小排在前二十名表找出所有加載這二十張表的腳本；找出所有使用這二十張表的腳本和查詢；考察這些腳本和查詢中對這些大表的常見用法(比如如何下條件等)以及其實際性能表現(xiàn);結(jié)合上述信息分析其所用數(shù)據(jù)庫物理特性是否合理(比如分區(qū)、索引等)，如不合理討論是否應(yīng)該修改；考察是否還有進一步加入其他物理特性的必要性(比如對大表是否需要進行拆分處理、對目前拆的過散的表是否需要進行合并處理等)；在初步測試后給出修改建議；對運行最慢的前二十個腳本，以及有代表性及重用性的一些較慢的隨機查詢找出導(dǎo)致這些腳本及查詢運行較慢的關(guān)鍵表；分析導(dǎo)致其運行效率較差的原因，判斷是否有進一步物理優(yōu)化的可能性；在初步測試后給出修改建議；.設(shè)計規(guī)范健康性檢查建模工具檢查業(yè)務(wù)規(guī)則檢查技術(shù)標(biāo)準(zhǔn)檢查外觀美學(xué)檢查物理數(shù)據(jù)模型優(yōu)化檢查物理模型優(yōu)化檢查是針對整個系統(tǒng)運行情況評估和回顧的一部分，及時檢查并發(fā)現(xiàn)物理模型設(shè)計過程中的一些問題和不足，并及時加以改進和完善，使得整個系統(tǒng)運行更加穩(wěn)定、高效。進行物理數(shù)據(jù)模型優(yōu)化的時機系統(tǒng)運行一段時間后，出現(xiàn)空間容量、執(zhí)行效率、資源分配的問題時數(shù)據(jù)庫版本升級后........完善優(yōu)化物理數(shù)據(jù)模型優(yōu)化檢查設(shè)計規(guī)范健康性檢查物理數(shù)據(jù)模型優(yōu)46............47態(tài)度決定一切細節(jié)影響成敗謝謝您的關(guān)注！........態(tài)度決定一切....48數(shù)據(jù)倉庫建模方法論........數(shù)據(jù)倉庫建模方法論....49

數(shù)據(jù)倉庫概念

數(shù)據(jù)倉庫數(shù)據(jù)架構(gòu)

邏輯數(shù)據(jù)模型數(shù)據(jù)模型標(biāo)準(zhǔn)化工藝流程主題........數(shù)據(jù)倉庫概念主題....50數(shù)據(jù)倉庫領(lǐng)域的兩位大師BillInmon數(shù)據(jù)倉庫之父，數(shù)據(jù)倉庫概念的創(chuàng)始人理論：CorporateInformationFactory(CIF)主要著作：《數(shù)據(jù)倉庫》、《企業(yè)信息工廠》主要著作：《數(shù)據(jù)倉庫工具箱－維度建模的完全指南》、《數(shù)據(jù)倉庫生命周期工具箱－設(shè)計、開發(fā)和部署數(shù)據(jù)倉庫的專家方法》RalphKimball數(shù)據(jù)倉庫方面的知名學(xué)者理論：MutildimensionalArchitecture(MD)

........數(shù)據(jù)倉庫領(lǐng)域的兩位大師BillInmon主要著作：《數(shù)據(jù)倉51企業(yè)數(shù)據(jù)倉庫EDW企業(yè)數(shù)據(jù)倉庫定義：詳細交易及相關(guān)業(yè)務(wù)數(shù)據(jù)的集合包含必要的內(nèi)部與外部信息來自于多個數(shù)據(jù)源/業(yè)務(wù)操作系統(tǒng)保存一定的時間周期按照企業(yè)內(nèi)業(yè)務(wù)規(guī)則所決定的模型來存儲企業(yè)數(shù)據(jù)倉庫作用：基于數(shù)據(jù)/信息來回答相關(guān)的業(yè)務(wù)問題和提供決策支持，并確保：一致、集成的數(shù)據(jù)存儲任意的數(shù)據(jù)粒度在整個企業(yè)的業(yè)務(wù)范圍保持企業(yè)內(nèi)一致的信息視圖企業(yè)內(nèi)一致的信息視圖（SingleVersionoftheTruth）>集成的企業(yè)信息（Integratedcorporateinformation）>不針對特定應(yīng)用（Applicationneutral）>無冗余（Nonredundant）>用于報表和決策支持（Reportinganddecisionmaking）最詳細的數(shù)據(jù)和信息（DetailedData）任何時候，針對任意數(shù)據(jù)，提出任意業(yè)務(wù)問題（Askanyquestion,anydata,anytime）........企業(yè)數(shù)據(jù)倉庫EDW企業(yè)數(shù)據(jù)倉庫定義：企業(yè)數(shù)據(jù)倉庫作用：企業(yè)內(nèi)52數(shù)據(jù)倉庫的特點........數(shù)據(jù)倉庫的特點....53企業(yè)信息工廠........企業(yè)信息工廠....54數(shù)據(jù)倉庫總線........數(shù)據(jù)倉庫總線....55企業(yè)總線........企業(yè)總線....56總線架構(gòu)矩陣........總線架構(gòu)矩陣....57多維體系結(jié)構(gòu)與企業(yè)信息工廠體系結(jié)構(gòu)比較方面多維體系結(jié)構(gòu)企業(yè)信息工廠體系結(jié)構(gòu)范圍優(yōu)先考慮業(yè)務(wù)單位范圍優(yōu)先考慮企業(yè)總體范圍角度關(guān)心業(yè)務(wù)部門的需求多維建模師以企業(yè)視角，建立一致性維度。從企業(yè)角度解決供應(yīng)源數(shù)據(jù)的問題，但并不是整個企業(yè)的數(shù)據(jù)必須在項目第一個階段都處理。相反而是選擇企業(yè)所有數(shù)據(jù)的一個子集。數(shù)據(jù)流實施方法采用自底向上的：如何快速的獲取由用戶控制的業(yè)務(wù)部門專有的數(shù)據(jù)，并最小限度的考慮整個企業(yè)的使用快速需求收集和實現(xiàn)過程使得為整個環(huán)境提供一致而可靠數(shù)據(jù)的任務(wù)變得復(fù)雜。實施方法是自頂向下的：企業(yè)數(shù)據(jù)利用業(yè)務(wù)需求將數(shù)據(jù)從數(shù)據(jù)源推至需要這些數(shù)據(jù)的地方，其核心問題是從最初的項目開始為任何數(shù)據(jù)集市的使用而集成企業(yè)數(shù)據(jù)。為了制定盡可能在整個企業(yè)范圍內(nèi)一致的主題域和業(yè)務(wù)數(shù)據(jù)需要增加模型開銷，需要更多的時間和代價。但后續(xù)項目則需要較少時間和代價，尤其對于使用現(xiàn)有的、健全的主題域的業(yè)務(wù)單位更是如此。實現(xiàn)對存儲空間最小需求，非冗余方式防止了在多個位置存儲數(shù)據(jù)。這種特性使更新或刪除異常最小化或者消除。易失性聚集數(shù)據(jù)集市：當(dāng)業(yè)務(wù)過程發(fā)生變化，為了消除或減少對事實表重建，需要增加新的維或改變維。原子數(shù)據(jù)集市：由于事實表可能包含幾億甚至更多的數(shù)據(jù)，重建將會帶來嚴(yán)重后果數(shù)據(jù)倉庫模型是與過程無關(guān)的，它摒棄了由于處理過程影響而帶來的變化數(shù)據(jù)倉庫模型的設(shè)計依賴于企業(yè)的業(yè)務(wù)規(guī)則，而不依賴與在其上將運行什么查詢。如果一個已經(jīng)建好的數(shù)據(jù)集市需要改變或加強，可以根據(jù)存儲在數(shù)據(jù)倉庫中的細節(jié)數(shù)據(jù)合理且快速地進行重建靈活性多維設(shè)計是很多業(yè)務(wù)過程聚集在一起的結(jié)果。當(dāng)處理請求發(fā)生變化時，多維數(shù)據(jù)庫的設(shè)計未必能夠適度地變化。數(shù)據(jù)倉庫模型存放數(shù)據(jù)粒度級別為原子級別，原子級別可以任意組合。故可以支持將來未知需求。復(fù)雜性數(shù)據(jù)集市模型易于業(yè)務(wù)人員理解?？梢院苋菀讟?gòu)建數(shù)據(jù)集市，然而，當(dāng)一個一個地建立數(shù)據(jù)集市時，由于數(shù)據(jù)的企業(yè)視圖的復(fù)雜性，對于這種結(jié)構(gòu)，完成更新時相當(dāng)復(fù)雜的。數(shù)據(jù)倉庫中的細節(jié)數(shù)據(jù)是與處理過程無關(guān)的，因此數(shù)據(jù)倉庫的數(shù)據(jù)模型使得數(shù)據(jù)不一致的風(fēng)險最小。功能性為多維處理提供了理想環(huán)境，切片和切塊、上鉆和下鉆等查詢提供良好的性能支持?jǐn)?shù)據(jù)挖掘、統(tǒng)計分析和即席查詢持續(xù)維護總體目標(biāo)是防止由于環(huán)境的后續(xù)構(gòu)建、調(diào)整和優(yōu)化而產(chǎn)生的高昂的代價。一個良好的數(shù)據(jù)倉庫模型將為企業(yè)提供長久的服務(wù)，將提供如下回報：整個環(huán)境端到端一致性和集成性易于建立新的數(shù)據(jù)集市加強現(xiàn)有數(shù)據(jù)集市數(shù)據(jù)倉庫和有關(guān)數(shù)據(jù)集市的維護和可持續(xù)發(fā)展........多維體系結(jié)構(gòu)與企業(yè)信息工廠體系結(jié)構(gòu)比較方面多維體系結(jié)構(gòu)企業(yè)信58OLTP與OLAP針對特定問題的聯(lián)機數(shù)據(jù)訪問和數(shù)據(jù)分析技術(shù)滿足對數(shù)據(jù)進行多角度、快速、一致、交互、深入觀察使用預(yù)定義的多維數(shù)據(jù)視圖對數(shù)據(jù)進行分析處理，支持對數(shù)據(jù)的切片、切塊、鉆取。多維數(shù)據(jù)庫是一種以多維數(shù)據(jù)存儲形式來組織數(shù)據(jù)的數(shù)據(jù)管理系統(tǒng)，在使用時需要將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫中轉(zhuǎn)載到多維數(shù)據(jù)庫中方可訪問。也稱為面向交易的處理系統(tǒng)，其基本特征是顧客的原始數(shù)據(jù)可以立即傳送到計算中心進行處理，并在很短的時間內(nèi)給出處理結(jié)果。這樣做的最大優(yōu)點是可以即時地處理輸入的數(shù)據(jù)，及時地回答。也稱為實時系統(tǒng)(RealtimeSystem)。衡量聯(lián)機事務(wù)處理系統(tǒng)的一個重要性能指標(biāo)是系統(tǒng)性能，具體體現(xiàn)為實時響應(yīng)時間(ResponseTime)，即用戶在終端上送入數(shù)據(jù)之后，到計算機對這個請求給出答復(fù)所需要的時間。

OLTP數(shù)據(jù)庫旨在使事務(wù)應(yīng)用程序僅寫入所需的數(shù)據(jù)，以便盡快處理單個事務(wù)。On-LineAnalyticalProcessingOn-LineTransactionProcessing........OLTP與OLAP針對特定問題的聯(lián)機數(shù)據(jù)訪問和數(shù)據(jù)分析技術(shù)59OLTP與OLAPOLTPOLAP用戶操作人員,低層管理人員決策人員,高級管理人員功能日常操作處理分析決策DB設(shè)計面向應(yīng)用面向主題數(shù)據(jù)當(dāng)前的,最新的細節(jié)的,二維的歷史的,聚集的,多維的集成的,統(tǒng)一的存取讀/寫數(shù)十條記錄讀上百萬條記錄工作單位簡單的事務(wù)復(fù)雜的查詢用戶數(shù)上千個上百個DB大小100MB-GB100GB-TBROLAP表示基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)（RelationalOLAP）MOLAP表示基于多維數(shù)據(jù)組織的OLAP實現(xiàn)（MultidimensionalOLAP）........OLTP與OLAPOLTPOLAP用戶操作人員,低層管理人員60ROLAPMOLAP沿用現(xiàn)有關(guān)系數(shù)據(jù)庫技術(shù)專用技術(shù)響應(yīng)速度相對molap要慢性能好，響應(yīng)速度快數(shù)據(jù)轉(zhuǎn)載計算速度快數(shù)據(jù)轉(zhuǎn)載速度慢存儲空間耗費小，維數(shù)沒有限制需要進行預(yù)計算，可能導(dǎo)致數(shù)據(jù)爆炸，維數(shù)有限，無法支持維的動態(tài)變化借助rdbms對數(shù)據(jù)存儲，無文件大小限制受操作系統(tǒng)平臺文件大小限制，難以達到tb級可以通過sql語句實現(xiàn)詳細數(shù)據(jù)和概要數(shù)據(jù)的存儲缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問的標(biāo)準(zhǔn)不支持預(yù)計算的讀寫操作無法完成維之間的運算無法完成多行計算支持高性能的決策支持計算復(fù)雜的跨維計算多用戶讀寫操作行級計算ROLAP

vsMOLAP........ROLAPMOLAP沿用現(xiàn)有關(guān)系數(shù)據(jù)庫技術(shù)專用技術(shù)響應(yīng)速度相61

數(shù)據(jù)倉庫概念

數(shù)據(jù)倉庫數(shù)據(jù)架構(gòu)

邏輯數(shù)據(jù)模型數(shù)據(jù)模型標(biāo)準(zhǔn)化工藝流程主題........數(shù)據(jù)倉庫概念主題....62數(shù)據(jù)架構(gòu)形態(tài)........數(shù)據(jù)架構(gòu)形態(tài)....63各數(shù)據(jù)架構(gòu)比較........各數(shù)據(jù)架構(gòu)比較....64源系統(tǒng)ODSEDW獨立數(shù)據(jù)集市DataMart#1DataMart#2Non-conformedDimensionsandFacts從屬數(shù)據(jù)集市DataMart#1DataMart#2ConformedDimensionsandConformedFactsDataMart數(shù)據(jù)集市類型........源系統(tǒng)ODSEDW獨立數(shù)據(jù)集市DataMart#1Dat65活期存款定期存款零售信貸公司信貸債券投資票據(jù)信息同業(yè)拆借儲蓄國債衍生品儲蓄國債參與者交易流水會計單元理財產(chǎn)品風(fēng)險緩釋市場數(shù)據(jù)計量結(jié)果公共信息數(shù)據(jù)挖掘模型風(fēng)險引擎數(shù)據(jù)接口星型模型報表模型多維分析模型風(fēng)險計算引擎信用風(fēng)險績效衡量和資本分配合規(guī)性與披露市場風(fēng)險操作風(fēng)險流動性風(fēng)險防欺詐和反洗錢EnterpriseDateWarehouseODS風(fēng)險計量結(jié)果返回ODS多維分析匯總層應(yīng)用層監(jiān)管報表風(fēng)險數(shù)據(jù)集市數(shù)據(jù)架構(gòu)........活期存款定期存款零售信貸公司信貸債券投資票據(jù)信息同業(yè)拆借儲蓄66風(fēng)險數(shù)據(jù)集市建設(shè)目標(biāo)........風(fēng)險數(shù)據(jù)集市建設(shè)目標(biāo)....67

數(shù)據(jù)倉庫概念

數(shù)據(jù)倉庫模型

邏輯數(shù)據(jù)模型數(shù)據(jù)模型標(biāo)準(zhǔn)化工藝流程主題........數(shù)據(jù)倉庫概念主題....68為什么需要邏輯數(shù)據(jù)模型為復(fù)雜的數(shù)據(jù)倉庫系統(tǒng)實施提供了規(guī)范和基礎(chǔ)結(jié)構(gòu)－藍圖促進業(yè)務(wù)部門用戶和IT分析人員之間的有效溝通明確業(yè)務(wù)需求解決業(yè)務(wù)問題形成對重要業(yè)務(wù)定義和術(shù)語的統(tǒng)一認(rèn)識具備跨部門，能夠表達所有的業(yè)務(wù)........為什么需要邏輯數(shù)據(jù)模型為復(fù)雜的數(shù)據(jù)倉庫系統(tǒng)實施提供了規(guī)范和基69

技術(shù)緩沖層ETL專用的純技術(shù)層完全與源系統(tǒng)結(jié)構(gòu)一致近源模型層基本依照源系統(tǒng)建模盡量保持業(yè)務(wù)系統(tǒng)原貌整合模型層面向整合主題設(shè)計提供規(guī)范和共享應(yīng)用集市層面向應(yīng)用按需定制多維建模匯總數(shù)據(jù)核心系統(tǒng)對公信貸票據(jù)系統(tǒng)儲蓄國債市場數(shù)據(jù)核心系統(tǒng)對公信貸票據(jù)系統(tǒng)儲蓄國債市場數(shù)據(jù)…..…..復(fù)雜交易復(fù)雜交易數(shù)據(jù)挖掘模型風(fēng)險引擎數(shù)據(jù)接口星型模型報表模型多維分析模型匯總層當(dāng)事人財務(wù)產(chǎn)品資產(chǎn)事件內(nèi)部機構(gòu)協(xié)議計量結(jié)果市場數(shù)據(jù)LDM在數(shù)據(jù)倉庫系統(tǒng)中的地位........技術(shù)緩沖層ETL專用的純70ODSEDWDataMartDataMining目標(biāo)?短期的，細節(jié)的，同源的數(shù)據(jù)存儲；?直接提供基于源系統(tǒng)結(jié)構(gòu)的簡單原貌訪問；?為BI環(huán)境中適合的業(yè)務(wù)需求提供支持?長期的，細節(jié)的，整合的數(shù)據(jù)存儲；?為BI環(huán)境中適合的業(yè)務(wù)需求提供支持

?服務(wù)特定應(yīng)用

?長期歷史分析性指標(biāo)匯總?為企業(yè)提供預(yù)測性、趨勢分析性需求提供支持原則?簡單處理，不考慮整合；?關(guān)注保留策略；

?面向全局，數(shù)據(jù)整合?中性設(shè)計，靈活擴展?提供規(guī)范和共享?面向具體應(yīng)用?按需設(shè)計

?針對業(yè)務(wù)目標(biāo)、挖掘算法設(shè)計數(shù)據(jù)模型形式?偏源系統(tǒng)模型；?根據(jù)支持應(yīng)用情況可以保留短期歷史?面向主題設(shè)計；?偏范式化；?長期保留歷史

?形式各異，依具體應(yīng)用不同；

?一條記錄表示一個觀測?多條記錄表示一個觀測重點?理解源結(jié)構(gòu)

?主題定義?框架設(shè)計?整合策略?實施方法?整體性?一致性?業(yè)務(wù)理解?數(shù)據(jù)理解?數(shù)據(jù)準(zhǔn)備用途?業(yè)務(wù)原貌查詢?即時報表?數(shù)據(jù)質(zhì)量檢查?靈活查詢?整合規(guī)則檢查?特定應(yīng)用?特定業(yè)務(wù)專題設(shè)計思路比較........ODSEDWDataMartDataMining目標(biāo)?短71EDW邏輯數(shù)據(jù)模型設(shè)計目標(biāo)中性的，共享的：不針對某個特別的應(yīng)用而設(shè)計；靈活的，可擴展的：存放最詳盡的歷史數(shù)據(jù)，業(yè)務(wù)發(fā)生變化時易于擴展，適應(yīng)復(fù)雜的實際業(yè)務(wù)情況；穩(wěn)定的，經(jīng)得起考驗的：能夠在很長時間內(nèi)保持穩(wěn)定性，回答不斷產(chǎn)生、不斷變化且無法預(yù)先定義的業(yè)務(wù)問題；規(guī)范的，易懂的：使用業(yè)務(wù)語言進行模型設(shè)計，易于讓業(yè)務(wù)人員理解和使用，有助于IT和業(yè)務(wù)部門人員的溝通........EDW邏輯數(shù)據(jù)模型設(shè)計目標(biāo)...7273邏輯視圖(第三級)細節(jié)(第三級)主題區(qū)域(第一級)概念(第二級)邏輯數(shù)據(jù)模型的不同級別........25邏輯視圖細節(jié)主題區(qū)域概念邏輯數(shù)據(jù)模型的不同級別...73邏輯數(shù)據(jù)模型的主題域........邏輯數(shù)據(jù)模型的主題域....74主題域模型案例-市場風(fēng)險數(shù)據(jù)集市........主題域模型案例-市場風(fēng)險數(shù)據(jù)集市...75主題域模型案例-信用卡數(shù)據(jù)集市........主題域模型案例-信用卡數(shù)據(jù)集市...76主題域模型優(yōu)點

指導(dǎo)業(yè)務(wù)數(shù)據(jù)模型開發(fā)有助于數(shù)據(jù)一致性，避免冗余。當(dāng)確定一個新的實體時，基于定義可以確定實體的恰當(dāng)?shù)刂黝}域。根據(jù)主題域劃分工作量，可使重復(fù)工作量最小化，并有利于相互協(xié)調(diào)指導(dǎo)數(shù)據(jù)倉庫項目選擇為基于數(shù)據(jù)的項目分組提供了一種高層次劃分方法。在確定項目開發(fā)順序時，應(yīng)該同時考慮業(yè)務(wù)優(yōu)先級、技術(shù)實現(xiàn)難度、人員可用性等信息指導(dǎo)數(shù)據(jù)倉庫開發(fā)有助于確定哪些相關(guān)的業(yè)務(wù)專家主題域模型目標(biāo)

提供廣泛的理解提供對每一個主題域的理解，包括各個主題域的名稱和定義，通過業(yè)務(wù)規(guī)則將這些主題域聯(lián)系起來，形象地表達這些主題之間依賴關(guān)系和規(guī)則。因為在主題域?qū)哟?，所以，主題域模型更容易覆蓋廣泛的領(lǐng)域。業(yè)務(wù)規(guī)則使主題域模型增加更多的準(zhǔn)確性和清晰性。

確定范圍通過形象地表達主題域和他們的業(yè)務(wù)規(guī)則，我們能夠更容易地識別出將要分析的模型的范圍。

指引方向主題域模型能夠提供全景視圖，可以幫助我們確定：計劃中的應(yīng)用程序和現(xiàn)有的應(yīng)用程序?qū)⒃鯓庸泊?。下一步，企業(yè)將需要什么樣新功能。主題域模型提供方向和指南。建立對業(yè)務(wù)的高層次理解，為邏輯數(shù)據(jù)分析和建模打下基礎(chǔ)主題域模型........主題域模型優(yōu)點主題域模型目標(biāo)主題域模型...77概念模型........概念模型....78影響數(shù)據(jù)倉庫粒度級別的主要因素匯總數(shù)據(jù)匯總數(shù)據(jù)能夠改善數(shù)據(jù)交付處理性能，匯總數(shù)據(jù)不會節(jié)省存儲空間，因為創(chuàng)建匯總的細節(jié)可能會繼續(xù)被保留。匯總提供的好處主要包括：在線存儲需求減少

分析的標(biāo)準(zhǔn)化以及數(shù)據(jù)交付性能的改善合并實體通過減少連接操作的數(shù)量，提高了數(shù)據(jù)交付處理的性能，并且可以增強一致性。分離數(shù)據(jù)根據(jù)穩(wěn)定性和用法來分離數(shù)據(jù)。穩(wěn)定性分析根據(jù)各個數(shù)據(jù)屬性是否經(jīng)常變化的特性將這些屬性進行分組。影響因素描述當(dāng)前業(yè)務(wù)需求粒度級別必須足以回答定位在該數(shù)據(jù)倉庫迭代范圍內(nèi)的每一個業(yè)務(wù)問題。提供高的粒度級別增加了數(shù)據(jù)倉庫和項目的開發(fā)成本，如果業(yè)務(wù)不需要細節(jié)，則增加的成本就沒有商業(yè)價值。未來業(yè)務(wù)需求按照目前明確需求建立數(shù)據(jù)倉庫，但在建立并抽取數(shù)據(jù)時要適應(yīng)考慮未來的需求數(shù)據(jù)挖掘需求數(shù)據(jù)挖掘算法需要細節(jié)級明細數(shù)據(jù)派生數(shù)據(jù)需求派生數(shù)據(jù)在計算時使用了其它的數(shù)據(jù)元素，除非在代價和開發(fā)時間方面有很大增長，否則所選的粒度級別應(yīng)該適用于存儲所有用于派生其它數(shù)據(jù)元素的元素。操作系統(tǒng)粒度操作源系統(tǒng)中有效的細節(jié)級別，對于不同粒度的源系統(tǒng)需要決定是否在最低的公共級別上抽取數(shù)據(jù)，以使所有的數(shù)據(jù)很好的整合，或者從每一個系統(tǒng)中根據(jù)他的有效粒度來抽取數(shù)據(jù)。存儲開銷粒度級別對存儲開銷有很大影響備份和恢復(fù)數(shù)據(jù)倉庫需要周期性地進行備份和恢復(fù)，細節(jié)越多，日常備份需要的時間也越多。數(shù)據(jù)倉庫粒度級別........影響數(shù)據(jù)倉庫粒度級別的主要因素匯總數(shù)據(jù)影響因素描述當(dāng)前業(yè)務(wù)需79逆規(guī)范化指南問題類型解決方法關(guān)系類型層次關(guān)系：子對父通常有很強的依賴性。傾向于將把這些概念逆規(guī)范化到一個實體同等關(guān)系：在獨立的表中保存獨立的實體，可以保證設(shè)計與業(yè)務(wù)規(guī)則保持一致。一對一關(guān)系：如果當(dāng)一個實體值僅與來自另一個實體的一個實體值相關(guān)，反之亦然。傾向于逆規(guī)范化。確定關(guān)系：父實體決定子實體的意義。通常為事務(wù)處理數(shù)據(jù)到引用數(shù)據(jù)的關(guān)系和關(guān)系實體，在多對多關(guān)系引入的關(guān)系表被認(rèn)為是子，而參與多對多關(guān)系的兩個表被認(rèn)為是父。在事務(wù)處理引用關(guān)系中，事務(wù)處理表是子，而引用表是父。通常，子表很大且易變。父表通常穩(wěn)定的多且小。所以傾向于把這兩個實體保存在各自的表中。參與率確定關(guān)系中每個實體的參與性。對于一個給定的父實體數(shù)值，大概會有幾個子實體數(shù)值。父子關(guān)系越接近一對一，將父實體逆規(guī)范化到子實體，將有最小數(shù)量的冗余。父實體中有多少數(shù)據(jù)元素如果將父實體逆規(guī)范化到子實體，保證子實體中具有存放父實體的數(shù)據(jù)元素額外空間。使用率兩個實體的耦合或相關(guān)程度如何。如果在許多用戶查詢和發(fā)布中，來自兩個實體的數(shù)據(jù)元素將一起出現(xiàn)，那么，如果這些信息在同一表中而不是分布于多個表之內(nèi)，則信息獲取將會更快捷。父實體是否變化如果未來父實體不需要加入更多的數(shù)據(jù)元素或關(guān)系，那么新業(yè)務(wù)規(guī)則不會對父實體引起完整性和強制性影響。進行逆規(guī)范化的可行性就較強。如果未來父實體需要加入更多的數(shù)據(jù)元素或關(guān)系，那么新父實體數(shù)據(jù)元素會引起額外的冗余和空間。為了避免將來的維護和冗余問題，需要保持兩個實體的獨立性。變動對比率在同一時間周期內(nèi)，兩個實體的插入和更新頻率是否相近。主要考慮性能和數(shù)據(jù)同步問題。即數(shù)據(jù)穩(wěn)定性。........逆規(guī)范化指南問題類型解決方法關(guān)系類型層次關(guān)系：子對父通常有很80風(fēng)險數(shù)據(jù)集市-匯總層........風(fēng)險數(shù)據(jù)集市-匯總層....81風(fēng)險數(shù)據(jù)集市-應(yīng)用層........風(fēng)險數(shù)據(jù)集市-應(yīng)用層....82

數(shù)據(jù)倉庫概念

數(shù)據(jù)倉庫數(shù)據(jù)架構(gòu)

邏輯數(shù)據(jù)模型數(shù)據(jù)模型標(biāo)準(zhǔn)化工藝流程主題........數(shù)據(jù)倉庫概念主題....83步驟任務(wù)項目準(zhǔn)備與策劃模型設(shè)計人員的主要職責(zé)是參與制定模型相關(guān)的項目實施策略，包括確定數(shù)據(jù)源范圍，明確最終提交物和項目日程等。此外，模型設(shè)計人員在進場前可參與提出客戶相關(guān)資料的具體需求，，包括一些參考模板，以保證后續(xù)工作的輸入。項目啟動模型設(shè)計人員參與模型相關(guān)的工作流程制定、標(biāo)準(zhǔn)文檔的客戶化，負責(zé)在整個項目組范圍內(nèi)組織模型培訓(xùn)，明確LDM在整個信息架構(gòu)中的定位和作用，并就工作方法達成共識。系統(tǒng)需求模型設(shè)計人員參與業(yè)務(wù)訪談、數(shù)據(jù)和功能的需求分析系統(tǒng)設(shè)計系統(tǒng)設(shè)計工作是模型組工作的主體，主要由模型小組主導(dǎo)。它包括：信息調(diào)研、構(gòu)建概念模型、邏輯數(shù)據(jù)模型詳細設(shè)計，以及物理數(shù)據(jù)模型設(shè)計。系統(tǒng)開發(fā)與單元測試模型設(shè)計人員主要起到支持的作用，為開發(fā)人員解釋模型設(shè)計，協(xié)助驗證單元測試的結(jié)果等，并根據(jù)測試發(fā)現(xiàn)的問題進行相應(yīng)修改和變更。數(shù)據(jù)模型標(biāo)準(zhǔn)工藝概述........步驟任務(wù)項目準(zhǔn)備與策劃模型設(shè)計人員的主要職責(zé)是參與制定模型相84項目準(zhǔn)備與策劃在項目準(zhǔn)備與策劃階段，模型設(shè)計人員的主要職責(zé)是參與制定模型相關(guān)的項目實施策略，包括確定數(shù)據(jù)源范圍，明確最終提交物和項目日程等。此外，模型設(shè)計人員在進場前可參與提出客戶相關(guān)資料的具體需求，包括一些參考模板，以保證后續(xù)工作的輸入。確定項目人員本階段將確定參與項目實施的所有人員名單，包括全職和兼職人員。其中，在確定模型人員時，需考慮對人員進行如下要求：熟悉使用建模工具擁有豐富模型設(shè)計經(jīng)驗熟悉銀行業(yè)務(wù)較強的溝通表達能力具備數(shù)據(jù)敏感性收集資料資料名稱資料說明相關(guān)模板名稱系統(tǒng)數(shù)據(jù)結(jié)構(gòu)相關(guān)系統(tǒng)完整的數(shù)據(jù)結(jié)構(gòu)（含字段/代碼的取值說明和索引等信息）供分析用源系統(tǒng)數(shù)據(jù)字典模板.xls業(yè)務(wù)需求客戶提供的各種業(yè)務(wù)需求材料

部門職能調(diào)查問卷對目標(biāo)訪問部門的職能/業(yè)務(wù)范圍進行調(diào)研

訪談材料現(xiàn)狀介紹/業(yè)務(wù)調(diào)查問卷/數(shù)據(jù)調(diào)查問卷

制定實施策略明確與模型相關(guān)的數(shù)據(jù)源范圍里程碑提交物工作日程........項目準(zhǔn)備與策劃在項目準(zhǔn)備與策劃階段，模型設(shè)計人員的主要職責(zé)是85項目啟動在項目啟動階段，模型設(shè)計人員參與模型相關(guān)的工作流程制定、標(biāo)準(zhǔn)文檔的客戶化，負責(zé)在整個項目組范圍內(nèi)組織模型培訓(xùn)，明確數(shù)據(jù)模型在整個信息架構(gòu)中的定位和作用，并就工作方法達成共識。制定工作流程劃分不同小組的工作邊界確定模型組人員的工作分工確定項目組內(nèi)部以及對外的工作模式對公司標(biāo)準(zhǔn)項目實施流程進行客戶化進行模型培訓(xùn)介紹源系統(tǒng)由客戶介紹源系統(tǒng)，內(nèi)容包括：系統(tǒng)架構(gòu)/設(shè)計思想/系統(tǒng)定位業(yè)務(wù)功能/重要流程關(guān)鍵數(shù)據(jù)表以及關(guān)系和其他系統(tǒng)的關(guān)系培訓(xùn)內(nèi)容相關(guān)模板名稱數(shù)據(jù)模型的基本概念、定位及常用的建模方法數(shù)據(jù)模型培訓(xùn)模板.ppt模型設(shè)計規(guī)范邏輯數(shù)據(jù)模型設(shè)計規(guī)范模板.pdf數(shù)據(jù)模型設(shè)計工具

模型產(chǎn)品培訓(xùn)

【可選，依是否使用模型產(chǎn)品而定】

........項目啟動在項目啟動階段，模型設(shè)計人員參與模型相關(guān)的工作流程制86系統(tǒng)需求在系統(tǒng)需求階段，模型設(shè)計人員參與配合業(yè)務(wù)顧問（以業(yè)務(wù)顧問為主導(dǎo)），進行需求分析、業(yè)務(wù)訪談工作，對需求人員所編寫的《業(yè)務(wù)需求說明書》就模型相關(guān)部分進行