(完整版)經典數據模型培訓課件

1、數據模型培訓2009年07月目錄數據模型的概念主題域模型介紹FSD數據模型總體介紹FSD數據模型應用數據倉庫建模基礎總結邏輯數據模型(Logical Data Model)是：利用圖形方式，通過數據和關系反映業(yè)務的一個過程；定義需要追蹤和管理的各種重要實體、屬性和關系；是進行各種數據管理、分析和交流的重要手段；是IT和業(yè)務人員溝通的橋梁；什么是數據模型？數據模型作用為復雜的業(yè)務系統(tǒng)實施提供了規(guī)范和基礎結構藍圖促進業(yè)務部門用戶和IT分析人員之間的有效溝通，提高了IT 系統(tǒng)開發(fā)的效率明確業(yè)務需求解決業(yè)務問題形成對重要業(yè)務定義和術語的統(tǒng)一認識，有助于業(yè)務的積累具備跨部門、中性的特征，能夠表達所有的業(yè)

2、務業(yè)務具有一定的穩(wěn)定性，可以減少項目實施的風險借鑒行業(yè)實踐檢驗，提供成熟、可擴展的方案數據模型的基本組成數據模型由實體、屬性和關系組成：實體是具有公共性質的可區(qū)別的現實世界對象的集合，諸如人、地點、事件或概念等任何要保留信息的事務，如客戶、產品等。包括基本實體、子類型實體、屬性實體、關聯實體四種類型。屬性是描述實體或者聯系的性質的數據項，是實體的特征，每個屬性都代表實體的單個特征信息，如客戶ID、客戶名稱等，其中主鍵用于唯一標識實體，外鍵存在于父子關系的一對實體間。關系是表示實體之間的關聯、連接等。關系有一對一、一對多、或者多對多。關系有基數、可選性、標識聯系、非標識聯系等特性。范式化第1范式

3、：屬性依賴于鍵第2范式：屬性依賴于全鍵第3范式：屬性只依賴于鍵總結：所有屬性必須依賴鍵且為全鍵，并且只能依賴于鍵討論：范式化與逆范式化（通俗的說法：窄表、寬表）數據模型與數據結構指標維護-指標關系歷史Item_Id指標標識CHAR(10)Upper_Item_Id上層指標標識CHAR(10)Start_Date開始日期DATEItem_Mode指標性質CHAR(2)End_Date結束日期DATECaulate_Seq計算順序INTEGERCaculate_Mode_Cd計算方式代碼CHAR(2)Caculate_Level計算層次INTEGERCOEF_Caculate_Mode_Cd系數計

4、算方式代碼CHAR(2)COEF_Amt系數值DECIMAL(18,10)Target_Value目標值DECIMAL(18,10)指標維護-指標性質第一位: 1:本期 2:上期 3:年初 4:同期 5:比較第二位: 1:實際值 2:增減值 3:增減百分比指標維護-計算方式代碼+加-減/除*乘0不計算指標結構Item_Id指標標識CHAR(10)Upper_Item_Id上層指標標識CHAR(10)Start_Date開始日期DATEItem_Mode指標性質CHAR(2)End_Date結束日期DATECaulate_Seq計算順序INTEGERCaculate_Mode_Cd計算方式代碼C

5、HAR(2)Caculate_Level計算層次INTEGERCOEF_Caculate_Mode_Cd系數計算方式代碼CHAR(2)COEF_Amt系數值DECIMAL(18,10)Target_Value目標值DECIMAL(18,10)指標維護-指標性質第一位: 1:本期 2:上期 3:年初 4:同期 5:比較第二位: 1:實際值 2:增減值 3:增減百分比指標維護-計算方式代碼+加-減/除*乘0不計算數據模型關系數據建模技術企業(yè)級數據模型客戶存款貸款主題域模型業(yè)務數據模型貸款業(yè)務貸款業(yè)務（核心系統(tǒng)）貸款業(yè)務（信貸系統(tǒng)）邏輯數據模型物理數據模型存款業(yè)務建立邏輯模型策略從物理數據庫如：核心

6、、CRM、信貸、資產負債等系統(tǒng)開始進行反向工程。建立邏輯模型，被稱為“自底向上”的建模方式，或模型B。根據數據建模小組的業(yè)務知識和行業(yè)建模經驗建立實體水平邏輯模型，被稱為“自頂向下”的建模方式，或模型A。業(yè)務知識企業(yè)級數據模型交易系統(tǒng)交易系統(tǒng)目錄數據模型的概念主題域模型介紹FSD數據模型總體介紹FSD數據模型應用數據倉庫建?；A總結通用數據模型主題劃分金融數據模型IBM FSDMNCR 7.0當事人和當事人角色參與者 (Involved Party)當事人 法人實體組織機構機構客戶產品產品 (Product)產品分類方案分類 (Classification)渠道協議合約 (Arrangemen

7、t) 合約交易事件 (Event)事件財務記錄財務地域地點 (Location) 區(qū)域通訊憑證時間表營銷活動金融資產資源項 (Recourse Item)資產條件 (Condition)業(yè)務方針 (Business Direction)金融數據模型總覽當事人產品及協議交易當事人-定義及分類當事人-法律實體當事人-組織機構當事人-客戶產品-定義產品-特性產品-分類協議交易財務記錄（賬戶）財務記錄(賬戶)協議-交易-賬戶的關系 當事人（具有銀行指定的客戶角色）與銀行進行某種業(yè)務時，必然針對銀行的某種產品，其產品自身的特點及交易屬性決定了在交易時必須遵循一定的規(guī)則，即雙方必須遵守的業(yè)務約定（協議）。

8、在業(yè)務約定的前提下，在一定的時間和地點雙方實現業(yè)務約定的內容，即進行交易，交易過程中會伴隨有相應的金額數量和幣種等信息。交易發(fā)生時，銀行會記錄與這筆交易有關的財務信息，即影響銀行財務增加或減少的財務記錄（賬戶）。地域通訊憑證時間表金融資產分類目錄數據模型的概念主題域模型介紹FSD數據模型總體介紹FSD數據模型應用數據倉庫建模基礎總結FSD（Financial Service Datastore）的目標面向銀行業(yè)，滿足銀行業(yè)務、管理、監(jiān)管要求通過多家銀行的報表需求，不斷完善FSD元數據內容通過對報表需求的分析，不斷完善元數據定義的標準通過多家銀行的項目實施經驗，不斷完善數據采集的管理、調度機制，

9、實現外部業(yè)務系統(tǒng)、數據平臺的安全、協調運行具有良好的拓展性，滿足銀行不斷推出的新業(yè)務、新服務的要求制定FSD管理流程，保證FSD與數據平臺產品的同步升級建立FSD數據管理方法論，保證新增數據與數據模型、歷史數據的有效銜接協助銀行，制定有效的數據管理制度 從任何角度統(tǒng)計，在業(yè)務邏輯一致的情況下，結果相同 從分戶賬、總賬、交易信息，等等，任何一個角度進行統(tǒng)計，結果一致數據代理層ETL 處理ETL 處理數據提供者業(yè)務報表管理報表數據檢核訪問控制元數據管理數據服務工廠數據使用者ETL處理數據訪問和發(fā)布數據管理體系抽取、清洗、轉換、加載組織、活動、交付、職責、技術即席查詢分析決策數據管理體系外部數據中間

10、業(yè)務理財信貸資金國結核心其他數據平臺層數據應用層EDWCreditALMORMGLCRMMA監(jiān)管報表FSD的處理步驟ODS層基礎層匯總層TP: Table of Presentation (or Tier of Presentation) ，是對外提供數據和報表展現接口，以數據庫表的形式存在。數據代理層數據平臺層數據應用層ODS層數據結構與源一致。數據內容與源一致。參數代碼與源一致。源系統(tǒng)數據落地。隔離源系統(tǒng)依賴。保存少量歷史支持重做。FSD：基于金融數據模型的數據存儲（Financial Service Datastore）接口層數據的加工過程需要的臨時區(qū)，參與集合篩選、增量計算等過程，視情

11、況而定是否需要落地?；A層按銀行業(yè)務劃分的模型存儲明細數據。保存時點全量和部分歷史流水。匯總層基于源系統(tǒng)參數設置的常用高粒度業(yè)務數據匯總、預連接等運算處理。分析層面向應用要求的、按照特定分析主題定制的、約定特定用途的一組星型模型（Star Schema）存儲區(qū)域。指標層基于項目（Item）的、具有公式關系和復雜運算特點的指標定義、計算、存儲區(qū)域。TP層用于報表快速展現的報表數據存儲或緩沖區(qū)域。在非完全由分析層提供數據時須保留歷史。接口層分析層指標層TP層FSD基礎層匯總層FSD業(yè)務主題域內部資料 注意保密內部資料 注意保密FSD業(yè)務主題域區(qū)域機構客戶業(yè)務約定賬戶交易總帳參數貸款國家行政區(qū)劃基本

12、信息投資信息關聯方信息案件信息外匯風險敞口內部敞口額度發(fā)行債券柜員額度資產信息個人客戶企業(yè)客戶同業(yè)客戶客戶關系企業(yè)財務企業(yè)資產額度合同保證合同抵押合同質押合同擔保物承諾協議貸款合同.貸款賬戶還款計劃發(fā)放回收結息狀態(tài)轉換展期還款假期抵債資產入賬重組幣種國家行政區(qū)劃匯率外匯折算率利率存款類型存款交易類型存款產品余額限制賬戶限制類型中間業(yè)務品種中間業(yè)務渠道類型貸款類型貸款子類型貸款用途貸款可疑狀態(tài)分析類型1國結產品類型結售匯及掉期匯率內部平盤價大額參數風險權重存款協議存款協議存款賬戶外匯賬戶同業(yè)存放賬戶存款取款手續(xù)費理財國結卡基本信息自助設備資金同業(yè)拆借賬戶結構性存款信用卡內部賬戶總帳總帳賬戶總賬流

13、水科目定義客戶準入貸后跟蹤統(tǒng)一授信合同簽訂業(yè)務審批業(yè)務申請回收記帳風險分類貸前調查資產保全信貸制裁客戶評級業(yè)務審查發(fā)放記帳利息管理狀態(tài)管理客戶客戶信息客戶評級統(tǒng)一授信賬戶信貸賬戶還款計劃本息通知交易歸還明細期限調整申請信息批復信息授信額度授信合同擔保物業(yè)務約定評級/分類貸款數據模型內部資料 注意保密FSD貸款主題分析模型186個維度91個指標13個數據粒度貸款業(yè)務模型已較為完整，可據此產生新的報表內部資料 注意保密貸款主題分析模型目錄數據模型的概念主題域模型介紹FSD數據模型總體介紹FSD數據模型應用數據倉庫建?；A總結FSD數據模型的語義定義商業(yè)機密51技術層展現層ETL加工過程業(yè)務系統(tǒng)產生

14、的數據語義層FSD物理模型技術元數據技術元數據業(yè)務元數據業(yè)務元數據語義定義過程語義應用過程元數據管理查詢報表文件視圖元數據業(yè)務視圖FSD物理模型表 字段 視圖 關聯 分區(qū)元數據建模模型元數據屬性 指標 組合維度 層次MMT元數據條件 維度列 指標列 單/多維度指標列 組合MMT報表元數據參數 樣式 行列定義 數據區(qū)定義 平衡檢查 補錄定義多維模型多維建模是一種將數據模型概念化和形象化為一組可用一般商業(yè)概念描述的度量的技術。 星型模型雪花模型多維建模的基本概念維度度量面向業(yè)務人員的建模過程維度和度量維度是一個與業(yè)務相關的觀察角度依賴于數據的有效性和表達業(yè)務成效的關鍵性能指標度量度量是業(yè)務量化的表

15、示用于評價業(yè)務狀態(tài)的數值型數據用于檢測業(yè)務的成效不同度量反映不同的業(yè)務性質度量之間是獨立的機構時間幣種貸款產品類型貸款用途貸款投向行業(yè)五級分類擔保方式期限 維度余額逾期金額發(fā)放金額回收金額表內欠息表外欠息實收利息應計利息貸款筆數發(fā)放筆數回收筆數逾期筆數 度量貸款模型示例：2008年度北京分行用于個人消費的三年期人民幣貸款的發(fā)放總金額和貸款余額是多少？維度：時間（2008年度） 度量：發(fā)放總金額 機構（北京分行） 貸款余額 產品（個人消費貸款） 期限（三年期） 幣種（人民幣）貸款分析舉例目錄數據模型的概念主題域模型介紹FSD數據模型總體介紹FSD數據模型應用數據倉庫建?；A總結什么是數據倉庫?數據倉庫區(qū)別于其他數據存儲系統(tǒng)“數據倉庫是一個面向主題的、集成的、隨時