商業(yè)銀行數據倉庫淺析

商業(yè)銀行數據倉庫淺析營口銀行內部資料BYK商業(yè)銀行數據倉庫淺析BYK商業(yè)銀行數據倉庫淺析商業(yè)銀行數據倉庫淺析第一版孟凡濤2012年12月目錄引言 51 基本概念 61.1 操作型系統(tǒng) 61.2 OLTP和OLAP 61.3 數據源系統(tǒng) 71.4 數據倉庫 71.4.1 面向主題 71.4.2 集成 81.4.3 非易失性 91.4.4 隨時間變化 101.5 決策支持系統(tǒng) 111.6 維度和度量 112 數據倉庫的好處 123 數據倉庫核心內容 143.1 典型數據倉庫架構圖 143.2 數據模型 143.2.1 模型設計思路 153.2.2 模型設計原則 163.2.3 模型主題劃分 163.2.4 拉鏈表 193.2.5 快照表 203.2.6 流水表 203.3 ODS層 203.3.1 ODS定義 203.3.2 ODS作用 213.4 FDS層 223.5 IDS層 223.6 數據集市 223.7 ETL過程 233.8 調度管理 233.9 元數據管理 243.9.1 基本定義 243.9.2 元數據管理的作用 253.10 數據質量管理 264 數據倉庫規(guī)范 274.1 數據層規(guī)范 274.2 主題域命名 274.2.1 基礎數據層（FDS）主題命名 284.2.2 集成數據層（IDS）主題命名 294.2.3 實體/表命名 294.2.4 屬性/列命名 325 歷史數據 346 常見問題 346.1 數據量 356.2 拉鏈表 356.3 索引 36引言近年來，由于計算機技術的飛速發(fā)展和科技的不斷進步，數據庫技術的應用在各個領域也不斷的深入。在金融領域，數據庫技術的發(fā)展和應用為商業(yè)銀行積累了大量的日常業(yè)務數據，這些數據對于商業(yè)銀行來說無異于一個巨大的寶庫，蘊藏著大量的對銀行管理和決策有用的信息。但如何使這些數據轉換成有用的信息，為商業(yè)銀行各種業(yè)務的發(fā)展提供正確的決策，傳統(tǒng)的數據庫系統(tǒng)已經無法滿足需求。于是人們不斷嘗試對數據庫中的數據進行再加工，形成一個綜合的、面向分析的環(huán)境，以更好的支持銀行決策者進行決策分析。在這種情況下，就產生了一種新的信息處理技術——數據倉庫技術（DataWarehouse）。數據倉庫技術在商業(yè)銀行領域的應用越來越多，那么究竟什么是數據倉庫，如何構建數據倉庫就是本文所要探討的內容。目前國內的很多商業(yè)銀行都在建設自己的數據倉庫，然而不同的廠商、不同的銀行對于數據倉庫的理解也各不相同，建設的成果五花八門，有很成功的案例、也有很多失敗的案例。無論是哪種情況、也無論是采取哪種思路建設數據倉庫，如果所建設的成果能夠真正為銀行所用、能夠對于銀行的統(tǒng)計分析、決策支持起到一定的作用，并且對于后續(xù)的維護工作、升級工作能夠很順暢的進行下去，我們就可以說，這樣的數據倉庫對于銀行來說是成功的。本人從事金融行業(yè)的軟件系統(tǒng)建設工作已經近七年的時間，也參與過一些商業(yè)銀行數據倉庫的規(guī)劃、建設過程。對于商業(yè)銀行數據倉庫有一些基本的理解與認識，為了使自己的經驗以及所學、所想不至于隨著時間的推移而遺忘和丟失，特整理了本文關于商業(yè)銀行數據倉庫方面的知識。本文是基于相關數據倉庫項目的經驗、結合數據倉庫一些書籍、文檔以及本人對數據倉庫的理解和在數據倉庫項目中遇到的一些問題總結的一份適合銀行內部科技人員在數據倉庫方面學習的文檔。數據倉庫技術本身包含的內容較多，文中還有很多章節(jié)還可以進一步的精斟細酌，我會在后續(xù)的工作和學習中不斷的對其進行完善。每個人對數據倉庫的理解程度也各不相同，針對本文如果有欠缺之處，希望在數據倉庫領域的資深前輩加以斧正?；靖拍畈僮餍拖到y(tǒng)操作型系統(tǒng)也稱為面向交易的處理系統(tǒng)，聯(lián)機事務處理（OLTP）系統(tǒng)。其基本特征顧客的原始數據可以立即傳送到計算機中心進行處理，并在很短的時間內給出處理結果。其最大優(yōu)點是可以即時地處理輸入的數據，及時地得到響應。也稱為實時系統(tǒng)，它的一個重要性能指標是響應時間。OLTP是由數據庫引擎負責完成的。OLTP數據庫旨在使事務應用程序僅寫入所需的數據，以便盡快處理單個事務。OLTP數據庫能夠支持大量并發(fā)用戶定期添加和修改數據，對個別事務能夠很快地處理完成，并且只需訪問相對較少的數據。OLTP旨在處理同時輸入的成百上千的事務。對于商業(yè)銀行來說，核心業(yè)務系統(tǒng)、國際結算系統(tǒng)是典型的操作型系統(tǒng)。OLTP和OLAP當今的數據處理主要分成兩大類：聯(lián)機事務處理OLTP（on-linetransactionprocessing）、聯(lián)機分析處理OLAP（On-LineAnalyticalProcessing）。OLTP是傳統(tǒng)的關系型數據庫的主要應用，主要是基本的、日常的事務處理，例如銀行交易。OLAP是數據倉庫系統(tǒng)的主要應用，支持復雜的分析操作，側重決策支持，并且提供直觀易懂的查詢結果。下表列出了OLTP與OLAP之間的比較。原始數據/操作型數據導出數據/DSS數據面向應用的面向主題的詳細的綜合的或提煉的在存取瞬間是準確的代表過去的數據為日常工作服務為管理者服務可更新不更新重復運行啟發(fā)式運行處理需求事先可知處理需求事先不知道生命周期符合SDLC（傳統(tǒng)的系統(tǒng)開發(fā)生命周期）完全不同的生命周期對性能要求高對性能要求寬松一個時刻存取一個單元一個時刻存取一個集合事務處理驅動分析處理驅動更新控制主要涉及所有權無更新控制問題高可用性松弛的可用性整體管理以子集管理非常冗余時常有冗余靜態(tài)結構、可變的內容結構靈活一次處理數據量小一次處理數據量大支持日常操作支持管理需求訪問的高可能性訪問的低可能性或適度可能性數據源系統(tǒng)數據倉庫中的數據通常都是來自于操作型環(huán)境中的數據，在商業(yè)銀行中操作型的系統(tǒng)主要包括核心業(yè)務系統(tǒng)、國際結算系統(tǒng)、信貸管理系統(tǒng)、財務系統(tǒng)、ECIF等等。這些系統(tǒng)每天都會產生大量的業(yè)務數據和交易數據，數據倉庫可以每天從這些系統(tǒng)中獲取有用的數據加載到數據倉庫中供決策分析使用。隨著銀行業(yè)務的發(fā)展壯大，銀行產品的不斷增多，數據源系統(tǒng)也會不斷的擴充，如銀行卡系統(tǒng)、網上銀行系統(tǒng)、資金系統(tǒng)等等。也正是由于數據源系統(tǒng)是會不斷擴充的，所以說數據倉庫建設對于銀行來說不是一個項目而是一個過程。即隨著銀行操作型系統(tǒng)的不斷增多、數據倉庫的構建也需要一直持續(xù)下去。數據倉庫數據倉庫是一個面向主題的、集成的、非易失的且隨時間變化的數據集合，用來支持管理人員的決策。數據倉庫是一個環(huán)境，而不是一個產品，提供用戶用于決策支持的當前和歷史數據，這些數據在傳統(tǒng)的操作型數據庫中很難或不能得到。數據倉庫技術是為了有效的把操作型數據集成到統(tǒng)一的環(huán)境中以提供決策型數據訪問的各種技術和模塊的總稱。所做的一切都是為了讓用戶更快更方便查詢所需要的信息，提供決策支持。面向主題對于商業(yè)銀行來說，傳統(tǒng)的操作型系統(tǒng)是圍繞銀行的業(yè)務應用進行組織的。對于一個銀行來說，應用問題可能是儲蓄存款、對公存款、住房貸款、銀行承兌匯票。那么對于數據倉庫來說銀行的主要主題范圍可能是客戶、存款、貸款、中間業(yè)務。如下圖所示：集成集成的是數據倉庫的重要特點之一，數據倉庫中存儲的數據都是經過集成之后的數據。傳統(tǒng)的數據是在操作型環(huán)境中存儲的，當把數據從操作型環(huán)境轉入到數據倉庫時，如果不進行集成就沒有意義，如果數據以一種非集成狀態(tài)存放到數據倉庫，它就不能很好的支持決策分析。下圖為一個客戶信息集成的簡單的例子。非易失性數據倉庫的數據非易失性是數據倉庫的另一個重要特征。如下圖所示，操作型環(huán)境中的數據通常是一次訪問和處理一個記錄，并且操作型環(huán)境中的數據是可以被更新的。但是在數據倉庫中的數據通常是一次載入與訪問的，并且數據倉庫中的數據并不進行一般意義上的數據更新。隨時間變化數據倉庫的另一個顯著特征是隨時間變化的。如下圖所示，數據倉庫隨時間變化的顯著特征主要體現(xiàn)在以下幾點：■數據倉庫中的數據時間期限要遠遠長于操作型系統(tǒng)中數據的時間期限。操作型系統(tǒng)的時間期限一般是60～90天，而數據倉庫中數據的時間期限通常是5～10年?！霾僮餍蛿祿旌小爱斍爸怠钡臄祿@些數據的準確性在訪問時是有效的，同樣當前值的數據能被更新。而數據倉庫中的數據僅僅是一系列某一時刻生成的復雜的快照?！霾僮餍蛿祿逆I碼結構可能包含也可能不包含時間元素，如年、月、日等。而數據倉庫的鍵碼結構總是包含某時間元素。決策支持系統(tǒng)在商業(yè)銀行內部，決策支持系統(tǒng)（DSS）與傳統(tǒng)的操作型系統(tǒng)有著明顯的區(qū)別。它不是面向交易的系統(tǒng)，它屬于銀行內部的管理類系統(tǒng)，可以用于指導營銷、分析銀行的業(yè)務經營情況、預測銀行的各種業(yè)務風險、指導經營決策，它的數據來源為銀行內部的各種交易型系統(tǒng)（如核心業(yè)務系統(tǒng)、信貸管理系統(tǒng)、國際結算系統(tǒng)、銀行卡系統(tǒng)、資金業(yè)務系統(tǒng)等）。通常是面向行內管理層、決策層和營銷層的系統(tǒng)。典型的決策支持系統(tǒng)有商業(yè)銀行管理駕駛艙系統(tǒng)、商業(yè)銀行CRM系統(tǒng)、商業(yè)銀行績效管理系統(tǒng)、商業(yè)銀行全面風險管理系統(tǒng)、商業(yè)銀行全行報表系統(tǒng)等等。決策支持類系統(tǒng)的特點是利用銀行各個交易系統(tǒng)的數據進行統(tǒng)計、分析、預警以達到管理和決策的需要，通常需要大量的歷史數據和全方位的業(yè)務數據的支持。因此，銀行建立了數據倉庫的基礎上建設決策支持類系統(tǒng)更加滿足系統(tǒng)建設和規(guī)劃的要求。維度和度量維度是指一種視角，而不是一個固定的數字；是一個判斷、說明、評價和確定一個事物的多方位、多角度、多層次的條件和概念。在數據倉庫的理論中，維度是一個與業(yè)務相關的觀察角度，是依賴于數據的有效性和表達業(yè)務成效的關鍵性能指標。度量是業(yè)務量化的表示、用于評價業(yè)務狀態(tài)的數值型數據、用于檢測業(yè)務的成效，不同度量反映不同的業(yè)務性質，度量之間的相互獨立的。如下圖所示，以貸款基本信息表為例分別列出了維度信息和度量信息。數據倉庫的好處眾所周知，數據倉庫的建設對一個銀行甚至一個企業(yè)都是有著非常多的好處的。那么，為了能夠更清晰的理解數據倉庫的好處?？梢詫祿}庫與傳統(tǒng)的操作型系統(tǒng)對比來看。下表從各個層面列出了數據倉庫的好處：數據倉庫的好處比較方面?zhèn)鹘y(tǒng)的操作型系統(tǒng)數據倉庫1．系統(tǒng)用途面向交易的聯(lián)機事務處理系統(tǒng)，注重的是事務處理的響應結果和響應效率?？梢酝瑫r處理成百上千的交易，并且能夠很快的返回結果。操作型系統(tǒng)主要是面向日常工作服務。面向復雜的分析操作，側重決策支持，能夠支持靈活的數據查詢需求，并且提供直觀易懂的查詢結果。數據倉庫主要面向管理者服務。2．數據方面【A】數據屬于分散存儲狀態(tài)，均獨立于各個操作型系統(tǒng)本身。便于高效的進行聯(lián)機事務處理。不利于對數據的統(tǒng)一管理和維護?！続】形成了統(tǒng)一的數據平臺，對各個操作型系統(tǒng)的數據進行了整合。便于對數據的統(tǒng)一管理和維護?！荆隆繑祿]有按照業(yè)務主題進行劃分，沒有進行集成和整合?！荆隆繉碓从诓煌牟僮餍拖到y(tǒng)的業(yè)務數據按照主題進行了劃分并且對數據進行了集成和整合。便于分析人員使用數據，便于對數據的靈活查詢和分析?！綜】數據屬于面向交易的數據，數據可以被更新，隨著交易的發(fā)生，數據是在實時發(fā)生變化的。沒有記錄某一時點的數據狀態(tài)，不能反映數據的歷史變化情況?！綜】數據是代表過去的某一時點的數據，數據不會被更新，不會發(fā)生變化。記錄著某一時點的數據狀態(tài)。能夠反映數據的歷史變化情況。【D】數據存儲時間較短，有些數據實時發(fā)生變化的，不存儲歷史數據。無法對數據進行持續(xù)的分析?！綝】數據存儲時間較長，通常為5到10年，便于對數據的長期持續(xù)性分析。便于從數據中提取出指導決策和營銷的有價值的信息?！綞】數據質量受系統(tǒng)功能及使用者的習慣決定。無法保證有較好的數據質量?！綞】數據倉庫的建設過程涉及到數據的集成和整合的操作，在此階段可以通過補錄的方式完善數據質量。是數據的可用性更強。3．數據倉庫核心內容典型數據倉庫架構圖數據模型模型是現(xiàn)實世界的抽象，數據模型（DataModel）是數據特征的抽象，是數據庫系統(tǒng)中用以提供信息表示和操作手段的形式構架。數據模型包括數據庫數據的結構部分、數據庫數據的操作部分和數據庫數據的約束條件。其中，數據結構主要描述數據的類型、內容、性質及數據間的關系；數據操作主要描述在相應的數據結構上的操作類型和操作方式；數據約束主要描述數據結構內數據間的語法、詞義聯(lián)系、他們之間的制約和依存關系以及數據動態(tài)變化的規(guī)則，以保證數據正確、有效和相容。數據模型是數據倉庫的靈魂，一套設計合理的數據模型是數據倉庫建設成功并能夠持續(xù)良好運行的關鍵。模型設計思路 數據模型的設計是一個比較復雜的過程，需要經過多次迭代過程，經過反復檢驗和修正，才可能逐漸接近能夠反映業(yè)務的真實現(xiàn)狀。數據模型設計的思路如下：數據源驅動：確定ODS層。 對現(xiàn)有的數據源系統(tǒng)（核心系統(tǒng)、信貸系統(tǒng)、國結結算系統(tǒng)等）進行分析，按照模型貼近源系統(tǒng)的基本原則，可以確定ODS層的數據模型。統(tǒng)一規(guī)范和管理驅動：確定FDS層。 需要在對源系統(tǒng)分析的基礎上，對基礎層模型各系統(tǒng)之間的同類數據進行輕度整合，并結合本行的業(yè)務特點和目前的應用需求，按一定的業(yè)務主題重新組織數據模型，形成基礎層邏輯模型。拿來主義：選擇共性加工層的參考模型，完善基礎層。 選擇同業(yè)成功案例的數據模型作為參考模型，結合法人行的業(yè)務特點，對參考模型加以修改完善，形成本行的數據模型。這種方法效率高，但得到的數據模型需要不斷地進行修正。由此，借助他行的模型經驗，可以確定本項目共性加工層參考模型。目標驅動：確定應用集市層，完善共性加工層。 根據本期項目的目標和應用系統(tǒng)的需求，需要產生輕度的數據應用層模型。并在此基礎上，對各種應用需求進一步分析，整理出一些共性的數據加工需求；必要的話，可以對共性加工層數據模型進行完善，以滿足多個目標應用的公共加工匯總要求。模型設計原則根據關鍵業(yè)務要素，或業(yè)務關注視角，及關鍵業(yè)務要素（業(yè)務關注視角）之間的關系，對數據模型進行主題劃分；基礎數據層的主題劃分是通過抽象銀行業(yè)經營活動中的要素及要素之間關系的形式，來表達商業(yè)銀行的實際業(yè)務和具體的業(yè)務聯(lián)系。它是獨立于業(yè)務應用需求的，具有高度的穩(wěn)定性和可擴展性；共性加工數據層的主題劃分則是基于業(yè)務關注的視角，也就是和業(yè)務應用需求緊密相關，會根據應用系統(tǒng)的共性需求變化而變化；不同的數據層次，由于其業(yè)務關注視角不同，其主題劃分的結果可以不同；各模型層次的主題可根據實際情況劃分二級主題，便于用戶定位所需數據；模型主題劃分八大業(yè)務主題客戶：主要組織和存放與銀行客戶有關的信息。包括基本信息、地址信息、信用信息、黑名單信息、財務信息等。在客戶主題域中以客戶號為唯一識別，通過客戶號與存款、貸款、銀行卡、中間業(yè)務、渠道、公用主題進行關聯(lián)。存款；組織和存儲企業(yè)和個人客戶的在銀行的存款業(yè)務相關信息，主要包括賬戶信息、事件信息及事故信息。主要分為按個人活期、個人定期、企業(yè)活期、企業(yè)定期四個子主題。在存款主題域中以賬號為唯一識別，通過賬號與客戶，中間業(yè)務、渠道、銀行卡、公用主題進行關聯(lián)。貸款：組織和存儲客戶的所有貸款業(yè)務數據。根據客戶的性質，將貸款客戶劃分為企業(yè)貸款和個人貸款兩類。在貸款主題域中以賬號為唯一識別，通過賬號與客戶、公用主題進行關聯(lián)。銀行卡:組織和存儲客戶銀行卡的基本信息和交易信息。在銀行卡主題域中以卡號為唯一識別,通過卡號與存款、客戶、渠道、公用。中間業(yè)務：主要整合銀行除存、貸款業(yè)務以外的業(yè)務，即非利息收入以外的所有業(yè)務。中間業(yè)務主題邏輯劃分按中間業(yè)務種類進行劃分，如國內結算業(yè)務、銀保通、證券基金、外匯買賣等業(yè)務相關信息。在中間業(yè)務主題域中以客戶號、賬號、產品、機構、渠道為唯一識別,分別通過客戶號、賬號、產品、機構、渠道與客戶、存款、公用主題進行關聯(lián)。渠道：主要存儲渠道信息、簽約賬戶信息、渠道賬戶信息以及交易流水信息。根據客戶性質可將渠道數據分為企業(yè)客戶和個人客戶。在渠道主題域中以客戶號、賬號、產品、機構、渠道為唯一識別,分別通過客戶號、賬號、產品、機構、渠道與客戶、存款、銀行卡、公用主題進行關聯(lián)?？傎~：組織和存儲銀行當前會計核算總賬以及內部帳有關的信息。在總賬主題域中以產品、機構為唯一識別,分別通過產品、機構與公用主題進行關聯(lián)。公用：用于存儲各種業(yè)務主題公用的一些信息。主要整合內部機構、人員、公共代碼等相關信息。包括統(tǒng)一標準代碼，以及標準代碼與各個源系統(tǒng)代碼的映射及人工補充代碼。各個主題間關系：業(yè)務主題優(yōu)點：以貼源的原則進行設計，設計基礎層的時候以具體業(yè)務作為主導，體現(xiàn)在銀行方面就會劃分出類似貸款，存款這樣的常用主題。數據能保證完全和真實，因為基礎模型和數據源相似率很高。拉鏈表拉鏈表是數據倉庫在存儲數據時最常用的一種方式。拉鏈表的優(yōu)點是數據不會產生冗余，節(jié)省存儲空間；缺點是容易出現(xiàn)斷鏈的情況，數據質量會受到影響。拉鏈表的具體形態(tài)如下表（存款賬戶信息表）所示，該表中體現(xiàn)接鏈表的一個顯著特征是通過字段開始日期（SDATE）和結束日期（EDATE）來標識，表示某一條記錄在開始日期和結束日期之間是有效的數據。當前日期的有效數據是以‘99999999’為結束日期；當數據發(fā)生變化時，會將‘99999999’更新為變化的前一天，并插一條變化后的數據作為當前數據，以變化當天的日期為開始日期，以‘99999999’為結束日期。這就是整個接鏈表的變化過程。SDATEEDATEACCT_NOCLIENT_NOACCT_NAMEACCT_BALLAST_D_BAL20120924201209286224150008514747001010032809397張穎9077.0710077.0720120929201209306224150008514747001010032809397張穎6077.079077.0720121001201210106224150008514747001010032809397張穎4077.076077.0720121011999999996224150008514747001010032809397張穎3577.074077.07在數據倉庫設計時選擇使用接鏈表存儲數據應該考慮以下幾點：■大數據量的數據表，可以考慮使用拉鏈表。因為數據倉庫中的數據是長期存儲并且數據量是不斷增長的。使用拉鏈表的好處是當數據發(fā)生變化才插入新的記錄，使用拉鏈表不會重復存儲數據，這樣對于大數據量的數據表的數據增長速度就不會成倍的增長?？梢杂行У墓?jié)約存儲空間，并且能夠提高對該數據表數據的存取效率?！鲎侄屋^少的數據表，可以考慮使用拉鏈表。因為拉鏈表的數據是在發(fā)生變化是插入新記錄，在插入新記錄時需要將新記錄與原有記錄做比較，比較的時候需要逐個字段進行比較。如果字段較多會影響數據的比較效率，直接影響數據倉庫的跑批效率?！鰯祿淼倪壿嬛麈I明確，需要清晰反映數據業(yè)務變化過程的時候，可以考慮使用拉鏈表。眾所周知，數據表中一條數據的主鍵是不會發(fā)生變化的，變化的只是主鍵之外的其它信息。拉鏈表的數據在發(fā)生變化進行關鏈和開鏈的時候需要通過增量數據的主鍵與原有數據進行比對。如果主鍵不明確或定義錯誤，在兩條數據比對時如果數據變化體現(xiàn)在我們所錯誤定義的主鍵上面，那么就不會將原有的應該關鏈的數據進行及時的關鏈，造成拉鏈表數據錯誤。另外，拉鏈表的數據能夠連續(xù)的反映某條數據記錄變化的過程，通過整條數據鏈就能清晰的看到該條記錄的整個變化情況?？煺毡砜煺毡硎敲刻毂４嫒繑祿ㄟ^時間戳來表示整張數據表的每一個時間點的快照。快照表的優(yōu)點是數據處理邏輯簡單、方便，數據質量較高不會出現(xiàn)錯誤；缺點是數據存在冗余，存取效率低?？煺毡淼木唧w形態(tài)如下表（貸款借據表）所示。FDATEDUEBILLNODUEBILLSUMDBRESTSUMDUEBILLDATEDBMATUREDATEYSYJLX20120706XDYC0000949580000.0050950.052011071920140718373.6320120707XDYC0000949580000.0050950.052011071920140718396.9820120708XDYC0000949580000.0050950.052011071920140718420.3320120709XDYC0000949580000.0050950.052011071920140718443.69在數據倉庫設計時選擇使用接鏈表存儲數據應該考慮以下幾點：■數據量較小的數據表，可以考慮使用快照表。因為快照表是每天一個快照，數據量重復存儲。如果數據量較大不宜使用快照表，會占用大量的存儲空間，并且隨著時間的推移，訪問效率會越來越低?！鲎侄屋^多的數據表，可以考慮用快照表。因為，字段較多，如果不采用快照表而采用拉鏈表會影響數據倉庫數據的跑批效率。流水表流水表即按照每天的交易日期增量存儲數據。通常在數據倉庫中，對于交易流水數據采用流水表進行存儲。如存款余額變動明細表、總賬流水表等數據均需要采用流水表的方式存儲。流水表的特點是，數據真實性高、與原系統(tǒng)流水表信息一致。ODS層ODS定義ODS（OperationalDataStore）操作型數據存儲，是數據倉庫體系中的一個可選部分，ODS具備數據倉庫的部分特征和OLTP系統(tǒng)的部分特征，它是“面向主題的、集成的、當前或接近當前的、不斷變化的”數據。ODS層的數據是對數據源的緩沖，通常不保留歷史數據，根據數據量的大小數據通常存儲七天到一個月的數據。ODS作用ODS的設計主要體現(xiàn)在以下幾個作用：■在業(yè)務系統(tǒng)和數據倉庫之間形成一個隔離層。數據倉庫通常都有非常復雜的數據來源，這些數據存放在不同的地理位置、不同的數據庫、不同的應用之中，從這些業(yè)務系統(tǒng)對數據抽取不是一件容易的事情。因此，ODS用于存放從業(yè)務系統(tǒng)直接抽取出來的數據，這些數據從數據結構、數據之間的邏輯關系上與業(yè)務系統(tǒng)基本保持一致，因此在抽取過程中極大降低了數據轉化的復雜性，而主要關注數據抽取的接口、數據量大小、抽取方式等方面的問題?！鲛D移一部分業(yè)務系統(tǒng)細節(jié)查詢的功能在數據倉庫建立之前，大量的報表、分析是由業(yè)務系統(tǒng)直接支持的，在一些比較復雜的報表生成過程中，對業(yè)務系統(tǒng)的運行產生相當大的壓力。ODS的數據從粒度、組織方式等各個方面都保持了與業(yè)務系統(tǒng)的一致性，那么原來由業(yè)務系統(tǒng)產生的報表、細節(jié)數據的查詢自然能夠從ODS中進行，從而降低業(yè)務系統(tǒng)的查詢壓力?！鐾瓿蓴祿}庫中不能完成的一些功能通常，帶有ODS的數據倉庫的體系結構中，數據倉庫層所存儲的數據都是進行匯總過的數據，并不存儲每筆交易產生的細節(jié)數據，但是在某些特殊的應用中，可能需要對交易細節(jié)數據進行查詢，這時就需要把細節(jié)數據查詢的功能轉移到ODS來完成，而且ODS的數據模型按照面向主題的方式進行存儲，可以方便地支持多維分析等查詢功能。在一個沒有ODS的數據倉庫應用系統(tǒng)體系結構中，數據倉庫中存儲的數據粒度是根據需要而確定的，但一般來說，最為細節(jié)的業(yè)務數據也是需要保留的，實際上也就相當于ODS，但與ODS所不同的是，這時的細節(jié)數據不是“當前、不斷變化的”數據。而是“歷史的、不再變化的”數據。FDS層FDS（FundationalDataStrore）基礎數據存儲。所謂基礎數據，即數據不進行更新、與源系統(tǒng)的數據保持一致。FDS層在整個數據倉庫中位于ODS層之上，是數據倉庫的核心層。FDS層的數據特點是“面向主題的、集成的、非易失的和隨時間變化”的。對于商業(yè)銀行來說，F(xiàn)DS層的主題通常分為客戶、公共、渠道、貸款、銀行卡、存款、貸款、中間業(yè)務和總賬共八類主題。各個主題下的數據是由來源于ODS層的各個業(yè)務系統(tǒng)的數據進行了集成后的數據。數據在集成的過程中不進行更新，只加時間標識，數據的存儲方式主要分為拉鏈表、快照表和流水表的方式進行存儲。FDS層的數據每天通過增量和全量的方式進行加載，數據不進行刪除，持續(xù)保存歷史數據。IDS層IDS（IntegratedDataStore）集成數據存儲。IDS是位于FDS之上的一層數據，數據的特點是對FDS層的數據進行了高度的整合和匯總。數據匯總方式主要將存款、貸款、總賬、中間業(yè)務、客戶等各個主題下的數據按照時間維、機構維和幣種等維度進行匯總。這樣處理的目的是便于下游各個應用系統(tǒng)之間是有數據倉庫中的數據。IDS層在數據倉庫中所做的匯總通常是針對共性的信息進行處理。而對于更進一步的匯總和加工處理通常由各個應用系統(tǒng)根據自身對數據的需求進行加工處理。數據集市數據集市在整個BI領域是經常提及到的概念。在很多銀行已經建設了針對不同業(yè)務應用需要的數據集市，如監(jiān)管數據集市、風險數據集市、信貸報表數據集市等。在銀行沒有建設數據倉庫的情況下，數據集市是介于銀行各類業(yè)務系統(tǒng)與應用系統(tǒng)之間的一層數據的集合，作為源系統(tǒng)數據的緩沖和應用系統(tǒng)的數據源。例如，在2003年銀監(jiān)會成了之后提出了1104工程，在2006年初便要求全國所有的商業(yè)銀行報送1104報表。當時，大多數銀行在建立1104報表系統(tǒng)時在沒有數據倉庫的情況下只能從銀行的各個源業(yè)務系統(tǒng)抽取數據，在這種情況下，為了更好的實現(xiàn)1104報表，提高報表的取數率，大多會為銀行建設監(jiān)管數據集市，即從各個源業(yè)務系統(tǒng)中抽取出所需要的數，對數據進行一定的整合、集成，視報表情況進行一定時期內的報表歷史數據的存儲，以便于1104報表能夠方便的從數據集市中取數。這種實現(xiàn)方式既不影響源業(yè)務系統(tǒng)又實現(xiàn)了監(jiān)管數據的統(tǒng)一存儲、統(tǒng)一規(guī)劃、又為日后的監(jiān)管機構的現(xiàn)場檢查提供的依據。在銀行建設了數據倉庫的情況下，數據集市通常建設在整個數據倉庫的基層數據模型的最上層，應用系統(tǒng)之下。并且，數據倉庫的建設是根據各個應用系統(tǒng)的需要進行靈活設計，這種做法的好處是保證數據倉庫不會因為外圍應用系統(tǒng)的增加而受到影響，也不會對數據倉庫造成任何性能上的壓力。ETL過程ETL即數據抽?。‥xtract）、轉換（Transfer）、加載（Load）的意思。是構建數據倉庫的重要環(huán)節(jié)。ETL的過程即從數據源抽取出所需的數據，經過數據清洗轉換，最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去。數據抽?。簲祿槿〕绦蚰軐祿母咝阅苈?lián)機事務處理方式中（如銀行的核心系統(tǒng)、信貸系統(tǒng)、國結系統(tǒng)等）轉移出來，所以在對數據進行總體分析和使用時就不會影響聯(lián)機事務處理的性能。當數據抽取程序將數據從操作型事務處理范圍內移出時，數據的控制方式就發(fā)生了轉變。最終用戶一旦開始控制數據，就最終“擁有”了這些數據。就可以直接對數據進行進一步的加工使用。ETL將數據加載到數據倉庫的過程最終實現(xiàn)了從操作型業(yè)務系統(tǒng)到最終數據應用分析系統(tǒng)的徹底分離。調度管理調度是數據倉庫運轉的總協(xié)調員，任何一個數據倉庫平臺都離不開調度管理。一個好的調度管理是一個數據倉庫平臺平穩(wěn)、高效運行的關鍵。一個好的調度管理平臺通常應包含以下內容：任務作業(yè)的編排和配置；任務調度過程的監(jiān)控和查看；調度日志。任務作業(yè)的編排和配置是在調度平臺上線正式運行之前進行配置的內容，通常將整個數據倉庫的所有的跑批任務進行統(tǒng)一的編號，設置前、后置的任務依賴關系，然后將具體的任務關系配置到調度平臺中，之后調度管理平臺就可以按照我們希望的先后順序及并行和串行的關系進行調度。任務調度過程的監(jiān)控和查看通常是提供可視化的界面供數據倉庫的維護和管理人員使用，維護人員可以通過在界面上操作，方便靈活的查看到每一個任務節(jié)點的運行情況。包括查看任務節(jié)點中包含哪些子任務、每個子任務的運行狀態(tài)、運行的開始時間、結束時間、正在運行的任務個數、等待運行的任務個數、成功運行的任務個數、失敗運行的任務個數、任務運行的時長等。調度日志主要體現(xiàn)在整個調度管理平臺能夠接收各種ETL工具及腳本返回的日志，如可以集成Datastage、Kettle、Infomatica、存儲過程、Shell、JavaClass等，即具有較好的兼容性。元數據管理基本定義元數據是數據倉庫環(huán)境中一個重要方面。元數據是關于數據的數據。在數據倉庫中，元數據扮演一個新的重要角色，通過元數據，可以最有效地利用數據倉庫。元數據使得最終用戶、決策分析人員能夠探索各種可能性。元數據在數據倉庫的上層，并且記錄數據倉庫中對象的位置。典型的元數據記錄：■數據倉庫表的結構?！鰯祿}庫表的屬性?！鰯祿}庫的源數據（銀行的各種操作型系統(tǒng))?！鰪母鞣N操作型系統(tǒng)到數據倉庫的映射?！鰯祿Ｐ偷囊?guī)格說明?！龀槿祿臍v史記錄。■訪問數據的公用例行程序?！鰯祿Ｐ秃蛿祿}庫的關系。元數據為訪問數據倉庫提供了一個信息目錄（informationdirectory），這個目錄全面描述了數據倉庫中都有什么數據、這些數據怎么得到的、怎么訪問這些數據。是數據倉庫運行和維護的中心，數據倉庫服務器利用他來存貯和更新數據，用戶通過他來了解和訪問數據。元數據分為技術元數據和業(yè)務元數據。技術元數據是存儲關于數據倉庫系統(tǒng)技術細節(jié)的數據，常見的有庫表結構、數據映射、匯總算法等。業(yè)務元數據從業(yè)務角度描述了數據倉庫中的數據，使得不懂計算機技術的業(yè)務人員也能“讀懂”數據倉庫中的數據。業(yè)務元數據具體包括以下信息：企業(yè)概念模型、指標定義、代碼標準化、用戶訪問報表的規(guī)則、權限等。如下圖所示，說明了元數據與數據的區(qū)別。元數據管理的作用在數據倉庫中，元數據管理具有多方面的作用。主要包括：知識共享與標準化、影響分析、血統(tǒng)分析、數據質量改進、版本管理、改善業(yè)務人員數據訪問界面。◆知識共享與標準化降低學習與溝通成本；減少缺乏共享與標準帶來的數據問題；減少員工流動帶來的影響；◆影響分析減少元數據變更出錯率；提高開發(fā)效率；◆血統(tǒng)分析支持數據分析與審計；減少數據冗余處理；◆數據質理改進跟蹤數據加工環(huán)節(jié)，提供數據質量預警；為數據質量管理提供標準和依據；◆版本管理保證版本的實時性和一致性；◆改善業(yè)務人員數據訪問界面標準業(yè)務術語支持；業(yè)務數據快速檢索；數據質量管理數據倉庫是數據的載體，數據是數據倉庫存儲的對象。數據質量的好壞直接影響下游系統(tǒng)能否從數據倉庫中獲取有效的、可供分析使用的數據；直接決定數據倉庫的成敗。因此數據質量問題是整個數據倉庫建設必須重視的問題之一。數據質量指的是否能有效地支持所需要的管理應用，數據質量不能用絕對的好與壞來衡量，應該用多種數據質量度量來衡量，通常的數據質量度量包括完成性、及時性、合法性、唯一性、一致性及準確性。數據質量的管理是一項長期的工作，并不是可以一次做完，有些可以通過程序檢查、有些需手工進行。并且需要客戶方與數據倉庫建設廠商共同來完成。通常數據質量控制可以按下列方式進行：質量標準度量標準定義控制規(guī)劃完整性主要是記錄缺失和字段值缺失等方面主要對ODS層的基本數據進行分析，收集基本的統(tǒng)計數據?；镜慕y(tǒng)計信息包括屬性類別的分布、重要數字度量的最大值和最小值，空白字段。及時性指數據抽取、傳送、處理、裝載、展現(xiàn)的及時和快速性這部分內容通常需要由調度平臺來完成。唯一性指主鍵唯一和候選鍵唯一兩個方面需要再ODS層來完成。系統(tǒng)間一致性指不同系統(tǒng)之間的數據差異和相互矛盾的一致性數據倉庫通常是多個源系統(tǒng)數據的整合，需要在ODS層向FDS層轉化是進行處理。元數據一致性元數據管理應一致主要檢查各個源系統(tǒng)的數據字典與ODS層之間的一致性。數據倉庫規(guī)范俗話說，沒有規(guī)矩不成方圓，那么一個好的數據倉庫的建設在很多方面要遵循一定的規(guī)范。在這種規(guī)范下建立的數據倉庫無論是對于后續(xù)數據的使用還是對數據倉庫的維護都會非常方便。數據層規(guī)范在數據倉庫中，統(tǒng)一存儲和管理全行的數據，數據類型比較多，數據庫表也比較多，有從源業(yè)務系統(tǒng)直接采集按主題整合而成的基礎業(yè)務數據，有經過中間加工匯總的匯總數據，有管理應用專用的操作型數據和應用分析需要而加工出的多維分析數據。因此在平臺數據庫中，各數據層的數據表統(tǒng)一存放到一個數據庫中，不同數據層采用不同的數據表命名規(guī)范，采用不同的表名前綴區(qū)分不同的數據層。下表對數據層的規(guī)范進行說明：數據區(qū)域中文名數據區(qū)域英文名數據區(qū)域前綴表命名規(guī)范備注操作型數據存儲（ODS）OPERATIONALDATASTOREODSODS_源系統(tǒng)標識_源物理表名基礎數據存儲層（FDS）FOUNDATIONALDATASTOREFF_主題標識_表標識_存儲標識主題標識包含一級、二級、三級主題域；存儲標識為保存當前（Snap）或歷史His，帶H結尾即為歷史表集成數據存儲層（IDS）INTEGRATEDDATASTOREII_主題標識_匯總標識主題域命名“主題域”是數據模型類面向業(yè)務功能應用的概念區(qū)分，每個“主題域”由一組面向某類應用的核心“實體/表”及一組輔助“實體/表”構成。原則上，主題域及主題域細分的命名應遵循下述規(guī)則：基礎數據層（FDS）主題命名序號一級主題域中文命名一級主題域英文命名二級主題域中文命名二級主題域英文命名細分細分英文名業(yè)務主題域物理表明前綴1客戶CI客戶公用PUBF_CI_PUB_對公客戶CIEF_CI_CIE_個人客戶CIPF_CI_CIP_2存款DP活期存款SA賬戶ACCF_DP_SA_ACC結構存款SD賬戶ACCF_DP_SD_ACC協(xié)議AGRF_DP_SD_AGR定期存款TD賬戶ACCF_DP_TD_ACC協(xié)議AGRF_DP_TD_AGR3貸款LN企業(yè)貸款LNE賬戶ACCF_LN_LNE_ACC協(xié)議AGRF_LN_LNE_AGR個人貸款LNP賬戶ACCF_LN_LNE_ACC協(xié)議AGRF_LN_LNE_AGR4銀行卡CR卡公共PUBF_CR_PUB_貸記卡CRTF_CR_CRT_儲蓄卡/準貸記卡DBTF_CR_DBT_理財卡FINF_CR_FIN_5中間業(yè)務AG外匯買賣XTF_AG_XT_證券STF_AG_ST_票據BLF_AG_BL_本幣結算STLDF_AG_STLD_國際結算STLIF_AG_STLI_6總賬GL總賬GLF_GL_GL_內部賬INNF_GL_INN_7渠道CH公共信息CHCF_CH_CHC_企業(yè)客戶CHEF_CH_CHE_個人客戶CHPF_CH_CHP_8公共CM內部組織IORGF_CM_ORG_業(yè)務參數BPF_CM_BP_公共事件PEF_CM_PE_集成數據層（IDS）主題命名序號一級主題域中文命名一級主題域英文命名主題標識+匯總1客戶CII_CI_2存款DPI_DP_3貸款LNI_LN_4銀行卡CRI_CR_5中間業(yè)務AGI_AG_6總賬GLI_GL_7渠道CHI_CH_8公共CMI_CM_實體/表命名原則上，實體/表名稱應使用易于理解、能準確描述該實體、表意義的業(yè)務術語，同時命名應遵循下述規(guī)則：

[1]物理模型表名以英文命名，中文名與英文名含義應嚴格一致；

[2]實體/表名不要使用不易理解的方言或有地域性/部門局限的業(yè)務術語，應使用統(tǒng)一的、正式的、全局范圍內通用的官方業(yè)務術語；

[3]表名盡量參照原有的通用數據標準的中文名；

[4]關于物理模型實體/表中<實體標識>的命名，如果實體表所屬業(yè)務在行內有比較權威的源系統(tǒng)，且該系統(tǒng)的命名已經規(guī)范化，則盡量貼近權威源系統(tǒng)的命名，如：核心業(yè)務貼近FIS系統(tǒng)，盡量參照數據字典中表命名；

[5]物理模型實體/表英文名全部使用字母大寫。如果實體/表英文名由多個單詞組成，單詞之間用下劃線分開；

[6]物理模型實體/表命名不超過30個字符，應盡量使用簡練的英文拼寫。個別超長的需要提出來，模型組統(tǒng)一綜合考慮（主要考慮一些數據庫（如TERADATA、ORACLE）定義的表名不能超過30個字符）。

[7]歷史實體中文名一般用“<當前實體中文名>”命名；英文名用“<當前實體名>”。操作數據層（ODS）命名[1]格式為：O_源系統(tǒng)標識_源表名稱示例：核心系統(tǒng)客戶信息表O_FIS_CUSTMERS(注：ODS存儲層_FIS核心系統(tǒng)標示_客戶信息表)[2]物理表統(tǒng)一增加字段：DATA_DATEVARCHAR2（8）--數據日期YYYYMMDDLOAD_DATEDATE--加載日期PROD_IDVARCHAR2(5)--數據源系統(tǒng)標識SOURCE_DATA_TYPEVARCHAR2(1)–源數據類型LOAD_TYPEVARCHAR2(1)--加載方式（全量或增量）基礎數據層（FDS）命名[1]格式為：F_主題標識_表標識_存儲標識。示例：企業(yè)貸款賬戶信息表F_LN_LNE_ACC示例：企業(yè)貸款賬戶信息歷史表F_LN_LNE_ACC_H[2]物理表統(tǒng)一增加字段：FDATEVARCHAR2(8)--數據日期/交易日期SDATEVARCHAR2(8)--拉鏈表的開始日期EDATEVARCHAR2(8)--拉鏈表的結束日期[3]FDS物理表設計考慮如下字段信息：機構信息機構編碼（開戶機構營業(yè)機構賬務機構均考慮下）客戶信息客戶號（涉及到關系檔主檔交易流水等）卡信息：卡號（涉及到交易流水信息）集成數據層（IDS）命名格式為：I_主題標識_匯總標識其中匯總標識可以為：<指標的主詞>_<指標的類詞>_<匯總維度>_<時間維度>。示例：個人存款余額按賬戶月匯總表I_DP_PER_AMT_ACCT_MONTH取值說明：類別說明取值說明備注分區(qū)代碼匯總區(qū)分區(qū)代碼全部取為：IIDS層主題標識分析匯總區(qū)的業(yè)務主題分區(qū)存款：DP；貸款：LN；

銀行卡：CR；中間業(yè)務：AG

渠道：CH；客戶：CI；

總賬：GL；公共：CM；指標主詞該表存放的指標的關鍵詞縮寫如：活期存款：SA

企業(yè)客戶：CIE指標類詞對“指標關鍵詞”的進一步說明如：數量：NUM；金額：AMT

交易：TX；不明確的：ALL匯總維度按機構：INST

按客戶：CUST

按客戶經理：CUM

其它維度選：ALL時間維度匯總時間頻度年：YEAR；月：MON

日：DAY；季：QUAR

旬：TEND；半月：HALFM

半年：HALFY數據類型規(guī)范字段含義數據類型說明配置類型日期類（年月日）日期類型數據。定義為：date時間類（時分秒）時間類型的數據。定義為：char(6)

格式：HHMMSS24小時格式日期時間類（年月日時分秒）日期及時間類型的數據。定義為:date精確到毫秒的時間戳

（年月日時分秒毫秒）9(15)COMP-3CONVTIMESTAMP定義為:timestamp太陽日太陽日，表示某年的第幾天，

格式為：YYYYDDD

YYYY表示年份；DDD表示該年

的第幾天，取值范圍從1到366；

將轉換為正常的日期格式：

YYYY－MM－DD定義為：date旬日期格式：YYYYMMT（年月旬），T=1

代表上旬，T=2代表中旬，T=3

代表下旬，例如：2010年10月

下旬表示為2010103。定義為：char(7)指示器表示“是/否”意義的指示器，

例如：外部產品標志，雇員標

志，等等。定義為:char(1)

具體含義：“1－是，0－否”。整數類數據包括長整數和短整數。定義為：number(12,0)金額類數據所有金額類數據，例如：資產

評估價值，負債余額，等等。定義為:number(20,2)或

number(20,3)(20位數字字

符，其中包括小數點和兩（三）

個小數位)。一般數值類數據一般的、無特殊含義的數值

例如：不動產面積，等等。定義為:number(16,2)利率利率數據。定義為:number(8,6)匯率匯率數據。定義為:number(15,10)費率費率數據。定義為:number(8,6)占比（百分比類數據）某種情況相對另一種情況的占

比，一般在0和1之間取值，

例如：市場占有率，資產折舊

率，等等。定義為:number(8,6)比率（百分比類數據）兩種情況之間的比率，可能會

出現(xiàn)大于1的情況。定義為:number(16,8)一般字符串記錄描述性的文字。varchar2(n)屬性/列命名原則上，屬性/列名稱應使用易于理解、能準確描述該屬性/列意義的業(yè)務術語，同時命名應遵循下述規(guī)則：[1]邏輯模型屬性名以中文命名，物理模型列名以英文命名，中文名與英文名含義應嚴格一致；

[2]屬性/列命名不要使用不易理解的方言或有地域性/部門局限的業(yè)務術語，應使用統(tǒng)一的、正式的、全局范圍內通用的官方業(yè)務術語；

[3]屬性/列的中文名稱盡量保留實體所屬主題的名稱作為前綴，比如“活期賬號”、“定期賬號”；

[4]屬性/列名稱通常由兩部分組成：“主詞”和“類詞”，“主詞”部分標明屬性/列標明所描述的對象內容；“類詞”部分標明屬性/列所描述的內容的類別。如：屬性“CUST_TP”中，“CUST”是“主詞”部分，表明該屬性/列描述的是“客戶”；“_TP”是“類詞”部分，表明該屬性/列是一個描述“（客戶的）類別”；

[5]關于屬性/列的命名，如果實體/表所屬業(yè)務在行內有比較權威的源系統(tǒng)，且該系統(tǒng)的命名已經規(guī)范化，則盡量貼近權威源系統(tǒng)的命名；

[7]英文名全部使用字母大寫，如果屬性/列英文名由多個單詞組成，單詞之間用下劃線分開；

[8]屬性/列命名不超過30個字符，應盡量使用簡練的英文拼寫。個別超長的需要提出來，模型組統(tǒng)一綜合考慮（主要考慮一些數據庫（如TERADATA、ORACLE）定義的表名不能超過30個字符）；

[9]對于以“編號”作為標識符的屬性/列，中文名一般統(tǒng)一命名為“××編號”；英文名后綴應是ID，如“參與人編號PTY_ID”，“渠道編號CHL_ID”等；

[10]特殊的，對于一些有習慣叫法的編號類屬性/列，如，“銀行卡的卡號”，為了遵循使用習慣，以使模型更易理解，可不將之命名為“卡片編號”，而遵照習慣直接命名為“卡號”，其英文名也可以遵照習慣命名為“CR_NO”，而不用命名為“CR_ID”。但這種情況不多，如果遇到需要單獨提出來交模型組統(tǒng)一批準；

[11]日期類型的屬性/列，后綴應是DT，如“開戶日期OPEN_DT”等；時間類型后綴應是TM，如“事件發(fā)生時間EVT_TM”等；遇到時間戳類型稱為“時間標簽”，用DTTM后綴，建議盡量不要使用，如果需要提交項目組批準；

[12]實體/表和屬性/列的命名中英文都應保持同步。歷史數據數據倉庫