基于數(shù)據(jù)倉庫技術(shù)的銀行數(shù)據(jù)系統(tǒng)的研究

1、Computer與技術(shù)電腦知識(shí)與技術(shù)ComputerKnowledgeKnowledgeandandTechnologyTechnology電腦知識(shí)米波（山東省農(nóng)村信用社聯(lián)合社泰安辦事處科技中心，山東泰安271000）摘要：該文在明確銀行數(shù)據(jù)重要性的基礎(chǔ)上，概述了數(shù)據(jù)倉庫技術(shù)，對(duì)銀行數(shù)據(jù)系統(tǒng)進(jìn)行了設(shè)計(jì)，并進(jìn)一步研究了系統(tǒng)維度建模、數(shù)據(jù)粒度、ETL邏輯以及集成轉(zhuǎn)換等方面的實(shí)現(xiàn)。關(guān)鍵詞：數(shù)據(jù)倉庫；銀行數(shù)據(jù)；系統(tǒng)研究；數(shù)據(jù)粒度；維度建模中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2010)32-8938-03TheResearchofBankDataSystemBasedonD

2、ataWarehouseTechnologyMIBo(TaianOfficeTechnologyCenterofShandongRuralCreditCooperativesAssociation,Taian271000,China)Abstract:Thepaperhasclearedtheimportanceofthebankdata,overviewsthedatawarehousetechnology.Thenthepaperhasdesignedthethebankdatasystem,andstudiedtherealizationofsystem,involving:system

3、dimensionalmodeling,datagranularity,ETLlogicandin-tegratedconversionetc.Keywords:datawarehouse;bankdata;systemresearch;datagranularities;dimensionalmodeling隨著市場(chǎng)環(huán)境的日益激烈，一個(gè)企業(yè)要想不被淘汰，就必須能夠快速定位市場(chǎng)需求，并提供完善的服務(wù)，在銀行等金融行業(yè)更是如此。我國許多銀行為了有效應(yīng)對(duì)金融市場(chǎng)的競(jìng)爭，都建立了諸多業(yè)務(wù)系統(tǒng)，涉及到：柜面業(yè)務(wù)、信用卡、客戶管理、信貸管理、決策幫助、事后監(jiān)督、電子銀行、辦公自動(dòng)化、中間業(yè)務(wù)等多個(gè)方面。

4、但是由于這些系統(tǒng)不是在同一時(shí)期建立的，所以各系統(tǒng)之間的共享程度以及集成程度都偏低，導(dǎo)致了各個(gè)系統(tǒng)中的銀行客戶及業(yè)務(wù)數(shù)據(jù)相對(duì)分散，沒有充分利用起來以更好地實(shí)現(xiàn)銀行統(tǒng)計(jì)、分析以及決策的功能。因此,借助于數(shù)據(jù)倉庫技術(shù)建立一個(gè)專用的銀行數(shù)據(jù)系統(tǒng)是非常必要的。通過該數(shù)據(jù)系統(tǒng)可以集成銀行不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，提供分析統(tǒng)計(jì)，從而提高銀行的經(jīng)營水平和利潤率。1數(shù)據(jù)倉庫技術(shù)概述數(shù)據(jù)倉庫中的數(shù)據(jù)組織模式是根據(jù)主題而進(jìn)行綜合并歸類抽象的，而且具有集成性、穩(wěn)定性以及隨時(shí)間變化等諸多特征。數(shù)據(jù)倉庫中的數(shù)據(jù)需要不斷進(jìn)行累積，而且更偏向于工程，設(shè)計(jì)流程如圖1所示。首先，從邏輯意義進(jìn)行分析，數(shù)據(jù)倉庫中的主題對(duì)企業(yè)分析領(lǐng)域中的對(duì)

5、象所對(duì)應(yīng)；從組織角度進(jìn)行分析，相關(guān)數(shù)據(jù)及數(shù)據(jù)項(xiàng)之間的關(guān)聯(lián)描述必須是完整的、一致的，并應(yīng)該完全滿足分析需求。其次，由于原數(shù)據(jù)庫系統(tǒng)的相關(guān)記錄只是業(yè)務(wù)流水帳的處理表述，存在諸多冗余數(shù)據(jù)，不適用分析，因此數(shù)據(jù)倉庫中的數(shù)據(jù)不能直接從原有數(shù)據(jù)庫中導(dǎo)入，而需要經(jīng)過計(jì)算并過濾不需要的數(shù)據(jù)項(xiàng)。另外，數(shù)據(jù)倉庫中的數(shù)據(jù)還包括了大量的歷史數(shù)據(jù)，這些數(shù)據(jù)是企業(yè)過去業(yè)務(wù)數(shù)據(jù)的重組集合，這是與傳統(tǒng)操作型數(shù)據(jù)庫的顯著區(qū)別之一。針對(duì)于數(shù)據(jù)倉庫的操作是以查詢?yōu)橹鳎挥性诒匾獣r(shí)才涉及到數(shù)據(jù)的更新操作，因此穩(wěn)定性也是數(shù)據(jù)倉庫所必須保障的特征。圖1數(shù)據(jù)倉庫的設(shè)計(jì)流程圖2銀行數(shù)據(jù)系統(tǒng)的設(shè)計(jì)分析2.1需求分析及功能設(shè)計(jì)為了有效展現(xiàn)銀行機(jī)

6、構(gòu)和用戶對(duì)數(shù)據(jù)倉庫的需求，本文主要是通過業(yè)務(wù)主題的形式歸類并整理各類需求。當(dāng)然，想要窮舉全部需求是不現(xiàn)實(shí)的，對(duì)于業(yè)務(wù)主題之外的需求，則主要是通過聯(lián)機(jī)交易形式加以滿足。通過與銀行業(yè)務(wù)人員的溝通，銀行數(shù)據(jù)庫系統(tǒng)的功能（業(yè)務(wù)主題）主要涉及到如下幾個(gè)方面：1)業(yè)務(wù)分析。2）經(jīng)營管理。3）營銷服務(wù)。4）風(fēng)險(xiǎn)管理。業(yè)務(wù)分析包括跨行業(yè)務(wù)（境內(nèi)外）、傳統(tǒng)金融業(yè)務(wù)、金融創(chuàng)新業(yè)務(wù)等。經(jīng)營管理包括績效考核管理方面的支持、財(cái)務(wù)管理方面的支持以及銀行人力資源管理等。營銷服務(wù)包括活動(dòng)策劃支持、營銷活動(dòng)評(píng)估及管理以及銀行忠誠客戶的服務(wù)支持。風(fēng)險(xiǎn)管理包括銀行業(yè)務(wù)欺詐交易、異常交易的管理以及銀行黑名單客戶以及其他交易風(fēng)險(xiǎn)的監(jiān)控

7、統(tǒng)計(jì)等。收稿日期：2010-09-16作者簡介：米波（1975-），男，研究方向?yàn)榻鹑谛畔⑾到y(tǒng)建設(shè)。8938數(shù)據(jù)庫與信息管理本欄目責(zé)任編輯：代影第6卷第32期(2010年11月)ComputerKnowledgeandTechnology電腦知識(shí)與技術(shù)2.2系統(tǒng)的總體結(jié)構(gòu)設(shè)計(jì)根據(jù)銀行數(shù)據(jù)系統(tǒng)的需求分析及功能設(shè)計(jì)，本文借助于DB-ODS-DW對(duì)系統(tǒng)的體系結(jié)構(gòu)進(jìn)行構(gòu)架，具體如圖2所示。其中，銀行數(shù)據(jù)系統(tǒng)的最低層：操作環(huán)境層主要處理銀行金融業(yè)務(wù)的OLTP以及外部數(shù)據(jù)信息；DW層則主要是將操作環(huán)境層的業(yè)務(wù)元數(shù)據(jù)進(jìn)行抽取、過濾、重組，并歸納至銀行的數(shù)據(jù)倉庫中；銀行業(yè)務(wù)層則主要是對(duì)銀行業(yè)務(wù)元數(shù)據(jù)進(jìn)行分析統(tǒng)

8、計(jì)，并進(jìn)行各種業(yè)務(wù)操作，比如：即時(shí)查詢、OLAP分析以及數(shù)據(jù)挖掘等。3銀行數(shù)據(jù)系統(tǒng)的實(shí)現(xiàn)分析3.1系統(tǒng)的維度建模圖2銀行數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)圖銀行數(shù)據(jù)系統(tǒng)的維度建模主要以星型和雪花模式為主，是支持查詢的建模方式。本文主要是通過星型模式進(jìn)行建模操作。星型模式的原理就是以一個(gè)事實(shí)表為中心，該事實(shí)表的MainKey主要由系統(tǒng)維表的MainKey所組成，可見事實(shí)表的MainKey都是外鍵。以銀行卡事實(shí)表為例進(jìn)行研究說明。銀行卡事實(shí)表的字段包括：交易時(shí)間代碼、受理機(jī)構(gòu)代碼、交易渠道代碼、借記卡活動(dòng)量、貨記卡活動(dòng)量等。而其相關(guān)維表包括：時(shí)間維表、機(jī)構(gòu)維表以及交易渠道維表。其中，時(shí)間維表的字段包括：時(shí)間代碼、

9、年、季度、月、日等。機(jī)構(gòu)維表的字段包括：機(jī)構(gòu)代碼、機(jī)構(gòu)名稱、上級(jí)機(jī)構(gòu)、下級(jí)機(jī)構(gòu)以及機(jī)構(gòu)描述等。交易渠道維表的字段包括：渠道代碼、渠道名稱以及渠道描述等。根據(jù)星型維度建模原理，銀行卡事實(shí)表的主鍵是由其周圍的維度主鍵所組成，也就是銀行卡事實(shí)表的主鍵共有三個(gè)，分別是：交易時(shí)間代碼、受理機(jī)構(gòu)代碼、交易渠道代碼。這些主鍵又同時(shí)作為外鍵，與另外三個(gè)維表建立關(guān)聯(lián)?？傊?，通過星型模式的建模，對(duì)各種維表進(jìn)行了統(tǒng)計(jì)并排序預(yù)處理，提高了查詢效率。但也有不足的地方，就是當(dāng)銀行業(yè)務(wù)發(fā)生變化時(shí)，需要對(duì)事實(shí)表的維表個(gè)數(shù)進(jìn)行重改，這是一個(gè)相對(duì)復(fù)雜并耗時(shí)的操作。這個(gè)問題可以通過在數(shù)據(jù)庫建立時(shí)引入三范式來解決，因?yàn)槿妒娇梢砸?/p>

10、較少冗余，具有良好擴(kuò)展性。3.2數(shù)據(jù)粒度的選取數(shù)據(jù)倉庫的一個(gè)重要概念是數(shù)據(jù)粒度，用來表示數(shù)據(jù)的綜合度，也決定了數(shù)據(jù)量的大小以及數(shù)據(jù)倉庫能力。數(shù)據(jù)粒度的選取應(yīng)該進(jìn)行權(quán)衡考慮，如果粒度過大，數(shù)據(jù)綜合度雖然有所提高，但針對(duì)細(xì)節(jié)的查詢支持能力就會(huì)減弱；如果粒度過小，數(shù)據(jù)的細(xì)節(jié)描述更為詳細(xì)，但存儲(chǔ)開銷增加，特別是綜合查詢時(shí)，因?yàn)閿?shù)據(jù)量過大而必須進(jìn)行匯總，顯然對(duì)降低了查詢效率。本文研究的銀行數(shù)據(jù)系統(tǒng)的數(shù)據(jù)粒度分了四大層次：ODS、SOR、DPA以及DM，如圖3所示。其中，ODS層存儲(chǔ)銀行業(yè)務(wù)數(shù)據(jù)粒度的級(jí)別，對(duì)銀行業(yè)務(wù)數(shù)據(jù)進(jìn)行定義，并保證銀行業(yè)務(wù)數(shù)據(jù)的一致性，從而滿足銀行中高層的決策查詢。SOR層是銀行數(shù)據(jù)

11、系統(tǒng)圖3銀行數(shù)據(jù)系統(tǒng)的數(shù)據(jù)粒度層次的核心層，通過對(duì)ODS層的抽取，將銀行業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換成符合維度模型的數(shù)據(jù)形式。DPA層主要是對(duì)銀行業(yè)務(wù)數(shù)據(jù)進(jìn)行匯總，該層的數(shù)據(jù)粒度又細(xì)分為：日。該層為DM層以及其他下層提供銀行業(yè)務(wù)數(shù)據(jù)的應(yīng)用服務(wù)。DM層是根據(jù)銀行業(yè)務(wù)用戶的需求，對(duì)不同粒度的數(shù)據(jù)（比如說：月、季度、年）進(jìn)行匯集，并提供銀行業(yè)務(wù)數(shù)據(jù)的調(diào)用服務(wù)。3.3系統(tǒng)的ETL邏輯流程ETL能夠保證在規(guī)定的時(shí)間內(nèi)，完成銀行業(yè)務(wù)數(shù)據(jù)的自動(dòng)加載，這些數(shù)據(jù)可以是初始銀行業(yè)務(wù)數(shù)據(jù)，也可以是歷史銀行業(yè)務(wù)數(shù)據(jù)，從而滿足數(shù)據(jù)的擴(kuò)充需求。銀行數(shù)據(jù)系統(tǒng)的程序較復(fù)雜，但其程序結(jié)構(gòu)應(yīng)該盡可能的簡潔，因此應(yīng)該對(duì)銀行數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)抽取程序

12、進(jìn)行優(yōu)化，ETL邏輯流程的設(shè)計(jì)可以很好的平衡銀行數(shù)據(jù)系統(tǒng)開發(fā)管理性及程序性能之間的關(guān)系。從宏觀進(jìn)行設(shè)計(jì)分析，ETL作為一個(gè)整體來支持銀行數(shù)據(jù)系統(tǒng)加載銀行業(yè)務(wù)初始數(shù)據(jù)和日常數(shù)據(jù)。從銀行數(shù)據(jù)系統(tǒng)源數(shù)據(jù)中抽取完數(shù)據(jù)后，將其保存到ODS中，并且附上時(shí)間標(biāo)簽。銀行業(yè)務(wù)數(shù)據(jù)經(jīng)過清洗、轉(zhuǎn)換后加載入SOR數(shù)據(jù)庫。這包括三個(gè)過程：銀行業(yè)務(wù)數(shù)據(jù)變換CV(convert/Clean)、數(shù)據(jù)轉(zhuǎn)換TR(Transform)以及數(shù)據(jù)加載LD(Load)。CV階段產(chǎn)生CIF文件，每個(gè)目標(biāo)表的加載對(duì)應(yīng)一組TR程序與LD程序。清洗過程中產(chǎn)生銀行業(yè)務(wù)源數(shù)據(jù)拒絕文件，需要對(duì)有質(zhì)量問題的銀行業(yè)務(wù)數(shù)據(jù)進(jìn)行處理以進(jìn)入銀行業(yè)務(wù)數(shù)據(jù)庫或者直

13、接拒絕入庫。3.4系統(tǒng)的集成轉(zhuǎn)換在銀行業(yè)務(wù)數(shù)據(jù)的清洗轉(zhuǎn)換過程中由于ETL對(duì)業(yè)務(wù)轉(zhuǎn)換規(guī)則的理解錯(cuò)誤或者程序代碼的問題都可能造成銀行業(yè)務(wù)數(shù)據(jù)的質(zhì)量問題，而且當(dāng)ETL程序出現(xiàn)異常時(shí)也容易造成銀行業(yè)務(wù)數(shù)據(jù)的質(zhì)量問題，因此，銀行業(yè)務(wù)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫都是需要進(jìn)行集成轉(zhuǎn)換的。銀行數(shù)據(jù)系統(tǒng)的集成轉(zhuǎn)換必須進(jìn)行銀行業(yè)務(wù)數(shù)據(jù)的預(yù)檢查。首先，業(yè)務(wù)邏輯檢查。其次，交叉驗(yàn)證。包括ODS、SOR、DPA、DM層交易筆數(shù)一致、SOR、DPA、DM交易金額一致等。此外，銀行業(yè)務(wù)數(shù)據(jù)完整性檢查。主要包括如下一些方面：銀行機(jī)構(gòu)在機(jī)構(gòu)關(guān)系表而不在機(jī)構(gòu)基本表的記錄等。銀行業(yè)務(wù)數(shù)據(jù)集成轉(zhuǎn)換時(shí)如果通過預(yù)檢查處理發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時(shí)，逆向排查

14、數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因，并做出修正然后重新對(duì)數(shù)據(jù)進(jìn)行抽取加載即可。本欄目責(zé)任編輯：代影數(shù)據(jù)庫與信息管理8939ComputerKnowledgeandTechnology電腦知識(shí)與技術(shù)第6卷第32期(2010年11月)4總結(jié)總之，銀行數(shù)據(jù)系統(tǒng)通過利用數(shù)據(jù)倉庫技術(shù)，整合了銀行業(yè)務(wù)相關(guān)的內(nèi)外數(shù)據(jù)源，有效得升了銀行的數(shù)據(jù)支持服務(wù)能力，推動(dòng)了銀行業(yè)務(wù)市場(chǎng)。當(dāng)然數(shù)據(jù)倉庫的建設(shè)是一個(gè)長期而又復(fù)雜的過程，其涵蓋的內(nèi)容還包括有數(shù)據(jù)挖掘、元數(shù)據(jù)管理、系統(tǒng)維護(hù)等方面。因此，隨著對(duì)銀行數(shù)據(jù)倉庫技術(shù)研究的深入，在未來的發(fā)展應(yīng)用中要對(duì)以上幾個(gè)方面做進(jìn)一步的研究。參考文獻(xiàn)：1張曉東,王建民.淺談商業(yè)銀行建立數(shù)據(jù)倉庫的必要

15、性J.金融與經(jīng)濟(jì),2009,1:27-28.2封玲,柏文陽.數(shù)據(jù)倉庫維度建模技術(shù)及其應(yīng)用研究J.南京大學(xué)學(xué)報(bào)：自然科學(xué)版,2007(4).（上接第8937頁）<%RegisterAssembly="FreeTextBox"Namespace="FreeTextBoxControls"TagPrefix="FTB"%>3)在頁面屬性中加入ValidateRequest="false"if(title!=null&&content!=null)mydbthisdb=newmydb();thi

16、sdb.openCon();stringsqlstr="insertintonews(newsTitle,newsContent)values('"+title+"','"+content+"')"thisdb.NoreturnSql(sqlstr);Response.Write("<scriptlanguage=javascript>alert('公告添加成功！');</script>");Response.Redirect("admin_news.aspx");thisdb.closeCon();elseResponse.Write("<scriptlanguage=javascript>alert('標(biāo)題或內(nèi)容為空，請(qǐng)?zhí)顚懲暾墓嫘畔⒑笤侔l(fā)布！');</script>");這種方法不需要設(shè)計(jì)HtmlEncode()方法為文本框里面的數(shù)據(jù)設(shè)置格式。3結(jié)束語減輕系統(tǒng)管理人員的工作