河北省工行數據倉庫方案

1、河北省工商銀行數據倉庫系統建設方案建議書北京世紀明日網絡科技有限公司二零零零年三月河北省工商銀行數據倉庫系統建設方案目 錄前言數據倉庫發(fā)展史競爭日趨激烈的金融市場中國專業(yè)銀行面臨的挑戰(zhàn)中國專業(yè)銀行實施數據倉庫的意義中國專業(yè)銀行實施數據倉庫已具備的條件數據倉庫總體概述 2.1 數據倉庫基礎 2.2 數據倉庫技術概述 2.3 一個可擴展數據倉庫的基本框架 2.4 一個數據倉庫實施流程系統體系結構設計 3.1系統設計指導思想 3.2 方案總體框架圖 3.3 系統體系結構設計 3.4 系統方案的組成第四章 銀行數據倉庫的建設 4.1 面向應用的OLTP系統和面向主題的OLAP系統 4.2 個性化服務的

2、定義 4.3 業(yè)務探索/業(yè)務發(fā)掘 4.4 建立市場客戶信息基礎 4.5 利用數據倉庫實現的基本模塊 4.6 更高層次的開發(fā)應用 4.7 綜合信息發(fā)布第五章 方案實施建議 5.1 開發(fā)模式 5.2 組織機構 5.3 項目實施進程 5.4 項目進度計劃第六章 產品報價 6.1 軟件產品報價 6.2 硬件產品報價 6.3 項目開發(fā)實施費用第一章 前言1.1 數據倉庫發(fā)展史 相對于許多行業(yè)而言，信息處理技術還是一門新興的技術，但是其發(fā)展速度卻幾乎是最快的。隨著計算機硬件技術的飛速發(fā)展，軟件技術也是日新月異。許多企業(yè)和機構已經建立了相對完善的OLTP（聯機事物處理）系統。隨著時間的推移，這些系統中積累了

3、大量的歷史數據，其中蘊含了許多重要的信息。通過對這些歷史數據的分析和綜合處理，可以找到那些對企業(yè)發(fā)展至關重要的業(yè)務信息，從而幫助有關主管和業(yè)務部門作出更加合理的決策。70年代中期出現的MIS（管理信息系統）實際上就是在這種背景下產生的。但MIS具有極大的局限性。首先，它是按預先定義好的流程對數據作相應的處理，因此只能對預先描述好的業(yè)務問題進行回答。其次由于開發(fā)工具的限制，對它的修改也不大方便，特別是業(yè)務流程發(fā)生變化，模型需要調整，這種修改更加困難。最后數據的不斷積累和數據量迅速增加，普通的商用數據庫（即OLTP數據庫）難以處理，系統的擴展存在很大限制。在這種情況下MIS逐步發(fā)展到了數據倉庫。世

4、界上最早的數據倉庫是NCR公司為全美、也是全世界最大的連鎖超市集團Wal*Mart在1981年建立的，經過二十年的發(fā)展，該系統已經非常完善，數據量擴展到27TB，成為迄今為止世界上最大的數據倉庫。 1.2 競爭日趨激烈的金融市場 根據Tower Group公司1998年10月的研究，1999年全球金融機構將投資54億美金實施數據倉庫系統，其中歐美地區(qū)占八成的市場份額，其次為亞太地區(qū)，在美國實施數據倉庫的單位以大型銀行為主，基礎上啟動的資金為五百萬美金以上；1998年在全球前500家銀行中已經有近九十家的數據倉庫數據量超過500GB，預測在1999年將有150家，2000年有260家；數據倉庫是

5、金融機構實現客戶關系管理（Customer Relationship Management）的核心技術，也是金融業(yè)競爭優(yōu)勢的來源，主要的應用業(yè)務部門為信用卡部、信貸部、市場部和零售業(yè)務部等，應用領域是以客戶為中心的分銷渠道管理、客戶利潤分析、客戶關系優(yōu)化和風險控管。 造成歐美地區(qū)金融機構采用數據倉庫技術，提供以客戶為中心的個性化服務（One to One Marketing）的背景原因如下：金融服務市場的開放競爭。如AT&T電話公司的電話卡可以透支打電話、福特汽車公司的購車信用分期付款、零售業(yè)的透支分會員卡和貴賓卡、信用卡公司發(fā)行信用卡、ESD建立ATM網、GE公司的貸款服務，保險公司的儲蓄型

6、保險單和保單貸款等，允許銀行業(yè)的并購，影響銀行的業(yè)務收入和利潤。上述的開放市場，業(yè)者會推出多樣化的產品和服務，讓顧客有更多的比較和選擇的機會。造成顧客購買的因素，除了價格以外，還應考慮方便性、可用性等，形成個性化服務的需求。銀行需要更進一步了解客戶，才能滿足客戶需求，進而留住客戶，增加利潤。信息技術（如海量并行處理的技術）的突飛猛進，使得快速地分析客戶詳細的歷史交易數據成為可能，從而可以更好地了解、模擬和預測客戶的消費行為、偏好等。另外移動通信技術的進步，讓客戶訪問信息服務的方式不受時空的限制。這些技術讓銀行業(yè)務用戶可以及時響應各種突發(fā)的復雜的經營問題。銀行現有的管理制度和業(yè)務流程，都是以產品

7、（Product）為中心來進行客戶服務，不同的帳號信息分散在不同的計算機系統內，缺乏對客戶統一的全面了解?，F有的生產系統是銀行營運和客戶的基礎設施，無法提供多用戶對大量歷史數據同時進行突發(fā)的復雜的決策分析，所以建立另外一套以客戶為中心的數據倉庫決策支持系統是實現個性化服務的必要手段。1.3 中國專業(yè)銀行面臨的挑戰(zhàn) 1984年人民銀行成為中央銀行的角色，成立了四家國有專業(yè)銀行：工商銀行、農業(yè)銀行、中國銀行和建設銀行。后來又成立交通銀行、中信實業(yè)銀行、光大銀行等十一家股份制商業(yè)銀行。1996年改組城市信用合用社建立股份制城市商業(yè)銀行。國有專業(yè)銀行長期在計劃體制下運轉，其經營行為和經營意識帶有很強的

8、行政色彩，正向商業(yè)銀行化進行過渡。隨著經濟的增長和國民生活水平的提高，社會保障制度的改革，政府擴大內需的政策等，國有專業(yè)銀行和股份制商業(yè)銀行的零售業(yè)務，如住房貸款、退休養(yǎng)老金、消費貸款和信用卡業(yè)務等，將成為銀行業(yè)務和利潤的增長點。如何爭取零售業(yè)務的市場機會，發(fā)掘信用好風險低的客戶已成為銀行關注的焦點。在未來零售業(yè)務的迅猛發(fā)展，改善銀行的獲利能力，將加速國有專業(yè)銀行轉型成為商業(yè)銀行的進程。 在現階段，主要是國有專業(yè)銀行和股份制商業(yè)銀行、郵政銀行之間的競爭，其他服務業(yè)和外資銀行尚未構成全面性的威脅。雖然，國有專業(yè)銀行具有覆蓋全國營業(yè)網點的優(yōu)勢，但受歷史包袱的影響，期待擴大零售業(yè)務，以提高獲利能力；

9、股份制商業(yè)銀行規(guī)模相對小，只能提供地區(qū)性的服務，零售業(yè)務是主要的收入來源，從國有專業(yè)銀行和郵政銀行中爭取更多的新客戶，將是主要的經營策略；郵政銀行的優(yōu)勢在營業(yè)網點、客戶基礎和更多的增值服務，競爭的策略是留住有利潤的客戶和爭取新客戶，所以郵政銀行也將是現階段國有專業(yè)銀行和股份制商業(yè)銀行的重要競爭對手。 1999年11月15日，中國與美國簽署加入世界貿易組織的雙邊協議，中國將自加入世界貿易組織起，逐步開放金融市場，入世兩年后開放外資銀行經營對公業(yè)務，五年后開放對私業(yè)務和設立營業(yè)網點。在可預見的未來，國內的金融機構將同世界級的外資銀行發(fā)生面對面的激烈競爭。屆時，客戶有更多的選擇，競爭會更加的激烈。世

10、界級的外資銀行為加速取得和擴大在中國的市場份額，將引進其在國外實施多年的以客戶為中心的數據倉庫決策支持系統，推出更多樣化的金融產品和服務來爭取高利潤的客戶。因此，了解客戶需求和客戶對銀行的利潤貢獻度、提供有競爭性的產品或服務、經由客戶喜好的渠道、在適當的時機對客戶進行銷售或服務，這種個性化服務的策略將是國內商業(yè)銀行在目前競爭優(yōu)勢的來源，同時也是未來與外資銀行競爭必備的武器。如何建立個性化服務的數據倉庫系統，已經成為國內銀行現階段最重要的課題。1.4 中國專業(yè)銀行實施數據倉庫的意義 從現在和將來專業(yè)銀行所面臨的市場環(huán)境來看，實施以客戶為中心的數據倉庫決策支持系統，將對國內銀行業(yè)現在和未來的發(fā)展產

11、生深遠的影響，且具有重大的戰(zhàn)略意義。 首先是增強國內銀行的競爭力，在激烈的競爭中維持獲利。無論現在或是未來，銀行將面臨著一個激烈競爭的態(tài)勢，必須對市場多變的需求作出及時響應，才能持續(xù)生存和發(fā)展。根據國外商業(yè)銀行的經驗，在金融市場開放環(huán)境中，銀行競爭優(yōu)勢的來源是對每一位客戶提供個性化服務。然而銀行有數以千百萬計的客戶，如何將客戶細分到以客戶為中心的客戶單一市場呢？也就是如何設計大量個性化的產品或服務。銀行只有通過以客戶為中心（Customer Centric）的決策支持系統，才能使用科學的方法實現個性化服務。數據倉庫系統存放每一位客戶同銀行往來的詳細的歷史交易明細數據，對客戶有統一的視圖，能幫助

12、銀行業(yè)務用戶以科學的手段快速地分析、模擬和預測客戶的個性化需求，進而設計符合客戶需求的產品或服務。通過客戶喜好的渠道完成交易，是增強專業(yè)銀行競爭能力最有效的手段。 其次是提高專業(yè)銀行整體運作與管理水平。數據倉庫決策支持系統是專業(yè)銀行管理模式發(fā)展的結果。隨著各個歷史時期經濟金融環(huán)境的變化，專業(yè)銀行的經營管理模式在演變，最初強調資產管理，是因為來源比較狹窄，主要是活期存款，而工商企業(yè)的資金需求也較簡單，采用會計記帳設備提高生產力；到了六十年代，產生負債管理理論，強調要通過負債管理保持銀行的流動性，主動從市場、銀行業(yè)來調劑資金余缺，開始引進會計系統計算機化；七十年代末期，出現了資產負債綜合管理理論，

13、重點在資產負債風險管理、信貸風險管理、投資風險管理和外匯交易風險管理，MIS和分行自動化成為核心系統；九十年代，金融市場的開放，低利率和信用擴張刺激消費，零售業(yè)務成為銀行的主要業(yè)務和收入，客戶對金融產品和服務的要求越來越高，銀行業(yè)務部門和管理層首要關心的問題在于如何降低風險和增加利潤，以客戶為中心的數據倉庫決策支持系統可以快速地了解每一項交易、每一個帳號、每一個分銷渠道、每一位客戶的風險和利潤，讓銀行作出正確的業(yè)務決策，及時響應每一位客戶的現在和未來需要，提高整體運作和管理水平。 最后是增強專業(yè)銀行應變能力。訂立金融市場開放時間表，讓國內銀行有充分的時間準備來提高自己的競爭實力，以應付外資銀行

14、在將來的競爭。人民銀行會逐步放松管制政策和增加國內銀行可以經營的業(yè)務范圍，讓國內銀行熟悉市場經濟的運作規(guī)則。當外資銀行可以在國內經營零售業(yè)務時，如果國內銀行已經完全掌握客戶的行為和需求，了解各種金融產品的的操作和管理，那么對國內銀行的沖擊就比較小。問題在于，國內銀行如何在這么短的時間內完成這么多的事情。如果沒有足夠的企業(yè)和客戶信息，國內銀行如何了解人民銀行推出的新政策對銀行的影響呢？又如何向人民銀行建議新業(yè)務和服務呢？或是對付外資銀行的競爭呢？企業(yè)級的數據倉庫系統，存放銀行各種主題，如客戶、帳號、部門、金融產品、商業(yè)活動、位置、渠道和交易事件等，可以快速地分析、模擬和預測新業(yè)務和新政策對銀行整

15、體的影響，讓銀行的領導及時制定策略和戰(zhàn)術，應變突發(fā)的復雜的經營問題。1.5 中國專業(yè)銀行實施數據倉庫已具備的條件 近年來，中國專業(yè)銀行在管理上已逐步形成了一套快速適應市場變化、滿足用戶需求的內部運行機制。概括來講，中國專業(yè)銀行實施個性化服務數據倉庫系統具備了以下條件：企業(yè)有一支較高素質的管理人才和技術隊伍，具備參與信息建設的豐富經驗，為基礎上實施提供了人才的保證。完善的信息技術基礎設施，如ATM網絡、電話銀行、傳真服務、呼叫中心、網上服務、POS系統、企業(yè)內部網、人行的電子清算系統等，確保交易信息源能及時的獲得，數據倉庫建成后使用方便。企業(yè)已建設或正在建設的全行范圍的業(yè)務系統，包括儲蓄、定期、

16、貸款、匯款、外匯、信用卡、支票、信用證、國際業(yè)務等，已積累了完整而且詳細的客戶交易記錄，為數據倉庫的啟動提供了基本的數據來源。多數的企業(yè)有實施先進管理制度和思想的經驗，如成立市場部統籌銀行的形象和市場定位的宣傳與規(guī)劃、經營效益與員工收入掛鉤、服務時效的承諾、客戶滿意調查等，容易接納新知識，對數據倉庫的實施和推廣應用起到積極的作用。第二章 數據倉庫總體概述2.1 數據倉庫基礎數據倉庫的概念最早將數據倉庫提升到理論高度加以論述的是著名學者、被尊稱為數據倉庫之父的Bill Inmon。他對數據倉庫所下的定義是：數據倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的數據集合，用以支持管理決策的過程。由此可

17、見，數據倉庫是一個綜合的解決方案，是對原始的操作數據進行各種處理并轉換成有用信息的處理過程，它主要用來幫助有關主管部門作出更符合業(yè)務發(fā)展規(guī)率的決策。數據倉庫的查詢特點 針對生產系統的查詢都非常簡單，一般不會使用表的連接操作，每次返回的數據量很小，這類問題的特點是知道自己要找什么。數據庫大小對系統性能影響不大。數據倉庫系統的查詢大都非常復雜，主要有兩種：一種以報表為主，從數據庫中產生各種形式的業(yè)務報表。這種查詢是預先規(guī)定好的（Pro-defined Query）。另一種查詢是隨機的、動態(tài)的查詢（Ad-Hoc query），對查詢的結果也是不能預料的。數據倉庫中的查詢由于其復雜性，會經常使用多表的

18、聯接、累計、分類、排序等操作，這些大都要對整個表進行搜索（Full Table Scan）。每次查詢返回的數據量一般很大，對于動態(tài)查詢而言，經常需要根據上次查詢的結果進行進一步的搜索，這個過程稱為數據挖掘（Data Mining）。根據這些特點，數據庫大小對數據倉庫的性能影響很大。當數據倉庫投入使用后，各業(yè)務部門的要求會越來越多，使得數據倉庫中數據量的增長很快。因此設計數據倉庫時，系統的可擴展能力是必須考慮的重要因素之一。系統的并行處理能力是另一個要考慮的重要因素。因為查詢的復雜性，每個查詢將占用很多的系統資源，如果系統資源不夠、并行處理能力不強，當多個用戶同時發(fā)出事物請求時，響應時間很長令人

19、無法容忍。數據倉庫應單獨建立。因為如果在生產系統上再實施數據倉庫，由于數據倉庫的查詢常常占用很多系統資源，將嚴重影響生產系統的運行2.2 數據倉庫技術概述 作為決策支持系統（DSS）的一種有效、可行的體系化解決方案，數據倉庫包括了三個方面的內容：數據倉庫技術（DATA WAREHOUSE，DW）、聯機分析技術（ONLINE ANALYTICAL PROCESSING，OLAP）、數據挖掘技術（DATA MINING，DM）數據倉庫技術（DW）需要以下數據庫技術的支持：高性能數據庫服務器 數據倉庫的應用不同于傳統數據庫的OLTP應用。傳統數據庫的應用是操作型的，而數據倉庫的應用是分析型的，它需要

20、高性能的DBMS核心的支持，以便較快地獲得分析結果，這通常需數秒至數分鐘的時間。雖然比OLPT的響應時間長一些，但由于分析型應用涉及的數據量大，查詢要求復雜，因此對DBMS核心的性能要求更高，同時，DBMS必須具有良好的查詢優(yōu)化機制并行數據庫技術 數據倉庫中的數據量大，而且隨著時間的增長，新的數據還會不斷進入，基本成指數增長。數據倉庫中的數據庫通常是GB甚至TB級的，可謂是超大規(guī)模數據庫（VLDB）。而并行數據庫技術是存儲管理VLDB，并提供對VLDB復雜查詢處理的有效技術。數據庫互操作技術 數據倉庫中的數據大多來自企業(yè)或行業(yè)中業(yè)已運行的OLTP數據庫或外部的數據源。這些數據庫常常是異構的，甚

21、至是文件系統中的數據。數據倉庫必須從這些異構數據源中定期抽取、轉換和集成需要的數據，并把它們存入數據倉庫中。因此，異構數據源之間的互訪和互操作技術是必需的。聯機分析（OLAP）技術 OLAP是一種實現多維分析的工具。簡單地可以理解為它是位于數據倉庫基礎之上的一個多維立方體，它面向分析決策所關心的綜合性數據，以便從更高層次、多個維度來了解數據。它從邏輯上或物理上以多維方式從數據倉庫里提取數據并組織數據，便于前端用戶進行多維數據分析。 根據實現技術和存儲數據的位置不同，又可分為多維數據庫OLAP（MDB-OLAP）、基于關系數據庫的OLAP（ROLAP）和桌邊形的OLAP（DESKTOP OLAP

22、）。OLAP的目的是為了提高多維分析的速度。數據挖掘（DM）技術 數據挖掘是從數據倉庫中發(fā)現并提取隱藏在其中的信息的一種新技術。目的是幫助決策者尋找數據間潛在的關聯，發(fā)現被忽略的要素，這些信息對預測趨勢和決策行為也許是十分有用的。 數據挖掘技術涉及數據庫、人工智能、機器學習和統計分析等多種技術。數據挖掘技術使決策支持系統跨入了一個新階段。傳統的決策支持系統通常是在某個假設的前提下通過數據查詢和分析來驗證或否定這個假設，而數據挖掘技術則能夠自動分析數據，進行歸納性推理，從中發(fā)掘出潛在的模式，或產生聯想，建立新的業(yè)務模型，幫助決策者調整市場策略，并找到正確的決策。總結 數據倉庫技術是以數據倉庫為基

23、礎、以OLAP和數據挖掘工具有手段的一整套可操作、可實施的方案。 建立一個數據倉庫是一個比較復雜的過程，它需要精心的規(guī)劃、淵博的知識、豐富的行業(yè)管理經驗、極強的業(yè)務溝通能力和全面的IT要素。建立數據倉庫要選擇合適的數據倉庫引擎、硬件平臺、軟件工具、應用程序和行業(yè)專業(yè)服務2.3 一個可擴展數據倉庫的基本框架操作數據/源數據 提取 過濾 凈化 家庭關系識別 加載企業(yè)中央數據倉庫復制與傳播從屬數據集市數據轉換數據挖掘 分類 統計 人工智能 決策樹信息存儲工具業(yè)務用戶 IT用戶數據裝載數據管理信息訪問整個框架組成部分數據裝載：把所謂的操作數據和源數據利用一定的方法如提取、過濾、清理、家庭關系識別等，從

24、生產關系中轉換到中央數據倉庫中。這種轉換分為邏輯與物理兩部分，即先根據業(yè)務問題建立數據庫邏輯模型，然后在此基礎上構造物理模型，將操作數據加載到物理表中。邏輯建模應基于要解決的業(yè)務問題進行，而不是基于目前的系統能提供什么數據進行。換而言之，數據倉庫的出發(fā)點是解決業(yè)務問題，而不是單純的一個信息轉換與訪問的工具。數據管理：這一部分是整個數據倉庫的心臟，根據數據倉庫的特點，它必須采用一個具有并行處理性能的關系數據庫管理系統。當數據倉庫非常龐大時，為提高性能，可建立一些面向部門應用的數據集市，這些數據集市中的數據是從中央庫中通過復制與傳送等手段拷貝過來的。信息訪問：這一部分是前端工具，主要提供給有關業(yè)務

25、部門訪問數據倉庫中的信息使用，在這一部分一般都采用圖形界面、交互功能強的查詢工具。2.4 一個數據倉庫實施流程業(yè)務探索數據倉庫咨詢信息采集與挖掘邏輯建摸數據倉庫結構設計數據倉庫解決方案就緒知識探索建模物理模型設計數據倉庫管理（過程與操作）數據轉換C/S應用開發(fā)數據挖掘與分析數據倉庫解決方案集成系統支持邏輯建?；仡櫸锢斫；仡檾祿}庫調整數據倉庫容量規(guī)劃數據倉庫審計數據倉庫規(guī)劃數據倉庫設計與實施數據倉庫支持與完善 第三章 系統體系結構設計3.1系統設計指導思想制定合理的系統目標 在數據倉庫建設的規(guī)劃階段，不能求勝心切，應該制定切合實際的系統目標，將擴大決策支持系統的數據源、改善用戶獲得信息的手段

26、、為用戶提供更加準確、可靠和全面的信息作為系統建設的根本出發(fā)點。循序漸進 在銀行中使用數據倉庫技術應本著循序漸進的原則進行。首先，在涉及某一類銀行業(yè)務的單項應用領域開展，逐步發(fā)展到在涉及不同銀行產品的幾個單項應用領域開展，最后，再建立全行的數據倉庫，將數據挖掘的范圍擴展到多項銀行活動。而不要一開始就希望把銀行所有的數據都裝載到數據倉庫中，建立一個大規(guī)模的全銀行范圍內的數據倉庫，這樣會使銀行隱入邏輯、行政和財政的困境而不能自拔。數據倉庫不是越大越有效，初始時從建立較小的數據集市入手，一方面可以降低開發(fā)成本，縮短實現周期，另一方面還有助于為未來數據倉庫的全面啟動培訓IT人員。將相關信息集成到數據倉

27、庫中 80年代，美國曾做過一次對企業(yè)高層管理人員的問卷調查，以研究高層管理人員獲得經營管理信息的途徑。結果出人意料，管理人員的級別越高，他就越少通過內部數據來獲得經營管理信息：大型企業(yè)的最高決策者95的經營管理信息來自企業(yè)外部。數據倉庫系統不是簡單的企業(yè)內部數據集成，而是為決策支持提供集成的數據源，因此，必須在關注企業(yè)內部數據的同時，將外部信息集成到數據倉庫中；此外，與數據信息相比，圖形、圖像信息更為直觀、易于理解，也應該集成到數據倉庫中。當前目標與長遠目標相結合 數據倉庫建設不是一勞永逸的事情，應該樹立長遠的發(fā)展眼光。即使在建立第一個面向特定部門或特定應用的數據集市時，也一定要保證現在使用的

28、數據模型能夠向將來所使用的全銀行范圍的數據存儲擴展，以便于將來其他數據集市和戰(zhàn)略性數據倉庫的實現。必須在部門之間進行一致性的數據定義，并通過這些定義上的一致性協議使以后部門間的數據聯合成為有效、可行。統計結果顯示，數據倉庫的數據量會以每年大約40的速率增長，由于在設計階段很難準確地預料到系統初始和未來的負載情況，所以，應該在設計開始時考慮系統可伸縮性，以便能夠容納更多的客戶、進程和存儲，應盡可能準確地選擇與用戶需求相適應的系統并適當地留出余地，以免因系統過大而超出其適用范圍，白白浪費投資。不追求盡善盡美 進行數據倉庫建設時，在定義了系統目標、明確了關鍵的成功因素、合理控制了數據倉庫規(guī)模的基礎上

29、，就應該盡快行動起來，盡快獲取數據倉庫投資帶來的回報。當客戶需要更多的信息和更詳細的細節(jié)時，就應立即著手進行數據倉庫的發(fā)展和擴建工作，不應拘泥于“完美”不放，應在不斷修改的同時不斷發(fā)展。以不影響正常業(yè)務為前提 由于數據倉庫的查詢是一種不規(guī)則的查詢運作，在考慮數據倉庫方案時，應以不防礙正常的銀行業(yè)務處理為原則，可考慮把數據倉庫的系統平臺與生產系統的系統平臺分隔開來，放在并行的主從服務器上分別運行。3.2 方案總體框架圖方式：瀏覽器 對象：信息發(fā)布、網上報表、各級領導網上查詢Web服務器多維分析數據挖掘Red Brick數據倉庫提取 過濾 條件 壓縮 清理 家庭關系識別 數據加載信用卡對公系統儲蓄

30、系統3.3 系統體系結構設計 為了實現各種功能，我們建議分別采用了組件技術，WEB技術，OLAP技術，并在整個應用系統的體系結構上采用了三層體系結構來進行設計。三層體系結構 針對河北省工商銀行數據倉庫系統，我們建議采用的三層體系結構（BWD）,即數據庫，WEB服務器，瀏覽器表現層。 早在1980年第一個數據庫管理系統出現時，數據庫的世紀就已悄然開始。那時的觀念是由應用程序控制關系型數據庫，這種數據處理的模式一般稱為單層結構（1-Tier）。由于這種結構的數據庫程序占用計算機資源較多，于是在80年代中期，數據庫應用開始轉向C/S結構，也就是所謂的兩層結構（2-Tier）。這種結構在近十年內不但得

31、到了廣泛的運用，而且相當成功。然而，在兩層結構成功的背后卻逐漸暴露出其構架上的缺陷。其中最明顯的問題表現在應用程序的伸縮性和維護方面。例如，如何把數據庫管理系統及其應用程序分散到十分緩慢的網絡上，如何控制數據的統一性和完整性；一旦應用程序有任何改動，維護人員就必須修改每一個客戶端上的應用。 新一代數據庫管理系統在傳統的C/S結構中，增加了應用程序服務器這種新的結構就是所謂的nTier或Multi-Tier。應用程序服務器包括了統一的界面、業(yè)務規(guī)則的制定和數據處理邏輯的規(guī)定等等。多層應用服務技術允許分割應用程序，本地計算機上無須安裝一套數據庫工具，就可以在另一臺機器上存取數據。同時它允許對業(yè)務規(guī)

32、則和進程進行集中管理，并在整個網絡上分發(fā)、實現進程負載的動態(tài)調節(jié)。在三層體系結構的第三層，即表現層，可以分為三大類，應用程序的客戶端，瀏覽器，第三方廠商提供的前端表現工具。組件技術 在整個體系結構的設計中，我們注重了組件的應用，采用積木法來進行設計。先構筑系統的總體框架，然后構造各個構件，并依次把構件安裝到系統中去。 大部分應用系統，在功能上有類似之處，因而利用軟件的重用技術就可以把開發(fā)過程大大簡化。在確定系統總體框架、構筑總體框架、構造構件以及修改構件等階段，都同一個叫做“軟構件集合”的實體打交道，這個軟構件集合也被稱為“軟件構件庫”。在開發(fā)之初就應該著手準備這個軟構件集合，比如可以搜集一些

33、已經開發(fā)的系統的總體設計、規(guī)范、局部流程以及某些人機界面、通用功能模塊、簡單開發(fā)工具。每開發(fā)出一個組件，都要把該組件及其功能、調用接口等信息放入軟構件集合。我們采用ActiveX來完成組件的設計。 在應用程序的客戶端，瀏覽器上的ActiveX用dcom協議或CORBA協議與應用服務器進行通信，由Dcom Server或CORBA Server負責向數據庫提交請示，并取得相應數據。 WEB技術 WWW是Internet上發(fā)展最快、應用最廣泛也最實用的超文本信息通信系統。服務器端通過Web Server可以提供各種服務；客戶端可以通過瀏覽器（Browser）訪問多種協議的多媒體信息，依據用戶的需要

34、組織和傳遞信息。人們可以通過WWW瀏覽器瀏覽和檢索WWW站點的信息，這就使得信息的共享與交流越來越迅速、越來越方便，正因為如此，才成為了目前Internet/Intranet上信息發(fā)布與出版的重要途徑。 WWW的最大特色在于為用戶提供良好的信息查詢界面。WWW把各種形式的信息，如文本、圖像、聲音、視頻等無縫隙地集成在一起，用戶只需要提出自己的查詢要求，具體到什么地方、如何取回信息都由WWW自動完成。通過瀏覽器，用戶只需用鼠標點擊顯示屏上高亮度或有下劃線的詞語，就可將與該詞語相關聯的文件取回并顯示在屏幕上，用戶無需關心這些文件存放在Internet/Intranet上的哪臺計算機中。OLAP技術

35、 OLAP是On-line Analytical Process（在線分析）的首字母縮寫。OLAP是使用戶能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、并真正反映企業(yè)維特性的信息進行快速、一致、交互地存取，從而獲得對數據的更深入了解的一類軟件技術。OLAP的目標是滿足決策支持或多維環(huán)境特定的查詢或報表需求，它的技術核心是“維”的概念，因此OLAP也被稱為多維數據分析。3.4 系統方案的組成 該方案包括：可擴展的高性能的系統硬件平臺；適合復雜數據分析處理的數據倉庫引擎；數據抽取和轉換工具；數據挖掘和分析工具；前端的商業(yè)智能工具IBM/RS6000地市網點 Intranet We

36、b ServerNT Server： IISBrio.OnDemandFrontPage數據分析/挖掘數據倉庫 操作系統：AIX4.3.3 數據庫：Red Brick 軟件：Datastage省行中心機 房RAIDInformix MetaCube 4.2Brio.Query Designer 操作系統：Windows NT/95/98 瀏覽器：IE 、IIS軟件：Brio.Insight 系統軟硬件配置圖3.4.1 數據倉庫的操作系統平臺和數據庫平臺我們選擇IBM/AIX4.3.3作為數據倉庫的操作系統平臺。 IBM作為世界范圍高質量服務的UNIX系統提供商，它推出的AIX操作系統主要特征：

37、同時支持32-位和64-位應用多線索內核；Pageable Kernel（動態(tài)可交換內核）；JFS（日志文件系統）；LVM（邏輯卷管理）；OS Level Mirroring（操作系統鏡像）；SMIT（易用型管理工具，支持圖形和Web）；Workload Manager（工作負荷管理）。我們選擇Red Brick Warehouse作為數據倉庫的數據庫平臺Red Brick Warehouse是一種專門的服務器技術，針對分析性數據集市解決方案、復雜查詢、快速加載性能、高容量/高性能以及超大數據庫的有效管理等方面進行了設計和優(yōu)化。關鍵特色：Table Management Utility（TMU

38、）完成所有必要的任務，以確保數據就緒，同時還支持數據轉化和清洗、插入數據行、檢查參照完整性、更新所有相關索引和創(chuàng)建聚集等功能，可以在單個加載過程中完成所有操作。Parallel Table Management Utility（PTMU）能用SMP并行機制來大大加速數據加載，并行機制來大大加速數據加載，并行地實現全面的參照完整性檢查和創(chuàng)建索引。數據庫的設計者加以選用STAR、TARGET、以及B-Tree索引來優(yōu)化他們的特定處理環(huán)境。Auto Aggregate Load與TMU或PTMU共同使用，集成聚集表并在常規(guī)的更新過程中生成。這種過程可以大大減少維護管理聚集記錄的成本。STARinde

39、x將多個表連接起來，以實現最佳的查詢響應能力和高性能的增量更新。STARindex采用了Informix Red Brick Warehouse獨特的高級算法，可以使每個索引占據更小的磁盤空間。STARjoin一種獨特的多表連接算法技巧，針對star模式優(yōu)化，可以為數據倉庫查詢的多維分析提供更快的反應速度。TARGETindex可不斷調整的TARGETindex是一種位圖索引技術，專門為以極快速度從大型的表中選擇記錄而設計。TARGETjoin允許用戶在查詢中對多個表并行地采用多套限制，提供更加聚焦、更具目標的數據視圖。RISQL Extensions 使商務用戶可以方便地利用SQL表達常見的

40、業(yè)務問題，并進行包括排序和排列的多種形式比較。 Vista 一種聚集管理系統，集成于服務器內，提供了全面的聚集創(chuàng)建、管理和查詢優(yōu)化功能。它可以使頻繁訪問的數據更有強大的功能。Parallel on Demand防止過多的并行處理，使用戶不必花費寶貴的時間去優(yōu)化單個的查詢。Dynamic Incremental Optimization動態(tài)增量優(yōu)化 在查詢執(zhí)行過程中，利用從即時結果獲得信息，重新評估和調整查詢和執(zhí)行計劃。SuperScan使多個用戶利用同一個I/O流，大大減少大量用戶和查詢時的I/O操作。Table Segmentation表分區(qū) 可以對一個表或索引進行物理上的劃分，使其分布在不

41、同的設備或文件系統上，同時保持單個表時在管理和可用性方面的所有優(yōu)勢。 Time-Cyclic Data Management 通過將舊的數據分區(qū)清除掉，用于存儲新的數據分區(qū)，幫助用戶有效地處理時間敏感的數據。 Informix Red Brick安全性功能 通過提供層次化，基于角色的安全性和豐富的日志來支持管理、優(yōu)化和計費功能，方便了大規(guī)模數據庫管理。 Query-Priority Concurrcy這種獨特的多任務機制專門針對決策支持環(huán)境設計，從而使查詢的執(zhí)行在數據更新和加載操作中不受影響。 SQL Backtrack 提供全面和靈活的解決方案，以快速、簡捷、安全地備份和恢復數據庫。 Inf

42、ormix Red Brick Warehouse Administrator 一種圖形化，基于Windows的工具，可以簡化管理并提高效率。它為學習如何管理Informix Red Brick Warehouse提供方便的學習方法，并可引導有經驗的管理員完成不常見的任務。同時，它還支持“what if”試驗和增量模式發(fā)展 3.4.2 數據抽取、轉換、和裝載軟件DtaStage要想實施有效的決策應用，應首先必須擁有能夠從不同數據源中抽取數據、凈化數據、并把數據裝入數據倉庫環(huán)境中的功能強大、技術成熟的工具。Informix Datastage是一套專門對多種操作數據源的數據抽取、轉換和維護過程進

43、行簡化和自動化，并將其輸入目標數據庫的集成工具。3.4.3 在線分析和數據挖掘工具MetaCubeMetaCube 能夠：提供相關數據倉庫中數據的直觀、易于導航的多維視圖；提供多數據庫平臺支持；提供一整套高級的管理工具集，簡化數據倉庫管理；提供全面的、基于Web的ROLAP解決方案。MetaCube的優(yōu)勢：在數據倉庫實施中使用MetaCube 能為用戶帶來許多好處：增加數據倉庫投資的收益和回報；提高企業(yè)的知識水平和生產力；幫助決策著做出更明智的決策；更快速、更高效地把握不可預測的、面向主題的信息；實現分布式的決策。3.4.4 Web服務器 Windows NT提供了一些支持Internet和I

44、ntranet出版和訪問服務的工具，例如IIS（Internet Information Server、即Internet信息服務器），IE等。 Internet上的核心網絡服務之一是World Wide Web（WWW或Web），它為用戶提供圖形的，易于瀏覽的界面，使用戶能夠確定Internet上信息的位置，這些網面連在一起組成了一個信息網。 IIS為基于Windows NT的計算機了提供了Internet上發(fā)布資源和服務的能力，使用IIS可進行發(fā)布服務，例如超文本網頁，客戶機/服務器應用程序等。使用超文本傳輸協議（HTTP），文件傳輸協議（FTP）在Internet和Intranet上提供

45、發(fā)布信息和服務。使用這些網絡服務，可以發(fā)布網頁，交互式應用程序，客戶目錄，在WWW上讀取數據庫。3.4.5 前端分析工具：Brio產品 在三層結構中的表現層，可以利用第三方廠商提供的產品實現簡便，靈活的查詢，報表生成功能，并利用這些工具，對數據庫中的信息進行分析和查詢。Brio是提供的前端表示工具，它們桌面OLAP分析的建模工具，OLAP分析工具，及對庫的查詢，報表的生成。Brio企業(yè)版的服務器：OnDemand服務器是一個網絡應用服務器。網上進行查詢、集中管理客戶、安全性和“適應性報表”（Adaptive Reports）。允許使用Web的用戶方便并安全的訪問存在企業(yè)業(yè)務數據庫、數據集市和數

46、據倉庫中的商業(yè)信息Brio的Client/Server客戶端工具：BrioQuery Desigener是查詢、分析及報表工具。具有數據庫管理功能、安全性、審計和“存儲倉庫”（Repository）設置（供信息技術部門使用）Brio的Web/Intranet客戶端工具：Brio.Insight是基于Web瀏覽器的查詢、分析及報表工具。根據報表信息和用戶安全的需要而具有不同層次的功能。 3.4.6 編程工具 Deliphi自從Borland推出了Deliphi之后，深受程序設計人員的青睞。Deliphi的每一個新版本都給用戶提供了更新、更好的功能，。例如Deliphi1.0版本給用戶提供了一種全

47、新的可視化編程環(huán)境，使用戶能快速開發(fā)Windows3.1的應用程序。Deliphi2.0中增加了數據模塊（DataModule）等多種高效的數據重用功能?，F在每三代版本Deliphi3，4多層結構的32位快速開發(fā)工具又給開發(fā)人員帶來了全新的多層結構概念，并推出了開發(fā)多層結構所需的技術和工具集。MIDAS是開發(fā)服務器級的應用程序，即體系結構中的應用服務器和表現層的理想工具之一3.4.7 網頁設計工具 InterDev是為有一定編程能力的程序人員設計的網頁設計軟件。它提供端到端的調試功能，現場設計和管理工具，數據庫連接工具，編程資源庫，并可方便引入用ActiveX組件等功能。 Frontpage是

48、美化頁面的工具 Photoshop用來完成圖片的設計第四章 銀行數據倉庫的建設 數據倉庫系統與傳統的OLTP系統有很大的區(qū)別，因此需要豐富的實踐經驗才能保證系統的成功實施。北京天恩科技有限公司作為專門從事銀行業(yè)務信息化的企業(yè)，通過多年來對銀行業(yè)務的深入研究，以其雄厚的技術實力為客戶提供從系統平臺、網絡方案到銀行應用系統全套的解決方案。天恩科技公司經過多年的銀行應用軟件的開發(fā)，實現了對公、儲蓄及信用卡帳目的管理，并建立一套完善的辦公自動化系統、風險監(jiān)督系統以及其他輔助子系統。利用銀行系統項目開發(fā)工作中積累了許多寶貴的經驗，同時結合國外先進的數據倉庫的實施方法論和數據倉庫的完整框架結構，作為國內銀

49、行實施數據倉庫的管理機制與技術指南。4.1 面向應用的OLTP系統與面向主題的OLAP系統 對銀行而言，一般都針對其各項業(yè)務開發(fā)了相應的OLTP系統，用來解決銀行日常的生產自動化問題，如儲蓄系統、信用卡系統等。這些系統都是解決專門的業(yè)務問題數據倉庫則是面向主題的，對銀行來講，客戶是一個永恒的話題，要研究客戶的消費行為和心理，對客戶進行各種分類，如哪些客戶的信用好，哪些客戶的風險大，等等諸如此類的問題。另外，銀行的產品也是一個值得研究的主題，據此來分析這些產品的市場定位等 從數據庫結構來看，兩者的區(qū)別可以用下圖來表示。生產系統貸款儲蓄信用卡面向應用面向主題數據倉庫系統客戶產品分銷渠道4.2個性化

50、服務的定義 我們首先對個性化服務進行定義，這種定義可以從客戶和銀行的兩個方面的觀點來看：對公和對私客戶認為個性化服務是：銀行知道我（who）在什么時間(when)，需要什么產品或服務(what)，以我可以接受的價格(how much)，經由我喜歡的分銷渠道(where)，對我提供銷售。銀行的定義是：以有競爭性的產品或服務(what)，在適當的時間(when)，通過適當的分銷渠道(where)，對信用好風險低的客戶(who)，以合理的價格(how much)和利潤(profitable)完成銷售。兩者都在精打細算的前提下，以達成自己的需求和目標。然而銀行現有的信息技術和體系結構，都是以帳號為中心

51、的客戶檔案和歷史的交易明細，在設計時考慮以最快的速度處理業(yè)務流程的交易，所以不同業(yè)務的生產系統只儲存與此應用相關的交易明細數據，其他應用的歷史數據都已備份在流帶或存儲在不同的生產系統中，無法滿足以分析為向導的個性化服務的業(yè)務需要。為不影響銀行現有以業(yè)務為流程為向導的生產系統的處理速度，需要建立一套全新的數據倉庫信息技術才能滿足以分析為向導的個性化服務的業(yè)務需求，達成上述客戶和銀行的各自要求。4.3 業(yè)務探索/業(yè)務發(fā)掘業(yè)務需求發(fā)掘是個復雜的咨詢服務過程，對銀行有極大的業(yè)務價值，它將促使銀行確定和評價相關項目的優(yōu)先級程度以及投資核算的成本，更清楚的了解自身現有什么樣的數據信息、數據質量、具有什么樣

52、的IT基礎架構等等。了解如何實施數據倉庫解決方案實施銀行的CRM計劃并達到什么樣的結果，這些結果將是可以定量描述的，可以在規(guī)定的時間內達到。業(yè)務需求發(fā)掘過程將由天恩科技有限公司金融業(yè)資深顧問負責，在銀行信用卡部、市場部、規(guī)劃部、科技部等相關業(yè)務部門的密切配合下完成。最終業(yè)務需求發(fā)掘報告將確定銀行多種業(yè)務中目前最重要的目標和達到這些目標需要的信息。 4.4 建立市場客戶信息基礎（MCIF，Marketing Customer Information Foundation）。MCIF是整個數據倉庫應用的基礎。我們將現有業(yè)務系統中有關客戶的交易數據，加載到中央的市場客戶信息庫，建立以客戶為中心的數據

53、倉庫基礎環(huán)境?，F有銀行業(yè)務系統的設計都是以產品為中心，客戶與銀行的往來業(yè)務不同，需要使用不同的帳號；另外銀行的業(yè)務系統隨時間的演變，會增加新系統和修改舊系統，數據存放在不同的磁盤上；再者由于使用不同的數據庫系統在不同的硬件平臺和操作系統上運行，造成字段的名稱和格式代碼都不一致，數據的冗余性很高?，F有這些情況，是現有生產系統無法提供業(yè)務用戶進行以客戶為中心數據分析的主要原因。在市場客戶信息庫建立完成后，銀行的各業(yè)務部門將對全行客戶有統一的視圖（Single Version of Truth），從而能夠以客戶為單位分析銀行的業(yè)務情況，知道客戶的人數，客戶與銀行往來的情況、客戶的基本分類、了解客戶的

54、基本需求，或其他和客戶有關的復雜的查詢與報表，如趨勢分析、集群分析等。這一階段的關鍵是：邏輯數據模型和Red Brick數據庫管理系統，建立客戶市場營銷信息文件，提供動態(tài)查詢等。4.5 利用數據倉庫實現的基本功能模塊根據北京天恩科技有限公司在銀行業(yè)多年的實踐經驗，我們建議河北省工商行銀行各級領導注意考慮在以下幾種功能模塊：報表查詢與分析：調用用戶發(fā)布到網上的報表模板，查詢所需報表，同時，還能將已生成的報表圖示化，對報表數據進行圖示分析。報表查詢與分析方法提供的是較為宏觀的分析方法。指標查詢分析：指標查詢與分析方法是以指標方式進行的查詢分析方法，與報表查詢查詢方式不同，指標查詢分析提供的是較為微

55、觀的分析方法，每次關注的是一個或幾個指標的情況。 地理方式指標查詢：該模塊提供一個生動直觀的地圖界面，在地圖界面上，用戶可以選擇相應的地區(qū)，該地區(qū)的經營指標，并且，還能進行圖示化的對比分析、構成分析、時間序列分析等分析。該模塊能通過WEB瀏覽器從網上調用。 指標采摘分析：該模塊提供指標之間的關聯查詢與分析，用戶在查詢到某條指標時，可以通過后臺的指標關系服務器，聯想也與該指標有關聯的其他指標。財務分析 財務比率分析：列出所有財務比率，并可以通過某項財務比率指標，進行OLAP鉆取，查詢到影響該比率指標的其財務指標。 資產負債結構分析：銀行對自己的資金從資產和負債兩個方面進行統一的協調和管理，實現兩

56、者在期限和利率上的最佳組合，以確保資金的安全性和流動性，并在此基礎追求最大化利潤。 利用在線分析（OLAP）技術和產品建立資產負債分析的模型，供銀行有關業(yè)務人員進行多維的資產負債結構分析。具體說，利用該模塊，業(yè)務人員可進行如下分析：資產的總體結構分析；負債的總體結構分析；某類資產如貸款的地區(qū)結構、行業(yè)結構、品種結構、期限結構分析；某類貸款如不良代款（次級、可疑、損失貸款）的地區(qū)結構、行業(yè)結構、期限結構；某類負債如存款的地區(qū)結構、行業(yè)結構、品種結構、期限結構分析；某類存款如定期存款的地區(qū)結構、行業(yè)結構、期限結構分析等等。 存款結構分析：采用OLAP技術，分析銀行各項存款的分布情況，如存款行業(yè)分布

57、，存款期限分布，存款利率分布等。 現金收支分布情況分析：采用OLAP技術，分析銀行現金收支分布情況。 貸款結構分析：采用OLAP技術，分析銀行各項貸款的分布情況。如貸款行業(yè)分布，貸款性質分布，貸款期限分布等 期限匹配的資產負債差額分析：將所有資產按到期日的長短由少到多排列，按加權平均（比如以資產數額作為權重）的方法計算出資產的平均到期日。然后以同樣方法計算出負債的平均到期日。兩者之間的差額稱為期限匹配形成的差額。若這個差額為正數，即資產的平均到期日大于負債的平均到期日，說明銀行的資金應用過多了，到時侯可能出現支付能力不足的情況，而銀行卻不能依靠貸款的收回來支付到期的負債，只能想辦法來尋找新的資

58、金來源或調整負債結構，此時銀行的經營就會出現比較大的風險；若差額為負數，即資產的平均到期日小于負債的平均到期日，說明銀行資金運用得不足，可能會出現資金的閑置，影響銀行的盈利。因此，銀行應盡可能使得此差額接近于零，這樣既能保證資金的流動性，又能保持較高的盈利。該模塊可自動計算該差額，并要求有關分析人員填定一份固定格式分析報告，對差額產生的原因、可能造成的后果，以及解決的措施，作出簡要的分析。從而為有關決策提供依據。決策支持 這里提供所需的統計分析和決策分析功能，為銀行各級決策人員提供決策支持。決策支持所要求的功能。 聚類分析：該模塊可供銀行內部有人關人員進行銀行各經營要素的聚類分析，如可以根據幾

59、個重要指標，如利潤總額、存款余額、貸款余額對所轄各支行運行進行分類。 相關性分析：該模塊可供銀行內部有關人員進行銀行各經營要素間的相關性分析，如銀行各類資產總額與利潤總額之間相關性，各類貸款總額與利息收入總額的相關性，利率水平與存貸款總量的相關性，揭示其內在聯動關系，從而為銀行的有關決策提供依據。 預測分析：該系統可供銀行有關人員對銀行未來的經營狀況進行預測，從而為銀行的有關決策提供依據。貸款需求預測：預測未來一段時間的貸款需求量情況。資金籌措能力預測：預測未來一段時間的存款余額情況。資金需求情況預測：預測未來的段時間的資金需求情況。今日動態(tài)這里列出銀行每日管理中非常關心的一些經營信息及分析。

60、 今日頭寸：列出當日數，并可選擇得到過去和預測未來的一段時間序列曲線。 今日存款余額：列出昨日末存款余額，并可得到過去和預測未來一段時期的存款發(fā)生額、取款發(fā)生額、存款余額時間序列曲線，也可細化得到各種分類的存款余額。 今日貸款余額：列出昨日末貸款余額，并可得到過去和預測未來十天的存款發(fā)生額、取款發(fā)生額、存款余額時間序列曲線，也可細化得到各種分類存款余額。 今日到期存款情況：列出今日到期的存款額 今日到期貸款情況：列出今日到期的貸款額 今日預警信息：對比較重要的指標設定警戒值，由預警服務器不斷檢測預警指標，當發(fā)現有指標超出警戒值時，將超出警戒值的指標羅列出來，以醒目（或其他能提醒人注意）的方式，