銀行數(shù)據(jù)中心應(yīng)用平臺項目方案建議書

1、銀行數(shù)據(jù)中心應(yīng)用平臺項目方案建議書目 錄 TOC o 1-3 h z HYPERLINK l _Toc492504544 第1章項目概述 項目概述項目背景目前，商業(yè)銀行已經(jīng)建立了可以覆蓋全省的網(wǎng)絡(luò)中心，1個營業(yè)部33個機(jī)構(gòu)網(wǎng)點(diǎn)主要分布在德陽市、成都市、廣漢市、什邡市、綿竹市、羅江縣、中江縣。并且，隨著業(yè)務(wù)的發(fā)展，行內(nèi)已擁有28個業(yè)務(wù)系統(tǒng)，目前有28個業(yè)務(wù)系統(tǒng)：信貸系統(tǒng)、核心系統(tǒng)（改造中）、財務(wù)系統(tǒng)、中間業(yè)務(wù)、大額支付、小額支付、銀聯(lián)前置、微貸系統(tǒng)、網(wǎng)上銀行系統(tǒng)、ATM&POS&CC、黃金交易系統(tǒng)、短信系統(tǒng)、第三方存管、支付寶前置、實(shí)物票據(jù)管理系統(tǒng)、網(wǎng)銀跨行轉(zhuǎn)賬、電票系統(tǒng)、工商行政驗(yàn)資、支票影像

2、、財稅庫銀、身份核查、柜面通、城商行清算中心、電子回單柜系統(tǒng)、同城票據(jù)交換、銀醫(yī)聯(lián)名卡系統(tǒng)、理財業(yè)務(wù)系統(tǒng)、渠道平臺。 業(yè)務(wù)系統(tǒng)現(xiàn)狀核心系統(tǒng)目前正在改造，綜合報表系統(tǒng)（包含1104報表、人行支付報表、反洗錢報表、行內(nèi)監(jiān)管報表）待建。信息技術(shù)部針對目前應(yīng)用系統(tǒng)對業(yè)務(wù)系統(tǒng)的數(shù)據(jù)使用情況出臺了一套數(shù)據(jù)使用標(biāo)準(zhǔn)、規(guī)范，目前還沒有進(jìn)入到具體實(shí)施階段。 數(shù)據(jù)使用現(xiàn)狀目前行內(nèi)所使用的各種應(yīng)用和來源數(shù)據(jù)之間交叉成網(wǎng)狀。 眾多業(yè)務(wù)系統(tǒng)的建立使我行的業(yè)務(wù)在準(zhǔn)確性、實(shí)時性上得到了極大的提高，同時也降低了業(yè)務(wù)人員的辦公出錯概率。雖然，電子化系統(tǒng)能極大的提高業(yè)務(wù)效率，但是，隨著電子化系統(tǒng)的不斷增多，其存在的缺點(diǎn)也逐漸的暴

3、露出來：數(shù)據(jù)孤島，使得各業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)共享困難。不同業(yè)務(wù)系統(tǒng)的相同指標(biāo)數(shù)據(jù)有可能不一致，使得系統(tǒng)之間的銜接困難，不能滿足后續(xù)應(yīng)用系統(tǒng)的快速構(gòu)建的需要。大量數(shù)據(jù)冗余。為滿足多個應(yīng)用系統(tǒng)，需要同時對多個源系統(tǒng)進(jìn)行頻繁數(shù)據(jù)采集，且每個應(yīng)用系統(tǒng)都會向源系統(tǒng)采數(shù)，效率不高，對源系統(tǒng)的壓力較大。不能滿足后續(xù)應(yīng)用系統(tǒng)快速構(gòu)建的需要。 每個系統(tǒng)的開發(fā)商不同，其數(shù)據(jù)模型和標(biāo)準(zhǔn)也不同，數(shù)據(jù)的可用程度降低。 這些缺點(diǎn)，降低了行內(nèi)數(shù)據(jù)的數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)整合、數(shù)據(jù)加載、數(shù)據(jù)歸檔、數(shù)據(jù)監(jiān)控調(diào)度等，影響了相關(guān)部門對數(shù)據(jù)的管理分析。項目目標(biāo)數(shù)據(jù)中心應(yīng)用平臺項目的目標(biāo)是：解決目前我行各業(yè)務(wù)系統(tǒng)數(shù)據(jù)間存在的數(shù)據(jù)孤島、數(shù)

4、據(jù)冗余、數(shù)據(jù)標(biāo)準(zhǔn)化的問題。整合所有的業(yè)務(wù)系統(tǒng)（不僅包括我行現(xiàn)有的系統(tǒng)，還需要考慮到我行以后將要建設(shè)的系統(tǒng)）源數(shù)據(jù)準(zhǔn)確完整地分析我行現(xiàn)有的數(shù)據(jù)及其流向，為各個業(yè)務(wù)部門的管理分析提供統(tǒng)一而且完整的數(shù)據(jù)支持（如數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)整合、數(shù)據(jù)加載、數(shù)據(jù)歸檔、數(shù)據(jù)監(jiān)控調(diào)度等）為今后各個面向主題的分析型應(yīng)用系統(tǒng)的開發(fā)建設(shè)提供數(shù)據(jù)基礎(chǔ)和技術(shù)基礎(chǔ)。通過實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)視圖和數(shù)據(jù)的服務(wù)和共享，提高商業(yè)銀行企業(yè)管理電子化水平。符合銀監(jiān)會銀行監(jiān)管統(tǒng)計數(shù)據(jù)質(zhì)量管理良好標(biāo)準(zhǔn)的相關(guān)要求，并配合人行金融統(tǒng)計標(biāo)準(zhǔn)化試點(diǎn)工作的建設(shè)。項目需求項目要完成以下功能需求：數(shù)據(jù)中心能夠方便完成數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)使用、數(shù)據(jù)備份、恢復(fù)

5、等工作的全程管理。提供自動化處理管理機(jī)制，能夠管理任務(wù)調(diào)度和查詢?nèi)罩?。?shù)據(jù)源整合數(shù)據(jù)中心應(yīng)整合的源系統(tǒng)數(shù)據(jù)有（但不限于）信貸系統(tǒng)、核心系統(tǒng)、財務(wù)系統(tǒng)、中間業(yè)務(wù)、大額支付、小額支付、銀聯(lián)前置、微貸系統(tǒng)、網(wǎng)上銀行系統(tǒng)、ATM&POS前置、黃金交易系統(tǒng)、短信系統(tǒng)、第三方存管、支付寶前置、實(shí)物票據(jù)管理系統(tǒng)、網(wǎng)銀跨行轉(zhuǎn)賬、電票系統(tǒng)、工商行政驗(yàn)資、支票影像、財稅庫銀、身份核查、柜面通、城商行清算中心、電子回單柜系統(tǒng)、同城票據(jù)交換、銀醫(yī)聯(lián)名卡系統(tǒng)、理財業(yè)務(wù)系統(tǒng)、渠道平臺。能基于數(shù)據(jù)中心管理業(yè)務(wù)系統(tǒng)產(chǎn)生的新的數(shù)據(jù)。針對缺失的數(shù)據(jù)能提供手工補(bǔ)錄功能。能夠分析缺失數(shù)據(jù)的源頭并針對數(shù)據(jù)源提出合理的改造方案。數(shù)據(jù)抽取

6、采用先進(jìn)的ETL工具，將不同數(shù)據(jù)平臺、不同源數(shù)據(jù)形式、不同性能要求的源數(shù)據(jù)數(shù)據(jù)抽取到數(shù)據(jù)中心系統(tǒng)中。在數(shù)據(jù)抽取時需要重點(diǎn)考慮數(shù)據(jù)抽取的效率，以及對現(xiàn)有業(yè)務(wù)系統(tǒng)性能及安全的影響。數(shù)據(jù)采集過程應(yīng)該是自動化的，在每天業(yè)務(wù)系統(tǒng)日結(jié)完成后立即自動化進(jìn)行數(shù)據(jù)采集，不需手動出發(fā)。避免抽取過程中源系統(tǒng)發(fā)生業(yè)務(wù)而導(dǎo)致抽取數(shù)據(jù)差異問題。數(shù)據(jù)轉(zhuǎn)換對從不同數(shù)據(jù)源采集到的數(shù)據(jù)，根據(jù)數(shù)據(jù)模型的要求，進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯總等處理，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)的一致性和完整性，為應(yīng)用平臺提供高質(zhì)量的數(shù)據(jù)服務(wù)。項目前期確定數(shù)據(jù)轉(zhuǎn)換的粒度和規(guī)則。數(shù)據(jù)加載采用高效的加載性能數(shù)據(jù)加載工具，將處理加工后的數(shù)據(jù)載入數(shù)據(jù)中心

7、。歷史數(shù)據(jù)歸檔數(shù)據(jù)中心的建設(shè)應(yīng)充分考慮行內(nèi)至少20年的歷史數(shù)據(jù)的存儲及在線查詢。統(tǒng)一監(jiān)控調(diào)度數(shù)據(jù)中心做為全行的數(shù)據(jù)交換中心，是一個非常龐大的系統(tǒng)，其投產(chǎn)后的運(yùn)轉(zhuǎn)情況均是自動化的，那么必然需要一套合理的、健全的、成熟的、統(tǒng)一的監(jiān)控調(diào)度策略，以保證整個系統(tǒng)安全、穩(wěn)定、簡單的運(yùn)行。金融數(shù)據(jù)模型建立高度抽象、實(shí)用的數(shù)據(jù)中心模型：數(shù)據(jù)中心項目對數(shù)據(jù)模型要求較高，數(shù)據(jù)模型的合理與否將關(guān)系到項目的成敗，因此必須選擇先進(jìn)合理的建模理念，緊密契合已有業(yè)務(wù)系統(tǒng)，深刻了解銀行業(yè)務(wù)和核心系統(tǒng)，建立高度抽象、實(shí)用的數(shù)據(jù)中心模型。建立適合商業(yè)銀行的指標(biāo)庫體系。數(shù)據(jù)中心模型的建立應(yīng)充分考慮下列應(yīng)用（但不限于）對數(shù)據(jù)的使用：

8、綜合報表系統(tǒng)（1104報表、人行大集中報表、人行利率報表、人行金融穩(wěn)定報表、人行理財產(chǎn)品統(tǒng)計報表、人行反洗錢報表、人行支付報表、國際收支申報報表、其他監(jiān)管類報表以及行內(nèi)報表）行長決策系統(tǒng)（領(lǐng)導(dǎo)駕駛艙）財務(wù)管理系統(tǒng)管理會計系統(tǒng)績效管理系統(tǒng)非現(xiàn)場審計系統(tǒng)操作型客戶信息系統(tǒng)（OCRM）分析型客戶關(guān)系管理系統(tǒng)（ACRM）銀行風(fēng)險管理系統(tǒng)數(shù)據(jù)分析及業(yè)務(wù)應(yīng)用展現(xiàn)通過先進(jìn)的展現(xiàn)工具及多樣化的展現(xiàn)方式，向用戶提供靈活而強(qiáng)大的查詢、統(tǒng)計、分析功能，并按要求生成報表。在數(shù)據(jù)中心基礎(chǔ)上需要建立的業(yè)務(wù)應(yīng)用包括：綜合報表系統(tǒng)（1104報表、人行大集中報表、人行利率報表、人行金融穩(wěn)定報表、人行理財產(chǎn)品統(tǒng)計報表、人行反洗錢

9、報表、人行支付報表、國際收支申報報表、其他監(jiān)管類報表以及行內(nèi)報表）行長決策系統(tǒng)（領(lǐng)導(dǎo)駕駛艙）（要求支持移動應(yīng)用）元數(shù)據(jù)管理建立有效的元數(shù)據(jù)管理平臺，保證系統(tǒng)與業(yè)務(wù)的運(yùn)作保持同步并且根據(jù)市場和業(yè)務(wù)需求的變化隨時作出調(diào)整，一旦業(yè)務(wù)需求發(fā)生改變，用戶可以通過對元數(shù)據(jù)的維護(hù)使系統(tǒng)的運(yùn)行作出快速的響應(yīng)。數(shù)據(jù)質(zhì)量管理建立有效的、可視化的數(shù)據(jù)質(zhì)量管理平臺，能夠通過建立檢驗(yàn)規(guī)則，對源數(shù)據(jù)質(zhì)量進(jìn)行持續(xù)監(jiān)測，并自動生成數(shù)據(jù)質(zhì)量管理報告；能夠?qū)崿F(xiàn)可視化的數(shù)據(jù)追溯展示，清晰展示數(shù)據(jù)指標(biāo)與源數(shù)據(jù)之間的邏輯關(guān)系。解決方案概述數(shù)據(jù)中心應(yīng)用平臺我們建議商業(yè)銀行以業(yè)界通用的數(shù)據(jù)倉庫理論來建設(shè)數(shù)據(jù)中心應(yīng)用平臺項目，數(shù)據(jù)倉庫之父H

10、WInmon是這樣定義數(shù)據(jù)倉庫的：數(shù)據(jù)倉庫是一個面向主題的、集成的、不可更新的且隨時間不斷變化的數(shù)據(jù)集合。數(shù)據(jù)倉庫是基于大規(guī)模數(shù)據(jù)庫的決策支持系統(tǒng)環(huán)境的核心。它具有以下特征：海量數(shù)據(jù) （TB 級）：包括來自于不同數(shù)據(jù)源的不同粒度的信息 面向主題：面向業(yè)務(wù)分析人員、管理決策者關(guān)注的主題（或者說分析目標(biāo)） 集成性：將多個數(shù)據(jù)源異構(gòu)數(shù)據(jù)按統(tǒng)一的結(jié)構(gòu)和規(guī)則進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、裝載時序性：數(shù)據(jù)倉庫中的時間期限要遠(yuǎn)遠(yuǎn)長于操作型系統(tǒng)中的時間期限，比如一些應(yīng)用數(shù)據(jù)保留510年。數(shù)據(jù)倉庫中的數(shù)據(jù)是一系列某一時刻生成的復(fù)雜的快照。持久性：除了記錄變化時間的之外，一般不對業(yè)務(wù)數(shù)據(jù)做修改。而獨(dú)立的ODS或者數(shù)據(jù)

11、集市是為滿足已定義的用戶組或業(yè)務(wù)領(lǐng)域?qū)τ谔囟I(yè)務(wù)信息的需求而創(chuàng)建的。它們比數(shù)據(jù)倉庫更小且更關(guān)注在數(shù)據(jù)中構(gòu)建復(fù)雜的業(yè)務(wù)規(guī)則來支持功能強(qiáng)大的分析。我們建議的數(shù)據(jù)中心應(yīng)用平臺是由ODS，數(shù)據(jù)倉庫和數(shù)據(jù)集市統(tǒng)一構(gòu)成，建立在企業(yè)級的數(shù)據(jù)模型之上的。ODS是數(shù)據(jù)倉庫的數(shù)據(jù)準(zhǔn)備區(qū)域，重點(diǎn)完成數(shù)據(jù)的整合與轉(zhuǎn)換，數(shù)據(jù)倉庫完成數(shù)據(jù)的內(nèi)容整合與統(tǒng)一，保留數(shù)據(jù)變化的歷史，并按照業(yè)務(wù)需求進(jìn)行匯總等加工運(yùn)算。數(shù)據(jù)集市就是企業(yè)級數(shù)據(jù)倉庫的一個子集，數(shù)據(jù)集市的數(shù)據(jù)來源數(shù)據(jù)倉庫，但是數(shù)據(jù)粒度上看，都是匯總數(shù)據(jù)，它主要是面向某個特定的分析主題解決方案體系架構(gòu)根據(jù)對數(shù)據(jù)倉庫的建設(shè)經(jīng)驗(yàn)，在充分理解商業(yè)銀行的項目需求的基礎(chǔ)上，我們制定

12、出符合商業(yè)銀行實(shí)際的整體解決方案，包括以下四個部分：系統(tǒng)規(guī)劃方案：規(guī)劃商業(yè)銀行未來幾年內(nèi)數(shù)據(jù)中心應(yīng)用平臺系統(tǒng)建設(shè)，包含應(yīng)用規(guī)劃、技術(shù)規(guī)劃、實(shí)施規(guī)劃等內(nèi)容技術(shù)解決方案：從技術(shù)實(shí)現(xiàn)角度說明商業(yè)銀行數(shù)據(jù)中心應(yīng)用平臺系統(tǒng)的解決方案，包括總體邏輯架構(gòu)、物理架構(gòu)、方案詳細(xì)設(shè)計等內(nèi)容產(chǎn)品解決方案：對實(shí)現(xiàn)技術(shù)解決方案中所采用的軟硬件產(chǎn)品配置進(jìn)行說明實(shí)施方案：介紹在項目實(shí)施中的方法論，在本次項目實(shí)施中的組織架構(gòu)、時間計劃等內(nèi)容系統(tǒng)規(guī)劃方案總體規(guī)劃數(shù)據(jù)中心應(yīng)用平臺規(guī)劃藍(lán)圖數(shù)據(jù)中心系統(tǒng)建設(shè)是一項循序漸進(jìn)，迭代上升的系統(tǒng)工程；需要協(xié)調(diào)不同業(yè)務(wù)線價值釋放及不同業(yè)務(wù)應(yīng)用的優(yōu)先級。一個完整的數(shù)據(jù)中心建設(shè)應(yīng)包括規(guī)劃設(shè)計、平臺

13、建設(shè)以及應(yīng)用建設(shè)等幾個部分。數(shù)據(jù)中心建設(shè)的內(nèi)容和優(yōu)先級可以參考下圖： 數(shù)據(jù)中心建設(shè)從長遠(yuǎn)看，要達(dá)到如下的目標(biāo)：建立統(tǒng)一的數(shù)據(jù)、業(yè)務(wù)視圖，完成基于數(shù)據(jù)倉庫的企業(yè)信息整合，建立完善的基礎(chǔ)數(shù)據(jù)平臺，為數(shù)據(jù)分析和數(shù)據(jù)分發(fā)奠定基礎(chǔ)。建立綜合報表系統(tǒng)，解決業(yè)務(wù)上急需的各種業(yè)務(wù)報表。建立主題分析應(yīng)用，比如資產(chǎn)負(fù)債分析、利潤分析、客戶關(guān)系管理、風(fēng)險分析等。逐步實(shí)現(xiàn)對銀行日常操作流程的支持，分析系統(tǒng)成為業(yè)務(wù)流程的不可或缺的一部分，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)和分析應(yīng)用之間的閉環(huán)。商業(yè)銀行數(shù)據(jù)中心實(shí)施路線圖數(shù)據(jù)中心規(guī)劃實(shí)際上是一個確定應(yīng)用優(yōu)先級的過程，業(yè)務(wù)需求是確定優(yōu)先級的標(biāo)準(zhǔn)。數(shù)據(jù)中心建設(shè)歷程建議劃分成為幾個階段，根據(jù)實(shí)際情況

14、可以適當(dāng)調(diào)整。各個階段中的應(yīng)用建議迭代周期不要超過8個月，這樣最有利于項目實(shí)施過程中的質(zhì)量控制、風(fēng)險控制，而且在短的時間內(nèi)不斷的取得應(yīng)用成效。根據(jù)商業(yè)銀行的項目需求，結(jié)合我們對商業(yè)銀行的理解，建議的項目實(shí)施路線如下：項目一期建設(shè)內(nèi)容需求調(diào)研、規(guī)劃、建模階段 以當(dāng)前數(shù)據(jù)源系統(tǒng)和報表集市為主要調(diào)研對象，詳細(xì)分析加載到數(shù)據(jù)中心平臺的數(shù)據(jù)源信息、對數(shù)據(jù)的加工處理、數(shù)據(jù)中心平臺之上實(shí)現(xiàn)的應(yīng)用功能 根據(jù)需求調(diào)研結(jié)果，給出數(shù)據(jù)中心平臺的架構(gòu)設(shè)計 完成數(shù)據(jù)源分析，結(jié)合數(shù)據(jù)源分析結(jié)果，對IBM的BDM模型進(jìn)行客戶化，完成商業(yè)銀行數(shù)據(jù)中心應(yīng)用平臺建模工作 根據(jù)商業(yè)銀行IT和業(yè)務(wù)的現(xiàn)狀及戰(zhàn)略規(guī)劃，針對數(shù)據(jù)中心應(yīng)用平

15、臺系統(tǒng)及基于該平臺的業(yè)務(wù)應(yīng)用的長期建設(shè)給出詳細(xì)規(guī)劃 項目實(shí)施階段（在需求調(diào)研與規(guī)劃階段評審結(jié)束后進(jìn)入該實(shí)施階段） 數(shù)據(jù)中心應(yīng)用平臺建設(shè) 數(shù)據(jù)倉庫及ODS，數(shù)據(jù)集市搭建元數(shù)據(jù)管理平臺 數(shù)據(jù)質(zhì)量管理平臺 企業(yè)統(tǒng)一調(diào)度平臺綜合報表平臺建立 搭建統(tǒng)一技術(shù)架構(gòu)的報表平臺，實(shí)現(xiàn)T+1報表的展現(xiàn) 由于核心系統(tǒng)正在改造過程中，因此綜合報表系統(tǒng)部分可以先完成需要遷移的報表的設(shè)計和開發(fā)；逐步完成1104報表、人行大集中報表、人行利率報表、人行金融穩(wěn)定報表、人行理財產(chǎn)品統(tǒng)計報表、人行反洗錢報表、人行支付報表、國際收支申報報表、其他監(jiān)管類報表以及行內(nèi)報表向綜合報表平臺上的遷移。針對需要遷移的報表對源系統(tǒng)（核心系統(tǒng)除外

16、）進(jìn)行整合。視數(shù)據(jù)源狀況逐步完善目前28個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合。按主題完成面向報表應(yīng)用的集市區(qū)數(shù)據(jù)的分析與加工。統(tǒng)一數(shù)據(jù)展現(xiàn)門戶 綜合報表展現(xiàn)都按照統(tǒng)一的展現(xiàn)規(guī)范集成到該門戶中 實(shí)現(xiàn)統(tǒng)一登錄、統(tǒng)一認(rèn)證、統(tǒng)一權(quán)限管理 實(shí)現(xiàn)頁面?zhèn)€性化定制，不同角色的用戶可以自行根據(jù)自己的喜好、習(xí)慣及關(guān)注的內(nèi)容定制不同的展現(xiàn)頁面 項目二期建設(shè)內(nèi)容項目二期主要是應(yīng)用的遷移和豐富過程。在項目一期數(shù)據(jù)中心應(yīng)用平臺上線后，本期項目的主要目標(biāo)就是快速完成舊有的應(yīng)用遷移和擴(kuò)展 建設(shè)適合商業(yè)銀行的KPI體系 ，梳理、分析商業(yè)銀行的關(guān)鍵績效指標(biāo)，建設(shè)完整的KPI體系 綜合報表系統(tǒng)（1104報表、人行大集中報表、人行利率報表、人行金融

17、穩(wěn)定報表、人行理財產(chǎn)品統(tǒng)計報表、人行反洗錢報表、人行支付報表、國際收支申報報表、其他監(jiān)管類報表以及行內(nèi)報表）領(lǐng)導(dǎo)駕駛艙。經(jīng)營分析決策支持系統(tǒng)經(jīng)營決策分析績效考核 數(shù)據(jù)歸檔平臺項目三期建設(shè)內(nèi)容本階段為建議內(nèi)容，視具體需求而定，項目三期深化數(shù)據(jù)平臺的應(yīng)用效果，并在數(shù)據(jù)積累達(dá)到足夠成熟度的情況下，建設(shè)如下基于數(shù)據(jù)平臺的應(yīng)用系統(tǒng)：資產(chǎn)負(fù)債管理產(chǎn)品創(chuàng)新平臺實(shí)現(xiàn)高層次的客戶洞察分析 深化決策支持系統(tǒng)應(yīng)用 分步實(shí)施應(yīng)用系統(tǒng)，快速實(shí)現(xiàn)業(yè)務(wù)價值數(shù)據(jù)中心的業(yè)務(wù)價值最終是通過應(yīng)用實(shí)施來體現(xiàn)的。我們建議在本期項目中，依托先進(jìn)的金融數(shù)據(jù)模型進(jìn)行數(shù)據(jù)內(nèi)容整合，提升數(shù)據(jù)的內(nèi)容價值，為后續(xù)高階應(yīng)用進(jìn)行數(shù)據(jù)積累，我們?nèi)缦陆ㄗh的

18、基于經(jīng)濟(jì)資本的績效考核、風(fēng)險管理項目群、流動性分析等解決方案，都屬于前瞻性需求，規(guī)劃在數(shù)據(jù)中心應(yīng)用平臺的二期或三期進(jìn)行實(shí)施。支持CRM建設(shè)的360客戶視圖360客戶視圖的概念360客戶視圖本身是一個平臺層面的概念，其核心是把客戶自然屬性信息、客戶的賬戶信息、交易信息、偏好等信息整合到一個統(tǒng)一的平臺中，并且在此平臺上建立一系列的操作型和分析型的應(yīng)用，幫助銀行提升客戶服務(wù)質(zhì)量，制定合適的產(chǎn)品策略等。360客戶視圖的需求是隨著銀行加強(qiáng)個性化服務(wù)而提出的。隨著中國金融市場的快速發(fā)展和競爭加劇，中小銀行在目標(biāo)客戶選擇和營銷服務(wù)戰(zhàn)略上面臨著新的決策，如何建立自身的競爭優(yōu)勢，確立市場地位成為關(guān)鍵。而這一任務(wù)

19、的重心和基石就是如何分析客戶特性并與自身特點(diǎn)相結(jié)合，進(jìn)行針對性服務(wù)和營銷，從而成功建立細(xì)分優(yōu)勢，真正形成以客戶為中心的銀行。隨著近年來客戶關(guān)系管理的成熟，現(xiàn)在普遍認(rèn)為360客戶視圖是CRM應(yīng)用建設(shè)前必需的一個過程。國內(nèi)銀行目前正處于從傳統(tǒng)的以賬戶為中心模式向以客戶為中心的業(yè)務(wù)模式轉(zhuǎn)變的過程中，對于中小銀行來說，這個過程需要更快地完成，才能發(fā)揮自己的靈活的優(yōu)勢，建立忠誠的客戶群體；但是，許多銀行對CRM解決方案進(jìn)行了巨額投入，但很多未能提供預(yù)期回報，重要原因在于傳統(tǒng)CRM雖然在支持某個既定渠道或銷售功能（例如呼叫中心或銷售隊伍）方面表現(xiàn)出色，但它并非是為滿足全行客戶管理的復(fù)雜性需求設(shè)計的；因此，

20、CRM計劃不得不設(shè)法克服數(shù)據(jù)同步、多渠道集成和可擴(kuò)展性等問題，許多銀行被迫進(jìn)行昂貴的修改和擴(kuò)展。客戶關(guān)系管理應(yīng)該包含操作型和分析型兩個部分，同時360客戶視圖也分為操作型和分析型兩種。在客戶關(guān)系管理過程中，銷售、市場和客服人員可以在分析型和操作型360客戶視圖上進(jìn)行合作，完成銷售、客戶分析和銷售策略的制定。如下圖所示：客服人員和銷售可以通過操作型的360客戶視圖迅速完成客戶信息、偏好、歷史交易的查詢，同時操作型的360客戶視圖具備數(shù)據(jù)寫入的功能，可以支撐業(yè)務(wù)人員完成銷售流程。市場部可以根據(jù)客服和銷售人員的信息在數(shù)據(jù)中心應(yīng)用平臺中的分析型的360客戶視圖中進(jìn)行客戶細(xì)分，從而制定市場活動或者銷售策

21、略，反饋給服務(wù)和銷售人員?；诮?jīng)濟(jì)資本的績效考核績效考核是銀行經(jīng)營管理重要的風(fēng)向儀和導(dǎo)向器。銀行可以根據(jù)企業(yè)資信等因素對各項業(yè)務(wù)、產(chǎn)品分別設(shè)定風(fēng)險系數(shù)或權(quán)重，對各項資產(chǎn)進(jìn)行風(fēng)險計量，并測算各分支行的經(jīng)濟(jì)資本占用額，核算經(jīng)濟(jì)資本增加值，從而計算經(jīng)濟(jì)資本回報率。然后，將經(jīng)濟(jì)資本回報率與其業(yè)務(wù)費(fèi)用、工資獎勵進(jìn)行掛鉤考核。同時，設(shè)定目標(biāo)經(jīng)濟(jì)資本回報率，對實(shí)際回報率較低的機(jī)構(gòu)減少經(jīng)濟(jì)資本配置，促使其調(diào)整資產(chǎn)業(yè)務(wù)結(jié)構(gòu)。經(jīng)營業(yè)績考核系統(tǒng)實(shí)際上是貫穿銀行實(shí)行價值管理的兩個核心機(jī)制，一個是以經(jīng)濟(jì)資本為核心的風(fēng)險和效益約束機(jī)制，另一個是以經(jīng)濟(jì)增加值為核心的績效評價和激勵機(jī)制。新的績效考核漸行漸近績效考核不僅是銀行

22、對一定階段經(jīng)營管理狀況和戰(zhàn)略執(zhí)行的檢驗(yàn)和價值判斷，同時其制度設(shè)計本身也反映了銀行在特定時期的經(jīng)營發(fā)展理念。我國商業(yè)銀行正在從追求規(guī)模最大化的“跑馬圈地”向平衡風(fēng)險與利潤的“價值最大化”的經(jīng)營模式轉(zhuǎn)變，因此，其績效考核體制總體上也呈現(xiàn)出從過去的以利潤最大化為核心的盈利能力考核，逐步轉(zhuǎn)變?yōu)橐詢r值管理為核心的綜合效益考核，即從管理利潤提升到管理價值。以管理利潤為指向的績效考核，核心任務(wù)是規(guī)模的擴(kuò)張或既定規(guī)模下的利潤最大化，從投入/產(chǎn)出角度分析，主要實(shí)現(xiàn)對產(chǎn)出水平的結(jié)果考核；以管理價值為指向的績效考核，核心任務(wù)是在合理運(yùn)用資本的基礎(chǔ)上，通過調(diào)整各部門、各業(yè)務(wù)、產(chǎn)品、客戶等內(nèi)部結(jié)構(gòu)的投入/產(chǎn)出關(guān)系，實(shí)現(xiàn)

23、整體的價值最大化。這種績效考核方法更關(guān)注與銀行的資本結(jié)構(gòu)的合理配置，提高銀行的利潤率。 以經(jīng)濟(jì)資本為核心的績效考核起點(diǎn)較高，建設(shè)的難度較大，需要專業(yè)的實(shí)施團(tuán)隊參與，表現(xiàn)在以下幾個方面：經(jīng)濟(jì)資本的計量復(fù)雜。現(xiàn)在國內(nèi)普遍采用系數(shù)法計算，也就是Basel II中的基本法，這種方法的關(guān)鍵在于需要制定大量的系數(shù)，系數(shù)的準(zhǔn)確性要求很高，我們建議采用進(jìn)一步細(xì)化系數(shù)類別的方法，從區(qū)域、行業(yè)、產(chǎn)品、客戶等不同維度細(xì)化經(jīng)濟(jì)資本系數(shù)。經(jīng)濟(jì)增加值計算的準(zhǔn)確性。經(jīng)濟(jì)增加值的計算是盈利減去經(jīng)濟(jì)資本的最低回報率，最低資本回報率一般采用市場的拆借利率或者長期國債利率等，這種方法比實(shí)際值低，有待進(jìn)一步提高。我們建議在績效考核的

24、實(shí)施過程中，逐步建立適合本行的最低資本回報率的預(yù)算辦法，使經(jīng)濟(jì)增加值的計算更準(zhǔn)確。過于偏重財務(wù)指標(biāo)?；诠芾韮r值的績效考核統(tǒng)一也需要關(guān)注非財務(wù)指標(biāo)，比如客戶服務(wù)質(zhì)量、員工發(fā)展、內(nèi)部管理等KPI，這樣更統(tǒng)一把企業(yè)的長期戰(zhàn)略和員工的績效關(guān)聯(lián)，減少短視的行為，確保企業(yè)的持續(xù)發(fā)展。與長期戰(zhàn)略聯(lián)系不緊。以下就如何使得績效考核與長期戰(zhàn)略相結(jié)合給予詳細(xì)的描述。風(fēng)險管理項目群風(fēng)險管理整體解決方案商業(yè)銀行遵循巴塞爾新資本協(xié)議滿足最低資本要求的第一步即是實(shí)行定量風(fēng)險計算和管理。商業(yè)銀行不僅通過定量風(fēng)險管理來滿足監(jiān)管機(jī)構(gòu)的要求，獲得更低的資本金要求，也通過控制自身風(fēng)險在提高資金運(yùn)營效率的同時減少風(fēng)險損失?；谄涠嗄?/p>

25、在數(shù)學(xué)和分析優(yōu)化方面的積累，結(jié)合其在銀行領(lǐng)域的客戶經(jīng)驗(yàn)和行業(yè)知識，提出了端到端的Basel II 銀行全面風(fēng)險管理解決方案。上述架構(gòu)包含一下幾個關(guān)鍵模塊：數(shù)據(jù)分析、Basel II差距分析模塊。數(shù)據(jù)整合模塊。進(jìn)行數(shù)據(jù)的整合、元數(shù)據(jù)定義、數(shù)據(jù)質(zhì)量管理、清洗、轉(zhuǎn)換、裝載。數(shù)據(jù)平臺。采用數(shù)據(jù)倉庫技術(shù)建設(shè)風(fēng)險平臺。計算引擎。數(shù)據(jù)集市。為外部風(fēng)險報表和應(yīng)用提供數(shù)據(jù)。展現(xiàn)模塊。包括和風(fēng)險相關(guān)的報表和分析型應(yīng)用。針對我國中小銀行風(fēng)險管理案面臨的挑戰(zhàn)，我們的解決方案使用了如下措施應(yīng)對：其中，風(fēng)險計量模塊的架構(gòu)如下所示：上述計量模塊具有如下特點(diǎn)：此模塊中，使用了仿真技術(shù)在一定程度上彌補(bǔ)了國內(nèi)嚴(yán)重的數(shù)據(jù)差距問題。

26、通過業(yè)務(wù)建模和規(guī)則錄入的方式，把業(yè)務(wù)條件的變化通過建模的方式提供給風(fēng)險引擎，從而使得風(fēng)險引擎可以根據(jù)外部條件的變化選擇合適的算法完成風(fēng)險的計量通過流程建模的形式分析操作風(fēng)險。 通過對建模后的流程的執(zhí)行進(jìn)行仿真，結(jié)合專家知識、活動與風(fēng)險因子的關(guān)系等，識別出來高風(fēng)險的活動和風(fēng)險因子的管理關(guān)系。流動性分析流動性分析的功能流動性分析是資產(chǎn)負(fù)債管理領(lǐng)域中非常重要的一個應(yīng)用。商業(yè)銀行的流動性意味著商業(yè)銀行滿足存款人提取現(xiàn)金和借款人合理貸款需求的能力，保持流動性是商業(yè)銀行的生命之本。如銀行不能保持一定的流動性，即使從技術(shù)上講，該銀行仍然有清償能力，也會被強(qiáng)制關(guān)閉。傳統(tǒng)的流動性分析是采用資產(chǎn)和負(fù)債的比例管理的

27、方法，給資產(chǎn)和負(fù)債規(guī)定一系列的比例，通過對比例的值的限定，使得銀行不能過度使用自己的資金，從而達(dá)到一個合理的規(guī)模。例如下述比例指標(biāo)：資產(chǎn)流動性比例指標(biāo)本外幣合并：流動性資產(chǎn)期末余額/流動性負(fù)債期末余額25% 外匯：流動性資產(chǎn)期末余額/流動性負(fù)債期末余額60% 中長期貸款的比例指標(biāo)人民幣：余期一年期以上（不含一年期）的中長期貸款期末余額/余期一年期以上（不含一年期）的存款期末余額120% 外匯：余期一年期以上（不含一年期）的中長期貸款期末余額/外匯貸款期末余額60% 存貸款比例指標(biāo)（分別本、外幣兩類按月考核）人民幣：各項貸款期末余額/各項存款期末余額75% 外匯：各項貸款期末余額/各項存款期末余

28、額85% 國際商業(yè)借款比例指標(biāo)（僅對外匯進(jìn)行按季考核）（自借國際商業(yè)借款+境外發(fā)行債券）期末余額/資本凈額100%可以看出，上述方法可以確保銀行的流動性風(fēng)險在可控的范圍內(nèi)，但是計財人員無法得到準(zhǔn)確缺口的值，所以，在建設(shè)完成數(shù)據(jù)中心后，我們建議采用基于現(xiàn)金流的方法進(jìn)行流動性的分析。技術(shù)解決方案數(shù)據(jù)中心整體架構(gòu)設(shè)計數(shù)據(jù)中心應(yīng)用平臺的數(shù)據(jù)沉淀和分析功能的開發(fā)伴隨著銀行的成長甚至轉(zhuǎn)型，所以平臺需要具備足夠的穩(wěn)定性，以應(yīng)對源系統(tǒng)和外部分析需求的不斷變化。因?yàn)樵聪到y(tǒng)改造或者重建，而導(dǎo)致數(shù)據(jù)倉庫重建往往會引起數(shù)據(jù)倉庫項目的失敗。從整體上數(shù)據(jù)倉庫的架構(gòu)具備足夠的穩(wěn)定性，能夠適應(yīng)數(shù)據(jù)源的不斷變化。數(shù)據(jù)中心的設(shè)計

29、應(yīng)當(dāng)充分考慮數(shù)據(jù)質(zhì)量的問題，準(zhǔn)確的、業(yè)務(wù)人員可信的分析結(jié)果建立在準(zhǔn)確的數(shù)據(jù)基礎(chǔ)之上，數(shù)據(jù)倉庫應(yīng)該有良好的機(jī)制確保數(shù)據(jù)的準(zhǔn)確性。能夠盡早發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，定位數(shù)據(jù)質(zhì)量問題，在數(shù)據(jù)倉庫的范圍內(nèi)盡可能提高數(shù)據(jù)的質(zhì)量。在架構(gòu)和技術(shù)層面，數(shù)據(jù)倉庫和外圍業(yè)務(wù)系統(tǒng)應(yīng)保持松耦合的關(guān)系，確保數(shù)據(jù)倉庫的數(shù)據(jù)運(yùn)行不會對關(guān)鍵業(yè)務(wù)系統(tǒng)的性能和穩(wěn)定性有影響，最重要的就是體現(xiàn)在數(shù)據(jù)倉庫如何從源系統(tǒng)抽取數(shù)據(jù)，既要保證對源系統(tǒng)的影響最小，同時也可適應(yīng)源系統(tǒng)的數(shù)據(jù)源的變化，這就要求數(shù)據(jù)抽取這一層的設(shè)計具備足夠的靈活性、穩(wěn)定性和源系統(tǒng)的無關(guān)性。 隨著數(shù)據(jù)量的增加，數(shù)據(jù)倉庫應(yīng)該提供有效的數(shù)據(jù)生命周期管理策略，和高性價比的水平擴(kuò)展和垂

30、直擴(kuò)展能力，確保數(shù)據(jù)倉庫的效率和成本的可控。大量數(shù)據(jù)倉庫的失敗是因?yàn)槎聲辉敢獬袚?dān)因數(shù)據(jù)量的增長導(dǎo)致巨額的平臺擴(kuò)展成本 。支撐數(shù)據(jù)中心的數(shù)據(jù)源和應(yīng)用非常豐富，隨著數(shù)據(jù)中心的發(fā)展，會有不同機(jī)構(gòu)的數(shù)據(jù)進(jìn)入數(shù)據(jù)中心或者需要在數(shù)據(jù)中心上部署不同廠商的應(yīng)用，所以數(shù)據(jù)中心平臺應(yīng)該采用開放的技術(shù) 系統(tǒng)設(shè)計原則優(yōu)秀的系統(tǒng)設(shè)計需要滿足很多要求，例如開放性、擴(kuò)展性、安全性等等。基于IBM的數(shù)據(jù)倉庫實(shí)施方法以及IBM的軟硬件產(chǎn)品架構(gòu)，我們的系統(tǒng)設(shè)計符合以下原則：開放性與先進(jìn)性：基于開放式標(biāo)準(zhǔn)，遵循國際標(biāo)準(zhǔn)，提供開放的數(shù)據(jù)接口，可以進(jìn)行數(shù)據(jù)的轉(zhuǎn)入和傳出，實(shí)現(xiàn)系統(tǒng)間互連。采用先進(jìn)成熟的設(shè)備和技術(shù)，確保系統(tǒng)的技術(shù)先進(jìn)性

31、，保證投資的有效性和延續(xù)性；靈活性與可維護(hù)性：系統(tǒng)應(yīng)易于擴(kuò)展、升級和移植，并具備支持業(yè)務(wù)處理的靈活的參數(shù)化配置，業(yè)務(wù)功能的重組與更新的靈活性，新的業(yè)務(wù)應(yīng)用可靈活增加，不影響系統(tǒng)原有業(yè)務(wù)流程。具有靈活的、可進(jìn)化的數(shù)據(jù)體系結(jié)構(gòu)，允許任何數(shù)據(jù)被有序引入，并與原有的數(shù)據(jù)保持一致和集成；可擴(kuò)展性與可伸縮性：具有開放的、可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，允許系統(tǒng)與其它應(yīng)用系統(tǒng)集成，新的功能模塊可以被迅速增加或定制出來。具有平滑分布和升級、靈活的可伸縮能力，允許將不同的計算任務(wù)分布到不同的機(jī)器上去，而不妨礙其它部分的運(yùn)行；完整性：對整個系統(tǒng)進(jìn)行統(tǒng)一規(guī)劃和設(shè)計，確保統(tǒng)計應(yīng)用、數(shù)據(jù)中心系統(tǒng)和第三方工具緊密集成，共同構(gòu)成一個達(dá)到

32、目標(biāo)的系統(tǒng)，并且在數(shù)據(jù)、應(yīng)用、服務(wù)、風(fēng)格、操作方面，都能夠做到一致性和完整性；安全性與可靠性：提供良好的數(shù)據(jù)安全可靠性策略，采用多種安全可靠的技術(shù)手段，保證系統(tǒng)及數(shù)據(jù)的安全與可靠；可用性和容錯能力：系統(tǒng)具有安全運(yùn)行的管理措施，即使在系統(tǒng)遭到非人為破壞，也能夠在最短的時間內(nèi)恢復(fù)使用；準(zhǔn)確性與實(shí)時性：保證系統(tǒng)數(shù)據(jù)處理的準(zhǔn)確性，提供多種數(shù)據(jù)審查手段，數(shù)據(jù)的傳輸要及時、準(zhǔn)確、可靠和安全；易用性：系統(tǒng)設(shè)計面向最終用戶，必須保證易操作、易理解、易控制；系統(tǒng)所出現(xiàn)的問題能夠及時預(yù)報并迅速解決?？傮w邏輯架構(gòu)在該總體邏輯架構(gòu)中，我們根據(jù)應(yīng)用架構(gòu)的設(shè)計，結(jié)合IBM整體數(shù)據(jù)倉庫平臺方案來滿足商業(yè)銀行的需求。源系統(tǒng)層

33、收集和存貯操作數(shù)據(jù)以對業(yè)務(wù)現(xiàn)狀進(jìn)行分析。數(shù)據(jù)源指存儲于各系統(tǒng)中的數(shù)據(jù)及外部數(shù)據(jù)，包括：核心系統(tǒng)以及信貸系統(tǒng)、中間業(yè)務(wù)、國際結(jié)算等業(yè)務(wù)系統(tǒng)。ETL層提取/Extract, 轉(zhuǎn)換/Transform 和 裝載/Load (ETL) ，ETL層解決跨系統(tǒng)的數(shù)據(jù)收集與整合。抽取是指識別最佳的數(shù)據(jù)源，并從中獲得所需的數(shù)據(jù)。它是將數(shù)據(jù)導(dǎo)入數(shù)據(jù)中心的第一步。抽取意味著讀取并理解源數(shù)據(jù)，并復(fù)制數(shù)據(jù)中心所需要的部分。轉(zhuǎn)換泛指使數(shù)據(jù)中心數(shù)據(jù)適合于終端使用的過程。這一過程包括那些將源數(shù)據(jù)格式變?yōu)槟繕?biāo)數(shù)據(jù)庫格式的模塊。一般而言，轉(zhuǎn)換包括映射、清洗、匯總、重排和排序等步驟。從源系統(tǒng)到數(shù)據(jù)倉庫之間的ETL 將需要完成對源

34、數(shù)據(jù)的清洗和整合，最終在數(shù)據(jù)倉庫中形成企業(yè)范圍內(nèi)的統(tǒng)一的、一致的數(shù)據(jù)集； ETL還包括數(shù)據(jù)倉庫到數(shù)據(jù)集市的分發(fā)。從數(shù)據(jù)倉庫到各數(shù)據(jù)集市之間的ETL 過程主要是根據(jù)不同主題數(shù)據(jù)集市分析的需要，從數(shù)據(jù)倉庫中提取數(shù)據(jù)經(jīng)過轉(zhuǎn)換生成主題特定的數(shù)據(jù)集。這一部分的處理往往也是最為復(fù)雜的。企業(yè)級數(shù)據(jù)整合策略，或者稱之為我們熟悉的ETL，不過這里的ETL是經(jīng)過擴(kuò)展的，數(shù)據(jù)處理的過程和手段更為豐富，整個數(shù)據(jù)流程的處理更有策略性數(shù)據(jù)抽取和轉(zhuǎn)換，后面會介紹到，我們采用信息集成總線的思想來處理數(shù)據(jù)抽取，這樣數(shù)據(jù)集成收取采用模塊化的方式設(shè)計，同時又能支持源數(shù)據(jù)的多樣性和異構(gòu)性，集成總線內(nèi)最主要的功能CDC用來做實(shí)時的數(shù)據(jù)

35、抽取，聯(lián)邦可加速數(shù)據(jù)集成開發(fā)的效率和易用性，同時可便捷的實(shí)施數(shù)據(jù)質(zhì)量相應(yīng)的管理應(yīng)用。數(shù)據(jù)倉庫層中央數(shù)據(jù)倉庫存儲輸入的數(shù)據(jù)和結(jié)果數(shù)據(jù)，數(shù)據(jù)倉庫做為所有分析功能的單一數(shù)據(jù)源。數(shù)據(jù)倉庫的數(shù)據(jù)存儲要保持穩(wěn)定性、靈活性、擴(kuò)展性。一般的，數(shù)據(jù)倉庫會采用成熟的數(shù)據(jù)倉庫模型進(jìn)行構(gòu)建。數(shù)據(jù)倉庫中的數(shù)據(jù)按照數(shù)據(jù)模型分主題進(jìn)行組織和存放，包括當(dāng)期的和較長時間的歷史數(shù)據(jù)。數(shù)據(jù)倉庫的核心是企業(yè)級數(shù)據(jù)模型的規(guī)劃和設(shè)計，是所有應(yīng)用的基礎(chǔ)。數(shù)據(jù)倉庫，數(shù)據(jù)的核心存儲區(qū)域，以面向主題的方式，細(xì)粒度的保存原子數(shù)據(jù)，即屏蔽數(shù)據(jù)源的多樣性和變化，又可方便的為BI應(yīng)用提供數(shù)據(jù)支持ODS（Operational Data Store）操作

36、型數(shù)據(jù)存儲通過ODS提供單一的主數(shù)據(jù)管理，比如客戶主信息管理、產(chǎn)品主信息管理等等。另外，通過ODS可以完成實(shí)時數(shù)據(jù)倉庫要求。對于高價值客戶的一些信息，可以通過復(fù)制的方式，實(shí)時或者近實(shí)時地復(fù)制到ODS系統(tǒng)中?；蛘咄ㄟ^ODS完成為其它的系統(tǒng)提供數(shù)據(jù)源的任務(wù)。ODS，可操作數(shù)據(jù)存儲區(qū)域，身兼二職，一方面保持與源系統(tǒng)的業(yè)務(wù)數(shù)據(jù)同步以滿足一些實(shí)時性應(yīng)用的數(shù)據(jù)需求，另外作為一個與源系統(tǒng)近似的數(shù)據(jù)加工區(qū)為倉庫提供數(shù)據(jù)加工服務(wù)數(shù)據(jù)集市層數(shù)據(jù)集市的數(shù)據(jù)為最終的前端分析、報告提供支持?jǐn)?shù)據(jù)集市的數(shù)據(jù)是面向最終應(yīng)用的，比如CRM、績效、反洗錢等等。數(shù)據(jù)集市的數(shù)據(jù)基于數(shù)據(jù)倉庫之上進(jìn)行匯總加工而成。數(shù)據(jù)集市設(shè)計用途是要滿

37、足特定的目的，同時具有查詢、分析和報表功能。這與企業(yè)數(shù)據(jù)倉庫截然不同，企業(yè)數(shù)據(jù)倉庫在信息內(nèi)容與結(jié)構(gòu)方面要盡可能擁有開放性與靈活性。數(shù)據(jù)集市有以下特征：為特定用途而設(shè)計數(shù)據(jù)集市設(shè)計的目的，是支持特定用戶對數(shù)據(jù)子集的特定范圍的查詢。它以用戶所要求的方式提供企業(yè)數(shù)據(jù)倉庫的細(xì)節(jié)匯總。優(yōu)化數(shù)據(jù)集市為了支持特定工具的訪問而優(yōu)化。根據(jù)工具、根據(jù)企業(yè)數(shù)據(jù)倉庫提供的信息子集來設(shè)計數(shù)據(jù)集市，而不是讓用戶直接訪問企業(yè)數(shù)據(jù)倉庫中的大型數(shù)據(jù)庫，這可以改善數(shù)據(jù)集市的性能。虛擬或物理數(shù)據(jù)集市數(shù)據(jù)集市可以是物理的實(shí)現(xiàn)，也可以是企業(yè)數(shù)據(jù)倉庫表的各種視圖。使用視圖（虛擬數(shù)據(jù)集市）可以避免存儲數(shù)據(jù)的多個副本，簡化了數(shù)據(jù)管理。數(shù)據(jù)集

38、市，在設(shè)計得時候往往通過OLAP技術(shù)，利用數(shù)據(jù)倉庫的數(shù)據(jù)根據(jù)用戶需求建立的多維分析模型（多維立方體），模型以特定的方式存儲，大大提高了前端查詢訪問的效率，用戶能方便地實(shí)現(xiàn)靈活、動態(tài)、快速、多角度、多層次地分析企業(yè)數(shù)據(jù)。同時，也可以通過定制靈活的OLTP查詢來了解明細(xì)數(shù)據(jù)。數(shù)據(jù)應(yīng)用集市，數(shù)據(jù)經(jīng)過加工和匯總，數(shù)據(jù)粒度要粗于數(shù)據(jù)倉庫，為前端應(yīng)用提供數(shù)據(jù)，相比數(shù)據(jù)倉庫這里一般不會保留細(xì)節(jié)數(shù)據(jù)。以集成的方式展示查詢、報表、分析的結(jié)果通過搭建靈活的、可擴(kuò)展技術(shù)架構(gòu)，在保持?jǐn)?shù)據(jù)集市穩(wěn)定性的同時，可以不斷增加數(shù)據(jù)源，增加應(yīng)用數(shù)據(jù)層，滿足不斷增加的業(yè)務(wù)分析應(yīng)用需求。目前有很多業(yè)界靈活的報表工具，提供很多預(yù)先定義

39、的模版，快速開發(fā)，從而把時間更多的放在業(yè)務(wù)需求定義上。數(shù)據(jù)中心基礎(chǔ)管理平臺數(shù)據(jù)中心的基礎(chǔ)，包括元數(shù)據(jù)、數(shù)據(jù)質(zhì)量和數(shù)據(jù)生命周期管理，這些基礎(chǔ)組件貫穿數(shù)據(jù)倉庫整個生命周期，是數(shù)據(jù)倉庫的基石，基于此之上的數(shù)據(jù)倉庫平臺的管理應(yīng)用，使整個倉庫系統(tǒng)更好的受控運(yùn)行。元數(shù)據(jù)管理是數(shù)據(jù)中心建設(shè)的一個重要一環(huán)。數(shù)據(jù)中心建設(shè)涉及到方方面面：大量的數(shù)據(jù)源表、數(shù)據(jù)倉庫表、業(yè)務(wù)需求、數(shù)據(jù)映射關(guān)系、ETL任務(wù)、ETL調(diào)度等等。一個可實(shí)施的、良好的元數(shù)據(jù)管理構(gòu)架是數(shù)據(jù)中心成功的基礎(chǔ)。完整的數(shù)據(jù)質(zhì)量管理方案可以確保數(shù)據(jù)中心數(shù)據(jù)的準(zhǔn)確性。數(shù)據(jù)質(zhì)量是數(shù)據(jù)中心的生命，要保證數(shù)據(jù)中心的可用性必須保證數(shù)中心內(nèi)的數(shù)據(jù)質(zhì)量，建立數(shù)據(jù)質(zhì)量問題

40、平臺，使數(shù)據(jù)質(zhì)量控制過程規(guī)則化、具體化。通過數(shù)據(jù)質(zhì)量平臺做到具體問題具體分析，并跟蹤問題直至問題解決。數(shù)據(jù)中心邏輯架構(gòu)與產(chǎn)品部署架構(gòu)在該總體邏輯架構(gòu)中，我們根據(jù)應(yīng)用架構(gòu)的設(shè)計，以IBM整體數(shù)據(jù)倉庫平臺方案滿足商業(yè)銀行的需求。其中，以DataStage為核心來實(shí)現(xiàn)數(shù)據(jù)ETL平臺，實(shí)現(xiàn)數(shù)據(jù)分發(fā)，處理流轉(zhuǎn)，質(zhì)量提升，清洗轉(zhuǎn)換等要求。Infomation Server平臺作為企業(yè)級的ETL平臺，專門用于企業(yè)級數(shù)據(jù)中心平臺的應(yīng)用，不僅具有強(qiáng)大的ETL功能，還包括了統(tǒng)一的Metadata元數(shù)據(jù)平臺Metadata Server，數(shù)據(jù)質(zhì)量提升的工具等。通過統(tǒng)一的元數(shù)據(jù)平臺Metadata Server對商業(yè)

41、銀行數(shù)據(jù)中心項目中的技術(shù)元數(shù)據(jù)和其他元數(shù)據(jù)進(jìn)行管理。通過DataStage可以很好的集成商業(yè)銀行現(xiàn)有的異構(gòu)的數(shù)據(jù)源，進(jìn)行數(shù)據(jù)的采集。在數(shù)據(jù)存儲層和核心的數(shù)據(jù)中心平臺上，我們建議采用IBM InfoSphere Warehouse數(shù)據(jù)中心平臺構(gòu)建基礎(chǔ)架構(gòu)，InfoSphere Warehouse數(shù)據(jù)中心平臺中包含了DB2數(shù)據(jù)倉庫引擎，和數(shù)據(jù)倉庫管理開發(fā)工具，以及多維分析，數(shù)據(jù)挖掘等工具，可以滿足商業(yè)銀行在數(shù)據(jù)平臺上的技術(shù)要求，并符合長期發(fā)展和應(yīng)用擴(kuò)展的要求。 利用InforSphere Warehouse，在將來通過該平臺不斷擴(kuò)展EDW的功能，并且可以集成現(xiàn)有的ODS平臺，實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)管理。在應(yīng)

42、用服務(wù)層，針對本次項目主要為報表應(yīng)用和多維分析應(yīng)用，我們建議基于WAS應(yīng)用服務(wù)器平臺，使用IBM Cognos作為BI分析展現(xiàn)和報表工具，對應(yīng)用提供支撐， IBM Congnos BI分析工具，具備了完整了BI分析，報表功能，還具有績效考核，財務(wù)分析等擴(kuò)展能力。WAS應(yīng)用服務(wù)器平臺符合商業(yè)銀行整體應(yīng)用的規(guī)劃和現(xiàn)有的環(huán)境，便于以后的擴(kuò)展，滿足大用戶量的訪問要求。以上是本次數(shù)據(jù)中心項目整體邏輯架構(gòu)的產(chǎn)品映射圖，對應(yīng)了應(yīng)用架構(gòu)中各個層次的產(chǎn)品支撐。數(shù)據(jù)中心平臺方案詳細(xì)設(shè)計數(shù)據(jù)中心應(yīng)用平臺模型設(shè)計數(shù)據(jù)倉庫建模業(yè)務(wù)建模業(yè)務(wù)建模階段將對業(yè)務(wù)需求定義階段客戶化得到的業(yè)務(wù)需求進(jìn)行建模，在對業(yè)務(wù)需求進(jìn)行建模的時

43、候，不用關(guān)注數(shù)據(jù)訪問和性能等設(shè)計方面的考慮。業(yè)務(wù)建模階段的目標(biāo)是，用理想的方式、從業(yè)務(wù)角度將數(shù)據(jù)倉庫需要的信息結(jié)構(gòu)化。這樣做，可以確認(rèn)業(yè)務(wù)需求被正確理解，并且在下一個階段，數(shù)據(jù)倉庫設(shè)計師得到可靠的、業(yè)務(wù)驅(qū)動的數(shù)據(jù)結(jié)構(gòu)，大大減少近期、中期和遠(yuǎn)期維護(hù)數(shù)據(jù)倉庫邏輯和物理結(jié)構(gòu)的成本。因?yàn)槟Ｐ途哂泻芨叩耐ㄓ眯裕覀兘ㄗh在業(yè)務(wù)建模階段，要求相關(guān)參與人員應(yīng)遵循IBM IFW的實(shí)施方法論原則。業(yè)務(wù)建模過程中，使用建模工具最終生成業(yè)務(wù)方案模型（Business Solution Model）。使用視圖的概念來把需要的業(yè)務(wù)方案模版（Business Solution Template）涵蓋進(jìn)來，一個視圖可作為一個

44、OLAP CUBE和Erwin模型的單位，在視圖中，定義了所有的需要的維度和度量信息。出于范圍定義的簡單性，每個用戶部門可能需要不同的視圖定義?；蛘?，每個業(yè)務(wù)方案模版都會定義自己的視圖。模型映射根據(jù)數(shù)據(jù)源分析的結(jié)果利用工具進(jìn)行從數(shù)據(jù)源到數(shù)據(jù)模型的Mapping，最終生成ETL Mapping，使數(shù)據(jù)模型符合實(shí)際業(yè)務(wù)技術(shù)需求。并在裁減過程中充分考慮今后的擴(kuò)展性與穩(wěn)定性。Mapping人員通常是參與數(shù)據(jù)源分析的人員，熟悉數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)質(zhì)量等信息，同時也掌握了建模的知識。在Mapping過程中的幾個重點(diǎn)：數(shù)據(jù)整合，(統(tǒng))單一視圖整合各個系統(tǒng)的數(shù)據(jù)，如核心業(yè)務(wù)系統(tǒng)的貸款分戶帳與信貸管理系統(tǒng)中的

45、借據(jù)整合客戶信息，核心業(yè)務(wù)系統(tǒng)的客戶信息，信貸管理系統(tǒng)中的客戶信息數(shù)據(jù)源分析結(jié)果作為M1 Mapping的輸入Mapping按照數(shù)據(jù)源，多人協(xié)同 Mapping同時做ETL Mapping多個數(shù)據(jù)源，多個項目視圖統(tǒng)一，多個目標(biāo)視圖Mapping Rule, 包含ETL Mapping，作為DataStage Job的輸入標(biāo)示出數(shù)據(jù)之間的業(yè)務(wù)關(guān)系根據(jù)實(shí)際業(yè)務(wù)需求，適當(dāng)修改模型邏輯數(shù)據(jù)建模傳統(tǒng)的應(yīng)用系統(tǒng)大多是一些業(yè)務(wù)系統(tǒng)，從數(shù)據(jù)和應(yīng)用的角度來看，它們具有以下一些特征：面向特定的應(yīng)用由事務(wù)處理驅(qū)動實(shí)時性要求高數(shù)據(jù)檢索量少主要處理當(dāng)前數(shù)據(jù)數(shù)據(jù)按照處理流程進(jìn)行組織與傳統(tǒng)業(yè)務(wù)系統(tǒng)不同，目前正在建設(shè)的分析型

46、應(yīng)用系統(tǒng)大多有以下特征：存儲大量的歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)面向分析主題（如關(guān)系人、產(chǎn)品、機(jī)構(gòu)等）數(shù)據(jù)來源廣泛，可能會跨不同的業(yè)務(wù)系統(tǒng)。實(shí)時性要求不是特別高數(shù)據(jù)檢索量大主要做一些綜合分析處理數(shù)據(jù)需要按照分析主題進(jìn)行組織因此，為了能夠更方便快捷地從分析應(yīng)用系統(tǒng)中抽取所需要的信息進(jìn)行全面、綜合、靈活多樣的查詢和分析，支持決策分析，就需要重新有效地組織原有業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)，滿足以下要求，這就是邏輯數(shù)據(jù)模型的引入。用圖形的方式體現(xiàn)業(yè)務(wù)規(guī)則成為IT人員和業(yè)務(wù)人員溝通的工具獨(dú)立于技術(shù)是集成當(dāng)前數(shù)據(jù)的有效手段為未來數(shù)據(jù)的組織提供藍(lán)圖建立邏輯數(shù)據(jù)模型的意義邏輯數(shù)據(jù)模型（Logical Data Model）是一種圖形

47、的展現(xiàn)方式，采用面向主題的方法有效組織來源多樣的各種業(yè)務(wù)數(shù)據(jù)，同時能全面反映復(fù)雜的業(yè)務(wù)規(guī)則，支持大量的分析應(yīng)用。邏輯數(shù)據(jù)模型使用統(tǒng)一的邏輯語言描述業(yè)務(wù)，是數(shù)據(jù)管理的分析工具和交流的有力手段；同時還能夠很好地保證數(shù)據(jù)的一致性，是實(shí)現(xiàn)業(yè)務(wù)智能（Business Intelligence）的重要基礎(chǔ)。數(shù)據(jù)方面因?yàn)榉治鲂蛻?yīng)用系統(tǒng)的數(shù)據(jù)來源非常多樣化，作為源數(shù)據(jù)的業(yè)務(wù)系統(tǒng)都有自己的一些特點(diǎn)，同時它們的部分?jǐn)?shù)據(jù)之間還存在或多或少的聯(lián)系，所以建立邏輯數(shù)據(jù)模型的一個重要的任務(wù)就是“整合”，對數(shù)據(jù)進(jìn)行統(tǒng)一有效的管理，效益主要體現(xiàn)在：整合了不同業(yè)務(wù)系統(tǒng)和業(yè)務(wù)平臺的數(shù)據(jù)有效地避免了數(shù)據(jù)冗余保證了數(shù)據(jù)的一致性規(guī)范數(shù)據(jù)

48、的命名和使用是建立物理數(shù)據(jù)模型的重要基礎(chǔ)應(yīng)用方面從上述幾點(diǎn)不難看出，邏輯數(shù)據(jù)模型搭建了一個靈活的數(shù)據(jù)組織框架，為不同人員（包括業(yè)務(wù)人員和IT人員）都提供了一個統(tǒng)一的數(shù)據(jù)平臺，使大家都可以得到同樣的數(shù)據(jù)信息，并據(jù)此開發(fā)相關(guān)的應(yīng)用。建立“單一視圖”是業(yè)務(wù)人員和開發(fā)人員的橋梁體現(xiàn)不同業(yè)務(wù)之間的關(guān)系，表達(dá)相應(yīng)的業(yè)務(wù)規(guī)則。幫助業(yè)務(wù)用戶對數(shù)據(jù)有一致的、統(tǒng)一的理解物理數(shù)據(jù)建模針對DB2數(shù)據(jù)庫，考慮數(shù)據(jù)倉庫的數(shù)據(jù)量、性能要求、安全要求等方面的因素，對數(shù)據(jù)庫表結(jié)構(gòu)、約束、索引等數(shù)據(jù)庫物理特性進(jìn)行設(shè)計和規(guī)劃。物理設(shè)計原則物理模型物理化是基于模型工具導(dǎo)出的RDA 物理模型。制定統(tǒng)一的命名規(guī)范，標(biāo)準(zhǔn)字段、根據(jù)DB2/

49、DPF 特性 指定表實(shí)體的存儲空間、分區(qū)鍵、主鍵、索引。物理化后提交的模型和DDL 都保存在RDA模型中。物理化方法物理化方法在邏輯模型的物理化時，不同的物理化方法得到的模型對數(shù)據(jù)庫的性能也有較大的影響。其中主要體現(xiàn)在表的合并即超類、子類的合并，以及屬性表以及主要實(shí)體的合并。如果超類屬性的字段很少，此時建議把超類的屬性，合并到每個子類上。稱為ROLLDOWN。反過來，如果子類的屬性很少，此時建議把子類的屬性，合并到超類上。稱為ROLLUP。為了提高數(shù)據(jù)裝載和訪問的性能，保持物理模型的簡單性，在物理化SOR模型時我們將權(quán)衡使用如下3種方法：關(guān)系合并到父實(shí)體 子類實(shí)體歸并到超類實(shí)體超類實(shí)體屬性拆分

50、到子類實(shí)體命名規(guī)范首先，在物理化設(shè)計過程中，表的命名遵循模型的實(shí)體和屬性的命名原則。然后，在基于物理模型進(jìn)行完善和修改。標(biāo)準(zhǔn)字段處理標(biāo)識鍵每個鍵值代表一個ETL處理過程，標(biāo)識每個表的每條記錄的生成處理流程ID。比如數(shù)據(jù)在從數(shù)據(jù)源經(jīng)過DataStage處理到SSA的轉(zhuǎn)換過程中都會記錄一個處理標(biāo)識。在ETL日志表內(nèi)會記錄每個鍵值的含義。每個表內(nèi)要添加一個Physical Only的int類型的ETL_SEQ_ID的字段來記錄此值。源系統(tǒng)標(biāo)識 在物理模型中都有一個能夠標(biāo)識數(shù)據(jù)業(yè)務(wù)系統(tǒng)來源的int型字段：SRC_STM_ID。后期數(shù)據(jù)源的擴(kuò)充，基于以上系統(tǒng)ID 往上遞增。主外鍵由于主外鍵表示的是對數(shù)據(jù)

51、的一種完整性約束，保證數(shù)據(jù)的完整性，但同時也會在修改數(shù)據(jù)時要求DB2做一些額外的工作來保證這種約束，比如主鍵的唯一性檢查，外鍵的存在性檢查等，作為一個經(jīng)驗(yàn)準(zhǔn)則，為每一個物理表指定一個業(yè)務(wù)主鍵，由于模型中添加主鍵會影響很多關(guān)聯(lián)關(guān)系的表，所以在模型物理化階段中根據(jù)實(shí)際需要添加改主鍵，這些會在doc文檔中寫明。一般來說數(shù)據(jù)的完整性約束已經(jīng)在我們的ETL程序內(nèi)完成了，因此對于數(shù)據(jù)倉庫這種特殊的應(yīng)用，我們一般在主外鍵上遵循如下原則：邏輯實(shí)體的主鍵轉(zhuǎn)化為物理表的主鍵，這時DB2會自動為此表的鍵值創(chuàng)建一個唯一性索引，此索引在與其它表Join時可以提高運(yùn)算速度。分區(qū)鍵 DB2/DPF數(shù)據(jù)的分區(qū)有如下2個原則層

52、面：數(shù)據(jù)在不同數(shù)據(jù)庫分區(qū)之間的劃分：利用表的分區(qū)鍵（partition key）DB2自動完成。通過一個hash函數(shù)，DB2把每條記錄依據(jù)其分區(qū)鍵的值映射到不同的數(shù)據(jù)庫分區(qū)內(nèi)。數(shù)據(jù)存儲區(qū)域的劃分：人為的指定把一部分?jǐn)?shù)據(jù)放在一起，另一部分放在另外一塊存儲區(qū)域，這樣在訪問數(shù)據(jù)時DB2可以快速的定位數(shù)據(jù)的位置，從而提高數(shù)據(jù)訪問性能。（這塊物理架構(gòu)設(shè)計中考慮）。當(dāng)定義分區(qū)鍵時，我們不僅從數(shù)據(jù)存儲分布上考慮，同時還要從業(yè)務(wù)處理能力上考慮。在這兩者之間找到均衡點(diǎn)。有如下原則：數(shù)據(jù)均勻分布原則：為避免某個特定的分區(qū)數(shù)據(jù)量過大而成為整個系統(tǒng)的性能瓶頸，分區(qū)鍵的Cardinality最好要足夠大，并且數(shù)據(jù)在不同

53、分區(qū)鍵值的分布是均勻的，因此表的主鍵或作為唯一索引的鍵是比較好的選擇。數(shù)據(jù)同步分布原則：由于DB2的Share-Nothing特性，為最大限度的利用DB2的并行特性，避免Share-Nothing導(dǎo)致的不利因素（不同分區(qū)的數(shù)據(jù)關(guān)聯(lián)時大量的網(wǎng)絡(luò)數(shù)據(jù)傳輸），分區(qū)鍵最好也是常用于表之間關(guān)聯(lián)的鍵。性能原則：用于計算分區(qū)的hash函數(shù)也需要計算量，為提高此函數(shù)的性能，分區(qū)鍵最好是運(yùn)算速度較快的數(shù)據(jù)類型，比如整型，避免使用字符串、浮點(diǎn)、Decimal等數(shù)據(jù)類型。例如：比如對于IP表，會考慮選擇IP_ID作為分區(qū)鍵?？紤]因素：由于IP_ID的cardinality高，hash后數(shù)據(jù)會均勻的分布到每個分區(qū)上從

54、應(yīng)用上看，和其他相關(guān)表的連接大多使用IP_id，這樣會使大部分的join都是collate的，效率最高。分區(qū)鍵選擇參考數(shù)據(jù)庫建表分區(qū)原則，模型物理化時，需要考慮到實(shí)體的數(shù)據(jù)業(yè)務(wù)應(yīng)用和數(shù)據(jù)均勻分布、長遠(yuǎn)數(shù)據(jù)量增加上，有下面幾個標(biāo)準(zhǔn)：數(shù)據(jù)量比較小的表（一般小于10萬行），物理化時建立在單節(jié)點(diǎn)的數(shù)據(jù)庫表空間上。如：Cl數(shù)據(jù)量比較大的建立上多分區(qū)上。同時要注意以下幾個方面：有單個主鍵的實(shí)體表，直接以主鍵作為分區(qū)鍵。對于聯(lián)合主鍵實(shí)體表，選擇關(guān)聯(lián)查詢次數(shù)最多的字段作為分區(qū)鍵。根據(jù)DPF 特性，只有在查詢中包含分區(qū)鍵時，才能體現(xiàn)出DB2 性能。否則會影響到DB2處理性能。所以考慮到RDWM模型中的關(guān)系表，以

55、最多的查詢的字段作為分區(qū)鍵。索引索引是DB2改善SQL效率的最主要工具，選擇創(chuàng)建索引的時候可以基于如下原則：主鍵自動建立唯一索引，本模型中主鍵確定，索引將自動生成。對于快速排序操作，在頻繁用于排序數(shù)據(jù)的列上創(chuàng)建索引要提高多列索引的連接性能，如果第一個鍵列有多項選擇，則使用最常用“=”（等值連接）謂詞指定的那一列，或使用如第一個鍵那樣具有最多特異值的那些列。 要提高數(shù)據(jù)檢索速度，可在唯一索引中用INCLUDE的方式增加其它字段。合適的列為： 根據(jù)對鍵的使用是正序還是逆序，可以當(dāng)在 CREATE INDEX 語句中指定 是否使用ALLOW REVERSE SCANS 參數(shù)。該參數(shù)可逆向搜索索引值，

56、但是，執(zhí)行按指定索引順序的掃描比執(zhí)行逆向掃描稍微更快一些。 要保證索引維護(hù)成本和空間： 要提高涉及到 IMMEDIATE 和 INCREMENTAL MQT 的 DELETE 和 UPDATE 操作的性能，對 MQT 的隱含唯一鍵創(chuàng)建唯一索引，它是 MQT 定義的 GROUP BY 子句中的列。 要幫助新插入的行根據(jù)索引進(jìn)行群集并避免頁分割，定義一個群集索引(MDC)。群集索引應(yīng)顯著減少重組表的需要。 當(dāng)定義索引時可以使用 PCTFREE 關(guān)鍵字來指定頁上應(yīng)該留下多少可用空間，合理的設(shè)定PCTFREE可以保證IO的性能，同時減少數(shù)據(jù)頁分裂的機(jī)會。要啟用聯(lián)機(jī)索引整理碎片，創(chuàng)建索引時使用 MINP

57、CTUSED 選項。MINPCTUSED 指定索引葉子頁中最小使用空間量的閾值并啟用聯(lián)機(jī)索引整理碎片。如果這些刪除實(shí)際上從索引頁除去鍵，則這可以在鍵刪除期間以性能損失為代價而減少重組的需要。除此之外，由于DB2維護(hù)索引需要占有空間和CPU，因此在創(chuàng)建索引的時只在必需的時候創(chuàng)建索引（只在證明索引能改善性能的時候再創(chuàng)建，否則不要創(chuàng)建）。創(chuàng)建MDC索引由于分表會增大管理和使用的復(fù)雜度，對于數(shù)據(jù)量不大的表，可以用MDC索引來提高Roll-in/Roll-out和查詢的性能。在時間和代碼維上創(chuàng)建MDC索引，可以使數(shù)據(jù)嚴(yán)格遵守相同時間、相同代碼的數(shù)據(jù)放在一起，從而提高性能。由于MDC索引必須在創(chuàng)建的時候指

58、定，因此在做物理化時需要指定用于做MDC索引的列。表物理屬性包含每個表的PCTFREE置為0、APPEND模式、LOCK SIZE等。數(shù)據(jù)源分析方案數(shù)據(jù)源分析數(shù)據(jù)源分析是數(shù)據(jù)中心平臺建設(shè)的第一組任務(wù)之一，是一個對需要進(jìn)入數(shù)據(jù)中心的業(yè)務(wù)數(shù)據(jù)庫中數(shù)據(jù)結(jié)構(gòu)的分析過程。通過數(shù)據(jù)源分析，我們可以對進(jìn)入數(shù)據(jù)中心的業(yè)務(wù)數(shù)據(jù)有一個清楚的認(rèn)識，這種認(rèn)識可以簡單劃分為“表級別”和“字段級別”。表級別的數(shù)據(jù)源分析可以幫助我們了解表的業(yè)務(wù)含義、業(yè)務(wù)功能以及數(shù)據(jù)的特征，有利于確定數(shù)據(jù)源的范圍；而字段級別的分析可以幫助我們了解數(shù)據(jù)本身的特征，如主鍵、數(shù)據(jù)類型等，從而掌握詳盡的數(shù)據(jù)質(zhì)量，對后期的接口設(shè)計、數(shù)據(jù)模型映射以及E

59、TL的開發(fā)都有著重要的指導(dǎo)和借鑒意義。IBM的數(shù)據(jù)倉庫建設(shè)解決方案將將數(shù)據(jù)源分析分為兩部分來進(jìn)行，即數(shù)據(jù)源物理分析和數(shù)據(jù)源業(yè)務(wù)分析。對數(shù)據(jù)源物理特征進(jìn)行的分析主要集中在字段級別，在分析中，要求對數(shù)據(jù)源中的數(shù)據(jù)結(jié)構(gòu)獲取詳細(xì)信息，對數(shù)據(jù)變化進(jìn)行準(zhǔn)確統(tǒng)計，包括：字段的明確含義字段的特殊的代碼意義數(shù)據(jù)類型、長度、是否可空、默認(rèn)值、有效值等數(shù)據(jù)的唯一性數(shù)據(jù)如何變化更新頻率數(shù)據(jù)質(zhì)量和稀疏程度對數(shù)據(jù)源業(yè)務(wù)特征進(jìn)行的分析主要集中在表級別，在分析中，要求對數(shù)據(jù)源的業(yè)務(wù)邏輯與業(yè)務(wù)概念進(jìn)行準(zhǔn)確定義，收集非常細(xì)節(jié)的業(yè)務(wù)含義與較高層次的關(guān)系信息，包括：數(shù)據(jù)表的明確業(yè)務(wù)含義和對應(yīng)的業(yè)務(wù)功能模塊，如卡、現(xiàn)金等。數(shù)據(jù)表的使用

60、情況說明，如未使用，代碼表等。表中數(shù)據(jù)的產(chǎn)生方式，如直接更新、記錄歷史等。源系統(tǒng)內(nèi)部數(shù)據(jù)業(yè)務(wù)關(guān)系，如參照關(guān)系，約束關(guān)系等。多個源系統(tǒng)間數(shù)據(jù)的業(yè)務(wù)邏輯關(guān)系。多個源系統(tǒng)間數(shù)據(jù)整合時的數(shù)據(jù)唯一視圖的建立規(guī)則和數(shù)據(jù)準(zhǔn)確獲取標(biāo)準(zhǔn)。數(shù)據(jù)質(zhì)量驗(yàn)證規(guī)則整理，如系統(tǒng)內(nèi)表間關(guān)系數(shù)據(jù)質(zhì)量規(guī)則以及跨系統(tǒng)表間關(guān)系數(shù)據(jù)質(zhì)量規(guī)則，該規(guī)則用來后續(xù)數(shù)據(jù)清洗和數(shù)據(jù)檢查的參考。按照以上方法進(jìn)行的數(shù)據(jù)源分析示例如下：數(shù)據(jù)源分析協(xié)同工作模式通常，數(shù)據(jù)中心涵蓋的數(shù)據(jù)源來源于多個業(yè)務(wù)系統(tǒng)，需要進(jìn)入中心的數(shù)據(jù)表有少則幾百張，這就導(dǎo)致數(shù)據(jù)源分析工作是一個復(fù)雜的大工作量任務(wù)。為了在保證質(zhì)量的前提下盡快完成數(shù)據(jù)源的分析，IBM在進(jìn)行數(shù)據(jù)源分析階段