最佳實踐之中小銀行數(shù)據(jù)倉庫建設

最佳實踐之中小銀行數(shù)據(jù)倉庫建設摘要近年來，隨著銀行業(yè)務日益發(fā)展、監(jiān)管要求不斷深化，秦皇島銀行逐步將數(shù)據(jù)分析、數(shù)據(jù)應用、數(shù)據(jù)挖掘作為金融業(yè)務發(fā)展和管理決策的重要支撐手段，將數(shù)據(jù)作為行內(nèi)的核心資產(chǎn)，不斷拓展數(shù)據(jù)應用場景，提升數(shù)據(jù)資產(chǎn)管理能力。煙囪式系統(tǒng)建設模式會給數(shù)據(jù)建設帶來嚴重后果，數(shù)據(jù)標準、數(shù)據(jù)規(guī)范無法按預期實施，數(shù)據(jù)質(zhì)量提升與預期相距甚遠。秦皇島銀行原有的數(shù)據(jù)平臺（簡稱ODS）系統(tǒng)已經(jīng)不能滿足業(yè)務部門日益旺盛的數(shù)據(jù)分析需求，同時也面臨著一些其它問題，如：數(shù)據(jù)架構混亂，數(shù)據(jù)存儲分散、數(shù)據(jù)冗余嚴重、數(shù)據(jù)網(wǎng)狀結構，缺乏統(tǒng)一的數(shù)據(jù)模型和數(shù)據(jù)管控等，迫切需要對ODS系統(tǒng)進行重構，對數(shù)據(jù)進行統(tǒng)一整合，構建全行數(shù)據(jù)標準化體系，滿足行內(nèi)業(yè)務快速發(fā)展及數(shù)據(jù)輔助應用等需求，能夠在激烈的數(shù)字化轉型競爭中發(fā)揮應有的價值。本文分享了銀行數(shù)據(jù)倉庫建設的實踐經(jīng)驗，包括建設思路、分層規(guī)劃、模型設計、主題劃分、輔助工具和實踐思考，希望能為進行同類項目建設的同行提供參考。一、建設思路秦皇島銀行于2021年7月正式啟動數(shù)據(jù)倉庫升級項目建設，項目組在項目建設時提出“數(shù)據(jù)標準先行、數(shù)據(jù)管控跟進、應用驅(qū)動與數(shù)據(jù)驅(qū)動相結合”的數(shù)據(jù)倉庫建設方法，將數(shù)據(jù)標準、數(shù)據(jù)管控和數(shù)據(jù)應用統(tǒng)一納入數(shù)據(jù)倉庫建設工作范疇。數(shù)據(jù)倉庫作為全行基礎數(shù)據(jù)底座，接入44個業(yè)務系統(tǒng)，按照DW五層架構以業(yè)務驅(qū)動規(guī)劃設計13個業(yè)務主題模型，按照“一數(shù)一源”原則實現(xiàn)統(tǒng)一的基礎數(shù)據(jù)資源管理，避免重復建設和指標冗余，保障數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，實現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路關聯(lián)，為數(shù)據(jù)分析提供數(shù)據(jù)支撐?！鰯?shù)據(jù)標準先行數(shù)據(jù)標準是一整套數(shù)據(jù)規(guī)范，是開展數(shù)據(jù)治理工作的必要先行和重要基礎。數(shù)據(jù)標準是為了規(guī)范數(shù)據(jù)在行內(nèi)外共享和使用的一致性和準確性，對數(shù)據(jù)分類、業(yè)務屬性、技術屬性、管理屬性等所做的統(tǒng)一規(guī)定。數(shù)據(jù)標準實施分為數(shù)據(jù)標準制定和數(shù)據(jù)標準執(zhí)行兩個階段，我行依托數(shù)據(jù)倉庫需求調(diào)研過程梳理現(xiàn)有元數(shù)據(jù)，并以此為基礎借鑒同業(yè)和廠商實施經(jīng)驗，制定我行的數(shù)據(jù)標準，再經(jīng)行內(nèi)各部門協(xié)商一致，批準發(fā)布一套供各部門遵循使用的規(guī)范性數(shù)據(jù)標準文件，從而確保銀行的數(shù)據(jù)資產(chǎn)在交換和使用過程中具有高度的一致性和準確性，通過數(shù)據(jù)倉庫實施過程去落地，從而完成全行數(shù)據(jù)流向的標準化和規(guī)劃化?！鰯?shù)據(jù)管控跟進數(shù)據(jù)標準解決了數(shù)據(jù)的入倉問題，使得更多業(yè)務系統(tǒng)的接入成為可能,在豐富數(shù)據(jù)源的同時也帶來了新的挑戰(zhàn)，即如何保證入倉數(shù)據(jù)的高質(zhì)量。這個問題如果不能妥善解決，將會直接影響數(shù)據(jù)倉庫的使用效果，對數(shù)據(jù)倉庫是“企業(yè)數(shù)據(jù)垃圾桶”的抱怨就是該問題的具體體現(xiàn)。我行在開展數(shù)據(jù)管控工作中，采用了規(guī)劃、組織、制度、技術工具等因素相結合的綜合數(shù)據(jù)管控機制，并在這四個層面開展了相應的工作。規(guī)劃層面完成了數(shù)據(jù)管理制度與流程體系的整體規(guī)劃；組織層面建立了由全行專項數(shù)據(jù)治理機制領導下的數(shù)據(jù)管控組織；制度層面制定了數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)模型管理、數(shù)據(jù)交換管理、報表需求管理等六項數(shù)據(jù)管控辦法和數(shù)據(jù)管理專項考核指標，為數(shù)據(jù)管理提供制度保障，保障數(shù)據(jù)管控制度的落地執(zhí)行；技術層面完成了數(shù)據(jù)管控平臺的建設，為全行員工參與數(shù)據(jù)管控工作提供了技術工具。這四個方面缺一不可，任何一方面的缺失或不足難以保證數(shù)據(jù)管控工作取得實際效果。在數(shù)據(jù)倉庫建設中，我們以元數(shù)據(jù)管理為基礎，以管控流程為手段，使數(shù)據(jù)倉庫成為全行可信、可控的數(shù)據(jù)源?！鰬抿?qū)動與數(shù)據(jù)驅(qū)動相結合數(shù)據(jù)應用不足、數(shù)據(jù)服務缺乏是當前中小銀行數(shù)據(jù)倉庫建設所面臨的一個共性問題，由此所導致的后果就是空守“寶山”卻不能用，投資的價值得不到體現(xiàn)，而這也影響到管理層經(jīng)營決策使用，導致投入減少，不足以支持眾多數(shù)據(jù)服務的建設，從而形成不良循環(huán)，最終導致整個數(shù)據(jù)倉庫建設失敗。在梳理數(shù)據(jù)倉庫的建設需求時，為了進一步體現(xiàn)數(shù)據(jù)倉庫的應用價值，我們不僅考慮如何從底層保證數(shù)據(jù)的入倉，還從數(shù)據(jù)應用入手，將數(shù)據(jù)倉庫支持的應用按照客戶分析營銷、風險管控、監(jiān)管審計、精細化管理分類建設，提升我行經(jīng)營管理、決策分析和監(jiān)管報送水平。我們在數(shù)據(jù)倉庫項目群建設時,將數(shù)據(jù)倉庫、數(shù)據(jù)集市與數(shù)據(jù)應用進行協(xié)同建設，實現(xiàn)倉庫建設與數(shù)據(jù)應用建設互動，充分體現(xiàn)數(shù)據(jù)倉庫建設價值。二、分層規(guī)劃穩(wěn)健的數(shù)據(jù)倉庫體系，需要對數(shù)據(jù)進行分層存儲，既要保證數(shù)據(jù)模型的穩(wěn)定又要盡量屏蔽對下游的影響，并且要避免數(shù)據(jù)鏈路過長。分層是以數(shù)據(jù)為驅(qū)動，解決當前業(yè)務快速支撐并為未來抽象共性框架賦能其他業(yè)務線的穩(wěn)定方法。我行根據(jù)自身情況，劃分五層數(shù)據(jù)架構：緩沖層、貼源層、模型層、匯總層、集市層，不同數(shù)據(jù)層間的數(shù)據(jù)流向關系如下圖所示：緩沖層：數(shù)據(jù)臨時層，這一層不做過多的數(shù)據(jù)清洗工作，原封不動地接入原始數(shù)據(jù)，保留明細數(shù)據(jù)，保留短期歷史數(shù)據(jù)，同時建立全行的歷史數(shù)據(jù)查詢系統(tǒng)，可從緩沖層直接獲取數(shù)據(jù)。貼源層：該層與緩沖層保持一樣的數(shù)據(jù)粒度，對源系統(tǒng)數(shù)據(jù)不整合不加工，但保留長期的歷史數(shù)據(jù)。模型層：按照業(yè)務主題進行數(shù)據(jù)分類存儲，對數(shù)據(jù)進行整合，且保留長期的歷史數(shù)據(jù)。在模型層進行數(shù)據(jù)標準落標，豐富數(shù)據(jù)資產(chǎn)的要素。匯總層：按照主題結合維度建模，對數(shù)據(jù)進行整合匯總加工，保留關鍵時點歷史數(shù)據(jù)，數(shù)據(jù)來源模型層。集市層：以維度建模為主，根據(jù)應用需求對數(shù)據(jù)進行整合加工，保留特定業(yè)務需求的歷史數(shù)據(jù)，集市層的數(shù)據(jù)來源模型層和匯總層。三、模型設計數(shù)據(jù)倉庫模型不只是考慮如何設計和實現(xiàn)功能，還應從訪問性能、數(shù)據(jù)成本、使用成本、數(shù)據(jù)質(zhì)量、擴展性等多方面來統(tǒng)籌考慮。數(shù)據(jù)倉庫模型總體設計原則如下：.高內(nèi)聚、低耦合。即主題內(nèi)部高內(nèi)聚、不同主題間低耦合。模型層按照業(yè)務劃分主題，匯總層按照“實體+活動”劃分不同分析主題，集市層根據(jù)應用需求劃分不同應用主題。.核心模型和擴展模型要分離。建立核心模型與擴展模型體系，核心模型包括的字段支持常用的核心業(yè)務，擴展模型包括的字段支持個性化或少量應用的需要，不能讓擴展模型的字段過度侵入核心模型，以免破壞核心模型的架構簡潔性與可維護性。.公共處理邏輯下沉及單一。越是底層公用的處理邏輯越應該在數(shù)據(jù)調(diào)度依賴的底層進行封裝與實現(xiàn)，不要讓公用的處理邏輯暴露給應用實現(xiàn)，不要讓公共邏輯多處同時存在。.成本與性能平衡。適當?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能，不宜過度冗余與數(shù)據(jù)復制。.數(shù)據(jù)可回滾。處理邏輯不變，在不同時間多次運行數(shù)據(jù)結果確定不變。常見的模型設計方法有范式建模和維度建模。我行數(shù)據(jù)倉庫模型設計根據(jù)各層的定位分布采用兩種建模方式相結合的設計方式，模型層采用范式為主，維度為輔；匯總層采用維度為主，范式為輔；集市層采用維度建模方式。模型層表的定位是規(guī)避變化,也合數(shù)據(jù)，規(guī)范標準，表設計上至少滿足以下幾點：模型層表的定位是規(guī)避變化,也合數(shù)據(jù)，規(guī)范標準，表設計上至少滿足以下,準確的業(yè)務定義。模型層的表字段要求信息調(diào)研清晰、業(yè)務含義明確，這是數(shù)據(jù)應用與數(shù)據(jù)服務的前提與基礎。.整合各系統(tǒng)分散的信息。共性信息進行提煉，可以提高應用的開發(fā)效率和準確性。.建立數(shù)據(jù)關系形成企業(yè)級的數(shù)據(jù)視圖。.表結構的穩(wěn)定性要求，避免源業(yè)務系統(tǒng)的變化對模型層的致命的沖擊，保證源系統(tǒng)數(shù)據(jù)的可讀性。匯總層表的定位是面向多個應用提供共享數(shù)據(jù)服務的一個公共數(shù)據(jù)集市，設計要求滿足一次加工多次使用，構建在數(shù)據(jù)倉庫與應用數(shù)據(jù)集市之間。匯總層從業(yè)務的角度，提取具有共性、可被多個應用所復用的基礎數(shù)據(jù)和匯總指標；按業(yè)務組織數(shù)據(jù)，按照一定的粒度進行數(shù)據(jù)整合、去規(guī)范化處理，并且存儲某些關鍵時點的歷史快照數(shù)據(jù)。集市層表的定位是面向特定業(yè)務的應用集市，設計上更偏向業(yè)務的特殊性、個性化內(nèi)容。四、主題劃分按照數(shù)據(jù)描述的業(yè)務活動的信息，將銀行在業(yè)務活動中的產(chǎn)生的同類數(shù)據(jù)自然匯集在一起的數(shù)據(jù)集合稱之為主題。我行結合國內(nèi)外模型設計理論，借鑒同業(yè)金融機構模型設計經(jīng)驗，結合現(xiàn)有業(yè)務特點進行主題劃分，共包括13個業(yè)務主題：客戶主題、產(chǎn)品主題、內(nèi)部機構主題、存款主題、信貸主題、理財主題、票據(jù)主題、信用卡主題、資金資管主題、財務主題、渠道主題、支付結算主題、中間業(yè)務主題?？蛻糁黝}：描述服務的對象和感興趣進行分析的對象，比如各種個人或團體客戶、企業(yè)、金融機構、潛在客戶等。客戶主題存儲客戶自身屬性信息，且每個客戶在行內(nèi)的信息是唯一的。產(chǎn)品主題：描述所有產(chǎn)品自有屬性信息，包括產(chǎn)品分類、產(chǎn)品狀態(tài)、產(chǎn)品管理信息等。該主題包含存款產(chǎn)品、貸款產(chǎn)品、理財產(chǎn)品、資金產(chǎn)品等行內(nèi)自有產(chǎn)品，也可包括他行產(chǎn)品信息。產(chǎn)品主題目前包括存款產(chǎn)品、貸款產(chǎn)品、理財產(chǎn)品、保險產(chǎn)品、資金資管產(chǎn)品等及銀行提供的非金融服務。內(nèi)部機構主題：指秦皇島銀行機構的內(nèi)部組織和業(yè)務單元，如分行、支行等等。在內(nèi)部機構主題中，更多的反映其作為內(nèi)部組織機構的職能等特征；內(nèi)部機構主題也包含了銀行內(nèi)部人員信息，如員工信息、柜員信息、客戶經(jīng)理信息等。存款主題：描述一個金融機構吸收客戶閑散資金、支付客戶利息并為客戶提供結算服務、賬戶管理服務的行為。該主題主要包括：存款賬戶基本信息、賬戶合約信息、賬戶限制信息、賬戶余額及利息信息、賬戶屬性、客戶經(jīng)理攬儲比例分配等。此外也包括存款賬戶發(fā)生交易的交易流水信息，存款賬戶的介質(zhì)和憑證信息，如借記卡、支票等。信貸主題：描述一個金融機構作為債權人為債務人提供有使用期限、需要付利息、并到期收回的資金的行為。信貸主題包括貸款申請、授信合同信息、客戶授信額度、貸款合同信息、擔保合同信息、貸款借據(jù)（賬戶）信息、貸款期限調(diào)整信息、抵質(zhì)押物、還款計劃、還款流水、貸款損失準備金信息、資產(chǎn)保全信息等。理財主題：描述一個金融機構提供給的一種客戶可以根據(jù)自己的財務狀況在風險可以接受范圍內(nèi)實現(xiàn)資產(chǎn)增值的最大化的服務。包含了理財簽約、風險評估、理財募集、理財份額、理財交易等信息。理財業(yè)務包括傳統(tǒng)意義上的保本理財和非保本理財，也包括基金、保險等業(yè)務。票據(jù)主題：描述金融機構經(jīng)營過程中常常使用到的一種有價憑證，有紙質(zhì)和電子兩種介質(zhì)，我國《票據(jù)法》中的票據(jù)包括匯票、銀行本票和支票。該主題主要包括票據(jù)基本信息、票據(jù)承兌、票據(jù)貼現(xiàn)、轉貼現(xiàn)、再貼現(xiàn)、票據(jù)質(zhì)押等信息。信用卡主題：由持卡人方便快捷地辦理支付結算并形成相關消費信息的貸記賬戶。公務卡作為一種現(xiàn)代支付結算工具，屬于信用卡范疇。信用卡主題包含了卡片基本信息、信用卡賬戶、信用卡申請、交易信息及信用卡賬單、逾期催收信息等。資金資管主題：描述了銀行在公開市場或其他交易市場上與交易對手進行的各類金融活動時簽訂的協(xié)議。我行包含同業(yè)拆借協(xié)議、債券買賣協(xié)議、債券回購協(xié)議、債券借貸協(xié)議、即期外匯買賣協(xié)議、國庫定期存款協(xié)議、信貸資產(chǎn)轉讓協(xié)議、衍生產(chǎn)品協(xié)議等。包括：我行資金資管包含拆放同業(yè)及買入返售、債券、理財直接融資工具、新增可投資資產(chǎn)、非標準化債權類資產(chǎn)、權益類資產(chǎn)、商品類資產(chǎn)、另類資產(chǎn)、公募基金等交易信息等。財務主題：描述一個金融機構的內(nèi)部賬務情況，體現(xiàn)金融機構的經(jīng)營狀況，主要存儲銀行科目賬務以及預算管理有關的內(nèi)容，包括科目余額信息、會計分錄信息、科目定義等。渠道主題：描述的是當各種事件發(fā)生時，當事雙方（主要是指客戶和銀行）進行交互和接觸的手段及方法，通過它，客戶與銀行進行接觸、購買產(chǎn)品、使用服務并交流信息。渠道主題包含渠道自身信息、渠道簽約信息、渠道交易信息。支付結算主題：指單位、個人在社會經(jīng)濟活動中使用票據(jù)、卡等憑證，通過匯兌、托收承付、委托收款等業(yè)務通過人行、銀聯(lián)、網(wǎng)聯(lián)及其它支付機構進行貨幣給付及其資金清算的行為。我行的支付結算信息，包括銀聯(lián)、網(wǎng)聯(lián)、大小額、超網(wǎng)結算信息，也包括同城結算等信息。中間業(yè)務主題：本主題描述的中間業(yè)務是狹義中間業(yè)務，我行作為中間介質(zhì)收取手續(xù)費為客戶提供的代收代付服務，包括代收代付、非稅、國庫等信息。五、輔助工具統(tǒng)一數(shù)據(jù)交換平臺：面向全行數(shù)據(jù)采集、交換、共享和開放的標準化的、規(guī)范的、高效的、穩(wěn)定的、可控的數(shù)據(jù)服務總線，實現(xiàn)批量、準實時或者實時的數(shù)據(jù)交換要求，提升業(yè)務系統(tǒng)間多樣化、可配置、易管理的非實時批量及準實時數(shù)據(jù)交換能力。包括內(nèi)部各源業(yè)務系統(tǒng)結構化數(shù)據(jù)、半/非結構化數(shù)據(jù)和外部數(shù)據(jù)源，為數(shù)據(jù)平臺提供數(shù)據(jù)服務。數(shù)據(jù)資產(chǎn)管理平臺：在數(shù)據(jù)生命周期的各個階段（產(chǎn)生、處理、存儲、應用、歸檔直至最終被刪除），企業(yè)必須完全按照組織的業(yè)務需要進行處理、管控、保護和共享。數(shù)據(jù)資產(chǎn)管理平臺包括元數(shù)據(jù)管理、數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)地圖等。數(shù)據(jù)管控始終貫穿數(shù)據(jù)平臺的整個建設過程，需要規(guī)劃數(shù)據(jù)資產(chǎn)管理平臺的體系架構，分析梳理行內(nèi)數(shù)據(jù)標準化、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)的管理流程，結合數(shù)據(jù)資產(chǎn)管理平臺做好數(shù)據(jù)管理，提升數(shù)據(jù)質(zhì)量。六、實踐思考未來的時代是數(shù)字化的時代，銀行的數(shù)字化轉型是必然趨勢。數(shù)據(jù)倉庫技術能夠為數(shù)據(jù)流分析提供科學的數(shù)據(jù)支撐，在進行精準營銷、綜合管理和風險控制時，幫助銀行的各層級管理者更