銀行大數(shù)據(jù)治理云平臺解決方案PPT

1、銀行大數(shù)據(jù)治理云平臺解決方案2平臺目標與定位技術實現(xiàn)架構數(shù)據(jù)標準管理子平臺元數(shù)據(jù)管理子平臺數(shù)據(jù)質(zhì)量管理子平臺數(shù)據(jù)服務子平臺統(tǒng)一認證與用戶管理模塊議題3建設背景數(shù)據(jù)平臺一期已構建完成并投入使用，所面臨的問題：數(shù)據(jù)標準缺乏結構化管理源數(shù)據(jù)變化造成數(shù)據(jù)平臺數(shù)據(jù)混亂對數(shù)據(jù)平臺數(shù)據(jù)問題如何快速定位原因？如何有效監(jiān)控和改善數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量？。建設一個完整的數(shù)據(jù)治理平臺，作為數(shù)據(jù)平臺的管控平臺，從制度、標準、監(jiān)控、流程幾個方面提升開行的數(shù)據(jù)信息管理能力，解決目前所面臨的數(shù)據(jù)標準問題、數(shù)據(jù)質(zhì)量問題、元數(shù)據(jù)管理問題和數(shù)據(jù)服務問題。4項目目標 圍繞XXXX行數(shù)據(jù)平臺建設，提供針對數(shù)據(jù)生命周期的管控機制，體現(xiàn)為以下

2、幾個出發(fā)點： 數(shù)據(jù)標準規(guī)范化-規(guī)范化管理構成數(shù)據(jù)平臺的業(yè)務和技術基礎設施，包括數(shù)據(jù)管控制度與流程規(guī)范文檔、信息項定義等。 數(shù)據(jù)關系脈絡化-實現(xiàn)對數(shù)據(jù)間流轉、依賴關系的影響和血緣分析。 數(shù)據(jù)質(zhì)量度量化全方位管理數(shù)據(jù)平臺的數(shù)據(jù)質(zhì)量，實現(xiàn)可定義的數(shù)據(jù)質(zhì)量檢核和維度分析，以及問題跟蹤。 數(shù)據(jù)服務電子化-為數(shù)據(jù)平臺提供面向業(yè)務用戶的服務溝通渠道。5數(shù)據(jù)治理平臺構成與定位ODSSchemas數(shù)據(jù)集市數(shù)據(jù)流數(shù)據(jù)平臺管理行內(nèi)數(shù)據(jù)標準管理平臺元數(shù)據(jù)，進行數(shù)據(jù)影響、血緣分析管理平臺數(shù)據(jù)質(zhì)量提供平臺溝通渠道核心業(yè)務平臺信貸業(yè)務平臺信用風險管理平臺平臺管理會計風險數(shù)據(jù)標準元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)服務分析類應用平臺數(shù)

3、據(jù)抽取數(shù)據(jù)提供6對數(shù)據(jù)平臺業(yè)務的支持數(shù)據(jù)標準數(shù)據(jù)標準子平臺數(shù)據(jù)服務業(yè)務部門應用開發(fā)者數(shù)據(jù)標準管理員 查詢數(shù)據(jù)標準，以開發(fā)符合數(shù)據(jù)標準的應用 提交標準代碼比對文檔 維護數(shù)據(jù)標準 制訂、發(fā)布標準 應用平臺代碼標準比對 查詢數(shù)據(jù)標準規(guī)范，反饋建議 提出數(shù)據(jù)標準需求申請7對數(shù)據(jù)平臺業(yè)務的支持元數(shù)據(jù)數(shù)據(jù)服務元數(shù)據(jù)子平臺元數(shù)據(jù)管理員數(shù)據(jù)平臺數(shù)據(jù)源平臺數(shù)據(jù)抽取 查詢數(shù)據(jù)平臺相關元數(shù)據(jù)，為開發(fā)應用提供參考 數(shù)據(jù)變更影響評估申請 數(shù)據(jù)變更影響分析 數(shù)據(jù)問題血緣分析應用開發(fā)者8對數(shù)據(jù)平臺業(yè)務的支持數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量檢核業(yè)務部門應用開發(fā)者數(shù)據(jù)質(zhì)量管理員 定義檢核需求與規(guī)則 分析數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量 發(fā)現(xiàn)、發(fā)布數(shù)據(jù)檢核問題

4、 了解本機構特定平臺數(shù)據(jù)質(zhì)量 提出業(yè)務數(shù)據(jù)質(zhì)量檢核需求 針對數(shù)據(jù)質(zhì)量問題提出完善建議9對數(shù)據(jù)平臺業(yè)務的支持-數(shù)據(jù)服務數(shù)據(jù)服務業(yè)務部門應用開發(fā)者數(shù)據(jù)服務單管理員數(shù)據(jù)平臺服務申請 數(shù)據(jù)平臺服務申請 與數(shù)據(jù)平臺有效溝通 提供數(shù)據(jù)平臺服務10數(shù)據(jù)治理相關平臺關系AD(目錄)平臺統(tǒng)一用戶管理平臺數(shù)據(jù)平臺數(shù)據(jù)服務子平臺數(shù)據(jù)質(zhì)量管理子平臺元數(shù)據(jù)子平臺數(shù)據(jù)標準子平臺提供標準相關元數(shù)據(jù)提供庫表結構元數(shù)據(jù)執(zhí)行檢核提供檢核平臺元數(shù)據(jù)統(tǒng)一認證與用戶管理模塊登錄認證用戶與機構信息同步單點登錄與角色管理數(shù)據(jù)治理平臺11平臺目標與定位技術實現(xiàn)架構數(shù)據(jù)標準管理子平臺元數(shù)據(jù)管理子平臺數(shù)據(jù)質(zhì)量管理子平臺數(shù)據(jù)服務子平臺統(tǒng)一認證與用

5、戶管理模塊議題1213平臺目標與定位技術實現(xiàn)架構數(shù)據(jù)標準管理子平臺元數(shù)據(jù)管理子平臺數(shù)據(jù)質(zhì)量管理子平臺數(shù)據(jù)服務子平臺統(tǒng)一認證與用戶管理模塊議題14功能需求功能定義數(shù)據(jù)標準文檔管理數(shù)據(jù)標準文檔制訂維護數(shù)據(jù)標準相關文檔類信息數(shù)據(jù)標準文檔發(fā)布對數(shù)據(jù)標準相關文檔進行發(fā)布管理數(shù)據(jù)標準文檔版本管理對數(shù)據(jù)標準相關文檔的歷史版本信息提供查看功能。數(shù)據(jù)標準信息項管理標準代碼定義維護數(shù)據(jù)標準公共代碼。主數(shù)據(jù)定義維護主數(shù)據(jù)標準數(shù)據(jù)標準查詢與反饋數(shù)據(jù)標準文檔查詢與反饋數(shù)據(jù)標準信息項查詢應用代碼標準符合性檢查新應用開發(fā)者將本應用代碼與標準代碼進行匹配，提交平臺檢查管理全行數(shù)據(jù)相關的標準和規(guī)范，提供數(shù)據(jù)標準的查詢與反饋等功

6、能。15應用界面16應用界面數(shù)據(jù)標準文檔管理 數(shù)據(jù)標準制訂 數(shù)據(jù)標準導入 數(shù)據(jù)標準文檔 版本管理17應用界面數(shù)據(jù)標準信息項管理公共代碼管理 數(shù)據(jù)標準管理18應用界面 數(shù)據(jù)標準反饋意見 查看反饋意見 反饋意見19邏輯架構20平臺目標與定位技術實現(xiàn)架構數(shù)據(jù)標準管理子平臺元數(shù)據(jù)管理子平臺數(shù)據(jù)質(zhì)量管理子平臺數(shù)據(jù)服務子平臺統(tǒng)一認證與用戶管理模塊議題21功能需求功能定義完成情況技術元數(shù)據(jù)源平臺數(shù)據(jù)結構定義導入源平臺數(shù)據(jù)字典，并以平臺-表-字段的層級關系展現(xiàn)各級數(shù)據(jù)關系。已完成主數(shù)據(jù)ER模型導入主數(shù)據(jù)ERwin模型，解析生成模型各層級關系。已完成數(shù)據(jù)與映射關系定義定義數(shù)據(jù)平臺各部分，以及源平臺間的數(shù)據(jù)關聯(lián)映

7、射關系。已完成數(shù)據(jù)影響與血緣分析依賴所定義的數(shù)據(jù)平臺各部分，以及源平臺間的數(shù)據(jù)映射關系，圖形化展現(xiàn)數(shù)據(jù)變化影響和數(shù)據(jù)問題溯源。已完成數(shù)據(jù)變化對比分析針對元數(shù)據(jù)不同版本進行差異部分識別與比較。已完成業(yè)務元數(shù)據(jù)代碼定義定義數(shù)據(jù)平臺公共代碼及其與源平臺代碼的關系。已完成報表表頭定義定義數(shù)據(jù)平臺業(yè)務報表的構成元素與結構。已完成報表指標定義定義數(shù)據(jù)平臺業(yè)務報表中指標的計算規(guī)則。已完成報表指標勾稽關系分析定義數(shù)據(jù)平臺業(yè)務報表中指標間的依賴關系，并進行影響與血緣分析。已完成對源平臺、數(shù)據(jù)平臺以及數(shù)據(jù)治理項目中的相關的技術、業(yè)務元數(shù)據(jù)進行統(tǒng)一的歸集管理，實現(xiàn)數(shù)據(jù)間的血緣分析和影響分析。22功能定義完成情況平臺

8、管理元數(shù)據(jù)手動采集手工上傳元數(shù)據(jù)定義文件已完成元數(shù)據(jù)自動采集提供針對不同目標應用的適配器，實現(xiàn)定時的自動采集已完成，但需數(shù)據(jù)平臺提供采集支持，接口方式尚需確定。版本管理提供元數(shù)據(jù)定版、批量定版、版本回溯的功能已完成訪問控制管理提供針對元數(shù)據(jù)細節(jié)操作的訪問控制已完成功能需求23應用界面24 業(yè)務元數(shù)據(jù) 報表表頭報表清單報表表頭定義報表表樣導出應用界面25 業(yè)務元數(shù)據(jù) 報表指標查看指標相關ER圖應用界面26 技術元數(shù)據(jù) 影響分析應用界面27邏輯結構28采集適配器元數(shù)據(jù)采集適配器是一種驅(qū)動和解析器，用來接收、解析各種不用類型數(shù)據(jù)源的數(shù)據(jù)，將有效的元數(shù)據(jù)存入模型，并建立關系。在本期項目中，元數(shù)據(jù)管理平

9、臺的接口提供以下幾種適配器：庫表結構適配器、PowerCenter適配器、E/R Win適配器、數(shù)據(jù)平臺血脈分析適配器、指標適配器、代碼適配器、表頭適配器等。 29元數(shù)據(jù)存儲結構元數(shù)據(jù)存儲模型層包括兩部分內(nèi)容：元模型定義，即通過XML實現(xiàn)對象、對象關系及對象行為等的定義。元數(shù)據(jù)實例存儲，元數(shù)據(jù)實例存儲到關系數(shù)據(jù)庫中。 30平臺目標與定位技術實現(xiàn)架構數(shù)據(jù)標準管理子平臺元數(shù)據(jù)管理子平臺數(shù)據(jù)質(zhì)量管理子平臺數(shù)據(jù)服務子平臺統(tǒng)一認證與用戶管理模塊議題31平臺目標根據(jù)“數(shù)據(jù)質(zhì)量檢核管理辦法”中PDCA方法論，基于現(xiàn)有數(shù)據(jù)平臺，對其上數(shù)據(jù)進行全質(zhì)量生命周期的管理，包括質(zhì)量問題的定義、檢核監(jiān)控、發(fā)現(xiàn)分析、跟蹤反

10、饋。檢核調(diào)度檢核對象收集需求分析規(guī)則規(guī)則庫執(zhí)行問題數(shù)據(jù)修正檢核需求檢核指標檢核調(diào)度管理數(shù)據(jù)質(zhì)量檢核分析數(shù)據(jù)質(zhì)量問題管理數(shù)據(jù)質(zhì)量趨勢分析數(shù)據(jù)質(zhì)量知識庫32數(shù)據(jù)質(zhì)量度量分類大類細類正確性唯一性檢查非空檢查類型檢查格式檢查值域檢查代碼檢查指標標準偏差檢查數(shù)據(jù)集市指標準確性檢查完整性外鍵約束檢查一致性業(yè)務規(guī)則檢查及時性數(shù)據(jù)平臺數(shù)據(jù)生成及時性檢查33功能需求功能定義完成情況數(shù)據(jù)質(zhì)量檢核定義檢核平臺定義對納入數(shù)據(jù)質(zhì)量管理需求的平臺、數(shù)據(jù)表納入檢核范圍，并定義相關信息已完成檢核指標與規(guī)則定義按數(shù)據(jù)質(zhì)量度量標準，為各類檢核指標定義相關屬性和數(shù)據(jù)檢查規(guī)則。已完成檢核調(diào)度策略定義為數(shù)據(jù)質(zhì)量檢核指標類和業(yè)務方案定義

11、靈活的檢核策略已完成數(shù)據(jù)質(zhì)量檢核執(zhí)行檢核控制引擎調(diào)度符合執(zhí)行策略數(shù)據(jù)質(zhì)量檢核指標，并分派給對應的處理器已完成檢核執(zhí)行處理器對數(shù)據(jù)質(zhì)量檢核指標執(zhí)行特定于其指標類的檢查程序已完成34功能需求功能定義完成情況數(shù)據(jù)質(zhì)量檢核分析問題分布分析對數(shù)據(jù)質(zhì)量檢核的結果按機構、平臺、數(shù)據(jù)質(zhì)量問題三個維度進行分布分析已完成問題趨勢分析對數(shù)據(jù)質(zhì)量檢核的結果按時間維度分析，判斷質(zhì)量改善情況已完成檢核指標批次對比對同一檢核指標的不同批次進行對比，分析質(zhì)量改善情況已完成檢核執(zhí)行報告對特定日期的檢核結果，形成統(tǒng)計報表已完成數(shù)據(jù)質(zhì)量問題管理問題發(fā)現(xiàn)查詢符合特定條件的數(shù)據(jù)質(zhì)量檢核問題已完成問題發(fā)布將需處理的數(shù)據(jù)質(zhì)量檢核問題歸集到

12、一個問題單，并發(fā)布給特定的機構已完成問題處理跟蹤問題單的處理情況已完成問題歸檔對處理完結的問題單進行歸檔處理已完成數(shù)據(jù)質(zhì)量知識管理知識庫維護歸集數(shù)據(jù)質(zhì)量的特定問題，以及特定的解決方案，形成知識信息已完成知識庫查詢查詢數(shù)據(jù)質(zhì)量知識信息已完成35 檢核平臺管理應用界面36 檢核指標管理 主鍵唯一應用界面37 檢核調(diào)度策略管理 業(yè)務解決方案應用界面38 數(shù)據(jù)質(zhì)量檢核分析 問題分布分析 批次對比分析應用界面39 數(shù)據(jù)質(zhì)量問題管理 問題發(fā)現(xiàn)應用界面40邏輯結構三個層面：定義層：定義作為平臺功能的核心-數(shù)據(jù)質(zhì)量檢核，所需使用對象、指標、調(diào)度策略等配置信息；執(zhí)行層：使用已定義的檢核配置信息，對數(shù)據(jù)平臺數(shù)據(jù)進

13、行檢核；分析層：對檢核執(zhí)行結果進行定量、定性的分析與處理。前后端：前端：用戶使用基于操作界面的應用程序進行交互式的檢核信息定義、檢核結果分析等功能；后端：平臺根據(jù)檢核策略在后臺自動執(zhí)行，無需與用戶交互。41檢核調(diào)度與分派42檢核規(guī)則處理器類別存儲過程：固定SQL存儲過程：自定義SQL固定Java程序自定義Groovy規(guī)則腳本固定自定義簡單復雜43Groovy腳本示例package groovyimport java.sql.Connectionimport java.sql.ResultSetimport groovy.sql.Sqlimport cn.cdb.backend.RuleHand

14、ler/* * author 馬春宇 2008-11-11*/public class exampleGroovyRuleHandler extends RuleHandler/groovy數(shù)據(jù)庫執(zhí)行句柄def sql_DQDB,sql_DPDBvoid init(long KPP_BH,Connection CONNS)super.init(KPP_BH,CONNS)sql_DQDB=new Sql(conns0)sql_DPDB=new Sql(conns1)/該方法目標：定義掃描檢核目標表的SQL語句。/sqlHead=select t0.rowid as DQMS_rowid,t0.C

15、ontNo as DQMS_logicalPK,t0.* from ODS_EFF.CDBCT_CONT_INFO t0 ;private String getSqlScanTarTable(String sqlHead) String sqlScanTarTable;String cusClause;/-自定義部分-開始cusClause= where (t0.TranSourCoun is null or trim(t0.TranSourCoun)=) and t0.data_end_date=99999999;/-自定義部分-結束sqlScanTarTable=sqlHead+cusCl

16、ause;return sqlScanTarTable;/該方法目標：描述對單記錄的檢核規(guī)則,如是問題記錄則返回false，否則返回trueprivate boolean exeSingleRecCheck(ResultSet rs) boolean succFlag=false;/-自定義部分-開始String CredStatNo;CredStatNo=rs.getString(CredStatNo);def it=sql_DPDB.firstRow(select LoanType from ODS_EFF.CDBPJ_STAT_INFO where CredStatNo = ?,Cred

17、StatNo)if(it.LoanType in 51,52,53,54) succFlag=true;/-自定義部分-結束return succFlag;44采用技術前端基于Ext Ajax、Spring、hibernate技術實現(xiàn)：檢核配置定義數(shù)據(jù)質(zhì)量問題管理知識庫管理數(shù)據(jù)質(zhì)量對比分析、檢核報告平臺管理基于Cognos報表平臺實現(xiàn)數(shù)據(jù)質(zhì)量分布與趨勢分析后端基于Java、多線程技術實現(xiàn)檢核調(diào)度與分派基于數(shù)據(jù)庫Job Schedule、存儲過程實現(xiàn)存儲過程檢核策略基于Groovy腳本技術實現(xiàn)復雜自定義檢核規(guī)則的執(zhí)行45平臺目標與定位技術實現(xiàn)架構數(shù)據(jù)標準管理子平臺元數(shù)據(jù)管理子平臺數(shù)據(jù)質(zhì)量管理子平

18、臺數(shù)據(jù)服務子平臺統(tǒng)一認證與用戶管理模塊議題46數(shù)據(jù)平臺服務單流程流程定義申請方（包括業(yè)務部門或外包公司）數(shù)據(jù)標準處服務提供方（數(shù)據(jù)處或平臺實施商）數(shù)據(jù)服務申請新建申請?zhí)峤簧暾垟?shù)據(jù)服務審核審核申請服務創(chuàng)建與分配數(shù)據(jù)服務實施任務創(chuàng)建任務執(zhí)行任務簽收服務驗收服務歸檔周期性服務新建服務實例47功能定義完成情況數(shù)據(jù)服務申請維護申請服務申請者新增、維護服務申請已完成提交申請服務申請者提交服務申請已完成數(shù)據(jù)服務審核審核申請數(shù)據(jù)服務管理員審核服務申請已完成服務創(chuàng)建與分配數(shù)據(jù)服務管理員創(chuàng)建服務實例，并分配給指定的服務提供者已完成數(shù)據(jù)服務實施任務創(chuàng)建服務提供者為服務分解任務已完成任務執(zhí)行服務提供者填寫任務執(zhí)行情況已完成任務簽收服務申請者對單個任務，選擇