數據管控總結

1、數據管控交流數據管控交流Agendan數據管控數據管控n元數據管理元數據管理n數據質量管理數據質量管理n數據標準數據標準我們通常提到數據管控我們通常提到數據管控數據綜合治理數據綜合治理能夠想到的數據質量問題能夠想到的數據質量問題n源系統(tǒng)業(yè)務人員錄入正確性問題。源系統(tǒng)業(yè)務人員錄入正確性問題。工行案例：企業(yè)財務報表錄入日期n源系統(tǒng)多系統(tǒng)之間數據不一致的問題。源系統(tǒng)多系統(tǒng)之間數據不一致的問題。工行案例：對公企業(yè)行業(yè)分類問題光大案例：客戶證件類別n操作性業(yè)務系統(tǒng)規(guī)范對后臺分析系統(tǒng)的影響。操作性業(yè)務系統(tǒng)規(guī)范對后臺分析系統(tǒng)的影響。工行案例：增量完整性浦發(fā)案例：前臺系統(tǒng)的數據質量建議方案n業(yè)務統(tǒng)計口徑不一致

2、的問題。業(yè)務統(tǒng)計口徑不一致的問題。信用卡案例：睡眠卡的定義解決這些數據問題的手段解決這些數據問題的手段n我們需要有一個尺度作為判斷的依據來衡量我們需要有一個尺度作為判斷的依據來衡量數據標準n我們需要有一個偵測、報告、協(xié)助分析治理數據問題我們需要有一個偵測、報告、協(xié)助分析治理數據問題的平臺：的平臺：數據質量管理n我們需要對數據問題影響進行分析，我們需要對數據我們需要對數據問題影響進行分析，我們需要對數據進行統(tǒng)一的版本管理和規(guī)范管理控制。進行統(tǒng)一的版本管理和規(guī)范管理控制。元數據管理n我們需要我們需要數據治理是一個工程。n我們需要有偵測、分析、解決方案評估、執(zhí)行的完整我們需要有偵測、分析、解決方案評

3、估、執(zhí)行的完整流程。流程。n我們需要有以下人員的參與：我們需要有以下人員的參與：科技部門n業(yè)務系統(tǒng)的開發(fā)人員n數據治理的專職人員n分析系統(tǒng)的開發(fā)人員業(yè)務部門解決這些數據問題的手段解決這些數據問題的手段Governance=People, Processes, Technology針對數據管控我們還能想到什么？針對數據管控我們還能想到什么？n時效性問題？時效性問題？n數據的安全？隱私問題？數據的安全？隱私問題？n數據的生命周期管理問題？數據的生命周期管理問題？n。數據管控機制的建立數據管控機制的建立n數據管控的定義數據管控的定義n管控結構組成部分管控結構組成部分1. 管控任務和指導原則2. 管控

4、的組織結構 3. 業(yè)務改善和結果追蹤4. 數據管理的落地功能5. 用戶的支持和參與6. SLA有效的管控有效的管控6個組件個組件n每個階段的執(zhí)行情況覆蓋了所有的開發(fā)周期每個階段的執(zhí)行情況覆蓋了所有的開發(fā)周期PlanAnalyzeDesignBuildImplementManageGovernance Program StructureUser Support & InvolvementData Certification & ManagementService LevelAgreementsMission, Policies, Guiding PrinciplesIncremental Pro

5、ject Planning & ImplementationOpportunity Scoping & Results Tracking建立數據管控的考核指標和落地功能建立數據管控的考核指標和落地功能數據質量管理數據質量管理元數據元數據/數據標準數據標準數據模型數據模型數據分布數據分布/生命周期管理生命周期管理數據層次數據層次/數據流數據流數據安全數據安全/數據隱私管理數據隱私管理數據安全性數據安全性數據冗余度數據冗余度數據質量數據質量數據規(guī)范性數據規(guī)范性數據時效性數據時效性數據整合度數據整合度數據數據DG-KPIDG-KPI載體或工具三大功能和相互關系三大功能和相互關系管控體系中的數據標準、

6、數據質量和元數據之間有著緊密的關系，三者的關系如下：管控體系中的數據標準、數據質量和元數據之間有著緊密的關系，三者的關系如下：數據標準向元數據提供業(yè)務元數據的標準定義，并可以通過元數據平臺進行維護；數據標準向元數據提供業(yè)務元數據的標準定義，并可以通過元數據平臺進行維護；數據標準定義了符合進倉數據的標準和依據，指導數據質量進行有效的質量監(jiān)測和檢查；另一方面，通過數據標準定義了符合進倉數據的標準和依據，指導數據質量進行有效的質量監(jiān)測和檢查；另一方面，通過數據質量具體的操作來促進數據標準的執(zhí)行情況；數據質量具體的操作來促進數據標準的執(zhí)行情況；元數據作為數據質量的數據提供者，向數據質量提供包括表、字段

7、、代碼等元數據對象及其屬性定義，能元數據作為數據質量的數據提供者，向數據質量提供包括表、字段、代碼等元數據對象及其屬性定義，能夠幫助倉庫的使用者更好的發(fā)現數據的質量問題；夠幫助倉庫的使用者更好的發(fā)現數據的質量問題；數據管控應用框架數據管控應用框架0數據治理組織架構與崗位職責數據治理模板(流程、定義、發(fā)布)數據治理認責與考核辦法數據數據標準標準管理管理元數元數據管據管理理數據數據質量質量管理管理數據數據安全安全管理管理數據標準需求管理流程數據標準制訂流程數據標準執(zhí)行流程數據標準維護流程數據質量問題處理流程數據質量需求管理流程元數據變更管控流程元數據需求管理流程數據訪問安全數據質量檢核規(guī)則制訂流程

8、元數據調研分析流程元數據維護管理流程數據質量問題排查流程數據維護安全數據備份安全元數據分類模式及屬性舉例元數據分類模式及屬性舉例屬性名稱屬性名稱必填項必填項注釋說明注釋說明標識號M業(yè)務屬性的唯一標識名稱M縮寫M縮寫或業(yè)務屬性名稱的簡要寫法同義詞代表同一含義的不同術語名詞別名其他部門的術語或通俗的講法定義M該術語屬性的詳細定義標準標志元數據規(guī)范的范圍，如全企業(yè)通用、部門級別、獨立使用等。必填標志M必填、可選、有條件的填寫缺省值限制規(guī)則取值范圍的限制條件是否個人信息是否個人隱私信息，如客戶名稱、住址、國籍、生日、信用卡信息等保密等級高中低等重要程度是否是對運營、決策等影響重大的關鍵信息，是否是數據

9、質量檢查點元數據創(chuàng)建人M元數據創(chuàng)建日期M最近修改人最近修改日期質量評分根據數據質量評估模型給出的評分最近評定日期元元數數據據分分類類業(yè)務元數據業(yè)務元數據結構化技術元數據結構化技術元數據關聯(lián)類技術元數據關聯(lián)類技術元數據操作型元數據操作型元數據業(yè)務模型業(yè)務模型主題域主題域業(yè)務實體業(yè)務實體業(yè)務屬性業(yè)務屬性數據質量業(yè)務規(guī)則數據質量業(yè)務規(guī)則數據庫數據庫/文件服務器文件服務器表表/視圖視圖/文件文件列列/字段字段數據集成應用數據集成應用數據集成邏輯模型數據集成邏輯模型數據集成物理模型數據集成物理模型數據質量控制規(guī)則數據質量控制規(guī)則數據處理應用數據處理應用數據處理作業(yè)數據處理作業(yè)分類分類屬性屬性元數據管理的

10、架構元數據管理的架構元數據的基礎功能元數據的基礎功能 元數據查詢?yōu)g覽：側重于對元數據的內容展現和查詢方式支持元數據查詢?yōu)g覽：側重于對元數據的內容展現和查詢方式支持 元數據數據分析：側重于基于元數據的分析功能，從數據中提取對技術、業(yè)務用戶有用的信息元數據數據分析：側重于基于元數據的分析功能，從數據中提取對技術、業(yè)務用戶有用的信息 元數據管理：元數據平臺的管理功能元數據管理：元數據平臺的管理功能 BIBI元數據和企業(yè)級元數據的互動：企業(yè)級元數據經元數據和企業(yè)級元數據的互動：企業(yè)級元數據經ETLETL平臺加工整理進入倉庫，形成平臺加工整理進入倉庫，形成BIBI元數據，可通過元數據，可通過血緣分析和影

11、響分析功能查看兩者的互動關系；血緣分析和影響分析功能查看兩者的互動關系；歷史歷史對象對象元數據瀏覽的靈活性元數據瀏覽的靈活性n元數據對象關系呈立體網狀元數據對象關系呈立體網狀n看本體看本體查看對象本身定義，例如表的名稱、注釋查看對象本身定義，例如表的名稱、注釋等信息。等信息。n向上看向上看查看對象所屬對象的定義，例如表所歸屬查看對象所屬對象的定義，例如表所歸屬的數據庫。的數據庫。n向下看向下看查看對象包含的對象的定義，例如表所包查看對象包含的對象的定義，例如表所包含的字段、索引等。含的字段、索引等。n向前看向前看查看對象的上游信息對象，例如該表的數查看對象的上游信息對象，例如該表的數據的來源表

12、。據的來源表。n向后看向后看查看對象的下游信息對象，例如該表的數查看對象的下游信息對象，例如該表的數據的目標表。據的目標表。n看歷史看歷史查看對象的歷史變更信息。例如該表在上查看對象的歷史變更信息。例如該表在上一個版本中的內容。一個版本中的內容。n看友鄰看友鄰查看與對象有關系的其他對象，例如涉及查看與對象有關系的其他對象，例如涉及該表的腳本等信息該表的腳本等信息。所屬所屬對象對象包含包含對象對象目標目標對象對象來源來源對象對象本體本體對象對象友鄰友鄰對象對象友鄰友鄰對象對象友鄰友鄰對象對象友鄰友鄰對象對象元數據主要分析功能元數據主要分析功能 影響分析影響分析向下向下分析一個元數據對象對下游對象

13、的影響。分析一個元數據對象對下游對象的影響。 血緣分析血緣分析與影響分析的方向相反，與影響分析的方向相反，向上向上追溯一個對象的數據來源。追溯一個對象的數據來源。 全鏈分析全鏈分析從某對象出發(fā)，向上下游雙方向進行分析。從某對象出發(fā)，向上下游雙方向進行分析。 活力分析活力分析分析一個數據庫對象被訪問的分析一個數據庫對象被訪問的頻度頻度。 孤立對象分析孤立對象分析分析數據準備區(qū)分析數據準備區(qū)(SData)、物理模型區(qū)、物理模型區(qū)(PData)中的孤立元數據對象。中的孤立元數據對象。 一致性分析一致性分析定期分析元模型中的元數據是否與實際情況定期分析元模型中的元數據是否與實際情況一致一致。 版本比對

14、版本比對選擇任意兩個時點的版本進行比對。選擇任意兩個時點的版本進行比對。 質量分析質量分析分析數據倉庫中的元數據的質量。分析數據倉庫中的元數據的質量。如何元數據技術的價值如何元數據技術的價值 元數據技術發(fā)展方向任何事物的發(fā)展都是從粗放型到精細型，元數據的發(fā)展也不例外。元數據是關于數據屬性的管理系統(tǒng)，針對數據屬性的管理需要從“定量化”技術指標到“抽象化”的業(yè)務指標的管理。元數據的應用需要從簡單的技術應用模式到復雜的分析應用模式的轉型。元數據發(fā)展目標：元數據的完整性元數據的精細化實現元數據的雙向驅動為目標工商銀行業(yè)務元數據價值的探討工商銀行元數據應用的價值舉例：基于元數據的數據質量評估模型基于元數

15、據的數據溫度評估模型基于元數據的數據生命周期管理機制基于元數據的ETL作業(yè)調度優(yōu)化基于元數據的物理模型優(yōu)化數據質量維度數據質量維度維度維度說明說明完整性完整性必須的數據項已經被記錄時效性時效性數據被及時更新以體現當前事實唯一性唯一性該數據在特定數據集中不存在重復值參照完整性參照完整性數據項在被引用的主表中有定義依賴一致性依賴一致性數據項取值滿足與其他數據項之間的依賴關系基數一致性基數一致性數據項在子表中出現的次數符合標準正確性正確性數據正確體系了真實情況維度維度說明說明精確性精確性數據精度滿足業(yè)務要求的程度技術有效性技術有效性數據符合已定義的格式規(guī)范業(yè)務有效性業(yè)務有效性數據符合已定義的業(yè)務規(guī)則

16、可信度可信度數據的可信依賴程度可用性可用性數據在需要時是可用的可訪問性可訪問性數據易于訪問適用性適用性數據格式和展現滿足用戶需要 必須有一個跨部門以上領導的重視和牽頭 必須有一個專門負責解決數據質量問題的組織 必須有一個專門負責解決數據質量問題的平臺 必須有一個專門負責解決數據質量問題的流程 必須有一個專門負責偵測數據質量問題的工具完整的數據質量解決方案數據質量改進標準流程數據質量改進標準流程啟動啟動S1.1識別已知識別已知數據問題和當前數據問題和當前發(fā)起方發(fā)起方S1.2確定數據確定數據質量評估范圍質量評估范圍S1.3制定數據制定數據治理評估計劃治理評估計劃S1.4獲取相關獲取相關資源資源S1

17、.5風險評估風險評估S1.6搭建數據搭建數據質量評估環(huán)境質量評估環(huán)境定義定義S2.1了解目標了解目標數據概況數據概況S2.2識別關鍵識別關鍵數據項數據項S2.3定義數據定義數據標準和業(yè)務規(guī)則標準和業(yè)務規(guī)則S2.4驗證數據驗證數據標準和業(yè)務規(guī)則標準和業(yè)務規(guī)則S2.5定義數據定義數據質量規(guī)則質量規(guī)則評估評估S3.1獲取評估獲取評估數據數據S3.2使用數據使用數據質量校驗規(guī)則校質量校驗規(guī)則校驗數據驗數據S3.3分析數據分析數據質量問題產生的質量問題產生的根源根源S3.4數據質量數據質量問題影響分析問題影響分析S3.5開發(fā)數據開發(fā)數據質量問題解決方質量問題解決方案案清洗清洗S4.1搭建數搭建數據清洗環(huán)

18、境據清洗環(huán)境S4.2清洗和修清洗和修正問題數據正問題數據S4.3評估清洗評估清洗結果結果改進改進S5.1搭建新搭建新的處理環(huán)境的處理環(huán)境S5.2遷移至新遷移至新的處理環(huán)境的處理環(huán)境S5.3評估改評估改進結果進結果需要工具支持需要工具支持21數據質量平臺功能數據質量平臺功能 管理配置平臺：管理配置平臺：質量規(guī)則的管理維護，支持用戶界面手工編輯方式進行維護或者文件方式批量導入質量規(guī)則的管理維護，支持用戶界面手工編輯方式進行維護或者文件方式批量導入 檢查執(zhí)行平臺：檢查執(zhí)行平臺：數據質量知識庫中抽取相關質量規(guī)則，以檢查腳本為載體，通過數據質量知識庫中抽取相關質量規(guī)則，以檢查腳本為載體，通過ETL服務器

19、任務調度服務器任務調度，完成數據檢查，并將檢查結果保存進數據質量知識庫，完成數據檢查，并將檢查結果保存進數據質量知識庫 質檢報告展示平臺：以質檢報告展示平臺：以WEBWEB頁面或者文件方式查看頁面或者文件方式查看質量檢查結果質量檢查結果數據標準框架數據標準框架數據標準定義數據標準定義數據標準執(zhí)行數據標準執(zhí)行數據標準映射數據標準映射數據標準管理流程數據標準管理流程數據項的主題、分類數據項的業(yè)務屬性數據項的技術屬性數據標準執(zhí)行的架構數據倉庫差異和改進建議源系統(tǒng)差異和改進建議數據標準與源系統(tǒng)的字段級映射數據標準與數據倉庫的字段級映射日常維護更新執(zhí)行和效果追蹤標準定義標準定義標準映射標準映射標準執(zhí)行標

20、準執(zhí)行管理流程管理流程管理工具管理工具業(yè)務數據標準的問題業(yè)務數據標準的問題困難困難實施難易度實施難易度容易容易高高實實施施迫迫切切性性 低低公共數據規(guī)則示例公共數據規(guī)則示例電話號碼電話號碼建議采用正則表達式進行系統(tǒng)固化，例如：建議采用正則表達式進行系統(tǒng)固化，例如：/(0+d2,3-)(0d2,3)-)?(d7,8)(-d3,)?$/合法范例：合法范例021-27765466-201法范例：未以非法范例：未以-分隔，以及所有含非數字字段電話號碼，例如分隔，以及所有含非數字字段電話號碼，例如0a0*11233323手機號碼手機號碼建議采用正則

21、表達式進行系統(tǒng)固化，例如：建議采用正則表達式進行系統(tǒng)固化，例如：/0*(13|15)d9$/合法范例：合法范例15933442231非法范例：非非法范例：非13或或15開頭，長度不為開頭，長度不為11位以及所有含非數字字符的號碼，例如：位以及所有含非數字字符的號碼，例如：1300006454a行政區(qū)劃行政區(qū)劃(省、市省、市)數字代碼采用三層六位層次碼結構數字代碼采用三層六位層次碼結構省、自治區(qū)、直轄市、特別行政區(qū)的字母用兩位大寫字母表示省、自治區(qū)、直轄市、特別行政區(qū)的字母用兩位大寫字母表示市、地區(qū)、縣級市、市轄區(qū)的字母用三位大寫字母表示市、地區(qū)、縣級市、市轄區(qū)的字母用

22、三位大寫字母表示地址地址地址信息之不允許包含省份、城市和區(qū)縣的信息地址信息之不允許包含省份、城市和區(qū)縣的信息應該按照下列順序依次填寫街道、門牌號、單元室號等信息應該按照下列順序依次填寫街道、門牌號、單元室號等信息郵編郵編采用四級六位編碼制，前兩位表示省、市、自治區(qū)，第三位代表郵區(qū)，第四位代表縣、市，最后兩位代采用四級六位編碼制，前兩位表示省、市、自治區(qū)，第三位代表郵區(qū)，第四位代表縣、市，最后兩位代表投遞郵局表投遞郵局建議采用正則表達式進行固化，例如：建議采用正則表達式進行固化，例如：/0-96$/郵件地址郵件地址建議采用正則表達式進行固化，例如：建議采用正則表達式進行固化，例如：/_a-z0-

23、9+(_a-z0-9+.)+a-z0-92,3$工作目標和重點工作目標和重點產品產品客戶客戶渠道渠道交易交易客戶資產客戶資產機構機構財務財務 協(xié)議協(xié)議營銷營銷地址地址公共代碼公共代碼業(yè)務主題業(yè)務主題統(tǒng)一的定義統(tǒng)一的定義可執(zhí)行的標準可執(zhí)行的標準配套的管理流程和職責配套的管理流程和職責總體總體規(guī)劃規(guī)劃 數據映射數據映射執(zhí)行建議執(zhí)行建議 業(yè)務和技術業(yè)務和技術分類及屬性分類及屬性申請申請維護維護廢止廢止數據管理員數據管理員公用公用三期（三期（2010/01-2010/06)2010/01-2010/06)啟動數據標準后評價啟動數據標準后評價作業(yè)作業(yè), ,評價項目執(zhí)行狀況評價項目執(zhí)行狀況以及復審管理流程

24、的適以及復審管理流程的適用性用性建立專職小組建立專職小組兼職：每部門兼職：每部門2 2人人客戶資產客戶資產當事人完整視圖定義當事人完整視圖定義員工和機構員工和機構各主題標準的維護和更新各主題標準的維護和更新提供相關系統(tǒng)建設指導提供相關系統(tǒng)建設指導建立起全行的數據標準管建立起全行的數據標準管理架構理架構一期（一期（2008/02-08)2008/02-08)建立兼職數據標準小組建立兼職數據標準小組建立數據管理流程建立數據管理流程建設管理工具建設管理工具兼職：每部門兼職：每部門1 1人人基礎框架基礎框架客戶、產品主題客戶、產品主題公共代碼公共代碼ECIFECIF的客戶模型的客戶模型相關系統(tǒng)的產品相

25、關系統(tǒng)的產品統(tǒng)一的客戶視圖統(tǒng)一的客戶視圖數據標準實施藍圖和路線圖數據標準實施藍圖和路線圖二期（二期（2008/09-2009/12)2008/09-2009/12) 逐步建立專職機構逐步建立專職機構建立管控績效指標，納入機建立管控績效指標，納入機構考核構考核專職專職1-31-3人人兼職：每部門兼職：每部門2 2人人營銷活動營銷活動協(xié)議協(xié)議- -分類及層級分類及層級渠道類型及識別渠道類型及識別交易交易代碼和核心信息交易交易代碼和核心信息前臺產品管理系統(tǒng)建設前臺產品管理系統(tǒng)建設EDWEDW中間層的公用指標建立中間層的公用指標建立提供相關系統(tǒng)建設指導提供相關系統(tǒng)建設指導全行一致的統(tǒng)計口徑全行一致的統(tǒng)

26、計口徑閉環(huán)式的營銷活動提供指引閉環(huán)式的營銷活動提供指引公用統(tǒng)計口徑及標準公用統(tǒng)計口徑及標準KPIKPI初級利潤貢獻度初級利潤貢獻度規(guī)劃的實施路線圖規(guī)劃的實施路線圖各階段各階段數據數據管控管控體系體系數據數據標準標準定義定義數據數據標準標準落地落地業(yè)務業(yè)務價值價值組織組織流程流程人員人員基礎基礎標準標準公用公用標準標準系統(tǒng)系統(tǒng)建設建設1.1.定期復審數定期復審數據標準，評估據標準，評估前期成果合理前期成果合理及適用性，推及適用性，推動必要修正，動必要修正，保證數據標準保證數據標準的有效性的有效性2.2.定期審視前定期審視前、中、后臺操、中、后臺操作作/ /管理系統(tǒng)管理系統(tǒng)有無不符合數有無不符合數

27、據標準指導原據標準指導原則部門，評估則部門，評估修正可能修正可能3.3.定期審視現定期審視現有操作流程評有操作流程評估數據標準使估數據標準使用的合理性，用的合理性，作為未來修改作為未來修改、新增操作流、新增操作流程依據程依據落地建議僅供參考，不作為本項目的交付落地建議僅供參考，不作為本項目的交付標準的維護和更新標準的維護和更新一期項目標準定義（一期項目標準定義（1）：客戶主題）：客戶主題客戶定義與分類客戶定義與分類客戶信息模型客戶信息模型產品定義及原則產品定義及原則一期項目標準定義（一期項目標準定義（2）：產品主題）：產品主題產品清單產品清單產品分層產品分層產品信息模型產品信息模型產品特征定義

28、產品特征定義產品與特征的映射產品與特征的映射一期項目標準定義（一期項目標準定義（3）：標準代碼）：標準代碼(I) 完成完成199個公共代碼的標準定義，分個公共代碼的標準定義，分布在客戶、產品、協(xié)議等多個主題布在客戶、產品、協(xié)議等多個主題代碼定義原則及分類代碼定義原則及分類代碼定義范例代碼定義范例一期項目一期項目-標準管理組織架構和角色定義標準管理組織架構和角色定義目前的組織架目前的組織架構：由領導小構：由領導小組、辦公室和組、辦公室和數據管理員組數據管理員組成三層兼職組成三層兼職組織架構織架構數據標準管理數據標準管理領導小組領導小組數據管理員數據管理員系統(tǒng)管理員系統(tǒng)管理員數據標準數據標準業(yè)務專

29、家業(yè)務專家對數據標準的定義與對數據標準的定義與變更提供專家意見變更提供專家意見配合解釋數據標準的配合解釋數據標準的業(yè)務含義和業(yè)務規(guī)則業(yè)務含義和業(yè)務規(guī)則配合數據管理員完成配合數據管理員完成其他數據標準管理事項其他數據標準管理事項 數據標準定義數據標準定義變更核準與修改維護變更核準與修改維護數據標準復審數據標準復審標準執(zhí)行的監(jiān)督標準執(zhí)行的監(jiān)督標準的一致性解釋標準的一致性解釋金融標準委員會相關金融標準委員會相關標準的復審和落實標準的復審和落實數據標準管理工具的數據標準管理工具的運營與維護運營與維護數據標準管理工具的數據標準管理工具的用戶設置與權限管理用戶設置與權限管理 數據標準數據標準管理辦公室管理

30、辦公室發(fā)起、組織數據標準的新建發(fā)起、組織數據標準的新建協(xié)調跨領域變更與重大變更核準協(xié)調跨領域變更與重大變更核準組織數據標準定期復審組織數據標準定期復審監(jiān)控標準執(zhí)行項目的進展與效果監(jiān)控標準執(zhí)行項目的進展與效果數據標準的發(fā)布、備案、版本管理數據標準的發(fā)布、備案、版本管理行外數據標準化組織的聯(lián)系行外數據標準化組織的聯(lián)系行業(yè)標準發(fā)展狀況的跟蹤行業(yè)標準發(fā)展狀況的跟蹤審定數據標準建立方案審定數據標準建立方案審議數據標準重大變更審議數據標準重大變更核準數據標準復審核準數據標準復審審定和推行數據標準執(zhí)行方案審定和推行數據標準執(zhí)行方案指定標準執(zhí)行項目的業(yè)務牽頭指定標準執(zhí)行項目的業(yè)務牽頭部門部門推動標準在全行的使

31、用落實推動標準在全行的使用落實指派數據管理員與業(yè)務專家指派數據管理員與業(yè)務專家一期項目一期項目-數據標準變更維護流程數據標準變更維護流程二期項目二期項目2008/122008/12 2009/12009/1 2009/22009/2 2009/32009/3 2009/42009/4 2009/5 2009/5 2009/6 2009/6 2009/72009/7 2009/82009/80 1 0 1 2 2 3 4 5 6 7 3 4 5 6 7 8 8二期標準定義二期標準定義 渠道主題數據標準渠道主題數據標準渠道定義渠道定義渠道類型渠道類型/ /種類種類渠道信息模型渠道信息模型渠道主題渠

32、道主題交易主題交易主題關鍵統(tǒng)計指標關鍵統(tǒng)計指標交易主題數據標準交易主題數據標準交易定義交易定義交易類型交易類型交易核心信息項和使用規(guī)范交易核心信息項和使用規(guī)范交易費收入識別規(guī)則交易費收入識別規(guī)則關鍵統(tǒng)計指標數據標準關鍵統(tǒng)計指標數據標準指標分類及定義原則指標分類及定義原則指標定義基礎框架指標定義基礎框架關鍵統(tǒng)計指標標準定義關鍵統(tǒng)計指標標準定義二期項目數據標準定義（二期項目數據標準定義（1）-渠道主題渠道主題q 渠道定義：渠道定義：客戶獲取銀行或銀行產品信息以及購買或使用銀行產品、服務的媒介。幾點解讀：渠道是銀行與客戶之間的接觸點，只有在我行與客戶相互接觸（直接或間接）的事件中才包含渠道信息。通過

33、渠道，客戶可以主動接觸我行，獲取我行信息，購買和使用我行產品與服務；通過渠道，我行也可以主動向客戶銷售產品、提供信息和服務。以我行視角定義的渠道是我行所提供的、延伸至最外端、可供客戶接觸我行或我行主動接觸客戶的媒介。q 渠道信息模型渠道信息模型 按照信息大類、小類和信息項分層定義 覆蓋基本、銀行管理、利潤、運維、關聯(lián)、特有、分組信息等七大類，22小類，共計115個信息項 各信息項的業(yè)務定義描述、數據類型、數據長度等二期項目數據標準定義（二期項目數據標準定義（2） -交易主題交易主題銀行為了滿足客戶的金融服務需求或者自身的經營管理需求，進銀行為了滿足客戶的金融服務需求或者自身的經營管理需求，進行

34、的用來實現價值轉移、服務提供的活動。行的用來實現價值轉移、服務提供的活動。交易核心信息項交易核心信息項交易費收入客戶識別交易費收入客戶識別二期項目數據標準定義（二期項目數據標準定義（3） -關鍵統(tǒng)計指標關鍵統(tǒng)計指標n規(guī)范定義了規(guī)范定義了265265個指標，高度覆蓋了現有的關鍵指標報表類應用個指標，高度覆蓋了現有的關鍵指標報表類應用一致粒度的指標：在收集到的原始指標中，按照指標合并拆分原則適當的提取和合并，使所有指標的定義粒度相對一致，也使得指標列表更為簡潔，避免重復定義。重復指標的定義：對其中的45對重復指標進行了核實，統(tǒng)一了這些全行經營戰(zhàn)略重點關注的指標定義和描述，消除歧義和沖突。指標定義的

35、修正：根據命名規(guī)范對指標名稱的規(guī)范；根據業(yè)務的發(fā)展，對一些原有的指標定義進行了修正，使之更精確描述。二期項目數據標準定義（二期項目數據標準定義（3）關鍵統(tǒng)計指標標準）關鍵統(tǒng)計指標標準業(yè)務統(tǒng)計口徑白皮書業(yè)務統(tǒng)計口徑白皮書指標信息管理，促進了業(yè)務元數據的管理業(yè)務上推動了業(yè)務需求標準化管理，為未來統(tǒng)一指標庫的建設奠定了基礎；作為應用需求和需求分析的參考手冊，減少了需求反復，節(jié)約了溝通成本提供統(tǒng)一規(guī)范的定義框架，有助于新指標的快速實施推薦使用而非強制執(zhí)行，利用使用數據的沉淀，增強可用性統(tǒng)一指標庫統(tǒng)一指標庫建立一種全新高效、準確開放的數據信息應用管理模式，由業(yè)務管理指標庫和指標數據庫構成統(tǒng)一的指標加工平

36、臺，統(tǒng)一的指標計算口徑，解決數據質量問題全行有效、標準、統(tǒng)一的指標數據采集、存儲、管理機制，進而形成全行統(tǒng)一標準規(guī)范下指標口徑和取數邏輯的統(tǒng)一視圖，解決了需求整合的問題一期標準落地概況一期標準落地概況n公共代碼數據標準使用概況公共代碼數據標準使用概況38 5/10/2022業(yè)務主題業(yè)務主題項目項目使用對象使用對象使用方式使用方式客戶主題圖形化前端l客戶信息模型盡量遵循數據標準的信息模型要求，同時兼顧本系統(tǒng)的個性化需求客戶主題ECIFl客戶定義與分類l客戶信息模型l客戶識別和歸并規(guī)則以客戶主題信息模型作為需求的主要參考產品主題對公OCRMl產品清單l產品識別規(guī)則數據加工處理參照產品映射關系 基礎

37、主題數據標準使用概況基礎主題數據標準使用概況項目項目使用數使用數/ /總數總數未使用原因未使用原因/ /影響影響新個貸25/27l涉及程序調整、回歸測試對開發(fā)進度影響較大l業(yè)務條線管理要求比已定義的數據標準更細致，引發(fā)3項數據標準變更圖形化前端5/25l圖形化前端項目具有一定的特殊性，對應多個后臺系統(tǒng)，沒有特定的數據存儲l同一個代碼在不同系統(tǒng)里代碼值都不一樣，如證件類型、客戶狀態(tài)等。參照執(zhí)行數據標準中的技術屬性l部分公共代碼沒有被目前的數據標準所覆蓋，待將來補充完善貴金屬1/1l代碼以交易主題為主，未能被目前的數據標準公共代碼所覆蓋公共代碼標準：是各系統(tǒng)數據字典設計的重要參照，包括業(yè)務與技術屬

38、性、取值及含義公共代碼標準：是各系統(tǒng)數據字典設計的重要參照，包括業(yè)務與技術屬性、取值及含義基礎主題標準：是相關主題業(yè)務需求的基礎和藍本基礎主題標準：是相關主題業(yè)務需求的基礎和藍本數據映射：可做為系統(tǒng)字典對照與數據整合處理的重要參考數據映射：可做為系統(tǒng)字典對照與數據整合處理的重要參考同時標準的新建、變更維護也應與業(yè)務需求梳理工作結合進行，不斷適應新的需求，逐步完善同時標準的新建、變更維護也應與業(yè)務需求梳理工作結合進行，不斷適應新的需求，逐步完善議程議程他行經驗和借鑒他行經驗和借鑒光大數據標準后續(xù)改進策略和工作建議光大數據標準后續(xù)改進策略和工作建議光大數據標準化工作成果光大數據標準化工作成果國內銀

39、行數據標準化建設情況國內銀行數據標準化建設情況銀行銀行建設情況建設情況牽頭部門牽頭部門建設銀行完成，主要是面向共用代碼，在后臺數據處理中進行轉換和落地。信息中心，數據標準處工商銀行立項，并且在招標過程中，主要是面向客戶信息標準化和統(tǒng)計指標口徑標準化管理信息部國家開發(fā)銀行完成部分，包括客戶信息數據標準和數據標準管理流程科技部，信息標準處農業(yè)銀行規(guī)劃中科技部，信息中心q數據標準項目是管理信息系統(tǒng)規(guī)劃的子項目數據標準項目是管理信息系統(tǒng)規(guī)劃的子項目q項目目標：項目目標：“業(yè)務變革與信息技術變革在全行全方位業(yè)務變革與信息技術變革在全行全方位展開，而增強數據定義和使用的一致性將促進展開，而增強數據定義和使

40、用的一致性將促進系統(tǒng)集成，充分實現信息資源共享。系統(tǒng)集成，充分實現信息資源共享。”q項目范圍項目范圍:“:“通用數據通用數據”標準標準q牽頭部門：信息中心數據標準處牽頭部門：信息中心數據標準處q參與部門：參與部門：1414個業(yè)務部門、個業(yè)務部門、2121個應用系統(tǒng)個應用系統(tǒng)q邏輯數據模型邏輯數據模型LDMLDMq通用數據標準定義（通用數據標準定義（1212大信息類）大信息類）q產品清單產品清單q客戶數據標準客戶數據標準q公共代碼定義公共代碼定義項目概況：項目概況：主要產出：主要產出：國內銀行國內銀行C：基本情況：基本情況國內銀行國內銀行C:標準代碼的執(zhí)行標準代碼的執(zhí)行信息中心信息標準信息中心信

41、息標準劃處負責標準制定劃處負責標準制定和維護職能和維護職能信息科技部后臺系統(tǒng)負責信息科技部后臺系統(tǒng)負責數據標準在后臺分析系統(tǒng)數據標準在后臺分析系統(tǒng)的落地執(zhí)行的落地執(zhí)行國內銀行國內銀行C：經驗與教訓：經驗與教訓n數據標準項目由信息中心牽頭，該部門由業(yè)務人員和數據標準項目由信息中心牽頭，該部門由業(yè)務人員和IT IT人員共同組成人員共同組成n數據標準是長期持續(xù)的工作，該行成立了數據標準處來專職負責數據標準是長期持續(xù)的工作，該行成立了數據標準處來專職負責n數據標準項目的成功有賴于各業(yè)務部門以及周邊項目的鼎力支持和參與數據標準項目的成功有賴于各業(yè)務部門以及周邊項目的鼎力支持和參與n在全行的數據質量檢查中

42、納入數據標準遵循度的考核，并將檢查結果與績效在全行的數據質量檢查中納入數據標準遵循度的考核，并將檢查結果與績效掛鉤掛鉤n該行的數據標準項目僅完成了數據標準定義，數據標準的使用和執(zhí)行力度較該行的數據標準項目僅完成了數據標準定義，數據標準的使用和執(zhí)行力度較小。除標準代碼外，其它主題數據標準均停留在紙面上小。除標準代碼外，其它主題數據標準均停留在紙面上n產品標準與產品分類目錄脫節(jié)，造成產品目錄、產品數據標準均無法執(zhí)行和產品標準與產品分類目錄脫節(jié)，造成產品目錄、產品數據標準均無法執(zhí)行和更新維護更新維護議程議程他行經驗和借鑒他行經驗和借鑒光大數據標準后續(xù)改進策略和工作建議光大數據標準后續(xù)改進策略和工作建

43、議光大數據標準化工作成果光大數據標準化工作成果標準落地與標準定義完善工作的相互促進標準落地與標準定義完善工作的相互促進4545標準編制標準編制標準管理標準管理標準發(fā)布標準發(fā)布標準執(zhí)行標準執(zhí)行信息管控信息管控 業(yè)務定義業(yè)務定義 技術技術/ /流程定義流程定義 規(guī)范規(guī)范/ /口徑定義口徑定義 發(fā)布工具發(fā)布工具 瀏覽查詢?yōu)g覽查詢 通知機制通知機制 執(zhí)行策略執(zhí)行策略 優(yōu)先策略優(yōu)先策略 實施策略實施策略 變更申請變更申請 管理維護管理維護 工作流程工作流程數據標準專業(yè)團隊工作：數據標準專業(yè)團隊工作：標準落地執(zhí)行標準落地執(zhí)行標準監(jiān)管標準監(jiān)管標準審核標準審核標準維護標準維護標準定義標準定義在數據標準落地執(zhí)行

44、的過程中，必須持續(xù)對現有標準成果進行有效管理在數據標準落地執(zhí)行的過程中，必須持續(xù)對現有標準成果進行有效管理和維護，并在落地執(zhí)行項目的推進過程中，逐步建立、完善數據標準的和維護，并在落地執(zhí)行項目的推進過程中，逐步建立、完善數據標準的管理流程與規(guī)范，使數據標準工作納入各部門的日常工作中。管理流程與規(guī)范，使數據標準工作納入各部門的日常工作中。標準落地執(zhí)行的復雜性、長期性和綜合性標準落地執(zhí)行的復雜性、長期性和綜合性4646 數據標準在銀行的推廣實施，牽涉面廣、技術復雜、集成化程度高，數據標準在銀行的推廣實施，牽涉面廣、技術復雜、集成化程度高，在在ITIT層面涉及系統(tǒng)開發(fā)、系統(tǒng)改造以及新老系統(tǒng)的銜接。數

45、據標準落地層面涉及系統(tǒng)開發(fā)、系統(tǒng)改造以及新老系統(tǒng)的銜接。數據標準落地執(zhí)行是一項復雜的、長期的、綜合的工作，必須根據我行的實際情況以執(zhí)行是一項復雜的、長期的、綜合的工作，必須根據我行的實際情況以分步實施的模式逐步推進。分步實施的模式逐步推進。區(qū)別對待區(qū)別對待平臺支撐平臺支撐完善管理完善管理項目推進項目推進階段實施階段實施有有“生命生命”的數據的數據標準標準業(yè)務驅動業(yè)務驅動標準落地執(zhí)行策略之一：業(yè)務驅動標準落地執(zhí)行策略之一：業(yè)務驅動4747 業(yè)務部門的需求業(yè)務部門的需求推動標準執(zhí)行推動標準執(zhí)行 標準執(zhí)行的效果標準執(zhí)行的效果體現業(yè)務價值體現業(yè)務價值 業(yè)務現實迫切程度業(yè)務現實迫切程度落地執(zhí)行的落地執(zhí)行

46、的前提和重點前提和重點有人想用有人想用 + + 有人用有人用 = = 有用有用區(qū)別對待區(qū)別對待平臺支撐平臺支撐完善管理完善管理項目推進項目推進階段實施階段實施有有“生命生命”的的數據標準數據標準業(yè)務驅動業(yè)務驅動標準落地執(zhí)行策略之二：標準落地執(zhí)行策略之二：項目推進項目推進4848現有現有系統(tǒng)系統(tǒng) 以業(yè)務價值高的項目或專題為優(yōu)先以業(yè)務價值高的項目或專題為優(yōu)先 實施前充分溝通，進行可行性研究和業(yè)務價值評估，制定詳細落地執(zhí)實施前充分溝通，進行可行性研究和業(yè)務價值評估，制定詳細落地執(zhí)行方案行方案 涉及多系統(tǒng)、多項目，需要標準專業(yè)小組統(tǒng)籌、組織和統(tǒng)一協(xié)調管理涉及多系統(tǒng)、多項目，需要標準專業(yè)小組統(tǒng)籌、組織和

47、統(tǒng)一協(xié)調管理 保障項目人員、經費、開發(fā)時間等資源保障項目人員、經費、開發(fā)時間等資源新建新建系統(tǒng)系統(tǒng) 開發(fā)流程中設立檢查點來確保數據標準的執(zhí)行開發(fā)流程中設立檢查點來確保數據標準的執(zhí)行 項目立項項目立項 設計評審（需求定義、功能設計、數據庫設計等）設計評審（需求定義、功能設計、數據庫設計等） 上線評審上線評審 數據標準執(zhí)行與項目流程的有機結合數據標準執(zhí)行與項目流程的有機結合 從項目中采標，不斷充實、完善數據標準從項目中采標，不斷充實、完善數據標準區(qū)別對待區(qū)別對待平臺支撐平臺支撐完善管理完善管理項目推進項目推進階段實施階段實施有有“生命生命”的的數據標準數據標準業(yè)務驅動業(yè)務驅動建立配套的針對數據標準

48、項目開發(fā)流程建立配套的針對數據標準項目開發(fā)流程設計設計開發(fā)開發(fā)測試測試上線上線應用維護應用維護需求分析需求分析數據標準執(zhí)行內容數據標準執(zhí)行內容責任人責任人在需求分析過程中在需求分析過程中，分析業(yè)務定義是，分析業(yè)務定義是否需采納執(zhí)行相應否需采納執(zhí)行相應的數據標準。確定的數據標準。確定標準適用范圍，將標準適用范圍，將作為設計開發(fā)階段作為設計開發(fā)階段執(zhí)行數據標準和上執(zhí)行數據標準和上線階段進行評審的線階段進行評審的依據。依據。業(yè)務需求人員業(yè)務需求人員業(yè)務數據管理員業(yè)務數據管理員在功能設計和數在功能設計和數據庫設計時執(zhí)行據庫設計時執(zhí)行數據標準的業(yè)務數據標準的業(yè)務屬性和技術屬性屬性和技術屬性系統(tǒng)設計人員系

49、統(tǒng)設計人員數據架構師數據架構師科技數據管理員科技數據管理員在上線評審時確在上線評審時確認對數據標準的認對數據標準的遵循程度：遵循程度：對數據標準的遵對數據標準的遵循程度循程度未執(zhí)行數據標準未執(zhí)行數據標準的原因及內容的原因及內容對數據標準的更對數據標準的更新需求新需求業(yè)務數據管理員業(yè)務數據管理員科技數據管理員科技數據管理員在應用變更時確在應用變更時確認對數據標準的認對數據標準的遵循程度：遵循程度：對數據標準的對數據標準的遵循程度遵循程度變更未執(zhí)行數變更未執(zhí)行數據標準的原因據標準的原因對數據標準的對數據標準的更新需求更新需求業(yè)務數據管理業(yè)務數據管理員員科技數據管理科技數據管理員員數據標準的參與人分

50、析職能和定位數據標準的參與人分析職能和定位角色角色職能職能業(yè)務參與度業(yè)務參與度技術參與度技術參與度專職專職/兼職兼職制定者制定者參與數據標準的制定、討論、審核工作。使用者使用者在非科技項目的業(yè)務的日常經營分析過程中，貫徹和使用數據標準項目的成果。執(zhí)行者執(zhí)行者負責完成數據標準在科技項目執(zhí)行中的方案論證，影響評估和設計開發(fā)工作。管理員管理員完成數據標準的日常管理的補充、更新、細化、調整、解釋等維護工作監(jiān)督員監(jiān)督員完成進行數據標準執(zhí)行工作的監(jiān)督管理和定期的評估工作數據標準工作推進的建議數據標準工作推進的建議近期目標近期目標（2010年）年）配合數據質量管理項目建設，將數據標準配合數據質量管理項目建設

51、，將數據標準管理內容部署到數據質量管理流程中，有管理內容部署到數據質量管理流程中，有效監(jiān)控數據標準執(zhí)行狀況；效監(jiān)控數據標準執(zhí)行狀況；逐步充實數據標準專業(yè)團隊，繼續(xù)負責落逐步充實數據標準專業(yè)團隊，繼續(xù)負責落地項目的統(tǒng)籌、組織協(xié)同，以及標準采標地項目的統(tǒng)籌、組織協(xié)同，以及標準采標和維護管理；和維護管理；繼續(xù)完善標準定義、維護、監(jiān)控工作。繼續(xù)完善標準定義、維護、監(jiān)控工作。以標準落地工作為重點，選擇合適的專以標準落地工作為重點，選擇合適的專題項目題項目( (如客戶關系管理如客戶關系管理) )作為切入點，以作為切入點，以業(yè)務效果為目標進行落地實施；業(yè)務效果為目標進行落地實施；繼續(xù)開展數據標準定義工作（如機構主繼續(xù)開展數據標準定義工作（如機構主題），進一步完善數據標準內容；題），進一步完善數據標準內容；以落地項目為依托，繼續(xù)完善數據標準以落地項目為依托，繼續(xù)完善數據標準的發(fā)布、維護、監(jiān)控管理。的發(fā)布、維護、監(jiān)控管理。中長期中長期目標目標（2011-2012年）年）工作小組工作小組+兼職成員兼職成員+外部專家外部專家數據標準專業(yè)團隊數據標準專業(yè)團隊+工作小組工作小組近期重點工作之一：選擇客戶關系管理主題進行落地執(zhí)行近期重點工作之一：選擇客戶關系管理主題進行落地執(zhí)行52數據標準客戶主題工作成果：數據標準客戶主題工作成果：明確客戶定義和分類明確客戶定義和分類梳理客戶的主要信息類