數(shù)據(jù)治理與數(shù)據(jù)認(rèn)責(zé)體系概述

數(shù)據(jù)治理與數(shù)據(jù)認(rèn)責(zé)體系概述01概述數(shù)據(jù)治理是國外銀行業(yè)自90年代興起的概念，最開始的主要目標(biāo)是進(jìn)行客戶數(shù)據(jù)清理、完善數(shù)據(jù)標(biāo)準(zhǔn)、確保銀行數(shù)據(jù)的完整性，隨著銀行業(yè)務(wù)不斷拓展、數(shù)據(jù)及其相關(guān)理論逐步完善，數(shù)據(jù)治理的概念和方法在金融行業(yè)已經(jīng)達(dá)成了共識(shí)，即數(shù)據(jù)不但是有價(jià)值而且還是有競爭價(jià)值的資產(chǎn)，為了讓數(shù)據(jù)一致、準(zhǔn)確、及時(shí)地交付給數(shù)據(jù)使用者，最重要的是，為了讓數(shù)據(jù)能被使用者充分理解，企業(yè)必須要對現(xiàn)有的數(shù)據(jù)進(jìn)行治理。

數(shù)據(jù)治理體現(xiàn)了圍繞企業(yè)數(shù)據(jù)處理所進(jìn)行的數(shù)據(jù)質(zhì)量、數(shù)據(jù)管理、數(shù)據(jù)政策、業(yè)務(wù)流程管理與風(fēng)險(xiǎn)管理等一系列實(shí)踐的融合。

企業(yè)通過數(shù)據(jù)治理可以保證數(shù)據(jù)的可信性，并且對數(shù)據(jù)認(rèn)責(zé)的流程和方法可以施以積極主動(dòng)的控制。數(shù)據(jù)治理需要以多種形式綜合使用各種技術(shù)手段來輔助治理流程，需要時(shí)要賦予相關(guān)人員以權(quán)力及相應(yīng)技術(shù)手段來建立流程。

02數(shù)據(jù)不佳的根本原因

我們經(jīng)常會(huì)聽到數(shù)據(jù)使用者對數(shù)據(jù)的抱怨：“我們有很多的重復(fù)數(shù)據(jù)”---沒有解決方案“數(shù)字永遠(yuǎn)加不起來”---不同部門使用不同的代碼和統(tǒng)計(jì)口徑“我的報(bào)告到達(dá)總是延遲，得到的總是過時(shí)的信息”---提供關(guān)鍵數(shù)據(jù)的接口經(jīng)常出錯(cuò)“我們永遠(yuǎn)不知道在哪里可以找到我們想要的信息”---缺乏對數(shù)據(jù)的理解“我們不能同意對我們的考核指標(biāo)”---部門使用不同的標(biāo)準(zhǔn)來衡量他們的績“我怎樣才能獲得這個(gè)信息”---沒有明確的保密和安全流程

而這些數(shù)據(jù)問題的來源是多方面的，業(yè)務(wù)和IT都會(huì)產(chǎn)生數(shù)據(jù)問題，下面顯示的是來自一個(gè)調(diào)研機(jī)構(gòu)的調(diào)查結(jié)果。

通過上面的調(diào)研結(jié)果，我們可以看到各種數(shù)據(jù)問題產(chǎn)生的主要原因包括：

?76％數(shù)據(jù)錄入錯(cuò)誤?53％源系統(tǒng)的變化?48％數(shù)據(jù)遷移或項(xiàng)目改建?46％用戶不同的期望?26％系統(tǒng)錯(cuò)誤

目前，許多組織開始認(rèn)識(shí)到，為了把數(shù)據(jù)作為一項(xiàng)有價(jià)值的商業(yè)資產(chǎn)，或者甚至作為他們的財(cái)務(wù)資產(chǎn)，他們需要做一些更好的工作來管理這些數(shù)據(jù)。

現(xiàn)實(shí)的情況是，企業(yè)往往在口頭上承認(rèn)數(shù)據(jù)是企業(yè)的經(jīng)營資產(chǎn)。他們談?wù)搶?shí)施組織，標(biāo)準(zhǔn)，規(guī)則，流程和工具來管理和提高數(shù)據(jù)的需要，但未能實(shí)現(xiàn)，并支持他們。因此，數(shù)據(jù)的質(zhì)量就會(huì)大打折扣。

“我們用系統(tǒng)來管理我們業(yè)務(wù)的各個(gè)方面，卻沒有一個(gè)地方來管理系統(tǒng)本身！”。

如果企業(yè)數(shù)據(jù)管理流程失敗了，數(shù)據(jù)仍然會(huì)流經(jīng)我們的IT系統(tǒng)，但是這些數(shù)據(jù)將不會(huì)也不能自我管理！

雖然我們采取了相關(guān)的數(shù)據(jù)管理措施，如：數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)整合、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型和數(shù)據(jù)安全方面的管理，但是，流經(jīng)我們各個(gè)系統(tǒng)的數(shù)據(jù)的可信度，完整性，安全性還是得不到保證的，因?yàn)閿?shù)據(jù)質(zhì)量問題的根本原因是：缺乏數(shù)據(jù)政策，數(shù)據(jù)標(biāo)準(zhǔn)，指導(dǎo)原則和規(guī)則，缺乏工具和流程。

03數(shù)據(jù)問題制約了業(yè)務(wù)的快速發(fā)展

一份研究機(jī)構(gòu)所作的調(diào)研結(jié)果是：47％的決策者對數(shù)據(jù)沒有信心；59％的決策者遇到缺失的數(shù)據(jù)；42％的決策者知道，他們使用了錯(cuò)誤的信息。因此，數(shù)據(jù)問題將制約業(yè)務(wù)的快速發(fā)展，導(dǎo)致企業(yè)缺乏競爭力。

1、數(shù)據(jù)質(zhì)量缺陷將導(dǎo)致：?由于財(cái)務(wù)報(bào)表上的有失準(zhǔn)確和數(shù)據(jù)之間的互相矛盾帶來更高的違規(guī)風(fēng)險(xiǎn)?由于客戶信息的有失準(zhǔn)確造成市場營銷的低效?過度打擾客戶

2、數(shù)據(jù)模型缺陷將導(dǎo)致：?不同業(yè)務(wù)和數(shù)據(jù)主題之間數(shù)據(jù)的定義不一致?資源浪費(fèi)：重復(fù)的數(shù)據(jù)對象和數(shù)據(jù)元素?耗時(shí)的工作去找到你要找的數(shù)據(jù)?選擇了錯(cuò)誤的數(shù)據(jù)來訪問

3、元數(shù)據(jù)管理缺陷將導(dǎo)致：?尋找一個(gè)數(shù)據(jù)需要花費(fèi)很長的時(shí)間?由于認(rèn)識(shí)不足造成低效或錯(cuò)誤的決策?延長開發(fā)周期，提高培訓(xùn)成本?由于對數(shù)據(jù)和業(yè)務(wù)規(guī)則缺乏信心造成低使用率

4、數(shù)據(jù)整合缺陷將導(dǎo)致：?由于各系統(tǒng)之間數(shù)據(jù)互相矛盾或不能關(guān)聯(lián)帶來痛苦的數(shù)據(jù)比對?由于缺乏統(tǒng)一的整合方法給項(xiàng)目帶來不必要的復(fù)雜性和不一致性?重復(fù)建設(shè)，冗余復(fù)雜的接口，性能問題

5、主數(shù)據(jù)管理缺陷將導(dǎo)致：?客戶和產(chǎn)品的缺乏標(biāo)準(zhǔn)或缺乏對應(yīng)會(huì)帶來客戶服務(wù)的問題?延長了產(chǎn)品開發(fā)和導(dǎo)入的周期?給深入了解客戶之間的關(guān)系和層級帶來困難

6、安全和隱私缺陷將導(dǎo)致：?帶來不斷增加的合規(guī)風(fēng)險(xiǎn)，分散或不一致的數(shù)據(jù)?在客戶、合作方、和監(jiān)管機(jī)構(gòu)眼中銀行的信譽(yù)下降?身份被盜用和授權(quán)被濫用的風(fēng)險(xiǎn)

業(yè)界利用數(shù)據(jù)整合的優(yōu)勢推行信息導(dǎo)向經(jīng)營戰(zhàn)略是銀行在激烈的市場競爭中獲得競爭優(yōu)勢的最優(yōu)選擇。從全球多家銀行業(yè)的實(shí)踐經(jīng)驗(yàn)來看，通過信息導(dǎo)向的經(jīng)

營戰(zhàn)略取得成功的銀行通常具備下述特征：?以數(shù)據(jù)分析和數(shù)字化管理的理念貫徹整個(gè)機(jī)構(gòu)?決策者藉由數(shù)據(jù)運(yùn)用，找到駕馭及引導(dǎo)變革的機(jī)會(huì)與關(guān)鍵信息?以數(shù)據(jù)為中心的業(yè)務(wù)流程設(shè)計(jì)覆蓋各個(gè)主要領(lǐng)域的管理需求?建立數(shù)字化管理的組織文化，依據(jù)量化數(shù)據(jù)進(jìn)行決策，不論是新進(jìn)人員或具有經(jīng)驗(yàn)的銀行人員，均可基于一致的資料基礎(chǔ)上做出業(yè)務(wù)決策?組織靈活有彈性，隨時(shí)能夠發(fā)展新的業(yè)務(wù)模式；能夠創(chuàng)造20-30%的經(jīng)濟(jì)效益

04數(shù)據(jù)治理概念

數(shù)據(jù)治理這個(gè)名詞翻譯自英文DataGovernance，有時(shí)也會(huì)被翻譯成“數(shù)據(jù)管控”。業(yè)界權(quán)威組織Gartner對數(shù)據(jù)治理定義是：數(shù)據(jù)治理是通過組織、制度、流程、技術(shù)的結(jié)合與實(shí)踐活動(dòng)，用以管理、維護(hù)和開發(fā)作為企業(yè)信息資產(chǎn)的數(shù)據(jù)。治理不同于管理，管理是你做出的決定，治理就是為這些決定制定愿景，政策，標(biāo)準(zhǔn)，流程和規(guī)則。治理是執(zhí)政的行為。它涉及到定義期望值，授予權(quán)力（決策權(quán)），并且對結(jié)果進(jìn)行驗(yàn)證。治理是統(tǒng)一的管理，有凝聚力的政策，指導(dǎo)，流程和規(guī)則，以確保我們在合適的時(shí)間，以正確的方式在做正確的事情。治理將為企業(yè)建立一個(gè)愿景，并制定相應(yīng)的政策，企業(yè)愿景，指導(dǎo)原則，標(biāo)準(zhǔn)和規(guī)則，管理是確保這些政策，標(biāo)準(zhǔn)，原則和規(guī)則的實(shí)際應(yīng)用，并在新的和現(xiàn)有的系統(tǒng)中體現(xiàn)。治理把與業(yè)務(wù)戰(zhàn)略相關(guān)的決策和監(jiān)督與實(shí)際操作緊密聯(lián)系起來。

因此，數(shù)據(jù)治理也不同于數(shù)據(jù)管理（DataManagement），數(shù)據(jù)管理更關(guān)注的是管理過程，例如數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理。而數(shù)據(jù)治理關(guān)注的是組織架構(gòu)、制度、流程這些管理要素的整合和執(zhí)行。對于銀行來講，數(shù)據(jù)管理的內(nèi)容會(huì)有很多方面，而數(shù)據(jù)治理的內(nèi)容只有一個(gè)。因此數(shù)據(jù)治理可以理解為是對數(shù)據(jù)管理的管理。

近些年來，國內(nèi)多家銀行在數(shù)據(jù)治理領(lǐng)域也在做不斷得探索，很多大中型銀行都啟動(dòng)了數(shù)據(jù)治理相關(guān)的咨詢項(xiàng)目和落地項(xiàng)目，但是在這些項(xiàng)目實(shí)踐中也發(fā)現(xiàn)，缺乏成熟的方法論、缺乏整體的治理框架、缺乏整體的實(shí)施路線圖，這些問題往往制約著數(shù)據(jù)治理工作的開展。

為了確保從數(shù)據(jù)中獲取商業(yè)價(jià)值，所有與數(shù)據(jù)和信息相關(guān)的治理需要協(xié)同運(yùn)作。這意味著他們將承擔(dān)共同的責(zé)任，以確保正確的數(shù)據(jù)被傳送，并在正確的時(shí)間，以正確的方式，被正確的人員使用。

IT治理監(jiān)督選定的技術(shù)是否符合企業(yè)的IT基礎(chǔ)架構(gòu)，與經(jīng)過批準(zhǔn)的標(biāo)準(zhǔn)的技術(shù)和IT流程一致。

數(shù)據(jù)治理確保了數(shù)據(jù)是正確的，數(shù)據(jù)的定義和使用是一致的，BI治理將確保數(shù)據(jù)以正確的方式展示，倉庫治理和IT治理通過確保倉庫和IT基礎(chǔ)架構(gòu)的有效性來支持?jǐn)?shù)據(jù)的正確交付。

DW治理指導(dǎo)和控制數(shù)據(jù)倉庫的管理，對DW的有效性和效率負(fù)責(zé)。IT治理政策（像IT支持政策，版本控制等）和數(shù)據(jù)治理流程（如數(shù)據(jù)分析和清潔）也應(yīng)適用于數(shù)據(jù)倉庫，使其高效和有效的。

BI治理對商業(yè)智能（BI）和業(yè)務(wù)分析進(jìn)行管理控制，負(fù)責(zé)信息的正確使用和傳遞。

上圖顯示了不同的治理類型在EDW中的關(guān)系，從左到右：

1.左邊數(shù)據(jù)產(chǎn)生，及數(shù)據(jù)的輸入（手工）或數(shù)據(jù)創(chuàng)建（半自動(dòng)化/自動(dòng)）:數(shù)據(jù)治理：負(fù)責(zé)建立輸入或創(chuàng)建數(shù)據(jù)的政策、指導(dǎo)原則、標(biāo)準(zhǔn)和規(guī)則。

2.產(chǎn)生的數(shù)據(jù)存儲(chǔ)在運(yùn)營系統(tǒng)中，支持報(bào)表或者被其他操作流程提?。簲?shù)據(jù)治理：負(fù)責(zé)在操作型系統(tǒng)中制定數(shù)據(jù)訪問和安全政策，以及在定義數(shù)據(jù)和數(shù)據(jù)建模時(shí)如何應(yīng)用標(biāo)準(zhǔn)。IT治理：負(fù)責(zé)確保操作型系統(tǒng)持續(xù)可用，用戶可以輸入數(shù)據(jù)。

3.數(shù)據(jù)倉庫從不同的獨(dú)立的源系統(tǒng)中獲?。簲?shù)據(jù)治理：負(fù)責(zé)決定什么數(shù)據(jù)應(yīng)該被獲取，以及數(shù)據(jù)獲取的頻率。IT治理：負(fù)責(zé)決定數(shù)據(jù)獲取的技術(shù)，工具使用的條件以及文件格式，等等。倉庫治理：負(fù)責(zé)確保獲取數(shù)據(jù)時(shí)倉庫是可用的，以及數(shù)據(jù)提交（batch,file）的格式等。

4.獲取的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉庫的數(shù)據(jù)獲取層：數(shù)據(jù)治理：負(fù)責(zé)決定數(shù)據(jù)進(jìn)行整合之前是否進(jìn)行數(shù)據(jù)剖析（dataprofiling），是否額外的控制字段需要加入到數(shù)據(jù)結(jié)構(gòu)中。IT治理：負(fù)責(zé)確保IT基礎(chǔ)架構(gòu)已經(jīng)建立(數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)，倉庫服務(wù)器）。倉庫治理：負(fù)責(zé)決定多少歷史數(shù)據(jù)必須加載，哪些數(shù)據(jù)可以歸檔。

5.獲取的源數(shù)據(jù)經(jīng)過轉(zhuǎn)換進(jìn)入到數(shù)據(jù)整合層，數(shù)據(jù)整合層提供一個(gè)整合的數(shù)據(jù)視圖而不論數(shù)據(jù)的來源，整合層具有范式化的數(shù)據(jù)結(jié)構(gòu)來支持?jǐn)?shù)據(jù)在企業(yè)方位內(nèi)可以重用：數(shù)據(jù)治理：定義元數(shù)據(jù)管理政策，確保數(shù)據(jù)具有業(yè)務(wù)含義。IT治理：標(biāo)準(zhǔn)的數(shù)據(jù)建模工具。倉庫治理：負(fù)責(zé)確保DW容量規(guī)劃符合將來新的數(shù)據(jù)導(dǎo)入需要。

6.范式化和集成的數(shù)據(jù)需要在訪問層被“非范式化”，使得數(shù)據(jù)能夠目標(biāo)業(yè)務(wù)用戶訪問：數(shù)據(jù)治理：定義數(shù)據(jù)訪問政策，即定義什么角色可以訪問哪類數(shù)據(jù)。IT治理：定義開發(fā)訪問層組件的IT版本控制策略。倉庫治理：定義和監(jiān)控SLA協(xié)議，確保目前的性能和工作負(fù)載管理是最優(yōu)的。BI治理：制定訪問層業(yè)務(wù)元數(shù)據(jù)建立的指導(dǎo)原則和規(guī)則。

7.訪問層提供的數(shù)據(jù)發(fā)布到目標(biāo)系統(tǒng)（分析應(yīng)用和操作，立方體，報(bào)表，文件等），使信息消費(fèi)。

8.對存儲(chǔ)在目標(biāo)系統(tǒng)的數(shù)據(jù)作進(jìn)一步的分析或決策（業(yè)務(wù)用戶或分析師）。

因此，數(shù)據(jù)治理是一個(gè)跨系統(tǒng)、跨業(yè)務(wù)部門和技術(shù)部門的系統(tǒng)工程，同時(shí)作為企業(yè)高階的規(guī)劃，數(shù)據(jù)治理的規(guī)劃通常是在企業(yè)發(fā)展戰(zhàn)略高層次的規(guī)劃指引下，結(jié)合IT治理規(guī)劃進(jìn)行。

05數(shù)據(jù)認(rèn)責(zé)概念

那么，誰對數(shù)據(jù)負(fù)責(zé)呢，有人會(huì)說：“不是IT負(fù)責(zé)嗎？”。但是通常IT對此沒有太大的幫助，除非他們具有以下的業(yè)務(wù)知識(shí)：?能夠解釋在業(yè)務(wù)使用環(huán)境中需要的信息和可能用到的數(shù)據(jù)。?識(shí)別受污染數(shù)據(jù)的根源和其他數(shù)據(jù)問題的根源?解決數(shù)據(jù)問題?從其他數(shù)據(jù)分離出干凈的數(shù)據(jù)?等等

IT是負(fù)責(zé)系統(tǒng)和基礎(chǔ)設(shè)施的，對數(shù)據(jù)認(rèn)責(zé)的人員應(yīng)該來自于業(yè)務(wù)部門，因?yàn)樗麄兪窍到y(tǒng)的使用人員，知道什么是最好的數(shù)據(jù)。Gartner在一份報(bào)告中指出：“以提升數(shù)據(jù)質(zhì)量為己任的企業(yè)必須要指派數(shù)據(jù)管理人員。數(shù)據(jù)認(rèn)責(zé)若要成功，企業(yè)文化必須轉(zhuǎn)變，數(shù)據(jù)應(yīng)視為競爭性資產(chǎn)而非不得已而為之的手段?！?/p>

數(shù)據(jù)認(rèn)責(zé)的主要內(nèi)涵是確定數(shù)據(jù)治理工作的相關(guān)各方的責(zé)任和關(guān)系，包括數(shù)據(jù)治理過程中的決策、執(zhí)行、解釋、匯報(bào)、協(xié)調(diào)等活動(dòng)的參與方和負(fù)責(zé)方，以及各方承擔(dān)的角色和職責(zé)等。

數(shù)據(jù)認(rèn)責(zé)適用于所有參與其中的人員，如：管理和提升數(shù)據(jù)質(zhì)量的數(shù)據(jù)專家，當(dāng)錄入數(shù)據(jù)時(shí)需要了解數(shù)據(jù)政策和規(guī)則的業(yè)務(wù)用戶，當(dāng)數(shù)據(jù)變更或規(guī)則變更時(shí)需要知情的數(shù)據(jù)消費(fèi)者，正在進(jìn)行數(shù)據(jù)開發(fā)項(xiàng)目需要清楚數(shù)據(jù)管理標(biāo)準(zhǔn)，指導(dǎo)方針，工具和流程的項(xiàng)目組成員。

認(rèn)責(zé)制可以防止事情“遭忽略而產(chǎn)生缺陷/失敗”，這經(jīng)常存在于企業(yè)的責(zé)任認(rèn)定中。

認(rèn)責(zé)制并不一定都在企業(yè)的高層人員，而是定位在最適當(dāng)?shù)乃?，只要這個(gè)人員能夠?qū)@項(xiàng)工作擔(dān)負(fù)起責(zé)任。

數(shù)據(jù)認(rèn)責(zé)要達(dá)到的目標(biāo)是：形成由數(shù)據(jù)治理負(fù)責(zé)部門牽頭的，全員參與的主動(dòng)認(rèn)責(zé)文化，重視問題的溝通，能夠主動(dòng)剖析和快速響應(yīng)出現(xiàn)的認(rèn)責(zé)問題。建立全行統(tǒng)一的認(rèn)責(zé)流程，認(rèn)責(zé)流程管理持續(xù)優(yōu)化。細(xì)化和落實(shí)各類數(shù)據(jù)認(rèn)責(zé)流程、管理辦法，并成功地將數(shù)據(jù)認(rèn)責(zé)納入企業(yè)績效考核體系當(dāng)中。執(zhí)行基于數(shù)據(jù)域的數(shù)據(jù)認(rèn)責(zé)模式，數(shù)據(jù)域的劃分清晰且合理，理清各部門、各小組以及各參與人所承擔(dān)的角色職責(zé)，在全行推廣數(shù)據(jù)認(rèn)責(zé)。

下圖顯示了一個(gè)數(shù)據(jù)問題管理流程，在這個(gè)流程中我們可以看到數(shù)據(jù)認(rèn)責(zé)的四個(gè)主要的角色：

數(shù)據(jù)使用者需要理解