如何在大數(shù)據(jù)時代構(gòu)建數(shù)據(jù)治理體系

如何在大數(shù)據(jù)時代構(gòu)建數(shù)據(jù)治理體系隨著云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新一代信息技術(shù)的快速發(fā)展，人類產(chǎn)生的數(shù)據(jù)量呈指數(shù)級增長。據(jù)資料顯示，2012年，全球數(shù)據(jù)量達到2.8ZB，預(yù)計到2020年，全球數(shù)據(jù)量將達到40ZB。大數(shù)據(jù)蘊含著巨大的價值，如今眾多企業(yè)已將數(shù)據(jù)視作企業(yè)的寶貴資產(chǎn)。然而，數(shù)據(jù)價值密度與數(shù)據(jù)總量成反比。面對巨大的數(shù)據(jù)規(guī)模，如何管理和利用數(shù)據(jù)，使其發(fā)揮價值是企業(yè)必須考慮的重要問題。大數(shù)據(jù)的價值所在使其面臨著隱私和安全方面的威脅。大數(shù)據(jù)治理將組織的部門、流程、人等元素與數(shù)據(jù)的整個生命周期聯(lián)系在了一起，對企業(yè)數(shù)據(jù)管理和數(shù)據(jù)資產(chǎn)價值有著至關(guān)重要的作用?！禗GI數(shù)據(jù)治理框架》一文將數(shù)據(jù)治理定義為“數(shù)據(jù)相關(guān)事務(wù)的決策和授權(quán)的執(zhí)行”，并進一步解釋為信息處理過程決策權(quán)和職責(zé)的策略，約定了由誰負(fù)責(zé)處理哪些信息，并在什么情況下采用哪種方法，以及何時來執(zhí)行。首先，大數(shù)據(jù)治理是信息治理計劃的一部分，這是其定位。這就要求組織在制訂信息治理框架時，必須將大數(shù)據(jù)納入其中，比如在信息治理委員會中增加數(shù)據(jù)科學(xué)家，在信息治理目標(biāo)中增加大數(shù)據(jù)治理目標(biāo)等。其次，大數(shù)據(jù)治理主要是數(shù)據(jù)處理的一系列相關(guān)政策的制訂，這是其內(nèi)涵。再次，必須優(yōu)化大數(shù)據(jù)，這是大數(shù)據(jù)治理的重點。最后，大數(shù)據(jù)必須變現(xiàn)，這是大數(shù)據(jù)治理的目的所在。大數(shù)據(jù)體量大、種類繁多，且價值密度低，組織必須對其進行優(yōu)化，比如定義元數(shù)據(jù)、凈化大數(shù)據(jù)、實施數(shù)據(jù)生命周期管理等?？此茮]有任何價值的單一數(shù)據(jù)集合在一起時，會發(fā)現(xiàn)新的價值，這是大數(shù)據(jù)價值體現(xiàn)的重要途徑之一。而大數(shù)據(jù)價值的體現(xiàn)往往會涉及數(shù)據(jù)的隱私，這就要求組織在進行大數(shù)據(jù)價值體現(xiàn)時，必須注重大數(shù)據(jù)的隱私處理。組織將數(shù)據(jù)視作其資產(chǎn)的一種，要將其轉(zhuǎn)化成組織可以使用的現(xiàn)金，而變現(xiàn)的方式可以是單純地出售數(shù)據(jù)本身，也可以是利用數(shù)據(jù)開發(fā)新業(yè)務(wù)。一、企業(yè)實施大數(shù)據(jù)治理的必要性企業(yè)實現(xiàn)數(shù)據(jù)資源在組織內(nèi)部的共享和交換的需要目前，大部分工業(yè)企業(yè)已經(jīng)完成了ERP、CRM、供應(yīng)鏈、協(xié)同辦公等企業(yè)信息化系統(tǒng)的建設(shè)，但是由于數(shù)據(jù)分散在眾多系統(tǒng)中，缺乏統(tǒng)一的數(shù)據(jù)定義和數(shù)據(jù)分類，因此在數(shù)據(jù)使用上存在數(shù)據(jù)不標(biāo)準(zhǔn)、數(shù)據(jù)不一致、數(shù)據(jù)完整性差等問題。數(shù)據(jù)不標(biāo)準(zhǔn)主要表現(xiàn)在不同系統(tǒng)之間描述同一業(yè)務(wù)實體的數(shù)據(jù)定義標(biāo)準(zhǔn)不同；數(shù)據(jù)不一致主要表現(xiàn)在相關(guān)聯(lián)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)不同步、各應(yīng)用系統(tǒng)間存在數(shù)據(jù)編碼規(guī)則不一致的問題，還有重復(fù)編碼的問題；數(shù)據(jù)完整性差表現(xiàn)為缺少數(shù)據(jù)實體的關(guān)鍵信息。企業(yè)必須對各個系統(tǒng)的數(shù)據(jù)源以及輸出的數(shù)據(jù)資產(chǎn)進行統(tǒng)一的數(shù)據(jù)治理，實現(xiàn)數(shù)據(jù)在不同組織和系統(tǒng)內(nèi)的交換與共享。只有解決了數(shù)據(jù)問題，才能實現(xiàn)IT價值。提升海量數(shù)據(jù)資源質(zhì)量的需要大數(shù)據(jù)時代數(shù)據(jù)產(chǎn)生的價值越來越大，各企業(yè)都在探索基于大數(shù)據(jù)的相關(guān)技術(shù)和應(yīng)用模式，最終目的就是挖掘數(shù)據(jù)的價值，推動企業(yè)的發(fā)展。因為數(shù)據(jù)有可能是成本，也有可能是資產(chǎn)，能給企業(yè)帶來重要的價值，是企業(yè)寶貴的資源。如果沒有數(shù)據(jù)治理，數(shù)據(jù)的質(zhì)量就無法保證，數(shù)據(jù)難以成為企業(yè)的資產(chǎn)，既使再多的業(yè)務(wù)和技術(shù)投入也都是徒勞。數(shù)據(jù)質(zhì)量低下會導(dǎo)致企業(yè)在IT方面的重復(fù)投入，各種應(yīng)用系統(tǒng)的價值難以有效地發(fā)揮出來，數(shù)據(jù)的問題甚至?xí)沟闷髽I(yè)錯失商機，損失無法估量。數(shù)據(jù)治理是保證數(shù)據(jù)質(zhì)量的必需手段，數(shù)據(jù)治理的價值貢獻在于確保數(shù)據(jù)的準(zhǔn)確性、可獲取性、安全性、適度分享和合規(guī)使用。例如，可以對數(shù)據(jù)服務(wù)涉及的計算資源、數(shù)據(jù)資源制定標(biāo)準(zhǔn)化的統(tǒng)一管理規(guī)范，制定涵蓋主數(shù)據(jù)、數(shù)據(jù)主題、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)共享等數(shù)據(jù)標(biāo)準(zhǔn)體系及數(shù)據(jù)管理體系。數(shù)據(jù)驅(qū)動企業(yè)進行科學(xué)決策的需要當(dāng)今世界進入了數(shù)據(jù)爆炸的時代，數(shù)據(jù)成為企業(yè)重要的資產(chǎn)。企業(yè)涉及的數(shù)據(jù)類型，包括文本、圖像、音頻、視頻等，分為靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)，實時數(shù)據(jù)和非實時數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)有些來源于企業(yè)的內(nèi)部信息系統(tǒng)及設(shè)備，有些來源于外部的供應(yīng)鏈和社交網(wǎng)絡(luò)。數(shù)據(jù)驅(qū)動企業(yè)的決策成為時代發(fā)展的必然。數(shù)據(jù)治理能使企業(yè)清楚地認(rèn)識自己的優(yōu)勢和劣勢，有利于企業(yè)提高決策的合理性，為用戶提供更加優(yōu)質(zhì)的服務(wù)。大數(shù)據(jù)時代，企業(yè)可以通過對數(shù)據(jù)的整合和分析，從中獲取對企業(yè)有用的數(shù)據(jù)。新的數(shù)據(jù)技術(shù)手段，使得信息在企業(yè)內(nèi)部不同部門之間有效、快速地傳遞，使得不同部門之間的交流、溝通更加透明，使得企業(yè)不同的利益主體能廣泛地參與決策，從而提高決策的科學(xué)性和合理性。企業(yè)整合數(shù)據(jù)資源提升競爭力的需要在企業(yè)的生產(chǎn)經(jīng)營活動中會產(chǎn)生大量的數(shù)據(jù)，企業(yè)需要對事務(wù)性數(shù)據(jù)、機器生成數(shù)據(jù)、社交媒體數(shù)據(jù)等內(nèi)外部數(shù)據(jù)進行整合，特別是對與企業(yè)重大商業(yè)利益相關(guān)的數(shù)據(jù)資源的整合、分析與利用，從而指導(dǎo)企業(yè)的經(jīng)營與發(fā)展。數(shù)據(jù)技術(shù)帶來的不僅是技術(shù)的更新，還有管理方式的改變，數(shù)據(jù)治理不僅局限在企業(yè)的決策層，還包含管理層和業(yè)務(wù)層，數(shù)據(jù)治理能改善企業(yè)管理層與其他利益相關(guān)者的關(guān)系，使企業(yè)變得更加敏捷和高效，更注重用戶體驗的提升和需求的滿足。例如，為解決日常的數(shù)據(jù)收集、數(shù)據(jù)處理效率較低、數(shù)據(jù)不一致的問題，可以通過元數(shù)據(jù)管理系統(tǒng)，建立采集元數(shù)據(jù)和元數(shù)據(jù)關(guān)系，提升跨系統(tǒng)的數(shù)據(jù)交互能力以及數(shù)據(jù)整合能力，進一步提升企業(yè)的核心競爭力。二、企業(yè)大數(shù)據(jù)治理現(xiàn)狀伴隨著大數(shù)據(jù)時代的到來，企業(yè)由于早期在信息系統(tǒng)構(gòu)建中缺乏統(tǒng)一的全局規(guī)劃，使得其在當(dāng)前數(shù)據(jù)治理體系的構(gòu)建中存在著一系列的問題，如果不能有效對這些問題進行解決，以構(gòu)造出完善的數(shù)據(jù)治理體系，勢必會對未來企業(yè)的發(fā)展帶來不利的影響。1、大數(shù)據(jù)時代的定義及特征大數(shù)據(jù)時代的定義我國已經(jīng)進入了數(shù)字經(jīng)濟時代，必然會產(chǎn)生大量數(shù)據(jù)，大數(shù)據(jù)主要是指人們在日常工作、生產(chǎn)、生活中通過數(shù)字化的方式進行呈現(xiàn)和存儲。也可以很通俗地將大數(shù)據(jù)理解成為巨大的數(shù)據(jù)信息，而伴隨著人們的各種需求的不斷增加，這種數(shù)據(jù)量還在不斷的增加。舉例來說，人們通過計算機互聯(lián)網(wǎng)對視頻和新聞的觀看，都不同程度地促進了大數(shù)據(jù)時代的快速形成。大數(shù)據(jù)時代的特征大數(shù)據(jù)時代具有如下幾個明顯的特征：數(shù)據(jù)量大。這是大數(shù)據(jù)時代最為突出的特征，這也是大數(shù)據(jù)時代本來就是基于大量數(shù)據(jù)信息所產(chǎn)生的是分不開的。速度很快。正是由于大量數(shù)據(jù)的產(chǎn)生，需要不斷提升信息數(shù)據(jù)處理速度，才能跟上大數(shù)據(jù)時代的要求，而如果數(shù)據(jù)處理速度難以跟上，就不能滿足信息的快速傳播和擴散。種類很多。伴隨著大數(shù)據(jù)時代的到來，計算機互聯(lián)網(wǎng)技術(shù)在人們的生活中獲得了非常廣泛的應(yīng)用，也使得數(shù)據(jù)來源變的更加豐富，相應(yīng)地，數(shù)據(jù)的種類也變的更多。2、大數(shù)據(jù)時代企業(yè)數(shù)據(jù)治理現(xiàn)狀在大數(shù)據(jù)時代下，企業(yè)在數(shù)據(jù)治理體系的構(gòu)建過程中，主要面臨著如下幾個突出的問題：數(shù)據(jù)定義的缺失所謂數(shù)據(jù)定義的缺失，就是企業(yè)的部分業(yè)務(wù)源系統(tǒng)以及外部數(shù)據(jù)源缺少關(guān)鍵業(yè)務(wù)元素定義。這是因為企業(yè)系統(tǒng)開發(fā)建設(shè)的出發(fā)點大多以滿足客戶業(yè)務(wù)交易為主要目標(biāo)，對于統(tǒng)計分析涉及的數(shù)據(jù)要素項的定義不夠關(guān)注，因此造成部分業(yè)務(wù)源系統(tǒng)和外部數(shù)據(jù)源的數(shù)據(jù)定義不完備。在這種情況下，就很容易造成企業(yè)的不同部門有著不同的理解，甚至在對同一個字段的理解也會產(chǎn)生很大的歧義。數(shù)據(jù)標(biāo)準(zhǔn)的差異我國企業(yè)的早期信息化建設(shè)過程中，其業(yè)務(wù)源系統(tǒng)相對是比較分散的，很少有從全局的角度進行考慮，也就使得信息孤島的現(xiàn)象比較突出，也帶來了有關(guān)系統(tǒng)的物料、客戶、供應(yīng)商、會計科目、指標(biāo)數(shù)據(jù)的不一致。正是由于企業(yè)在數(shù)據(jù)標(biāo)準(zhǔn)之間的差異，也使得各個信息系統(tǒng)之間的數(shù)據(jù)很難有效進行共享，也帶來了企業(yè)的信息資源利用效率難以跟上實際需求，伴隨著大數(shù)據(jù)時代的到來，更加使得挑戰(zhàn)進一步擴大。數(shù)據(jù)更新的滯后在大數(shù)據(jù)時代下，雖然企業(yè)為了滿足各個系統(tǒng)與外部數(shù)據(jù)的內(nèi)部訪問，都提升了訪問效率，減少手工數(shù)據(jù)傳輸，相同的信息經(jīng)常會在不同系統(tǒng)之間進行冗余存放，不過由于對數(shù)據(jù)的更新滯后，很容易帶來冗余數(shù)據(jù)的不一致，繼而產(chǎn)生了數(shù)據(jù)質(zhì)量的問題，這也是在企業(yè)在數(shù)據(jù)治理中應(yīng)該重點關(guān)注的問題。數(shù)據(jù)管控程度不高企業(yè)大數(shù)據(jù)建設(shè)的最終目標(biāo)是促進企業(yè)對于數(shù)據(jù)應(yīng)用，最大程度發(fā)揮數(shù)據(jù)價值。因此，在當(dāng)前企業(yè)大數(shù)據(jù)的治理中，人們普遍重視數(shù)據(jù)應(yīng)用，圍繞應(yīng)用中出現(xiàn)的數(shù)據(jù)關(guān)聯(lián)、質(zhì)量管理、業(yè)務(wù)協(xié)同等進行數(shù)據(jù)治理，而忽視數(shù)據(jù)治理體系中的管理機制、控制能力以及安全與隱私保護等。數(shù)據(jù)治理機制不健全在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)治理的主體趨于多元化，即一個數(shù)據(jù)治理流程往往需要多方參與。例如，在數(shù)據(jù)質(zhì)量管理中，問題數(shù)據(jù)的發(fā)現(xiàn)、反饋、修正是一個多方參與的閉環(huán)流程，參與方包括：企業(yè)數(shù)據(jù)中心（數(shù)據(jù)治理方）、數(shù)據(jù)源頭單位（數(shù)據(jù)提供方）、數(shù)據(jù)用戶（數(shù)據(jù)使用方）等。這種多方協(xié)同治理的業(yè)務(wù)模式，對企業(yè)大數(shù)據(jù)治理制度和流程機制提出了更高要求。技術(shù)支撐能力不足企業(yè)大數(shù)據(jù)治理體系的技術(shù)支撐需要涵蓋大數(shù)據(jù)管理、存儲、質(zhì)量、共享與開放、安全與隱私保護等多個方面，當(dāng)前相應(yīng)的技術(shù)研究關(guān)聯(lián)性和系統(tǒng)性還存在欠缺，都是側(cè)重于點，而在整體上將技術(shù)關(guān)聯(lián)起來還有問題。具體來說，以金融或電信運營商行業(yè)為典型代表的傳統(tǒng)數(shù)據(jù)治理技術(shù)，是以基于主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)規(guī)范的數(shù)據(jù)倉庫管理系統(tǒng)，可實現(xiàn)特定領(lǐng)域和類型的應(yīng)用級數(shù)據(jù)質(zhì)量管理。但無法滿足企業(yè)大數(shù)據(jù)環(huán)境下的海量、異構(gòu)、多源、全格式（結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化）數(shù)據(jù)的治理需求。三、企業(yè)大數(shù)據(jù)治理成熟度評估1、大數(shù)據(jù)治理模型基于以上分析，只有更好的評估企業(yè)大數(shù)據(jù)治理成熟度，才能更好的指導(dǎo)企業(yè)大數(shù)據(jù)治理的建設(shè)。根據(jù)實踐可以將大數(shù)據(jù)治理模型理解為人與組織、策略和能力的三維架構(gòu)。人與組織是數(shù)據(jù)治理的主體，涉及企業(yè)中的各個職能部門及分子等，他們分別承擔(dān)著不同的治理職責(zé)。策略是大數(shù)據(jù)治理的工具，能力是大數(shù)據(jù)治理的手段。下圖所示為大數(shù)據(jù)治理模型三維架構(gòu)。具體來說，人與組織包含利益相關(guān)者、治理委員會、管理委員會和內(nèi)部員工。利益相關(guān)者指組織內(nèi)部和外部環(huán)境中受組織決策和行動影響的任何相關(guān)者，數(shù)據(jù)的產(chǎn)生者、管理者、使用者和監(jiān)督者等；治理委員會是組織治理數(shù)據(jù)的最高機構(gòu)，負(fù)責(zé)作出數(shù)據(jù)相關(guān)事務(wù)的決定，并將數(shù)據(jù)治理標(biāo)準(zhǔn)和措施匯報給數(shù)據(jù)的利益相關(guān)者；管理委員會負(fù)責(zé)具體實施治理委員會制定的各項數(shù)據(jù)治理決定，并將數(shù)據(jù)治理結(jié)果匯報給治理委員會；內(nèi)部員工是數(shù)據(jù)治理架構(gòu)中不可或缺的一部分，貫徹執(zhí)行數(shù)據(jù)治理委員會和管理委員會制定的各項數(shù)據(jù)治理策略。策略是組織制定的所有與大數(shù)據(jù)有關(guān)的數(shù)據(jù)優(yōu)化、隱私保護和數(shù)據(jù)變現(xiàn)的準(zhǔn)則和規(guī)范，包括組織數(shù)據(jù)治理的使命和愿景、治理指標(biāo)、數(shù)據(jù)治理規(guī)則和定義、權(quán)利與職責(zé)、控制措施。數(shù)據(jù)治理的使命和愿景包括數(shù)據(jù)治理的整體目標(biāo)，給予數(shù)據(jù)利益相關(guān)者持續(xù)與跨界的數(shù)據(jù)保護和服務(wù)，不合規(guī)準(zhǔn)則引發(fā)的問題的解決方案等；數(shù)據(jù)治理指標(biāo)定義了數(shù)據(jù)治理目標(biāo)的衡量方法；數(shù)據(jù)治理規(guī)則和定義包括與數(shù)據(jù)相關(guān)的政策、標(biāo)準(zhǔn)、合規(guī)要求、業(yè)務(wù)規(guī)則和數(shù)據(jù)定義等；權(quán)利和職責(zé)規(guī)定了由誰來負(fù)責(zé)制訂數(shù)據(jù)相關(guān)的決策、何時實施、如何實施，以及組織和個人在數(shù)據(jù)治理策略中該做什么；控制措施主要針對數(shù)據(jù)未治理風(fēng)險防范和數(shù)據(jù)治理過程中可能發(fā)生的各類風(fēng)險，以及如何做好數(shù)據(jù)隱私保護。能力則反映了組織進行數(shù)據(jù)治理所具備的條件和水平，包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、業(yè)務(wù)流程整合、主數(shù)據(jù)管理和信息生命周期管理。元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，即描述數(shù)據(jù)和信息資源的信息。元數(shù)據(jù)管理就是整合大數(shù)據(jù)與企業(yè)的元數(shù)據(jù)庫。數(shù)據(jù)質(zhì)量管理準(zhǔn)則包括數(shù)據(jù)識別、采集、測量、提升和論證質(zhì)量、整合組織數(shù)據(jù)的方法，比如具備應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)占據(jù)數(shù)據(jù)總量絕大部分情況的能力。業(yè)務(wù)流程整合要求組織制定的大數(shù)據(jù)治理計劃必須與組織的核心業(yè)務(wù)流程相匹配，以便從核心業(yè)務(wù)流程中獲取大數(shù)據(jù)治理的關(guān)鍵支持政策。主數(shù)據(jù)管理描述了一組規(guī)程、技術(shù)和解決方案，用于維護業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性。大數(shù)據(jù)治理需要制訂將大數(shù)據(jù)整合到主數(shù)據(jù)管理環(huán)境的政策。信息生命周期管理則要求組織判斷應(yīng)該將何種數(shù)據(jù)保留在數(shù)據(jù)分析系統(tǒng)，何種數(shù)據(jù)需要存檔，何種數(shù)據(jù)需要刪除。2、大數(shù)據(jù)治理成熟度評估等級 等級描述初始級初始級a.沒有定義與數(shù)據(jù)治理相關(guān)的架構(gòu)和角色；b.沒有正式的數(shù)據(jù)治理策略；c.不具備數(shù)據(jù)治理能力?；炯塧.定義了數(shù)據(jù)治理角色和職責(zé)，管理者意識到數(shù)據(jù)治理的重要性，但對管理知識知之甚少；b.已有的數(shù)據(jù)治理策略已經(jīng)文件化，但不具有連貫性；c.數(shù)據(jù)治理能力十分有限，只有很少一部分人掌握數(shù)據(jù)治理通用級別的知識。定義級a.定義了數(shù)據(jù)治理角色和職責(zé)，管理者能主動推動數(shù)據(jù)治理計劃實施；b.數(shù)據(jù)策略已經(jīng)文件化，并涵蓋了針對特殊數(shù)據(jù)的治理策略；策略通過公共渠道容易獲取，大多數(shù)利益相關(guān)者能夠理解；c.具備數(shù)據(jù)治理的全部要素，一部分人知道詳細的數(shù)據(jù)治理能力。管理級a.定義了完備的數(shù)據(jù)治理角色和職責(zé)，并有專門的數(shù)據(jù)質(zhì)量專家，管理者能主動推動數(shù)據(jù)治理計劃實施；b.所有的數(shù)據(jù)策略都已經(jīng)文件化，并且是審計合規(guī)的，都能通過公用渠道獲取，數(shù)據(jù)治理利益相關(guān)者主動關(guān)注策略的增添、更新和刪除；c.所有定義的數(shù)據(jù)治理能力層級都有可用的方法，建立了系統(tǒng)化的數(shù)據(jù)治理處理流程。優(yōu)化級a.定義了完備的數(shù)據(jù)治理角色和職責(zé)，管理委員會來自各個部門，擁有元數(shù)據(jù)管理小組、數(shù)據(jù)質(zhì)量技能中心、主數(shù)據(jù)管理委員會等；b.所有的數(shù)據(jù)策略都已經(jīng)文件化，并且是審計合規(guī)的，所有的數(shù)據(jù)治理利益相關(guān)者都參與了策略發(fā)展過程；制訂了自動化的政策，以保證數(shù)據(jù)在整個組織內(nèi)保持一致、準(zhǔn)確和可靠；c.所有定義的數(shù)據(jù)治理能力層級所指定的部門和關(guān)鍵數(shù)據(jù)是固定的，能夠在數(shù)據(jù)處于靜態(tài)和動態(tài)時進行數(shù)據(jù)質(zhì)量修復(fù)，數(shù)據(jù)不間斷地被跟蹤檢查，且任何偏離標(biāo)準(zhǔn)的問題都可以立即解決。成熟度評估是企業(yè)大數(shù)據(jù)治理狀態(tài)和能力的一種衡量方式。大數(shù)據(jù)治理模型共三個維度，具體涵蓋14個評價指標(biāo)。每個指標(biāo)分別以5個等級來衡量其成熟度，然后再統(tǒng)籌考慮評價指標(biāo)權(quán)重，得到組織大數(shù)據(jù)治理的整體成熟度評價。根據(jù)綜合評價結(jié)果，企業(yè)大數(shù)據(jù)治理成熟度可以分為以下5個等級，即初始級、基本級、定義級、管理級和優(yōu)化級。四、企業(yè)大數(shù)據(jù)治理框架1、大數(shù)據(jù)治理總體框架根據(jù)企業(yè)大數(shù)據(jù)治理特點和需求分析，從企業(yè)大數(shù)據(jù)應(yīng)用創(chuàng)新的角度，企業(yè)大數(shù)據(jù)治理總體框架由九部分組成。大數(shù)據(jù)生命周期管理數(shù)據(jù)生命周期是數(shù)據(jù)治理的時間軸，數(shù)據(jù)治理服務(wù)于數(shù)據(jù)的全生命周期。因此，完善的數(shù)據(jù)生命周期管理是確保數(shù)據(jù)治理有序、全面的前提條件之一。在企業(yè)大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)生命周期管理又分為兩類，一類是技術(shù)層面的數(shù)據(jù)周期管理，指按照數(shù)據(jù)加工處理時序（數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)建模、數(shù)據(jù)調(diào)度、數(shù)據(jù)銷存）而建立的時間里程管理；另一類是業(yè)務(wù)層面的數(shù)據(jù)周期管理，指按照業(yè)務(wù)流程時序而建立的時間里程管理。數(shù)據(jù)源管理以數(shù)據(jù)資源目錄的功能形式，提供對待治理的數(shù)據(jù)源的管理。在功能模塊上，數(shù)據(jù)源管理由兩類功能組成：一是數(shù)據(jù)源部門相關(guān)的組織機構(gòu)管理功能，二是數(shù)據(jù)源的目錄、格式類型和交互周期等資源屬性管理功能。從數(shù)據(jù)源提供的數(shù)據(jù)類型上看，企業(yè)大數(shù)據(jù)治理的對象包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，以及來自互聯(lián)網(wǎng)的數(shù)據(jù)等。主要技術(shù)支撐企業(yè)大數(shù)據(jù)治理中所用的主要技術(shù)包括數(shù)據(jù)檢核引擎、ETL工具、消息中間件、流程引擎、Hive和MPPDB等。相對于傳統(tǒng)數(shù)據(jù)治理技術(shù)，專門引入了Hive和MPPDB等大數(shù)據(jù)領(lǐng)域的數(shù)倉工具，代替?zhèn)鹘y(tǒng)數(shù)倉中Oracle、MySQL等關(guān)系型數(shù)據(jù)庫，以滿足大規(guī)模數(shù)據(jù)的治理效率要求。另外，要特別強調(diào)的是，數(shù)據(jù)質(zhì)量檢核引擎的設(shè)計最具技術(shù)含量，也最為重要，它直接決定了數(shù)據(jù)檢核的能力和數(shù)據(jù)質(zhì)量的把控程度。因此，質(zhì)量檢核引擎的設(shè)計要充分響應(yīng)上文中的需求分析，體現(xiàn)技術(shù)先進性、功能完整性、覆蓋全面性、檢核深度性和使用便捷性，實現(xiàn)良好的數(shù)據(jù)質(zhì)量檢查和核對功能。貼源層治理貼源層治理又叫近源治理，是指在最貼近數(shù)據(jù)源頭的一側(cè)，對數(shù)據(jù)進行建模、標(biāo)準(zhǔn)化和技術(shù)檢核方面的治理。貼源層治理的要點如下：第一，數(shù)據(jù)建模時，須按照對業(yè)務(wù)屬性的影響程度，區(qū)分主數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，以滿足數(shù)據(jù)實體在業(yè)務(wù)流程、數(shù)據(jù)質(zhì)量控制方面的不同要求。主數(shù)據(jù)是指對業(yè)務(wù)影響至關(guān)重要的共享數(shù)據(jù)，如組織機構(gòu)、員工、會計科目、物料、供應(yīng)商、客戶等。同時，也要按照記錄屬性對數(shù)據(jù)實體識別的影響，為每個屬性設(shè)計權(quán)重，區(qū)分核心和普通屬性，以滿足深度數(shù)據(jù)質(zhì)量控制要求。第二，數(shù)據(jù)標(biāo)準(zhǔn)化是指按照元數(shù)據(jù)或數(shù)據(jù)元標(biāo)準(zhǔn)規(guī)范，對匯集的源頭數(shù)據(jù)進行格式轉(zhuǎn)換、字典映射，進行初步的數(shù)據(jù)規(guī)范。第三，數(shù)據(jù)檢核是數(shù)據(jù)質(zhì)量控制的核心舉措，根據(jù)是否存在業(yè)務(wù)相關(guān)性，又分為技術(shù)檢核和業(yè)務(wù)檢核。其中，數(shù)據(jù)技術(shù)檢核是指對數(shù)據(jù)進行不涉及業(yè)務(wù)的檢查和核對。即按照數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，使用數(shù)據(jù)檢核引擎，對源數(shù)據(jù)進行格式、值域、重復(fù)度、完整性、準(zhǔn)確性等質(zhì)量校核，以最大程度地發(fā)現(xiàn)、排除問題數(shù)據(jù)，為后續(xù)質(zhì)量控制打下堅實基礎(chǔ)。第四，數(shù)據(jù)質(zhì)量考核評價是貼源層治理的主要輸出結(jié)果，通常這個結(jié)果以數(shù)據(jù)質(zhì)量報告的形式輸出。數(shù)據(jù)質(zhì)量報告由標(biāo)準(zhǔn)規(guī)范體系中預(yù)先定義的質(zhì)量評價指標(biāo)組成，用于反饋數(shù)據(jù)治理相關(guān)方，觸發(fā)數(shù)據(jù)質(zhì)量控制的相關(guān)業(yè)務(wù)流程。中心層治理與貼源層治理相對應(yīng)的是中心層治理，即在貼源層治理和數(shù)據(jù)資源中心之外的其他治理內(nèi)容。中心層治理的內(nèi)容包括數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合和數(shù)據(jù)業(yè)務(wù)檢核，它們具有一個業(yè)務(wù)相關(guān)的共性特征，即治理內(nèi)容與數(shù)據(jù)所屬業(yè)務(wù)領(lǐng)域密切相關(guān)。中心層治理的要點如下：第一，數(shù)據(jù)關(guān)聯(lián)是指基于業(yè)務(wù)主數(shù)據(jù)，將各相關(guān)數(shù)據(jù)模型串聯(lián)起來，形成實體的一個全息數(shù)據(jù)畫像，并通過相關(guān)屬性，將這種數(shù)據(jù)間的關(guān)聯(lián)關(guān)系保存起來。數(shù)據(jù)關(guān)聯(lián)對于企業(yè)大數(shù)據(jù)應(yīng)用實施具有決定性作用，通常可關(guān)聯(lián)的數(shù)據(jù)，才是實際可用的數(shù)據(jù)。第二，數(shù)據(jù)融合是指在數(shù)據(jù)關(guān)聯(lián)的基礎(chǔ)上，將同類數(shù)據(jù)去重后聚合，把“一數(shù)多源”變?yōu)椤耙粩?shù)一源”；或者將同一個實體的不同數(shù)據(jù)片段，構(gòu)建形成新的、更完整的數(shù)據(jù)描述。數(shù)據(jù)融合通常面向特定應(yīng)用場景，是數(shù)據(jù)應(yīng)用中最為常見的數(shù)據(jù)操作之一。第三，數(shù)據(jù)業(yè)務(wù)檢核是基于數(shù)據(jù)的業(yè)務(wù)屬性進行的業(yè)務(wù)邏輯合規(guī)性檢查核對。業(yè)務(wù)檢核是數(shù)據(jù)質(zhì)量檢核中不可或缺的部分，與技術(shù)檢核同等重要。以個人身份證號數(shù)據(jù)為例，技術(shù)檢核僅能做到身份證號長度、格式、特定位值（地區(qū)編碼、年齡）等的合規(guī)檢查，而不能識別該號碼的真假；業(yè)務(wù)校核則是通過把該號碼與身份證登記機關(guān)的數(shù)據(jù)庫相比對，確認(rèn)出號碼的真假。數(shù)據(jù)資源中心數(shù)據(jù)資源中心是數(shù)據(jù)治理的結(jié)尾環(huán)節(jié)，進入數(shù)據(jù)資源中心的數(shù)據(jù)被認(rèn)為是標(biāo)準(zhǔn)、合規(guī)、正確、可直接應(yīng)用的數(shù)據(jù)。在企業(yè)大數(shù)據(jù)治理體系中，數(shù)據(jù)資源中心階段的數(shù)據(jù)治理，側(cè)重于數(shù)據(jù)資產(chǎn)的形成和管理，以及數(shù)據(jù)集的存儲劃分。在該框架中，以數(shù)據(jù)資產(chǎn)目錄來統(tǒng)領(lǐng)數(shù)據(jù)資產(chǎn)的管理；以面向數(shù)據(jù)實體的基礎(chǔ)數(shù)據(jù)庫和面向應(yīng)用的主題數(shù)據(jù)庫，統(tǒng)一存儲治理后的數(shù)據(jù)。數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范是實施數(shù)據(jù)治理的基礎(chǔ)前提條件，對數(shù)據(jù)治理的成效起著決定性作用。沒有標(biāo)準(zhǔn)規(guī)范，無從數(shù)據(jù)治理；標(biāo)準(zhǔn)規(guī)范不全，數(shù)據(jù)治理不全。對于企業(yè)大數(shù)據(jù)來說，要做好治理需建立健全以下規(guī)范：第一，元數(shù)據(jù)標(biāo)準(zhǔn)。要全面建立元數(shù)據(jù)標(biāo)準(zhǔn)，做到對全域數(shù)據(jù)的覆蓋。第二，數(shù)據(jù)元標(biāo)準(zhǔn)。要有選擇地為主要數(shù)據(jù)實體建立數(shù)據(jù)元標(biāo)準(zhǔn)。第三，數(shù)據(jù)分類編碼標(biāo)準(zhǔn)。要為重要數(shù)據(jù)建立分類編碼標(biāo)準(zhǔn)，并為基礎(chǔ)數(shù)據(jù)建立編碼字典表。第四，數(shù)據(jù)目錄規(guī)范。要在盡可能大的范圍內(nèi)，建立統(tǒng)一的企業(yè)數(shù)據(jù)資源目錄規(guī)范，在最大程度上規(guī)范目錄編碼和操作。第五，數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。要從準(zhǔn)確性、合規(guī)性、一致性、重復(fù)性、及時性、完整性等指標(biāo)角度，建立全面的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，并給出評估指標(biāo)和評估方式。第六，數(shù)據(jù)治理流程規(guī)范。流程化是治理有序的保障，要將數(shù)據(jù)治理流程化，建立相應(yīng)的流程規(guī)范，通過流程規(guī)范提升治理有序水平。（8）大數(shù)據(jù)安全和隱私管理企業(yè)的生產(chǎn)經(jīng)營數(shù)據(jù)價值大、敏感度高，涉及企業(yè)戰(zhàn)略的隱私和股東的權(quán)益。因此，在企業(yè)大數(shù)據(jù)的治理中，要建立相應(yīng)的治理安全管理體系，確保各治理環(huán)節(jié)的數(shù)據(jù)安全。一般情況下，數(shù)據(jù)治理要達到以下安全保護要求：第一，按照《工業(yè)數(shù)據(jù)分類分級指南(試行)》、《信息安全等級保護管理辦法》和《信息系統(tǒng)安全等級保護定級指南》的要求，確定數(shù)據(jù)治理系統(tǒng)的安全保護等級，構(gòu)建安全防護體系。第二，針對不同信息可動態(tài)設(shè)置安全保護手段。第三，治理功能與組織機構(gòu)和用戶分級權(quán)限相結(jié)合。第四，提供數(shù)據(jù)簽名和數(shù)據(jù)脫敏功能，確保隱私安全。第五，所有治理操作均有記錄日志，納入統(tǒng)一安全審計管理。（9）智能化管理為構(gòu)建自動化、智能化的數(shù)據(jù)治理平臺，企業(yè)大數(shù)據(jù)治理框架還需具有追溯和可視化展示功能。追溯功能是指設(shè)置并記錄數(shù)據(jù)治理的各個里程節(jié)點，可以追查數(shù)據(jù)治理的過程信息。并且在一定時效和條件下，可將某節(jié)點治理后的數(shù)據(jù)回退到其之前的任何狀態(tài)。追溯功能可實現(xiàn)數(shù)據(jù)治理的靈活控制，利于復(fù)雜數(shù)據(jù)環(huán)境下實現(xiàn)智能化數(shù)據(jù)治理。具有良好可視化展示功能是先進數(shù)據(jù)治理平臺的基本要求。治理可視化能帶來良好的用戶操作體驗，便于治理工作的實施，利于人工參與治理效率的提高。2、企業(yè)大數(shù)據(jù)治理主要流程企業(yè)大數(shù)據(jù)治理的主要流程如下圖所示：第一，數(shù)據(jù)源分析。在新的數(shù)據(jù)源接入時，首先做數(shù)據(jù)源的分析，內(nèi)容包括：確認(rèn)要治理的數(shù)據(jù)類別、數(shù)據(jù)項和數(shù)據(jù)周期等，抽取樣例數(shù)據(jù)，分析數(shù)據(jù)特征，做好為數(shù)據(jù)治理服務(wù)的規(guī)劃準(zhǔn)備。第二，數(shù)據(jù)治理規(guī)劃。數(shù)據(jù)治理規(guī)劃分為三個步驟：（一）