大數(shù)據(jù)管理與應(yīng)用 課件 第十四章 數(shù)據(jù)治理

第十四章數(shù)據(jù)治理大數(shù)據(jù)管理與應(yīng)用——主編：王剛副主編：劉婧、邵臻隨著大數(shù)據(jù)時代的到來，信息資源日益成為不可忽視的生產(chǎn)要素和無形資產(chǎn)。為了使龐大的企業(yè)數(shù)據(jù)發(fā)揮更大的價值，企業(yè)必須對數(shù)據(jù)進(jìn)行治理，以更好地管理數(shù)據(jù)資產(chǎn)，進(jìn)而以數(shù)據(jù)驅(qū)動業(yè)務(wù)創(chuàng)新，提高企業(yè)競爭力。在本章中您將理解數(shù)據(jù)治理的基本概念、目標(biāo)、原則、流程及挑戰(zhàn)，掌握數(shù)據(jù)治理的關(guān)鍵職能，并理解如何實施及相關(guān)實施工具，掌握數(shù)據(jù)治理的相關(guān)評估模型。數(shù)據(jù)治理概述元數(shù)據(jù)治理數(shù)據(jù)質(zhì)量治理數(shù)據(jù)安全治理數(shù)據(jù)治理評估第十四章數(shù)據(jù)治理01數(shù)據(jù)治理概述02元數(shù)據(jù)治理03數(shù)據(jù)質(zhì)量治理04數(shù)據(jù)安全治理05數(shù)據(jù)治理評估全球治理委員會（CommissionOnGlobalGovernance）將“治理”定義為：使互相沖突或者不同的利益能夠得到調(diào)和，并且持續(xù)采取聯(lián)合行動的過程。治理在不同領(lǐng)域中的意義也有所區(qū)別，國家的治理意味著財政支出獲得最大效益，公司治理意味著組織的良好運營及有效監(jiān)管。隨著企業(yè)信息化進(jìn)程的推進(jìn)，數(shù)據(jù)資產(chǎn)的構(gòu)成越來越復(fù)雜，跨部門、跨系統(tǒng)的協(xié)同交互對數(shù)據(jù)質(zhì)量提出了越來越高的要求，數(shù)據(jù)治理的話題受到了越來越多的關(guān)注。數(shù)據(jù)治理：為數(shù)據(jù)資源及其應(yīng)用過程中相關(guān)管控活動、績效和風(fēng)險管理的集合。1.1數(shù)據(jù)治理的定義國際數(shù)據(jù)管理協(xié)會（DataManagementAssociation）發(fā)布的DAMA-DMBOK2數(shù)據(jù)管理框架中，數(shù)據(jù)治理是所有數(shù)據(jù)管理活動的中心，貫徹和輻射到數(shù)據(jù)管理的各個功能域，是實現(xiàn)各領(lǐng)域內(nèi)部一致性和領(lǐng)域之間平衡所必需的部分。1.1數(shù)據(jù)治理的定義圖14-1DAMA-DMBOK2數(shù)據(jù)管理框架數(shù)據(jù)治理的目標(biāo)確保數(shù)據(jù)管理活動能夠按照數(shù)據(jù)管理制度及最佳實踐展開。一般來說，通過數(shù)據(jù)治理企業(yè)可實現(xiàn)以下目標(biāo)：完善的數(shù)據(jù)管控體系。統(tǒng)一的數(shù)據(jù)來源。規(guī)范化的數(shù)據(jù)。提高工作效率。降低數(shù)據(jù)管理成本。滿足數(shù)據(jù)的合規(guī)性。1.2數(shù)據(jù)治理的目標(biāo)與原則數(shù)據(jù)治理的原則數(shù)據(jù)治理的原則是指數(shù)據(jù)治理所遵循的、首要的、基本的指導(dǎo)性法則。為了高效采集、有效整合、充分運用數(shù)據(jù)，提出以下基本原則：有效性原則。體現(xiàn)了數(shù)據(jù)治理過程中數(shù)據(jù)的標(biāo)準(zhǔn)、質(zhì)量、管控的有效性。價值化原則。指數(shù)據(jù)治理過程以數(shù)據(jù)資產(chǎn)為價值核心，實現(xiàn)數(shù)據(jù)價值最大化。一致性原則。指在數(shù)據(jù)標(biāo)準(zhǔn)管理組織的推動和指導(dǎo)下，遵循統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，借助標(biāo)準(zhǔn)化管控流程得以實現(xiàn)數(shù)據(jù)一致性的原則。安全性原則。指保障業(yè)務(wù)系統(tǒng)中數(shù)據(jù)安全和數(shù)據(jù)治理過程中數(shù)據(jù)的安全可控。持續(xù)性原則。數(shù)據(jù)治理是一個持續(xù)性的過程，不能因項目的結(jié)束而終止。開放性原則。以開放的態(tài)度樹立起信息公開的思想，運用開放、透明、發(fā)展、共享的信息資源管理理念對數(shù)據(jù)進(jìn)行處理。1.2數(shù)據(jù)治理的目標(biāo)與原則數(shù)據(jù)治理的職能對于數(shù)據(jù)治理來說，其職能可理解為數(shù)據(jù)治理應(yīng)該包含的內(nèi)容及其對企業(yè)數(shù)據(jù)管理所起到的積極影響。在數(shù)據(jù)治理的諸多職能中，元數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)安全治理與數(shù)據(jù)治理的評估是其關(guān)鍵職能。元數(shù)據(jù)治理主要解決企業(yè)元數(shù)據(jù)管理不規(guī)范的問題。數(shù)據(jù)質(zhì)量治理主要保證企業(yè)的數(shù)據(jù)質(zhì)量水平。數(shù)據(jù)安全治理主要維護(hù)企業(yè)數(shù)據(jù)資產(chǎn)的安全性，防止信息泄露對企業(yè)利益造成損害。數(shù)據(jù)治理的評估主要對企業(yè)當(dāng)前數(shù)據(jù)管理與治理狀況進(jìn)行評估，以確定企業(yè)的相關(guān)改進(jìn)方向與計劃。1.3數(shù)據(jù)治理的職能與流程數(shù)據(jù)治理的流程數(shù)據(jù)治理具有完整的體系結(jié)構(gòu)，企業(yè)通過制定數(shù)據(jù)標(biāo)準(zhǔn)、建立數(shù)據(jù)組織、健全數(shù)據(jù)管控流程，對數(shù)據(jù)進(jìn)行全面、統(tǒng)一、高效的管理。1.3數(shù)據(jù)治理的職能與流程圖14-2數(shù)據(jù)治理基本流程企業(yè)既要做好頂層設(shè)計，又要解決好統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一流程、統(tǒng)一管理體系等問題，同時也要解決好數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)對接和應(yīng)用集成等相關(guān)問題，這些都給數(shù)據(jù)治理項目帶來了不少的挑戰(zhàn)。數(shù)據(jù)整合挑戰(zhàn)：企業(yè)中一般存在多項不同的業(yè)務(wù)，建立多個業(yè)務(wù)系統(tǒng)，所需的數(shù)據(jù)也越來越多。數(shù)據(jù)安全挑戰(zhàn)：在企業(yè)采集、治理、利用數(shù)據(jù)的過程中，必須符合相關(guān)規(guī)范，加強敏感字段的審核，不觸碰政策紅線。在數(shù)據(jù)傳輸過程中，企業(yè)也要防止數(shù)據(jù)的竊取與偽造問題。組織制度挑戰(zhàn)：對多數(shù)企業(yè)來說，在數(shù)據(jù)治理時都需要進(jìn)行組織變革與文化變革?？沙掷m(xù)性挑戰(zhàn)：隨著業(yè)務(wù)的不斷迭代變化，數(shù)據(jù)治理需要企業(yè)不斷地采取措施去適應(yīng)這種變化，以確保數(shù)據(jù)治理效果。1.4數(shù)據(jù)治理面臨的挑戰(zhàn)元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)(DataAboutData)，是指從信息資源中抽取出來用于描述其特征與內(nèi)容的數(shù)據(jù)。元數(shù)據(jù)主要是指數(shù)據(jù)的類型、名稱和值等。元數(shù)據(jù)不僅可以幫助企業(yè)理解自身的數(shù)據(jù)、系統(tǒng)和業(yè)務(wù)流程，還能幫助企業(yè)評估數(shù)據(jù)質(zhì)量。元數(shù)據(jù)能夠輔助企業(yè)有效集成、處理、維護(hù)和治理其他數(shù)據(jù)，對數(shù)據(jù)庫與信息系統(tǒng)的管理來說是不可或缺的。2.1元數(shù)據(jù)的定義為了更加有效地管理元數(shù)據(jù)，企業(yè)需要對元數(shù)據(jù)進(jìn)行治理，并對流程進(jìn)行規(guī)范，形成一套切實可行的治理辦法，從而提升企業(yè)元數(shù)據(jù)管理水平。通常，一個完整的元數(shù)據(jù)治理過程應(yīng)包含以下幾個步驟。理解元數(shù)據(jù)需求：企業(yè)應(yīng)清楚需要哪些元數(shù)據(jù)以及哪種詳細(xì)級別。定義元數(shù)據(jù)戰(zhàn)略：元數(shù)據(jù)戰(zhàn)略描述企業(yè)應(yīng)如何治理其自身元數(shù)據(jù)，以及元數(shù)據(jù)從當(dāng)前狀態(tài)到未來狀態(tài)的實施路線。定義元數(shù)據(jù)架構(gòu)：元數(shù)據(jù)管理系統(tǒng)必須具有從不同數(shù)據(jù)源采集元數(shù)據(jù)的能力，設(shè)計架構(gòu)時應(yīng)確?？梢話呙璨煌臄?shù)據(jù)源，并且能夠定期地更新元數(shù)據(jù)存儲庫。創(chuàng)建和維護(hù)元數(shù)據(jù)：企業(yè)需要制定、執(zhí)行并審計元數(shù)據(jù)標(biāo)準(zhǔn)，進(jìn)一步規(guī)范元數(shù)據(jù)的創(chuàng)建過程。在維護(hù)過程中，企業(yè)應(yīng)根據(jù)需要，對元數(shù)據(jù)進(jìn)行整合與刪減，精簡元數(shù)據(jù)，避免冗余，適應(yīng)當(dāng)前企業(yè)發(fā)展；建立反饋機制，保障用戶可以將不準(zhǔn)確或已過時的元數(shù)據(jù)通知元數(shù)據(jù)治理團(tuán)隊。2.2元數(shù)據(jù)治理基本流程ApacheAtlas是一個可伸縮可擴展的元數(shù)據(jù)管理工具，其設(shè)計的目的是與其他大數(shù)據(jù)系統(tǒng)組件交換元數(shù)據(jù)，改變以往標(biāo)準(zhǔn)各異、各自為戰(zhàn)的元數(shù)據(jù)管理方式，構(gòu)建統(tǒng)一的元數(shù)據(jù)定義標(biāo)準(zhǔn)與元數(shù)據(jù)庫，并且與Hadoop生態(tài)系統(tǒng)中各類組件相集成，可以建立統(tǒng)一、高效且可擴展的元數(shù)據(jù)管理平臺。Atlas架構(gòu)2.3元數(shù)據(jù)治理工具圖14-3Atlas架構(gòu)

Atlas架構(gòu)元數(shù)據(jù)源模塊（MetadataSources）：Atlas支持與多種數(shù)據(jù)源相互整合。應(yīng)用模塊（Apps）：在Atlas的元數(shù)據(jù)庫中存儲著各種組件的元數(shù)據(jù)，這些元數(shù)據(jù)將被各種各樣的應(yīng)用所使用，以滿足不同現(xiàn)實業(yè)務(wù)與大數(shù)據(jù)治理的需要。集成交互模塊(Integration)：用戶管理元數(shù)據(jù)：1）API；2）消息系統(tǒng)（Messaging）。核心模塊（Core）：具體又可分為類型系統(tǒng)（TypeSystem）、導(dǎo)人/導(dǎo)出(Lngest/Export)、圖引擎（GraphEngine）和泰坦圖數(shù)據(jù)庫（Titan）四大模塊。Atlas技術(shù)優(yōu)勢定義統(tǒng)一的元數(shù)據(jù)標(biāo)準(zhǔn)高效的元數(shù)據(jù)交換體系針對不同商業(yè)對象進(jìn)行元數(shù)據(jù)建?？梢暬臄?shù)據(jù)血統(tǒng)追溯2.3元數(shù)據(jù)治理工具數(shù)據(jù)本身的可靠性與可信度是實現(xiàn)數(shù)據(jù)價值的前提，換句話說，數(shù)據(jù)應(yīng)是高質(zhì)量的。數(shù)據(jù)質(zhì)量（DataQuality）：在業(yè)務(wù)環(huán)境下，數(shù)據(jù)符合數(shù)據(jù)消費者的使用目的，能滿足業(yè)務(wù)場景具體需求的程度。數(shù)據(jù)質(zhì)量若達(dá)到數(shù)據(jù)消費者的期望和需求，就是高質(zhì)量的；反之，如果不滿足數(shù)據(jù)消費者的應(yīng)用需求，就是低質(zhì)量的。因此，數(shù)據(jù)質(zhì)量取決于使用數(shù)據(jù)的場景和數(shù)據(jù)消費者的需求。3.1數(shù)據(jù)質(zhì)量的定義數(shù)據(jù)質(zhì)量治理基本流程定義高質(zhì)量數(shù)據(jù)：了解企業(yè)業(yè)務(wù)需求、定義業(yè)務(wù)術(shù)語、識別企業(yè)的數(shù)據(jù)痛點，并對數(shù)據(jù)質(zhì)量改進(jìn)的驅(qū)動因素和優(yōu)先事項達(dá)成共識。定義數(shù)據(jù)質(zhì)量戰(zhàn)略：應(yīng)考慮到需要完成的工作以及員工執(zhí)行這些工作的方式。識別關(guān)鍵數(shù)據(jù)和業(yè)務(wù)規(guī)則：可以根據(jù)監(jiān)管要求、財務(wù)價值和對客戶的直接影響等因素對數(shù)據(jù)進(jìn)行優(yōu)先級排序。執(zhí)行數(shù)據(jù)質(zhì)量評估：實際查看數(shù)據(jù)、查詢數(shù)據(jù)，以了解數(shù)據(jù)內(nèi)容和關(guān)系，以及將實際數(shù)據(jù)與規(guī)則和期望進(jìn)行比較。定義數(shù)據(jù)質(zhì)量改進(jìn)目標(biāo)：企業(yè)需根據(jù)數(shù)據(jù)質(zhì)量改進(jìn)帶來的業(yè)務(wù)價值增益大小，來設(shè)定具體的、可實現(xiàn)的目標(biāo)。識別改進(jìn)方向并確定優(yōu)先級：企業(yè)需要識別潛在的改進(jìn)措施，并確定其優(yōu)先順序。（7）確定質(zhì)量提升方案。3.2數(shù)據(jù)質(zhì)量治理基本流程業(yè)務(wù)術(shù)語表許多企業(yè)傾向于使用個性化的內(nèi)部詞匯，術(shù)語表也因此成為了企業(yè)內(nèi)部數(shù)據(jù)共享、數(shù)據(jù)理解的重要參照。業(yè)務(wù)術(shù)語表的制定一般遵循以下準(zhǔn)則：企業(yè)各部門對核心業(yè)務(wù)概念和術(shù)語有共同的理解；降低因各部門對業(yè)務(wù)概念理解不一致而導(dǎo)致數(shù)據(jù)誤使用的風(fēng)險；提高技術(shù)資產(chǎn)（包括技術(shù)命名規(guī)范）與業(yè)務(wù)組織之間的一致性；最大限度提高術(shù)語搜索能力，并能夠獲取記錄在案的企業(yè)知識。通過將業(yè)務(wù)術(shù)語表放在法規(guī)遵從性和數(shù)據(jù)治理計劃的核心位置，可以幫助企業(yè)打破組織和技術(shù)豎井，實現(xiàn)跨領(lǐng)域的數(shù)據(jù)可見性、數(shù)據(jù)控制和協(xié)作，還可以對數(shù)據(jù)進(jìn)行一致的交換、理解和處理，達(dá)到對數(shù)據(jù)的統(tǒng)一管理和保護(hù)，提高數(shù)據(jù)質(zhì)量。3.3數(shù)據(jù)質(zhì)量治理工具ApacheFalconApacheFalcon作為Hadoop集群數(shù)據(jù)處理和數(shù)據(jù)生命周期管理的實現(xiàn)工具，通過建立數(shù)據(jù)生命周期管理方案，解決Hadoop的數(shù)據(jù)復(fù)制、業(yè)務(wù)銜接以及血統(tǒng)追蹤等難題。Falcon架構(gòu)：3.3數(shù)據(jù)質(zhì)量治理工具圖14-4Falcon架構(gòu)

ApacheFalconFalcon技術(shù)優(yōu)勢Falcon允許企業(yè)以多種方式處理存儲在HDFS（HadoopDistributedFileSystem）中的大規(guī)模數(shù)據(jù)集，包括批處理、交互和流數(shù)據(jù)應(yīng)用等。Falcon通過更高層次的抽象，簡化了數(shù)據(jù)管道（DataPipeline）的開發(fā)和管理。Falcon通過提供一個定義-部署-管理數(shù)據(jù)管道的框架來實現(xiàn)這種簡化的管理?？偟膩碚f，F(xiàn)alcon實現(xiàn)了企業(yè)數(shù)據(jù)治理的以下需求：數(shù)據(jù)生命周期的統(tǒng)一管理；數(shù)據(jù)的合規(guī)性；數(shù)據(jù)集的復(fù)制、備份與歸檔。3.3數(shù)據(jù)質(zhì)量治理工具數(shù)據(jù)安全的定義數(shù)據(jù)安全主要從以下兩方面進(jìn)行定義：一是數(shù)據(jù)本身的安全，主要是指采用現(xiàn)代密碼算法對數(shù)據(jù)進(jìn)行主動保護(hù)，如數(shù)據(jù)保密、數(shù)據(jù)完整性、雙向強身份認(rèn)證；二是數(shù)據(jù)防護(hù)的安全，主要是采用現(xiàn)代信息存儲手段對數(shù)據(jù)進(jìn)行主動防護(hù)，如通過磁盤陣列、數(shù)據(jù)備份、異地容災(zāi)等手段保證數(shù)據(jù)的安全。數(shù)據(jù)安全實踐的目標(biāo)是相同的，即根據(jù)隱私和保密法規(guī)、合同協(xié)議和業(yè)務(wù)要求來保護(hù)信息資產(chǎn)。企業(yè)在獲得“大數(shù)據(jù)時代”信息價值增益的同時，也在不斷地累積風(fēng)險，數(shù)據(jù)安全方面的挑戰(zhàn)日益增大。4.1數(shù)據(jù)安全的定義數(shù)據(jù)安全治理基本流程識別數(shù)據(jù)安全需求：企業(yè)應(yīng)清楚認(rèn)識所面臨的數(shù)據(jù)安全需求，并將其劃分到業(yè)務(wù)需求、外部監(jiān)管需求和應(yīng)用軟件的規(guī)則需求三個方面。制定數(shù)據(jù)安全策略：應(yīng)明確定義所需流程及其背后的原因，以便安全策略易于實現(xiàn)和遵從。定義數(shù)據(jù)安全細(xì)則：細(xì)則是對策略的補充，并提供有關(guān)如何滿足策略意圖的其他詳細(xì)信息。評估當(dāng)前安全風(fēng)險：識別風(fēng)險的第一步是確定敏感數(shù)據(jù)的存儲位置，以及這些數(shù)據(jù)需要哪些保護(hù)措施。實施安全策略：企業(yè)應(yīng)建立用于跟蹤所有用戶權(quán)限請求的變更管理系統(tǒng)，驗證分配的權(quán)限。對每個變更記錄進(jìn)行紙質(zhì)記錄和歸檔，對工作狀態(tài)和部門不再適合繼續(xù)擁有某些訪問權(quán)限的人取消授權(quán)。4.2數(shù)據(jù)安全治理基本流程Apache

Ranger是用于Hadoop的集中式安全管理解決方案，使管理員能夠為Hadoop平臺組件創(chuàng)建和實施安全策略，并且為Hadoop的各個組件提供細(xì)粒度的安全權(quán)限機制。Ranger架構(gòu)，主要包括RangerAdmin、RangerPlugin與RangerUsersync三個部分。4.3數(shù)據(jù)安全治理工具圖14-5Ranger架構(gòu)

Ranger架構(gòu)，主要包括RangerAdmin、RangerPlugin與RangerUsersync三個部分。RangerAdmin是安全管理的核心接口，也是Ranger框架的管理中心。RangerPlugin是權(quán)限安全管理的核心，它是一個輕量級的可以嵌入各個集群組件中的Java程序。RangerUsersync是一個非常重要的工具，它用于將用戶或用戶組從UNIX系統(tǒng)或LDAP（LightweightDirectoryAccessProtocol）同步到RangerAdmin。Ranger技術(shù)優(yōu)勢細(xì)粒度授權(quán)：Ranger用戶可以有效地對不同地理位置和不同客戶授予不同的權(quán)限。集中化審計日志管理和策略管理。易于操作控制權(quán)限。統(tǒng)一的操作平臺：第一，Ranger把所有的組件的服務(wù)和策略的創(chuàng)建和更新都在RangerWebUI上完成，而且組件可直接配置；第二，Ranger安裝各個組件的插件時，只需要修改相應(yīng)的配置文件，就能使Ranger的權(quán)限控制功能生效。4.3數(shù)據(jù)安全治理工具基本概念在數(shù)據(jù)治理過程中，通過評估不僅可以了解當(dāng)前數(shù)據(jù)治理實施的狀態(tài)和方向，認(rèn)識數(shù)據(jù)治理的重要性，為實現(xiàn)數(shù)據(jù)價值最大化提供依據(jù)；還能夠確保數(shù)據(jù)的高質(zhì)量、時效性、一致性和可分享性，幫助企業(yè)管理者更智慧地經(jīng)營和決策。能力成熟度模型（CapabilityMaturityModel,CMM）是對軟件組織在定義、實施、度量、控制和改善其軟件過程的實踐中各個發(fā)展階段的描述，是一種用于評估軟件承包能力并幫助其改善軟件質(zhì)量的方法，側(cè)重于軟件開發(fā)過程的管理及工程能力的提高與評估。5數(shù)據(jù)治理評估DMM模型是一個能實現(xiàn)業(yè)務(wù)部門利益與IT相互匹配的強大加速器，可為公司組織提供一套最佳實踐標(biāo)準(zhǔn)，制定讓數(shù)據(jù)管理戰(zhàn)略與單個商業(yè)目標(biāo)相一致的路線圖。該模型劃分了五個成熟度等級；將數(shù)據(jù)管理劃分為6個職能域以及25個更為細(xì)化的過程域。5.1DMM圖14-6DMM模型職能域劃分圖

DCAM（DataManagementCapabilityAssessmentMaturity）數(shù)據(jù)管理能力評估模型是為實現(xiàn)業(yè)務(wù)價值和業(yè)務(wù)目標(biāo)，通過制定戰(zhàn)略，引入數(shù)據(jù)治理理念，在技術(shù)和規(guī)程方面進(jìn)行數(shù)