云端數(shù)據(jù)治理初探

1、云端數(shù)據(jù)治理初探摘要：該文論述了數(shù)據(jù)治理研究進(jìn)展，分析了云計(jì)算環(huán)境下的數(shù)據(jù)特點(diǎn)，針對性地提出了云端數(shù)據(jù)治理體系概念。云端數(shù)據(jù)治理體系利用PDCA質(zhì)量循環(huán)控制方法，并借鑒了工程管理、數(shù)據(jù)治理、IT治理等領(lǐng)域的實(shí)施方法論，為有需要的組織在優(yōu)化數(shù)據(jù)治理戰(zhàn)略、建立更加完善的數(shù)據(jù)治理流程、強(qiáng)化數(shù)據(jù)治理保障等過程提供參考。關(guān)鍵詞：數(shù)據(jù)治理云端數(shù)據(jù)治理治理體系云計(jì)算中圖分類號：TP274文獻(xiàn)標(biāo)識(shí)碼：A文章編號：1674-098X202101a-0096-02云計(jì)算作為“云、物、移、大、智的最根底支撐，為數(shù)據(jù)爆發(fā)式增長與數(shù)據(jù)快速流動(dòng)提供了關(guān)鍵根底設(shè)施。云計(jì)算的優(yōu)勢在于能夠支撐起越來越大規(guī)模的海量數(shù)據(jù)的存儲(chǔ)、處

2、理、分享與協(xié)作。但隨著數(shù)據(jù)規(guī)模不斷增長，以及非結(jié)構(gòu)化數(shù)據(jù)所占比重的提高，數(shù)據(jù)的價(jià)值密度越來越低。如何在保證數(shù)據(jù)平安的同時(shí)發(fā)揮數(shù)據(jù)所蘊(yùn)含的價(jià)值，是所有將數(shù)據(jù)視為資產(chǎn)的機(jī)構(gòu)必須思考的問題。數(shù)據(jù)治理是發(fā)揮數(shù)據(jù)價(jià)值、保護(hù)數(shù)據(jù)平安的有效措施，但隨著云計(jì)算對數(shù)據(jù)所處環(huán)境變化起到的主導(dǎo)作用，研究云計(jì)算環(huán)境下的數(shù)據(jù)治理十分有必要。1數(shù)據(jù)治理主要研究進(jìn)展在數(shù)據(jù)治理研究領(lǐng)域，國際數(shù)據(jù)管理協(xié)會(huì)DAMA、數(shù)據(jù)治理研究所DGI、IBM、CMMI研究所等組織提出了多種數(shù)據(jù)治理框架或數(shù)據(jù)治理模型。DAMA認(rèn)為數(shù)據(jù)管理是規(guī)劃、控制和提供數(shù)據(jù)及信息資產(chǎn)的一種業(yè)務(wù)職能，包括開發(fā)、執(zhí)行和監(jiān)督有關(guān)數(shù)據(jù)的方案、政策、工程、流程、方法和

3、程序，從而控制、保護(hù)、交付和提高數(shù)據(jù)資產(chǎn)的價(jià)值【1】。該定義突出了數(shù)據(jù)管理的職能、過程和標(biāo)準(zhǔn)3個(gè)關(guān)鍵詞。在職能上認(rèn)為數(shù)據(jù)管理是業(yè)務(wù)數(shù)據(jù)管理專員和技術(shù)數(shù)據(jù)管理專員共同承擔(dān)的責(zé)任；在過程上，認(rèn)為數(shù)據(jù)管理是數(shù)據(jù)資產(chǎn)管理的權(quán)威性和控制性活動(dòng)，是在數(shù)據(jù)管理和使用層面之上進(jìn)行規(guī)劃、監(jiān)管和控制；在標(biāo)準(zhǔn)上，認(rèn)為數(shù)據(jù)管理必須遵守相關(guān)的規(guī)那么和標(biāo)準(zhǔn)，才能確保數(shù)據(jù)管理過程能夠順利進(jìn)行。DGI認(rèn)為數(shù)據(jù)治理應(yīng)建立獨(dú)立的數(shù)據(jù)治理理論體系，從組織、規(guī)那么、過程3個(gè)層面提出了數(shù)據(jù)治理框架。組織即制定和執(zhí)行數(shù)據(jù)治理規(guī)那么和標(biāo)準(zhǔn)的組織結(jié)構(gòu)，包含數(shù)據(jù)利益相關(guān)者、數(shù)據(jù)治理委員會(huì)和數(shù)據(jù)管理者；規(guī)那么即建立、協(xié)調(diào)和標(biāo)準(zhǔn)數(shù)據(jù)治理工作的規(guī)那

4、么，以及指導(dǎo)不同部門共同制定和執(zhí)行規(guī)那么的協(xié)同工作標(biāo)準(zhǔn)，包含使命和愿景、目標(biāo)、治理成效的度量標(biāo)準(zhǔn)、財(cái)務(wù)策略、數(shù)據(jù)規(guī)那么和定義、決策權(quán)、職責(zé)分工、控制6個(gè)組件；過程即數(shù)據(jù)治理應(yīng)遵循的工作步驟和流程，包括主動(dòng)、被動(dòng)和正在進(jìn)行的數(shù)據(jù)治理過程。IBM認(rèn)為數(shù)據(jù)治理是根據(jù)企業(yè)的數(shù)據(jù)管控政策，利用組織人員、流程和技術(shù)的相互協(xié)作，使企業(yè)能將數(shù)據(jù)作為企業(yè)的核心資產(chǎn)來管理和應(yīng)用的一門學(xué)科。IBM定義了11個(gè)要素來開展數(shù)據(jù)治理，11個(gè)要素分為支撐域、核心域、促成因素和成果。其中支撐域包括數(shù)據(jù)架構(gòu)、分類與元數(shù)據(jù)、審計(jì)/日志與報(bào)告；核心域包括數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理、信息平安與隱私；促成因素包括組織結(jié)構(gòu)與意識(shí)、人

5、員、策略；成果包括數(shù)據(jù)風(fēng)險(xiǎn)管理與合規(guī)、價(jià)值。CMMI研究所提出了以成熟度概念評價(jià)數(shù)據(jù)治理能力，形成了數(shù)據(jù)管理成熟度模型DMM。DMM模型由20個(gè)數(shù)據(jù)管理過程域和5個(gè)以CMMI過程域?yàn)楦椎闹С诌^程域構(gòu)成，其中這20個(gè)過程域分別屬于數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)操作和平臺(tái)與架構(gòu)5大職能域。針對每個(gè)過程域，DMM均以執(zhí)行級、管理級、定義級、度量級和優(yōu)化級5個(gè)等級衡量過程域治理能力成熟度。除此之外，Gartner、普華永道等公司也提出了各自的數(shù)據(jù)治理模型。雖然這些數(shù)據(jù)治理模型在傳統(tǒng)數(shù)據(jù)治理階段發(fā)揮了很大的作用，但面對云計(jì)算環(huán)境下的數(shù)據(jù)特點(diǎn)，這些數(shù)據(jù)治理模型存在一定的不適應(yīng)性或者難以滿足云端數(shù)據(jù)治

6、理需求。2云計(jì)算環(huán)境下數(shù)據(jù)的特點(diǎn)2.1云計(jì)算環(huán)境下數(shù)據(jù)的體量更大、種類更復(fù)雜IDC報(bào)告顯示，預(yù)計(jì)到2021年全球數(shù)據(jù)總量將超過40ZB，這一數(shù)據(jù)量是2021年的22倍。中國在2021年產(chǎn)生的數(shù)據(jù)總量超過0.8ZB，是2021年的兩倍，相當(dāng)于2021年全球的數(shù)據(jù)總量。預(yù)計(jì)到2021年，中國產(chǎn)生的數(shù)據(jù)總量將是2021年的10倍，超過8.5ZB。2.2云計(jì)算環(huán)境下數(shù)據(jù)遠(yuǎn)程存儲(chǔ)和遠(yuǎn)程傳輸更普遍根據(jù)Gartner統(tǒng)計(jì)，2021年全球共有329EB個(gè)人數(shù)據(jù)，只有不到7%的個(gè)人數(shù)據(jù)存儲(chǔ)在云端。隨著消費(fèi)者使用智能和平板電腦產(chǎn)生的數(shù)據(jù)越來越多，消費(fèi)者將開始選擇本地存儲(chǔ)之外的存儲(chǔ)方式。2021年全球個(gè)人數(shù)據(jù)急劇膨

7、脹到4.1ZB，其中約有36%的個(gè)人數(shù)據(jù)被轉(zhuǎn)移到云端。數(shù)據(jù)在云端的存儲(chǔ)必然對數(shù)據(jù)遠(yuǎn)程傳輸提出更多的要求，例如數(shù)據(jù)傳輸?shù)钠桨病⑺俾?、完整性等。因此，在?shù)據(jù)本地化存儲(chǔ)空間缺乏和本錢高昂的背景下，數(shù)據(jù)存儲(chǔ)在云端或異地?cái)?shù)據(jù)中心將越來越多。2.3云計(jì)算環(huán)境下數(shù)據(jù)的平安威脅更多、合規(guī)要求更復(fù)雜美國IDG公司2021年對1300多位企業(yè)高管進(jìn)行調(diào)研，66%的企業(yè)高管認(rèn)為平安問題是云計(jì)算的關(guān)鍵因素。近年來，云效勞上的數(shù)據(jù)平安事件頻發(fā)。2021年，斯諾登“棱鏡門事件曝光了美國國家平安局的秘密監(jiān)聽方案，獲取用戶數(shù)據(jù)。2021年8月，蘋果公司的iCloud云效勞受到黑客攻擊，黑客刪除了局部用戶資料，而云平臺(tái)并未備份

8、用戶數(shù)據(jù)，導(dǎo)致用戶數(shù)據(jù)的喪失。為了保護(hù)數(shù)據(jù)，各國紛紛制定了很多數(shù)據(jù)使用和保護(hù)法律法規(guī)，這對開展以數(shù)據(jù)為根底的業(yè)務(wù)合規(guī)性提出了更復(fù)雜的要求。3云端數(shù)據(jù)治理體系總體來看，有效推動(dòng)云端數(shù)據(jù)治理，亟待解決的不是技術(shù)問題，更多的是各種管理問題。云端數(shù)據(jù)治理是以云端數(shù)據(jù)為主要治理對象，通過制定云端數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)管理、數(shù)據(jù)優(yōu)化、數(shù)據(jù)平安與隱私保護(hù)等相關(guān)策略，指導(dǎo)組織規(guī)劃、構(gòu)建、評估和優(yōu)化數(shù)據(jù)治理體系。云端數(shù)據(jù)治理體系利用PDCA質(zhì)量循環(huán)控制方法，并借鑒了工程管理、數(shù)據(jù)治理、IT治理等領(lǐng)域的實(shí)施方法論，如圖1所示。其中P是統(tǒng)籌和規(guī)劃，指根據(jù)云端數(shù)據(jù)治理的工程目標(biāo)，對照業(yè)務(wù)需求，確定云端數(shù)據(jù)治理實(shí)施的范圍和戰(zhàn)略

9、，規(guī)劃實(shí)現(xiàn)目標(biāo)確定必要的過程；D是構(gòu)建和運(yùn)行，指在受控條件下，運(yùn)行云端數(shù)據(jù)治理的過程；C是監(jiān)督和評估，指對云端數(shù)據(jù)治理體系進(jìn)行評估與診斷、監(jiān)視與測量、審核、考核，并報(bào)告結(jié)果；A是改進(jìn)和優(yōu)化，是指采取措施，包括審計(jì)、績效考核、糾正措施和預(yù)防措施等，以持續(xù)改進(jìn)過程績效。為使組織的云端數(shù)據(jù)治理體系有效運(yùn)行，需確定和管理眾多相互關(guān)聯(lián)的活動(dòng)。通過使用資源和實(shí)施管理，將輸入轉(zhuǎn)化為輸出的一項(xiàng)或一組活動(dòng)，可以視為一個(gè)過程。輸入端，應(yīng)根據(jù)組織的業(yè)務(wù)戰(zhàn)略和目標(biāo)，制定云端數(shù)據(jù)治理體系的戰(zhàn)略和目標(biāo)。根據(jù)業(yè)務(wù)需求，識(shí)別組織的數(shù)據(jù)需求和數(shù)據(jù)問題，同時(shí)需要考慮監(jiān)管的合規(guī)性和一致性。有效的云端數(shù)據(jù)治理體系一定是與組織的業(yè)務(wù)價(jià)

10、值緊密相連。組織使用IT技術(shù)配合和支撐各種業(yè)務(wù)，目的都是為了達(dá)成業(yè)務(wù)目標(biāo)和實(shí)現(xiàn)業(yè)務(wù)戰(zhàn)略。輸出端，數(shù)據(jù)策略是云端數(shù)據(jù)治理的根本規(guī)那么，這些策略貫穿云端數(shù)據(jù)治理體系的所有過程，描述了什么可以做，什么不該做。數(shù)據(jù)規(guī)程是云端數(shù)據(jù)治理的程序，是完成某項(xiàng)活動(dòng)的詳細(xì)步驟。云端數(shù)據(jù)治理體系是識(shí)別、管理和解決云端數(shù)據(jù)問題的有效途徑，最終目標(biāo)之一是為了管理并解決云端數(shù)據(jù)問題。在體系的運(yùn)行過程中，云端數(shù)據(jù)治理專業(yè)人員應(yīng)不斷溝通、培訓(xùn)和推廣數(shù)據(jù)的重要性，提高利益相關(guān)者對云端數(shù)據(jù)治理體系的認(rèn)可。云端數(shù)據(jù)治理的內(nèi)容包括戰(zhàn)略、數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)操作、數(shù)據(jù)架構(gòu)、平安與隱私5大職能域，在治理體系中，需要不斷優(yōu)化這5大職能域，實(shí)現(xiàn)云端數(shù)據(jù)的科學(xué)治理。4結(jié)語云端數(shù)據(jù)治理是一項(xiàng)復(fù)雜的持續(xù)改進(jìn)的過程，而不是一個(gè)一蹴而就的工程，需要不斷評估現(xiàn)狀，并及時(shí)改進(jìn)。云端數(shù)據(jù)治理從治理戰(zhàn)略、組織架構(gòu)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)操作、管理平臺(tái)等多個(gè)方面著手，通過策劃、構(gòu)建、評估和改進(jìn)，建立一個(gè)完善的治理管理體系，為組織海量的云端數(shù)據(jù)治理工作提供清晰的路線規(guī)劃，促進(jìn)各部門人