大數(shù)據(jù)治理需要具備哪些能力和關(guān)鍵技術(shù)

1、大數(shù)據(jù)治理需要具備哪些能力和關(guān)鍵技術(shù)在企業(yè)數(shù)據(jù)建設(shè)過程中， 大數(shù)據(jù)治理受到越來越多的重視。 從企業(yè)數(shù)據(jù)資產(chǎn)管理和提升數(shù)據(jù)質(zhì)量，到自服務(wù)和智能化的數(shù)據(jù)應(yīng)用,大數(shù)據(jù)治理的內(nèi)容在不斷發(fā)展和完善，其落地實(shí)施的過程中會(huì)遇到各種各樣的難題和挑戰(zhàn)。本篇文章通過分析大數(shù)據(jù)治理建設(shè)中的溝溝坎坎,總結(jié)出了大數(shù)據(jù)治理需要具備的能力和關(guān)鍵技術(shù)。、困難重重卻充滿光明的大數(shù)據(jù)治理發(fā)展之路1、傳統(tǒng)數(shù)據(jù)治理一直無法逃脫的魔咒每個(gè)階段完成不同的任務(wù),大數(shù)據(jù)治理從建設(shè)內(nèi)容和實(shí)施目標(biāo)上可以劃分成不同的階段,隨著階段的遞進(jìn)，建設(shè)內(nèi)容逐步加深， 不同的企業(yè)切入點(diǎn)和訴求也各不相同。大致分為以下 幾個(gè)階段:摸家底階段內(nèi)容：企業(yè)元數(shù)據(jù)梳理和

2、采集目標(biāo)：構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫建體系內(nèi)容：建立企業(yè)標(biāo)準(zhǔn)和質(zhì)量提升體系目標(biāo)：提升數(shù)據(jù)質(zhì)量促應(yīng)用內(nèi)容：自服務(wù)通道、構(gòu)建企業(yè)知識(shí)圖譜目標(biāo)：數(shù)據(jù)智能應(yīng)用然而，大數(shù)據(jù)治理建設(shè)之路并不是一帆風(fēng)順的，甚至可以說充滿了各種問題和困難,如何管理企業(yè)級(jí)的數(shù)據(jù)資產(chǎn)、如何讓業(yè)務(wù)積極參與到數(shù)據(jù)建設(shè)中來、如何降低數(shù)據(jù)治理的落地難度等一系列問題， 一直困擾著數(shù)據(jù)治理的發(fā)展， 傳統(tǒng)數(shù)據(jù)治理的問題主要體現(xiàn)在以下幾個(gè)方面：管理范圍窄要做數(shù)據(jù)治理首先要知道有哪些數(shù)據(jù)， 傳統(tǒng)的數(shù)據(jù)治理往往只管理了數(shù)據(jù)領(lǐng)域， 很少關(guān) 注業(yè)務(wù)、管理和開發(fā)相關(guān)的數(shù)據(jù)資產(chǎn)，數(shù)據(jù)管理范圍比較窄，而且，受限于技術(shù)實(shí)現(xiàn)，即使 在數(shù)據(jù)領(lǐng)域的數(shù)據(jù)資產(chǎn)也很難做到精確管理

3、 ;業(yè)務(wù)難結(jié)合業(yè)務(wù)元數(shù)據(jù)的廣泛缺失， 導(dǎo)致業(yè)務(wù)人員無法使用技術(shù)性的元數(shù)據(jù)系統(tǒng)， 元數(shù)據(jù)缺乏業(yè)務(wù) 用戶，使用者少 ;應(yīng)用場(chǎng)景缺元數(shù)據(jù)被當(dāng)成單獨(dú)的系統(tǒng)， 而不是廣泛的技術(shù)基礎(chǔ)， 導(dǎo)致只關(guān)心元數(shù)據(jù)本身的應(yīng)用場(chǎng)景 技術(shù)不完善在技術(shù)層面存儲(chǔ)缺乏擴(kuò)展性，采集自動(dòng)程度不高，管理實(shí)時(shí)性不高。2、自服務(wù)大數(shù)據(jù)治理是解決問題之道自服務(wù)的大數(shù)據(jù)治理平臺(tái)具備管理、開發(fā)、共享、使用等能力，通過自動(dòng)、自助、智能 化的大數(shù)據(jù)治理，能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)的找、供、用、治，從而一站式解決傳統(tǒng)數(shù)據(jù)治理在大數(shù) 據(jù)時(shí)代的各種難題，具體涉及到以下幾個(gè)方面。建好數(shù)據(jù)管理體系，快速識(shí)別數(shù)據(jù)?這是做大數(shù)據(jù)治理自服務(wù)大數(shù)據(jù)治理平臺(tái)可以實(shí)現(xiàn)有數(shù)據(jù)可管理

4、。 現(xiàn)在的企業(yè)數(shù)據(jù)資產(chǎn)繁雜眾多， 特別是 建設(shè)大數(shù)據(jù)平臺(tái)的企業(yè)，數(shù)據(jù)的類型、分布、實(shí)現(xiàn)技術(shù)、所屬部門等都很繁雜，通過手工一 點(diǎn)點(diǎn)梳理是不現(xiàn)實(shí)的，如何低成本、快速有效地將數(shù)據(jù)梳理和管理起來 遇到的第一個(gè)坎。自服務(wù)大數(shù)據(jù)治理平臺(tái)可以通過自動(dòng)化手段，自動(dòng)識(shí)別企業(yè)數(shù)據(jù)資產(chǎn)并標(biāo)明數(shù)據(jù)方位和屬性，建立業(yè)務(wù)能理解的數(shù)據(jù)服務(wù)目錄。建立數(shù)據(jù)治理體系，監(jiān)控并快速發(fā)現(xiàn)問題自服務(wù)大數(shù)據(jù)治理平臺(tái)可以保障企業(yè)數(shù)據(jù)資產(chǎn)的質(zhì)量。企業(yè)內(nèi)數(shù)據(jù)環(huán)境復(fù)雜，很容易出現(xiàn)數(shù)據(jù)不一致、數(shù)據(jù)不及時(shí)、數(shù)據(jù)缺失等一系列問題，如何識(shí)別并快速定位數(shù)據(jù)問題？特別是針對(duì)海量數(shù)據(jù)，如何在不影響性能情況下找出問題數(shù)據(jù)？這是做大數(shù)據(jù)治理遇到的第二個(gè)坎。通過自服

5、務(wù)大數(shù)據(jù)治理平臺(tái)建立和支撐起基于數(shù)據(jù)指標(biāo)、質(zhì)量檢核、問題發(fā)現(xiàn)和監(jiān)控的完善數(shù)據(jù)治理體系， 從事前、事中和事后等各個(gè)環(huán)節(jié)規(guī)避、發(fā)現(xiàn)和解決數(shù)據(jù)問題，將能保證數(shù)據(jù)應(yīng)用無后顧之憂。二、大數(shù)據(jù)治理技術(shù)需要不斷革新數(shù)據(jù)治理的目標(biāo)是把數(shù)據(jù)管起來、 用起來、保證數(shù)據(jù)質(zhì)量，這些目標(biāo)離不開各種技術(shù)的 支持，這些技術(shù)包括元數(shù)據(jù)自動(dòng)采集和關(guān)聯(lián)、 數(shù)據(jù)質(zhì)量的探查和提升、 數(shù)據(jù)的自助服務(wù)和智 能應(yīng)用等。1、管起來：數(shù)據(jù)資產(chǎn)的自動(dòng)化采集、存儲(chǔ)技術(shù)要實(shí)現(xiàn)大數(shù)據(jù)治理的資產(chǎn)管理，需要做 足三個(gè)方面的工作：采集：指從各種工具中，把各種類型的兀數(shù)據(jù)采集進(jìn)來。存儲(chǔ)：采集元數(shù)據(jù)之后需要相應(yīng)的存儲(chǔ)策略來對(duì)元數(shù)據(jù)進(jìn)行存儲(chǔ)，這需要在不改變存儲(chǔ)架

6、構(gòu)的情況下擴(kuò)展元數(shù)據(jù)存儲(chǔ)的類型；管理和應(yīng)用：在采集和存儲(chǔ)完成后，對(duì)已經(jīng)存儲(chǔ)的元數(shù)據(jù)進(jìn)行管理和應(yīng)用。第一，針對(duì)數(shù)據(jù)資產(chǎn)的存儲(chǔ)， 模型體系規(guī)范為元數(shù)據(jù)管理提供了基礎(chǔ)，通過模型管理可 以實(shí)現(xiàn)統(tǒng)一穩(wěn)定的元數(shù)據(jù)存儲(chǔ)，統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范能很好地解決通用性和擴(kuò)展性。傳統(tǒng)數(shù)據(jù)資產(chǎn)管理采用 CWM規(guī)范進(jìn)行數(shù)據(jù)資產(chǎn)存儲(chǔ)設(shè)計(jì)，該規(guī)范提供了一個(gè)描述相 關(guān)數(shù)據(jù)信息元數(shù)據(jù)的基礎(chǔ)框架，并為各種元數(shù)據(jù)之間的通信和共享提供了一套切實(shí)可行的標(biāo) 準(zhǔn)。但是，隨著元數(shù)據(jù)管理范圍的不斷擴(kuò)大，CWM規(guī)范已經(jīng)不能滿足通用的元數(shù)據(jù)管理需求，針對(duì)微服務(wù)、業(yè)務(wù)等也需要一套規(guī)范支撐。MOF規(guī)范位于模型體系最底層，可以為元數(shù)據(jù)存儲(chǔ)提供統(tǒng)一的管理理論基礎(chǔ)

7、。第二，元數(shù)據(jù)管理第二個(gè)核心問題是解決各類元數(shù)據(jù)的采集，由于元數(shù)據(jù)類型多種多樣，而且在不斷增加，所以， 如何以最小代價(jià)，快速納入管理新類型元數(shù)據(jù)的能力，是元數(shù)據(jù)管 理的核心。采用可插拔的適配器方式實(shí)現(xiàn)元數(shù)據(jù)的采集是一個(gè)很好的選擇。其中，數(shù)據(jù)采集適配器應(yīng)支持各類數(shù)據(jù)源的采集， 當(dāng)有一個(gè)新的數(shù)據(jù)源需要接入的時(shí)候，只需按照規(guī)范快速開發(fā)一套針對(duì)性的適配器，就能實(shí)現(xiàn)新類型元數(shù)據(jù)的納入管理。第三，與人工相比，技術(shù)的最突出特點(diǎn)是速度快和精確。因此，如何通過技術(shù)手段精確地獲取數(shù)據(jù)資產(chǎn)是關(guān)鍵，特別是元數(shù)據(jù)關(guān)系，一般都存在于模型設(shè)計(jì)工具、ETL工具，甚至開發(fā)的SQL腳本中，因此需要通過工具組件解析 （接口、數(shù)據(jù)庫

8、）、SQL語法解析等手段完 成關(guān)系的獲取和建立。準(zhǔn)確解析后的關(guān)系，還需要通過直觀的關(guān)系圖展現(xiàn)出來。2、有保障：數(shù)據(jù)質(zhì)量探查和提升技術(shù)通過大數(shù)據(jù)治理來提升數(shù)據(jù)質(zhì)量的過程中，涉及到很多環(huán)節(jié)、工作和技術(shù)，其中包括：通過合理的技術(shù)找出數(shù)據(jù)問題并找到問題數(shù)據(jù)；從各個(gè)維度監(jiān)控?cái)?shù)據(jù)問題，并能通過最直觀和快捷的方式反饋給相關(guān)責(zé)任人 ；實(shí)現(xiàn)問題發(fā)現(xiàn)、認(rèn)責(zé)、處理、歸檔等數(shù)據(jù)問題的閉環(huán)解決 流程等。中間主要涉及到以下兩個(gè)方面：第一，要想及時(shí)全面地找到問題數(shù)據(jù)，不僅要關(guān)注關(guān)鍵點(diǎn)，還要有合適的方法。數(shù)據(jù)最容易出現(xiàn)質(zhì)量問題的地方就是數(shù)據(jù)集成（流動(dòng)）點(diǎn)，例如：性別在單系統(tǒng)中，有 1和 0或者男 和女表示都行， 但是系統(tǒng)間集

9、成時(shí)就會(huì)有問題。因此，解決數(shù)據(jù)質(zhì)量的關(guān)鍵，就在于在集成 點(diǎn)檢查數(shù)據(jù)質(zhì)量。另外， 針對(duì)大數(shù)據(jù)量的數(shù)據(jù)質(zhì)量檢查， 即要保證實(shí)時(shí)性， 也要保證不影響 業(yè)務(wù)系統(tǒng)的正常運(yùn)行，因此在對(duì)特別大的數(shù)據(jù)量進(jìn)行檢查時(shí)，要采用抽樣檢查的方式。第二， 數(shù)據(jù)問題發(fā)現(xiàn)后， 還要直觀地將數(shù)據(jù)問題展現(xiàn)出來并及時(shí)通知相關(guān)人員。 因此大 數(shù)據(jù)治理平臺(tái)應(yīng)提供實(shí)時(shí)、全面的數(shù)據(jù)監(jiān)控，實(shí)現(xiàn)多維度實(shí)時(shí)的數(shù)據(jù)資產(chǎn)信息展示：從作業(yè)、模型、物理資源等各方面進(jìn)行全面的數(shù)據(jù)資產(chǎn)盤點(diǎn) ;對(duì)數(shù)據(jù)及時(shí)性、問題數(shù)據(jù)量等方面的數(shù)據(jù)健康環(huán)境進(jìn)行全面的預(yù)警。3、用起來：自助化數(shù)據(jù)服務(wù)構(gòu)建技術(shù)大數(shù)據(jù)治理的最終目標(biāo)是為最終用戶提供數(shù)據(jù)， 這需要快速找到數(shù)據(jù)， 并快速

10、建立數(shù)據(jù) 交換的通道。知識(shí)圖譜是一種非常好用、 直觀的數(shù)據(jù)應(yīng)用方式。 人工智能的知識(shí)圖譜構(gòu)建， 可以從以 下步驟考慮：基于企業(yè)元數(shù)據(jù)信息，通過自然語言處理、機(jī)器學(xué)習(xí)、模式識(shí)別等算法，以及業(yè)務(wù)規(guī)則 過濾等方式，實(shí)現(xiàn)知識(shí)的提取 ;以本體形式表示和存儲(chǔ)知識(shí)，自動(dòng)構(gòu)建成起資產(chǎn)知識(shí)圖譜 ; 通過知識(shí)圖譜關(guān)系， 利用智能搜索、 關(guān)聯(lián)查詢等手段， 為最終用戶提供更加精確的數(shù)據(jù)。基于元數(shù)據(jù)的自助數(shù)據(jù)服務(wù)開發(fā)， 可以簡(jiǎn)單快速地建立數(shù)據(jù)通道。 通過自助化的數(shù)據(jù)生 產(chǎn)線，數(shù)據(jù)使用方 （業(yè)務(wù)人員 ）大大減少了對(duì)開發(fā)人員依賴， 80% 以上的數(shù)據(jù)需求，都能通過提供自己進(jìn)行整合開發(fā)， 最終獲取數(shù)據(jù)。 讓所有用數(shù)據(jù)的人能方

11、便得到想要的數(shù)據(jù)。其中， 所需數(shù)據(jù)的自助查詢能力、 自動(dòng)生成數(shù)據(jù)服務(wù)、 及時(shí)穩(wěn)定的獲得數(shù)據(jù)通道、 保證數(shù)據(jù)安全是 實(shí)現(xiàn)自助化的大數(shù)據(jù)生產(chǎn)線的四個(gè)關(guān)鍵點(diǎn)。三、如何選擇合適的大數(shù)據(jù)治理工具 ?工欲善其事必先利其器， 大數(shù)據(jù)治理的落地開展離不開工具的支撐。 大數(shù)據(jù)治理工具一 般分為兩類：一類是單個(gè)工具，另一類是集成平臺(tái)，用于不同的階段、場(chǎng)景和客戶。其中， 單獨(dú)工具有：元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)等，集成平臺(tái)包括數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)治理平臺(tái)、 自助服務(wù)平臺(tái)等。下面重點(diǎn)介紹其中兩個(gè)核心的工具：一個(gè)是元數(shù)據(jù)，另一個(gè)是自助數(shù)據(jù)服務(wù)平臺(tái) ;1、大數(shù)據(jù)治理的核心 元數(shù)據(jù)管理工具元數(shù)據(jù)是大數(shù)據(jù)治理的核心， 元數(shù)據(jù)管理工

12、具應(yīng)該支持企業(yè)級(jí)數(shù)據(jù)資產(chǎn)管理， 并且從技 術(shù)上支持各類數(shù)據(jù)采集與數(shù)據(jù)的直觀展現(xiàn)， 從應(yīng)用上也要支持不同類型用戶的實(shí)際應(yīng)用場(chǎng)景， 一個(gè)合格的元數(shù)據(jù)管理工具，需要具備以下幾項(xiàng)基本能力：首先， 元數(shù)據(jù)要有全面的數(shù)據(jù)管理能力。 無論是傳統(tǒng)數(shù)據(jù)還是大數(shù)據(jù)， 無論是工具還是 模板等，都應(yīng)該是元數(shù)據(jù)的管理范疇。對(duì)于企業(yè)來說，要想統(tǒng)一管理所有信息資產(chǎn)，還依靠 原來人工錄入資產(chǎn)的方式肯定是不行的， 企業(yè)需要從技術(shù)上提供各種自動(dòng)化能力， 實(shí)現(xiàn)對(duì)資 產(chǎn)信息的自動(dòng)獲取， 包括自動(dòng)數(shù)據(jù)信息采集、 自動(dòng)服務(wù)信息采集與自動(dòng)業(yè)務(wù)信息采集等， 這 要求企業(yè)使用的數(shù)據(jù)管理工具支持一系列的采集器， 并且多采用直連的方式來采集相關(guān)信

13、息。其次，盡管元數(shù)據(jù)是一個(gè)基礎(chǔ)的管理工具，也需要具備好的顏值和便捷的使用方式,便給用戶帶來好的應(yīng)用感受。作為一款元數(shù)據(jù)管理工具， 能讓用戶能在一個(gè)界面全面了解到元數(shù)據(jù)信息，通過圖像從更多維度、更直觀地了解企業(yè)數(shù)據(jù)全貌和數(shù)據(jù)關(guān)系是很重要的。除此之外，通過H5等流行的展現(xiàn)技術(shù)實(shí)現(xiàn)各瀏覽器的兼容，支持界面的移植也是元數(shù)據(jù)管理 工具必不可少的能力。再次，元數(shù)據(jù)管理工具不僅僅是一個(gè)工具，還需要關(guān)注各類人的使用訴求，跟具體用戶的使用場(chǎng)景相結(jié)合。對(duì)于業(yè)務(wù)人員來說， 通過元數(shù)據(jù)管理的業(yè)務(wù) 需求管理，能更容易地和技 術(shù)人員溝通，便于需求的技術(shù)落地；對(duì)于開發(fā)人員來說，通過元數(shù)據(jù)管理能管控系統(tǒng)的開發(fā)上線、提升開發(fā)規(guī)

14、范性，自動(dòng)生成上線腳本，降低開發(fā)工作難度和出錯(cuò)幾率；對(duì)于運(yùn)維人員來說，通過元數(shù)據(jù)管理能讓日常巡檢、版本維護(hù)等工作變得簡(jiǎn)單可控，輔助日常問題分析查找，簡(jiǎn)化運(yùn)維工作。2、大數(shù)據(jù)治理的最佳實(shí)踐一一自助化數(shù)據(jù)服務(wù)平臺(tái)大數(shù)據(jù)治理最終目標(biāo)不僅僅是為了管理數(shù)據(jù)，而是為用戶提供一套數(shù)據(jù)服務(wù)的生產(chǎn)線，讓用戶能通過這條生產(chǎn)線自助地找到數(shù)據(jù)、獲得數(shù)據(jù)，并規(guī)范化地使用數(shù)據(jù)， 因此自助化數(shù)據(jù)服務(wù)共享平臺(tái)是大數(shù)據(jù)治理必不可少的工具。臺(tái)匕冃匕作為大數(shù)據(jù)治理的落地工具，自助化數(shù)據(jù)服務(wù)共享平臺(tái)不僅要為開發(fā)者提供一套完整的 數(shù)據(jù)生產(chǎn)線，也需要給運(yùn)維者提供易用的監(jiān)控界面，畢竟系統(tǒng)的運(yùn)維才是工具應(yīng)用的常態(tài)。 全局的數(shù)據(jù)資產(chǎn)監(jiān)控能力和數(shù)據(jù)問題跟蹤能力同樣重要，通過全局的數(shù)據(jù)資產(chǎn)監(jiān)控能力，使客