數(shù)據(jù)治理平臺(tái)技術(shù)方案(圖文)

數(shù)據(jù)治理平臺(tái)技術(shù)方案(圖文)大數(shù)據(jù)不是憑空而來(lái)，1981年第一個(gè)數(shù)據(jù)倉(cāng)庫(kù)誕生，到可以說(shuō)，忽視數(shù)據(jù)治理給數(shù)據(jù)平臺(tái)建設(shè)帶來(lái)了不少問(wèn)題。隨處可舉一個(gè)典型商業(yè)智能應(yīng)用的例子，管理駕駛艙可能很多朋友都聽說(shuō)過(guò)，很多企業(yè)建設(shè)了管理駕駛艙，但是建設(shè)完之后往我國(guó)最早意識(shí)到數(shù)據(jù)治理重要性的行業(yè)銀行是金融行業(yè)。由于對(duì)數(shù)據(jù)的強(qiáng)依賴，金融業(yè)一直非常重視數(shù)據(jù)平臺(tái)的建人民銀行與銀監(jiān)會(huì)也非常重視數(shù)據(jù)治理，從08年開始，在全國(guó)如今各行業(yè)都開始了大數(shù)據(jù)平臺(tái)的建設(shè)，希望利用大數(shù)據(jù)的能力，來(lái)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。大數(shù)據(jù)平臺(tái)的建設(shè)本數(shù)據(jù)不可知：用戶不知道大數(shù)據(jù)平臺(tái)中有哪些數(shù)據(jù)，也不知道這些數(shù)據(jù)和業(yè)務(wù)的關(guān)系是什么，雖然意識(shí)到了大數(shù)據(jù)數(shù)據(jù)不可?。河脩艏词怪雷约簶I(yè)務(wù)所需要的是哪些數(shù)據(jù)，也不能便捷自助地拿到數(shù)據(jù)，相反，獲取數(shù)據(jù)需要很長(zhǎng)數(shù)據(jù)不可聯(lián)：大數(shù)據(jù)時(shí)代，企業(yè)擁有著海量數(shù)據(jù)，但企業(yè)數(shù)據(jù)知識(shí)之間的關(guān)聯(lián)還比較弱，沒有把數(shù)據(jù)和知識(shí)體系關(guān)通過(guò)分析以上四類問(wèn)題，我們發(fā)現(xiàn)傳統(tǒng)數(shù)據(jù)平臺(tái)面臨的問(wèn)題，在大數(shù)據(jù)時(shí)代不僅沒有消失，還不斷涌現(xiàn)出新的問(wèn)題，傳在傳統(tǒng)數(shù)據(jù)平臺(tái)階段，數(shù)據(jù)治理的目標(biāo)主要是做管控，為數(shù)據(jù)部門建立一個(gè)的治理工作環(huán)境，包括標(biāo)準(zhǔn)、質(zhì)量等。在大數(shù)據(jù)續(xù)增長(zhǎng)，用戶范圍從數(shù)據(jù)部門擴(kuò)展到全企業(yè)，數(shù)據(jù)治理不能再只是面向數(shù)據(jù)部門了，需要成為面向全企業(yè)用戶的工在我參與過(guò)的項(xiàng)目中給大家舉個(gè)例子。國(guó)家電網(wǎng)在大數(shù)據(jù)平臺(tái)的建設(shè)中就非常重視大數(shù)據(jù)治理的建設(shè)，也取得了很多成績(jī)，我們?nèi)诤蠂?guó)網(wǎng)數(shù)據(jù)管理服務(wù)平臺(tái)、浙江公司數(shù)據(jù)管理平臺(tái)等國(guó)網(wǎng)公司現(xiàn)有的數(shù)據(jù)管理工具建設(shè)成果，以元數(shù)據(jù)為基遷移、使用、歸檔等環(huán)節(jié)的數(shù)據(jù)全生命周期管理，以及數(shù)據(jù)從源端到數(shù)據(jù)中心，再到應(yīng)用端的全過(guò)程的管理，做到了以用戶浙江電力的大數(shù)據(jù)治理的起點(diǎn)是先以元數(shù)據(jù)為基礎(chǔ)，構(gòu)建數(shù)據(jù)資產(chǎn)管理體系。從用戶的視角說(shuō)明白企業(yè)數(shù)據(jù)有哪些，我們又基于第一步形成的數(shù)據(jù)分類管理體系框架，梳理、整合各級(jí)各類數(shù)據(jù)資源，建立了數(shù)據(jù)資產(chǎn)樹，按照不同數(shù)浙江電力的大數(shù)據(jù)治理，通過(guò)梳理數(shù)據(jù)、管理數(shù)據(jù)、提供數(shù)據(jù)、關(guān)聯(lián)業(yè)務(wù)，形成了一整套以用戶為中心的大數(shù)據(jù)治理通過(guò)前兩個(gè)階段，企業(yè)能夠建立基本的數(shù)據(jù)治理的能力，在此基礎(chǔ)上，還需要以用戶為中心，為用戶提供直接獲取數(shù)據(jù)人進(jìn)行數(shù)據(jù)搜索是通過(guò)業(yè)務(wù)術(shù)語(yǔ)（知識(shí)）來(lái)搜索的，而知識(shí)之間是有相互聯(lián)系的，例如水果和西紅柿是上下位），簡(jiǎn)單說(shuō)知識(shí)圖譜就是概念、屬性以及概念之間的關(guān)聯(lián)關(guān)系，這個(gè)關(guān)系可以手工建立，也能通過(guò)自然語(yǔ)言處理等方法，對(duì)政策、法規(guī)、需求、數(shù)s、界面等多種來(lái)源進(jìn)行分析，自動(dòng)化建立起企業(yè)知識(shí)圖譜。從而使數(shù)據(jù)治理成為整個(gè)企業(yè)的數(shù)據(jù)通過(guò)這四個(gè)階段的建設(shè)，使數(shù)據(jù)治理平臺(tái)由數(shù)據(jù)部門的工作環(huán)境，轉(zhuǎn)變成為全企業(yè)的數(shù)據(jù)工作環(huán)境，以用戶為中心，讓數(shù)據(jù)資產(chǎn)管理是對(duì)企業(yè)數(shù)據(jù)信息統(tǒng)一管理也是整個(gè)平臺(tái)的基礎(chǔ)，數(shù)據(jù)準(zhǔn)備平臺(tái)是資產(chǎn)服務(wù)化的加工廠，它不但能將數(shù)據(jù)服務(wù)總線和消息&流數(shù)據(jù)管理的價(jià)值層次是一致的，只是從數(shù)據(jù)時(shí)效性上面對(duì)數(shù)據(jù)進(jìn)行了區(qū)分，去適應(yīng)用戶不同數(shù)據(jù)監(jiān)控管理有別于大數(shù)據(jù)中的數(shù)據(jù)節(jié)點(diǎn)管理，而是從數(shù)據(jù)管理的視角切入對(duì)數(shù)據(jù)的結(jié)構(gòu)的變化、關(guān)系的變化進(jìn)行通過(guò)自助化的數(shù)據(jù)生產(chǎn)線，數(shù)據(jù)使用方（業(yè)務(wù)人員）大大減少了對(duì)開發(fā)人員依賴，80%以上的數(shù)據(jù)需求，都能通過(guò)自己進(jìn)行整合開發(fā)數(shù)據(jù)治理平臺(tái)提供實(shí)時(shí)、全面的數(shù)據(jù)監(jiān)控，不僅能從作業(yè)、模型、物理資源等各方面進(jìn)行全面的數(shù)據(jù)資產(chǎn)盤點(diǎn)，還數(shù)據(jù)需要以服務(wù)的形式提供給最終用戶，在服務(wù)的提供上