元數(shù)據(jù)管理與企業(yè)數(shù)據(jù)運(yùn)營(yíng)

元數(shù)據(jù)管理與企業(yè)數(shù)據(jù)運(yùn)營(yíng)元數(shù)據(jù)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息，簡(jiǎn)言之,元數(shù)據(jù)就是關(guān)于數(shù)據(jù)的數(shù)據(jù)?！?1—企業(yè)數(shù)據(jù)治理的現(xiàn)狀與問題企業(yè)架構(gòu)理論體系中,數(shù)據(jù)架構(gòu)始終是企業(yè)架構(gòu)的核心組成部分。TOGAF企業(yè)架構(gòu)框架定義了數(shù)據(jù)架構(gòu)位于業(yè)務(wù)架構(gòu)與基礎(chǔ)技術(shù)架構(gòu)之間，通過數(shù)據(jù)架構(gòu)的治理實(shí)現(xiàn)的業(yè)務(wù)和應(yīng)用的有效斜街。數(shù)據(jù)架構(gòu)基線數(shù)據(jù)架構(gòu)梳理數(shù)據(jù)架構(gòu)優(yōu)化數(shù)據(jù)實(shí)體關(guān)系概念數(shù)據(jù)模型邏輯數(shù)據(jù)模型物理數(shù)據(jù)模型數(shù)據(jù)架構(gòu)關(guān)系業(yè)務(wù)流程與數(shù)據(jù)流向業(yè)務(wù)功能/數(shù)據(jù)關(guān)系矩陣應(yīng)用/數(shù)據(jù)關(guān)系矩陣?數(shù)據(jù)架構(gòu)展現(xiàn)與變更管理平臺(tái)數(shù)據(jù)管理?數(shù)據(jù)分布管理?數(shù)據(jù)質(zhì)量管理數(shù)據(jù)容量管理數(shù)據(jù)遷移……企業(yè)數(shù)據(jù)資產(chǎn)管理的常見問題數(shù)據(jù)架構(gòu)失控元數(shù)據(jù)管理混亂數(shù)據(jù)標(biāo)準(zhǔn)缺失數(shù)據(jù)質(zhì)量參差不齊數(shù)據(jù)增長(zhǎng)無序數(shù)據(jù)安全問題突出問題集中于系統(tǒng)變更頻繁、積木式迭代、煙囪式建設(shè)：一、企業(yè)的IT系統(tǒng)經(jīng)歷了數(shù)據(jù)量高速膨脹的時(shí)期，但大多數(shù)據(jù)企業(yè)最初沒有對(duì)數(shù)據(jù)架構(gòu)重視，導(dǎo)致企業(yè)海量的、分散在不同角落，企業(yè)無法從統(tǒng)一的業(yè)務(wù)視角去概覽整個(gè)企業(yè)內(nèi)部的數(shù)據(jù)信息。暴露出來的只是一個(gè)個(gè)獨(dú)立的系統(tǒng)，系統(tǒng)與系統(tǒng)之間的關(guān)系、標(biāo)準(zhǔn)數(shù)據(jù)從哪里獲取都無從知曉。二、傳統(tǒng)企業(yè)的數(shù)據(jù)資產(chǎn)問題歸根到底是由于企業(yè)中對(duì)企業(yè)數(shù)據(jù)缺少統(tǒng)一而有力的組織、制度、流程的管控，引起的“數(shù)據(jù)孤島”問題。02—企業(yè)數(shù)據(jù)運(yùn)營(yíng)的常見問題企業(yè)數(shù)據(jù)運(yùn)營(yíng)中經(jīng)常遇到的各種各樣問題，如下圖：怎樣快速找到想要的數(shù)據(jù)：已存在系統(tǒng)，有哪些關(guān)鍵業(yè)務(wù)數(shù)據(jù)？它們?cè)谀睦?？?bào)表A指標(biāo)值怎么算出來的？原始數(shù)據(jù)從哪得到的？數(shù)據(jù)標(biāo)準(zhǔn)如何定義：關(guān)鍵業(yè)務(wù)數(shù)據(jù)在不同系統(tǒng)的業(yè)務(wù)定義？它們的數(shù)據(jù)結(jié)構(gòu)是怎樣的？同一實(shí)體在不同系統(tǒng)中的命名規(guī)則及其他屬性一致？同一實(shí)體與本系統(tǒng)或其他系統(tǒng)對(duì)象是否存在依賴關(guān)系？具體的依賴關(guān)系描述是怎么樣的？如何梳理出上下游關(guān)系：隨著業(yè)務(wù)快速發(fā)展，數(shù)據(jù)生產(chǎn)鏈路逐漸變長(zhǎng)，生產(chǎn)關(guān)系越來越復(fù)雜，如何準(zhǔn)確高效的梳理出數(shù)據(jù)間、任務(wù)間的血緣關(guān)系，識(shí)別出關(guān)鍵生產(chǎn)鏈路？數(shù)據(jù)治理靠什么來驅(qū)動(dòng)：如何驅(qū)動(dòng)資源治理、規(guī)范治理等，以及如何衡量治理效果？數(shù)據(jù)資產(chǎn)的管理問題：海量的數(shù)據(jù)資產(chǎn)的歸屬、分級(jí)分類，識(shí)別隱私數(shù)據(jù)等管理問題如何解決？一旦對(duì)象定義發(fā)生變化，其他開發(fā)團(tuán)隊(duì)會(huì)不會(huì)有影響？數(shù)據(jù)實(shí)體所有者是誰？誰作過修改或變更？這些問題，或許元數(shù)據(jù)管理能夠幫助到您！―03—元數(shù)據(jù)管理對(duì)數(shù)據(jù)運(yùn)營(yíng)的重要性元數(shù)據(jù)管理是數(shù)據(jù)治理工作是重重之重，為什么企業(yè)內(nèi)部的數(shù)據(jù)質(zhì)量總是不高？其實(shí)只要有數(shù)據(jù)存在就有數(shù)據(jù)質(zhì)量問題存在。但是也可以通過一個(gè)有效的管理流程來提高企業(yè)數(shù)據(jù)質(zhì)量，其中最核心的核心就是元數(shù)據(jù)的管理。數(shù)據(jù)運(yùn)營(yíng)之元數(shù)據(jù)的重要性元數(shù)據(jù)是企業(yè)中用來描述數(shù)據(jù)的數(shù)據(jù)。它可理解為比一般意義的數(shù)據(jù)范疇更加廣泛的數(shù)據(jù)，不再僅僅表示數(shù)據(jù)的類型、名稱、值等信息，它可以進(jìn)一步提供數(shù)據(jù)的上下文描述信息，比如數(shù)據(jù)的所屬域、取值范圍、數(shù)據(jù)間的關(guān)系、業(yè)務(wù)規(guī)則，甚至是數(shù)據(jù)的來源。在數(shù)據(jù)分析中，元數(shù)據(jù)可以幫助DW管理員和DW開發(fā)人員非常方便地找到他們所關(guān)心的數(shù)據(jù)。元數(shù)據(jù)提供企業(yè)數(shù)據(jù)DNA有用的數(shù)據(jù)在哪里提供一份數(shù)據(jù)結(jié)構(gòu)定義和元素的詳細(xì)示意圖數(shù)據(jù)來龍去脈、關(guān)系數(shù)據(jù)質(zhì)量審計(jì)減少數(shù)據(jù)冗余性，增加數(shù)據(jù)共享，

使應(yīng)用開發(fā)過程更有效參照性、引用性、血緣分析、影響分析、變化分析…利用數(shù)據(jù)解決企業(yè)問題的能力—04—元數(shù)據(jù)管理范圍和目標(biāo)一般而言，就數(shù)據(jù)倉(cāng)庫(kù)或者大數(shù)據(jù)平臺(tái)中的元數(shù)據(jù)可以按不同的維度分為技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、操作元數(shù)據(jù)等，元數(shù)據(jù)管理的范圍大致如下三個(gè)方面：元數(shù)據(jù)源：元數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)平臺(tái)中的數(shù)據(jù)實(shí)體定義和結(jié)構(gòu)信息。數(shù)據(jù)接口：生產(chǎn)系統(tǒng)和操作型系統(tǒng)中采集到數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)平臺(tái)中的各中數(shù)據(jù)接口信息。報(bào)表展現(xiàn)（BI）:報(bào)表展現(xiàn)的相關(guān)指標(biāo)和統(tǒng)計(jì)口徑。數(shù)據(jù)集成（ETL）:數(shù)據(jù)匯總、處理和分析的數(shù)據(jù)集成相關(guān)信息。元數(shù)據(jù)管理目標(biāo)注中化堆程企業(yè)答應(yīng)為后速工作打下墓右，實(shí)預(yù)坡中化管理.自或化匿埋.近不管理,從而做需變更企江的霞數(shù)據(jù)總愿閩持這拈如T臼動(dòng)化苣埋國(guó)過平白加以懦理和目動(dòng)比祖跖贖之間的血鼻愛慕可以在平臺(tái)中清新地展展出來，以保證散摳應(yīng)用.上下酒溝謝好,提供司誦法富效率及M儂期元嫌據(jù)醯平臺(tái)與柝力應(yīng)用注中化堆程企業(yè)答應(yīng)為后速工作打下墓右，實(shí)預(yù)坡中化管理.自或化匿埋.近不管理,從而做需變更企江的霞數(shù)據(jù)總愿閩持這拈如T臼動(dòng)化苣埋國(guó)過平白加以懦理和目動(dòng)比祖跖贖之間的血鼻愛慕可以在平臺(tái)中清新地展展出來，以保證散摳應(yīng)用.上下酒溝謝好,提供司誦法富效率及M儂期元嫌據(jù)醯平臺(tái)與柝力應(yīng)用開發(fā)諼計(jì)相造臺(tái)r提高到津的可■性與校威性f總息值值體現(xiàn)為第統(tǒng)軍構(gòu).應(yīng)用設(shè)計(jì)，開發(fā)工作提供有效的數(shù)把支押卻?,相數(shù)限價(jià)侑詼大化莊1體現(xiàn)出來構(gòu)建平

臺(tái)—05一元數(shù)據(jù)管理系統(tǒng)元數(shù)據(jù)系統(tǒng)整體分為接收層，服務(wù)層，存儲(chǔ)層和應(yīng)用層。左右兩側(cè)分別是主要接入方和應(yīng)用方，接入方主要包括了大數(shù)據(jù)引擎、管理工具、開發(fā)平臺(tái)及工具，應(yīng)用方主要包括數(shù)據(jù)地圖、開發(fā)平臺(tái)、治理平臺(tái)等。接入層：適配不同元數(shù)據(jù)生產(chǎn)方，轉(zhuǎn)換成標(biāo)準(zhǔn)定義，輸出全種類實(shí)體、關(guān)系變更消息。服務(wù)層：基于存儲(chǔ)層提供單點(diǎn)、復(fù)雜查詢服務(wù)，基于分析引擎提供分析服務(wù)。存儲(chǔ)層：基于圖模型的實(shí)體、關(guān)系的存儲(chǔ)與查詢，支持統(tǒng)計(jì)與分析能力。應(yīng)用層：提供數(shù)據(jù)資產(chǎn)地圖、數(shù)據(jù)搜索、全鏈路血緣等功能。圖：元數(shù)據(jù)管理架構(gòu)（來源：快手）基于元數(shù)據(jù)系統(tǒng)的數(shù)據(jù)資產(chǎn)搜索能力對(duì)各類數(shù)據(jù)建立數(shù)據(jù)索引，方便搜索引擎快速找到這些數(shù)據(jù)，同時(shí)搜索引擎提供了根據(jù)相關(guān)性、元信息完善度、依賴數(shù)量、運(yùn)營(yíng)規(guī)則進(jìn)行智能排序，幫助用戶用戶快速找到所需數(shù)據(jù)。

OQ點(diǎn)擊率V平均點(diǎn)擊排名【日負(fù)反饋率逅常規(guī)期俳序規(guī)則元值息完香度ifttttrat搜索索引基他信豆描述信息美愛信息標(biāo)箱信息OQ點(diǎn)擊率V平均點(diǎn)擊排名【日負(fù)反饋率逅常規(guī)期俳序規(guī)則元值息完香度ifttttrat搜索索引基他信豆描述信息美愛信息標(biāo)箱信息相關(guān)性圖：數(shù)據(jù)搜索的原理（來源：快手）在這個(gè)過程中，用戶的點(diǎn)擊率、負(fù)反饋率等操作行為數(shù)據(jù)反饋給搜索引擎，利用這些用戶行為數(shù)據(jù)，可以優(yōu)化搜索索引和排序規(guī)則。元數(shù)據(jù)系統(tǒng)提供了全鏈路血緣功能，提供實(shí)時(shí)血緣查詢能力，解決數(shù)據(jù)來源不容易確定、難以評(píng)估數(shù)據(jù)變動(dòng)造成的影響等問題。元數(shù)據(jù)中的血緣關(guān)系在數(shù)據(jù)生產(chǎn)加工、數(shù)據(jù)治理中也有廣泛的應(yīng)用場(chǎng)景。下圖是通過一個(gè)簡(jiǎn)單的例子介紹血緣是如何構(gòu)建起來的。主要會(huì)使用到元數(shù)據(jù)中表示關(guān)系的屬性，例如輸入、輸出、綁定、關(guān)聯(lián)等。rype:DatasetName:tableBType:DatasetName:tableC屬性，例如輸入、輸出、綁定、關(guān)聯(lián)等。rype:DatasetName:tableBType:DatasetName:tableC圖：全鏈路數(shù)據(jù)血緣（來源：快手）除了上面應(yīng)用場(chǎng)景外，元數(shù)據(jù)還有以下應(yīng)用場(chǎng)景：?元數(shù)據(jù)查詢：開發(fā)平臺(tái)、指標(biāo)模型管理、BI工具等通過元數(shù)據(jù)服務(wù)查詢庫(kù)表信息。資產(chǎn)管理：通過系統(tǒng)采集的元數(shù)據(jù)信息，對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行集中管理，設(shè)置生命周期、安全等級(jí)等關(guān)鍵屬性。影響分析：支持查詢當(dāng)前節(jié)點(diǎn)全部下游，支持變更通知模塊根據(jù)影響范圍進(jìn)行變更消息的發(fā)送。價(jià)值評(píng)估：數(shù)據(jù)資產(chǎn)價(jià)值評(píng)估模型通過元數(shù)據(jù)中心提供的豐富的元數(shù)據(jù)得以落地?！?6—元數(shù)據(jù)給企業(yè)帶來的收益提供一份企業(yè)級(jí)的詳細(xì)應(yīng)用、數(shù)據(jù)定義和元素的詳細(xì)地圖，有利于企業(yè)的數(shù)據(jù)應(yīng)用人員進(jìn)行數(shù)據(jù)分析。制定企業(yè)元數(shù)據(jù)標(biāo)準(zhǔn)，減少數(shù)據(jù)冗余性，增加數(shù)據(jù)共享，使應(yīng)用開發(fā)過程更有效，開發(fā)費(fèi)用更低、避免異構(gòu)結(jié)構(gòu)定義、提高不同工具之間定義的重復(fù)利用率。幫助用戶理解數(shù)據(jù)來龍去脈、關(guān)系及相關(guān)屬性，統(tǒng)一所有報(bào)表的統(tǒng)計(jì)口徑，減少數(shù)據(jù)沖突。數(shù)據(jù)血緣分析，為數(shù)據(jù)分析提供直觀的數(shù)據(jù)處理先后邏輯，協(xié)助提升數(shù)據(jù)質(zhì)量。數(shù)據(jù)影響分析，幫助用戶識(shí)別數(shù)據(jù)實(shí)體會(huì)影響的相關(guān)處理過程和報(bào)表，有利于增強(qiáng)企業(yè)運(yùn)營(yíng)效率、規(guī)避錯(cuò)誤及風(fēng)險(xiǎn)。通過元數(shù)據(jù)變更，自始自終確保元數(shù)據(jù)的準(zhǔn)確性和權(quán)威性。寫在最后的話元數(shù)據(jù)管理能夠增強(qiáng)數(shù)據(jù)理解,可以架起企業(yè)內(nèi)業(yè)務(wù)與IT部門之間的一座橋梁，無論是企業(yè)的業(yè)務(wù)部門還是IT部門，很少能完整的拿出一套企