大數(shù)據(jù)治理體系解決方案

Ⅱ1.范圍 12.規(guī)范性引用文件 13.術(shù)語(yǔ)、定義和縮略語(yǔ) 4.總體說(shuō)明 4.1.概述 4.2.目標(biāo) 5.數(shù)據(jù)治理體系 5.1.總體框架 5.2.組織架構(gòu) 5.2.1.組織構(gòu)成 5.2.2.角色職責(zé) 5.3.系統(tǒng)架構(gòu) 5.3.1.系統(tǒng)功能框架 5.3.2.系統(tǒng)模塊流程 5.4.系統(tǒng)邊界 5.4.1.與企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)關(guān)系 5.4.2.與對(duì)外能力開(kāi)放平臺(tái)關(guān)系 5.4.3.與平臺(tái)運(yùn)維系統(tǒng)關(guān)系 6.數(shù)據(jù)治理核心模塊 6.1.數(shù)據(jù)標(biāo)準(zhǔn)管理 6.1.3.目標(biāo)及原則 6.1.4.業(yè)務(wù)分類和定義 6.1.5.技術(shù)功能要求 6.1.6.本期建設(shè)范圍及內(nèi)容 6.1.7.實(shí)施要求 6.2.元數(shù)據(jù)管理 6.2.1.背景和定義 Ⅲ6.2.2.元數(shù)據(jù)運(yùn)營(yíng)模式 6.2.3.元模型標(biāo)準(zhǔn) 6.2.4.元數(shù)據(jù)運(yùn)維 6.2.5.本期重點(diǎn)建設(shè)內(nèi)容 6.3.數(shù)據(jù)質(zhì)量管理 6.3.1.與傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)的區(qū)別 6.3.2.范圍和原則 6.3.3.與其它功能模塊的關(guān)系 6.3.4.本期數(shù)據(jù)質(zhì)量功能需求 6.3.5.本期數(shù)據(jù)質(zhì)量運(yùn)維要求 6.4.數(shù)據(jù)資產(chǎn)管理 6.4.1.數(shù)據(jù)資產(chǎn)概述 6.4.2.數(shù)據(jù)資產(chǎn)范圍 6.4.3.與其它功能模塊的關(guān)系 6.4.4.本期數(shù)據(jù)資產(chǎn)功能需求 6.4.5.本期建設(shè)內(nèi)容 6.5.數(shù)據(jù)安全管理 6.5.1.數(shù)據(jù)安全概述 6.5.2.建設(shè)原則 756.5.3.建設(shè)內(nèi)容 6.5.4.邊界關(guān)系 766.5.5.技術(shù)功能 6.5.6.管理要求 7.數(shù)據(jù)治理場(chǎng)景 7.1.背景描述 7.2.場(chǎng)景一：銀行偽卡交易判別 7.2.1.背景介紹 7.2.2.場(chǎng)景描述 7.3.場(chǎng)景二：銀行手機(jī)貸業(yè)務(wù) 7.3.1.背景介紹 887.3.2.場(chǎng)景描述 8.附錄 附錄一：數(shù)據(jù)標(biāo)準(zhǔn)框架 附錄二：數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容示例 V本規(guī)范的制訂是為了更好地實(shí)現(xiàn)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)治XX企業(yè)級(jí)大數(shù)據(jù)平臺(tái)目標(biāo)架構(gòu)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范總冊(cè)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范分冊(cè)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范技術(shù)方案分冊(cè)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)模型分冊(cè)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范外部接口分冊(cè)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范服務(wù)開(kāi)放分冊(cè)開(kāi)放技術(shù)方案分冊(cè)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)治理分冊(cè)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)治理技術(shù)方案分冊(cè)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范運(yùn)營(yíng)維護(hù)分冊(cè)管理技術(shù)方案1容，適用于XX各省(直轄市、自治區(qū))公司企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)標(biāo)注日期的引用文件，其隨后所有的修改單(不包括勘誤的內(nèi)容)或《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范(v1.0)》XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范(v1.0)》XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)建設(shè)方案(v1.5)》XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)邏輯數(shù)據(jù)模型說(shuō)XX通信有限公司2數(shù)據(jù)集市業(yè)務(wù)技術(shù)規(guī)范XX通信有限公司XX通信有限公司與BOSS系統(tǒng)互動(dòng)技術(shù)規(guī)XX通信有限公司業(yè)務(wù)規(guī)范(v1.5)—基礎(chǔ)業(yè)XX通信有限公司業(yè)務(wù)規(guī)范(v1.5)—數(shù)據(jù)業(yè)XX通信有限公司業(yè)務(wù)規(guī)范(v1.5)—集團(tuán)客XX通信有限公司(BOSS)業(yè)務(wù)技術(shù)規(guī)范營(yíng)XX通信有限公司3《XX業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)(BOSS)業(yè)務(wù)技術(shù)規(guī)范客服信息分冊(cè)(2.0版)》XX通信有限公司《XX業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)(BOSS)業(yè)務(wù)技術(shù)規(guī)范(2.0版)》XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)邏輯數(shù)據(jù)模型規(guī)XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)集市業(yè)務(wù)技術(shù)規(guī)范XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范渠道運(yùn)營(yíng)管理分XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范客戶服務(wù)分冊(cè)XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范集團(tuán)客戶分冊(cè)XX通信有限公司4《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)業(yè)務(wù)技術(shù)規(guī)范(V2.0)》XX通信有限公司XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范總冊(cè)(v2.0全量XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范邏輯模型分冊(cè)(v2.0全量版)》XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范數(shù)據(jù)集市分冊(cè)(v2.0全量版)》XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范數(shù)據(jù)質(zhì)量管理子X(jué)X通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范(v2.0全量版)》XX通信有限公司《XX省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范源系統(tǒng)接口分冊(cè)XX通信有限公司5(v2.0全量版)》《XX省級(jí)NG1-BASS技術(shù)規(guī)范總冊(cè)(v1.0)》XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)規(guī)范源系統(tǒng)接口分冊(cè)XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)規(guī)范元數(shù)據(jù)管理分冊(cè)XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)規(guī)范數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊(cè)(v1.0)》XX通信集團(tuán)公司《XX省級(jí)NG1-BASS業(yè)務(wù)技術(shù)規(guī)范客戶分析及運(yùn)營(yíng)分冊(cè)(v1.0)》XX通信集團(tuán)公司《XX省級(jí)NG1-BASS業(yè)務(wù)規(guī)范(v1.0)》XX通信集團(tuán)公司6《XX省級(jí)NG1-BASS技術(shù)規(guī)范總冊(cè)(v2.0)》XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)規(guī)范元數(shù)據(jù)管理分冊(cè)XX通信集團(tuán)公司《XX省級(jí)NG1-BASS技術(shù)規(guī)范數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊(cè)(v2.0)》XX通信集團(tuán)公司《XX省級(jí)NG1-BASS業(yè)務(wù)規(guī)范(v2.0)》XX通信集團(tuán)公司《XX省級(jí)XX通信集團(tuán)公司《XX省級(jí)XX通信集團(tuán)公司7XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司元數(shù)據(jù)管理分冊(cè)》XX通信集團(tuán)公司數(shù)據(jù)質(zhì)量管理子系統(tǒng)分XX通信集團(tuán)公司XX通信集團(tuán)公司《XX省級(jí)增值業(yè)務(wù)綜合XX通信集團(tuán)公司XX通信集團(tuán)8公司運(yùn)營(yíng)平臺(tái)技術(shù)規(guī)范-數(shù)據(jù)XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司9XX通信集團(tuán)公司數(shù)據(jù)質(zhì)量管理子系統(tǒng)分XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司《XX省級(jí)NG2-BASS技術(shù)規(guī)范系統(tǒng)安全管理分冊(cè)XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司XX通信集團(tuán)公司元數(shù)據(jù)管理分冊(cè)》XX通信集團(tuán)公司數(shù)據(jù)質(zhì)量管理子系統(tǒng)分XX通信集團(tuán)公司《XX省級(jí)增值業(yè)務(wù)綜合運(yùn)營(yíng)平臺(tái)業(yè)務(wù)規(guī)范XX通信集團(tuán)公司《XX省級(jí)增值業(yè)務(wù)綜合運(yùn)營(yíng)平臺(tái)技術(shù)規(guī)范XX通信集團(tuán)公司《XX省級(jí)增值業(yè)務(wù)綜合運(yùn)營(yíng)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)管理分冊(cè)V2.0.0》XX通信集團(tuán)公司《XX省級(jí)范》XX通信集團(tuán)公司《XX省級(jí)總冊(cè)》XX通信集團(tuán)公司《XX省級(jí)數(shù)據(jù)集市分冊(cè)》XX通信集團(tuán)公司《XX省級(jí)邏輯模型分冊(cè)》XX通信集團(tuán)公司《XX省級(jí)外部接口分冊(cè)》XX通信集團(tuán)公司《XX省級(jí)元數(shù)據(jù)管理分冊(cè)》XX通信集團(tuán)公司數(shù)據(jù)質(zhì)量管理子系統(tǒng)分XX通信集團(tuán)公司XX通信集團(tuán)公司《XX省級(jí)增值業(yè)務(wù)綜合運(yùn)營(yíng)平臺(tái)業(yè)務(wù)規(guī)范XX通信集團(tuán)公司《XX省級(jí)增值業(yè)務(wù)綜合運(yùn)營(yíng)平臺(tái)技術(shù)規(guī)范XX通信集團(tuán)公司《XX省級(jí)增值業(yè)務(wù)綜合運(yùn)營(yíng)平臺(tái)技術(shù)規(guī)范數(shù)據(jù)管理分冊(cè)V2.5.0》XX通信集團(tuán)公司下列術(shù)語(yǔ)、定義適用于本規(guī)范：名詞CCWM標(biāo)準(zhǔn)是OMG組織定義的數(shù)據(jù)倉(cāng)庫(kù)和相關(guān)系統(tǒng)的國(guó)際元數(shù)據(jù)標(biāo)準(zhǔn)，給出了各種元數(shù)據(jù)結(jié)構(gòu)的標(biāo)準(zhǔn)定義。CWM標(biāo)準(zhǔn)的目的在于：使數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能軟件的元數(shù)據(jù)在異構(gòu)的數(shù)據(jù)分析工具、數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)、元數(shù)據(jù)存儲(chǔ)庫(kù)等系統(tǒng)之間E特指從數(shù)據(jù)源系統(tǒng)到大數(shù)據(jù)平臺(tái)的數(shù)據(jù)抽取、轉(zhuǎn)G管理元數(shù)據(jù)描述大數(shù)據(jù)平臺(tái)中管理領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的數(shù)據(jù)，主要包括人員角色、崗位職責(zé)、管理H核心元模型大數(shù)據(jù)平臺(tái)核心元模型是以CWM為基礎(chǔ)擴(kuò)展名詞理的功能層與應(yīng)用層解耦、為企業(yè)級(jí)總部大數(shù)據(jù)平臺(tái)和企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)的元數(shù)據(jù)交換和相H核心元模型參照表核心元模型參照表是對(duì)核心元模型中的枚舉類型屬性進(jìn)行枚舉值定義的編碼表。參照表為枚舉類型屬性的每個(gè)枚舉值定義了唯一的編碼，并明確該編碼的語(yǔ)義，是核心元模型標(biāo)準(zhǔn)化定義的重J技術(shù)元數(shù)據(jù)描述大數(shù)據(jù)平臺(tái)中技術(shù)領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的數(shù)據(jù)。主要包括對(duì)數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理方面的特征描述，覆蓋大數(shù)據(jù)平臺(tái)數(shù)據(jù)源接口、數(shù)據(jù)倉(cāng)庫(kù)、ETL、OLAP、數(shù)據(jù)挖掘、前端展現(xiàn)等全部S數(shù)據(jù)處理過(guò)程數(shù)據(jù)從數(shù)據(jù)源系統(tǒng)到大數(shù)據(jù)平臺(tái)前端使用的整個(gè)處理過(guò)程，包含大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部的數(shù)S數(shù)據(jù)采集點(diǎn)覆蓋大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理環(huán)節(jié)的、獲取每個(gè)環(huán)節(jié)運(yùn)行狀態(tài)的實(shí)體。該實(shí)體可以是程序?qū)嶓w也可以是任務(wù)實(shí)體名詞S數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)質(zhì)量報(bào)告是對(duì)數(shù)據(jù)質(zhì)量日常監(jiān)控以及質(zhì)量評(píng)估等過(guò)程累積的各種信息進(jìn)行匯總、梳理、統(tǒng)計(jì)和分析，形成的統(tǒng)計(jì)報(bào)告S數(shù)據(jù)質(zhì)量監(jiān)控通過(guò)獲取大數(shù)據(jù)平臺(tái)各環(huán)節(jié)的數(shù)據(jù)質(zhì)量監(jiān)控信息，結(jié)合元數(shù)據(jù)庫(kù)中的有關(guān)檢查規(guī)則，對(duì)各個(gè)環(huán)節(jié)的數(shù)據(jù)質(zhì)量情況進(jìn)行判斷，并及時(shí)向數(shù)據(jù)質(zhì)量S數(shù)據(jù)質(zhì)量規(guī)則庫(kù)數(shù)據(jù)質(zhì)量規(guī)則庫(kù)是對(duì)數(shù)據(jù)質(zhì)量管理活動(dòng)所用到的各種判斷及校驗(yàn)規(guī)則進(jìn)行歸類和存放的存儲(chǔ)結(jié)構(gòu)，存儲(chǔ)的內(nèi)容包括采集規(guī)則、監(jiān)控規(guī)則、告警規(guī)則和審計(jì)規(guī)則等S數(shù)據(jù)質(zhì)量信息庫(kù)數(shù)據(jù)質(zhì)量管理子系統(tǒng)存儲(chǔ)層上的存儲(chǔ)結(jié)構(gòu)，用于存儲(chǔ)數(shù)據(jù)質(zhì)量信息采集程序采集的數(shù)據(jù)質(zhì)量信息、質(zhì)量評(píng)估信息、問(wèn)題解決方案和問(wèn)題處理流程信息等S省公司XX通信集團(tuán)各省(直轄市、自治區(qū))移動(dòng)通信S自動(dòng)解析SQL腳本自動(dòng)解析指通過(guò)對(duì)SQL腳本的詞法、語(yǔ)法和語(yǔ)義進(jìn)行分析，自動(dòng)生成滿足CWM規(guī)范名詞Y業(yè)務(wù)元數(shù)據(jù)描述大數(shù)據(jù)平臺(tái)中業(yè)務(wù)領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的數(shù)據(jù)。主要包括業(yè)務(wù)術(shù)語(yǔ)、信息分類、指標(biāo)Y元模型元模型是描述元數(shù)據(jù)的基礎(chǔ)模型結(jié)構(gòu)，用于說(shuō)明Y元數(shù)據(jù)元數(shù)據(jù)是描述數(shù)據(jù)間關(guān)系的數(shù)據(jù)。大數(shù)據(jù)平臺(tái)中元數(shù)據(jù)泛指描述數(shù)據(jù)概念(Concepts)、數(shù)據(jù)間關(guān)系(Roles)、數(shù)據(jù)處理規(guī)則(Rules)的數(shù)據(jù)，其中，領(lǐng)域語(yǔ)義(Semantics)和知識(shí)(Knowledge)也屬于元數(shù)據(jù)的范D數(shù)據(jù)標(biāo)準(zhǔn)指在XX臺(tái)企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)下為了使企業(yè)內(nèi)外部使用和交換的數(shù)據(jù)是一致和準(zhǔn)確的，經(jīng)協(xié)商具有行業(yè)特點(diǎn)且共同使用和重復(fù)使用的一種規(guī)D數(shù)據(jù)標(biāo)準(zhǔn)體系指數(shù)據(jù)標(biāo)準(zhǔn)按照XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)需求對(duì)D數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容按照數(shù)據(jù)標(biāo)準(zhǔn)體系劃分的要求分別給出各數(shù)據(jù)D行業(yè)參考模名詞型實(shí)體D公共代碼標(biāo)準(zhǔn)需要引用外部公共標(biāo)準(zhǔn)機(jī)構(gòu)的標(biāo)準(zhǔn)。如：世界各縮寫B(tài)usinessOperationSup業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)公共倉(cāng)庫(kù)元模型抽取、轉(zhuǎn)換和加載On-lineAnalysisProce商務(wù)智能RepresentationalStateTran表述性狀態(tài)轉(zhuǎn)移4.3.原則企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理子系統(tǒng)建設(shè)應(yīng)遵循以下基本原2.價(jià)值化原則4.開(kāi)放性原則5.產(chǎn)品化原則6.安全性原則5.數(shù)據(jù)治理體系5.1.總體框架數(shù)據(jù)治理總體框架包括組織架構(gòu)、數(shù)據(jù)治理模塊、數(shù)據(jù)運(yùn)維三部分。通過(guò)組織架構(gòu)建立管理辦法，制定工作流程，確定角色職責(zé)。數(shù)據(jù)治理模塊主要包括數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全管理，各模塊協(xié)同運(yùn)營(yíng)，確保大數(shù)據(jù)平臺(tái)的數(shù)據(jù)一致、安全、有效。數(shù)據(jù)運(yùn)維貫穿整個(gè)數(shù)據(jù)治理體系的流程中，實(shí)現(xiàn)平臺(tái)化的運(yùn)維管理思路。數(shù)據(jù)治理總體框架如圖5-1所示： 核心領(lǐng)域組織架構(gòu)數(shù)據(jù)治理工具組織架構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)安全管理大數(shù)據(jù)平臺(tái)圖5-1數(shù)據(jù)治理體系框架5.2.組織架構(gòu)數(shù)據(jù)治理組織的構(gòu)建旨在通過(guò)建立數(shù)據(jù)治理組織架構(gòu)明確各級(jí)角色和職責(zé)，保障數(shù)據(jù)治理的各項(xiàng)管理辦法、工作流程的實(shí)施，推送數(shù)據(jù)治理工作的有序開(kāi)展。數(shù)據(jù)治理組織架構(gòu)主要由數(shù)據(jù)治理委員會(huì)、數(shù)據(jù)治理中心和各業(yè)務(wù)部門構(gòu)成。組織架構(gòu)劃分和角色設(shè)定如圖5-2所示：理委員會(huì)數(shù)據(jù)平臺(tái)運(yùn)營(yíng)者數(shù)據(jù)業(yè)務(wù)部門數(shù)據(jù)支撐部門數(shù)據(jù)使用部門外部用戶數(shù)據(jù)治理決策者數(shù)據(jù)維護(hù)者數(shù)據(jù)消費(fèi)者數(shù)據(jù)提供者圖5-2數(shù)據(jù)治理組織架構(gòu)圖組織責(zé)任體系是數(shù)據(jù)治理責(zé)任落地的保障，數(shù)據(jù)治理組織架構(gòu)通過(guò)明確各角色職責(zé)，實(shí)行認(rèn)責(zé)制度，讓數(shù)據(jù)治理工作更好的融入到數(shù)據(jù)日常使用和相關(guān)的工作中，從而推動(dòng)數(shù)據(jù)運(yùn)維自治的實(shí)現(xiàn)，如表表5-1數(shù)據(jù)治理組織架構(gòu)角色職責(zé)定義內(nèi)容數(shù)據(jù)治理委員會(huì)數(shù)據(jù)管理決策者由公司主管領(lǐng)導(dǎo)和各業(yè)務(wù)部門領(lǐng)導(dǎo)組成負(fù)責(zé)牽頭數(shù)據(jù)治理工作；制定數(shù)據(jù)治理的政策、標(biāo)準(zhǔn)、規(guī)則、流程，協(xié)調(diào)認(rèn)責(zé)沖突；對(duì)數(shù)據(jù)事實(shí)治理，保證數(shù)據(jù)的質(zhì)量和隱私；在數(shù)據(jù)出現(xiàn)質(zhì)量問(wèn)題時(shí)負(fù)責(zé)仲裁數(shù)據(jù)治理中心數(shù)據(jù)平臺(tái)運(yùn)營(yíng)者數(shù)據(jù)管理中心機(jī)構(gòu)的營(yíng)人員負(fù)責(zé)提交數(shù)據(jù)標(biāo)準(zhǔn)的要求及數(shù)據(jù)質(zhì)量規(guī)則和業(yè)務(wù)規(guī)范，解釋數(shù)據(jù)的業(yè)務(wù)規(guī)則和含義；監(jiān)督各項(xiàng)數(shù)據(jù)規(guī)則和規(guī)范的約束的落實(shí)情負(fù)責(zé)數(shù)據(jù)治理平臺(tái)中整體數(shù)據(jù)的管控流程制定和平臺(tái)功能系統(tǒng)支撐的實(shí)施；負(fù)責(zé)平臺(tái)的整體運(yùn)營(yíng)、組織、協(xié)各業(yè)務(wù)部門數(shù)據(jù)提供者相關(guān)數(shù)據(jù)開(kāi)發(fā)提供人員負(fù)責(zé)數(shù)據(jù)及相關(guān)系統(tǒng)的開(kāi)發(fā)，有責(zé)任執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量?jī)?nèi)負(fù)責(zé)從技術(shù)角度解決數(shù)據(jù)質(zhì)量問(wèn)作為數(shù)據(jù)出現(xiàn)質(zhì)量問(wèn)題時(shí)的主要數(shù)據(jù)維護(hù)者數(shù)據(jù)維護(hù)人員制定相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)制度和遵守和執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)管控相關(guān)的流程，根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)要求提供相關(guān)數(shù)據(jù)規(guī)范；作為數(shù)據(jù)出現(xiàn)質(zhì)量問(wèn)題時(shí)的次要數(shù)據(jù)消費(fèi)者數(shù)據(jù)使用人員，包含內(nèi)部用戶和外部用戶作為數(shù)據(jù)治理平臺(tái)數(shù)據(jù)管控流程的最后參與使用者；是數(shù)據(jù)資產(chǎn)價(jià)值的獲益人；作為數(shù)據(jù)治理平臺(tái)數(shù)據(jù)閉環(huán)流程5.3.系統(tǒng)架構(gòu)功能框架如圖5-3所示。大數(shù)據(jù)大數(shù)據(jù)能力開(kāi)數(shù)據(jù)治理功能標(biāo)準(zhǔn)發(fā)布標(biāo)準(zhǔn)執(zhí)行定文標(biāo)準(zhǔn)監(jiān)控標(biāo)準(zhǔn)稽核撐績(jī)效監(jiān)控?cái)?shù)據(jù)安全管理資產(chǎn)注冊(cè)資產(chǎn)發(fā)布資產(chǎn)運(yùn)營(yíng)資產(chǎn)評(píng)估資產(chǎn)運(yùn)維質(zhì)量運(yùn)維整擺維換口用戶安全管理數(shù)據(jù)管理者●企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)門戶：統(tǒng)一訪問(wèn)認(rèn)證及日志記錄。>數(shù)據(jù)標(biāo)準(zhǔn)：在數(shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)推動(dòng)和指導(dǎo)下，遵循>元數(shù)據(jù)：采用集中式管理模式進(jìn)行元數(shù)據(jù)管理，全公司元>數(shù)據(jù)質(zhì)量：對(duì)數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)>數(shù)據(jù)資產(chǎn)：規(guī)劃、控制、提供數(shù)據(jù)及信息資產(chǎn)的一組業(yè)務(wù)>數(shù)據(jù)安全：通過(guò)計(jì)劃、制定、執(zhí)行數(shù)據(jù)安全政策和安全策略措施，為企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)和信息提供行之有效的認(rèn)證、授權(quán)、訪問(wèn)和審計(jì)。>數(shù)據(jù)運(yùn)維：包括數(shù)據(jù)資產(chǎn)運(yùn)維、數(shù)據(jù)質(zhì)量運(yùn)維，借鑒互聯(lián)網(wǎng)思維，通過(guò)產(chǎn)品化運(yùn)維工具來(lái)整體提升企業(yè)級(jí)大數(shù)據(jù)平●企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)：>大數(shù)據(jù)基礎(chǔ)平臺(tái)，負(fù)責(zé)數(shù)據(jù)的接入、存儲(chǔ)、管理、應(yīng)用及L8:定義安全級(jí)別L10:約束訪問(wèn)L2:屬性信息圖5-4數(shù)據(jù)治理系統(tǒng)功能各模塊關(guān)系圖如圖5-4所示，數(shù)據(jù)治理系統(tǒng)各模塊之間，根據(jù)數(shù)據(jù)操作的流程產(chǎn)生相互關(guān)聯(lián)，各模塊業(yè)務(wù)流程關(guān)系說(shuō)明如下：L1:數(shù)據(jù)標(biāo)準(zhǔn)管理模塊將標(biāo)準(zhǔn)定義映射到元數(shù)據(jù)信息上，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范要求落地。L3:元數(shù)據(jù)管理模塊為數(shù)據(jù)質(zhì)量管理模塊提供元數(shù)據(jù)相關(guān)屬性信平臺(tái)平臺(tái)運(yùn)維企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理子系統(tǒng)與其它子系統(tǒng)之間存在數(shù)據(jù)交互、功能調(diào)用、流程穿插等關(guān)聯(lián)。數(shù)據(jù)治理子系統(tǒng)與大數(shù)據(jù)平臺(tái)系統(tǒng)內(nèi)其它子系統(tǒng)的關(guān)系示意如圖5-5所示：數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)安全管理圖5-5數(shù)據(jù)治理子系統(tǒng)與各子系統(tǒng)邊界圖企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)上的數(shù)據(jù)資產(chǎn)是數(shù)據(jù)治理的主要對(duì)象；數(shù)據(jù)治理為企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)標(biāo)準(zhǔn)指導(dǎo)、元數(shù)據(jù)定義、數(shù)據(jù)質(zhì)維。在XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)下，保障企業(yè)內(nèi)外部使用和交換數(shù)據(jù)的一理組織。數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范化管控圖6-1數(shù)據(jù)標(biāo)準(zhǔn)管理內(nèi)容企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)管理與原經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)管控的區(qū)別如下表6-1所示：表6-1企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)管理與原經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)管控區(qū)別涉及企業(yè)內(nèi)外部數(shù)據(jù)運(yùn)營(yíng)相關(guān)的數(shù)據(jù)僅限于市場(chǎng)經(jīng)營(yíng)活數(shù)據(jù)，包含BOM三域數(shù)據(jù)、外部動(dòng)的B域和部分O,M域以數(shù)據(jù)標(biāo)準(zhǔn)為基礎(chǔ)的數(shù)據(jù)治理體系，實(shí)現(xiàn)數(shù)據(jù)的資產(chǎn)化，貫穿整以支撐企業(yè)內(nèi)部經(jīng)營(yíng)分大數(shù)據(jù)平臺(tái)為核心的大數(shù)據(jù)生態(tài)合制度約束、系統(tǒng)控制等手段，實(shí)現(xiàn)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)的準(zhǔn)準(zhǔn)準(zhǔn)圖6-2數(shù)據(jù)標(biāo)準(zhǔn)體系劃分行業(yè)參考模型實(shí)體標(biāo)準(zhǔn)指按照行業(yè)需求和XX省級(jí)數(shù)據(jù)邏輯模型定義內(nèi)容如表6-2所示。表6-2行業(yè)參考模型實(shí)體數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容行業(yè)參考模型實(shí)體標(biāo)準(zhǔn)標(biāo)準(zhǔn)體系屬性說(shuō)明數(shù)據(jù)標(biāo)準(zhǔn)編碼標(biāo)準(zhǔn)主題數(shù)據(jù)標(biāo)準(zhǔn)歸屬主題標(biāo)準(zhǔn)子類數(shù)據(jù)標(biāo)準(zhǔn)歸屬類型中文名稱英文名稱實(shí)體編號(hào)根據(jù)行業(yè)參考模型實(shí)體編號(hào)命名規(guī)則進(jìn)行實(shí)體名稱根據(jù)行業(yè)參考模型實(shí)體名稱命名規(guī)則進(jìn)行數(shù)據(jù)版本數(shù)據(jù)體系分類證數(shù)據(jù)體系的易用性，以及符合用戶查找重要級(jí)別集團(tuán)規(guī)范定義的數(shù)據(jù)為一級(jí)，省公司定義數(shù)據(jù)提供部門數(shù)據(jù)提供部門負(fù)責(zé)人數(shù)據(jù)維護(hù)部門數(shù)據(jù)維護(hù)部門負(fù)責(zé)人業(yè)務(wù)主管部門該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)業(yè)務(wù)主管部門，該部門對(duì)數(shù)據(jù)口徑、編碼取值和相關(guān)專業(yè)術(shù)語(yǔ)業(yè)務(wù)主管部門負(fù)責(zé)人數(shù)據(jù)來(lái)源系統(tǒng)如：BOSS,CRM,ERP等主要依據(jù)關(guān)于指標(biāo)的解釋和描述文件。如集團(tuán)規(guī)范、業(yè)務(wù)定義碼標(biāo)準(zhǔn)體系定義內(nèi)容如表6-3所示。表6-3公共代碼標(biāo)準(zhǔn)體系定義內(nèi)容公共代碼標(biāo)準(zhǔn)標(biāo)準(zhǔn)體系屬性說(shuō)明數(shù)據(jù)標(biāo)準(zhǔn)編碼公共標(biāo)準(zhǔn)號(hào)引入外部公共標(biāo)準(zhǔn)號(hào)中文標(biāo)準(zhǔn)名稱數(shù)據(jù)標(biāo)準(zhǔn)中文名稱英文標(biāo)準(zhǔn)名稱標(biāo)準(zhǔn)狀態(tài)公共標(biāo)準(zhǔn)機(jī)構(gòu)名稱數(shù)據(jù)標(biāo)準(zhǔn)體系證數(shù)據(jù)體系的易用性，以及符合用戶查找重要級(jí)別集團(tuán)規(guī)范定義的數(shù)據(jù)為一級(jí)，省公司定義數(shù)據(jù)標(biāo)準(zhǔn)引入部]數(shù)據(jù)標(biāo)準(zhǔn)引入部門負(fù)責(zé)人數(shù)據(jù)上報(bào)系統(tǒng)最終對(duì)數(shù)據(jù)進(jìn)行計(jì)算和發(fā)布的系統(tǒng)，也是兩個(gè)以上基礎(chǔ)指標(biāo)計(jì)算出。指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容如表6-4表6-4指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容指標(biāo)類標(biāo)準(zhǔn)說(shuō)明基礎(chǔ)屬性數(shù)據(jù)標(biāo)準(zhǔn)編碼中文名稱英文名稱應(yīng)用場(chǎng)景數(shù)據(jù)版本數(shù)據(jù)體系分類證數(shù)據(jù)體系的易用性，以及符合用戶查找重要級(jí)別集團(tuán)規(guī)范定義的數(shù)據(jù)為一級(jí)，省公司定義管理屬性數(shù)據(jù)提供部門數(shù)據(jù)提供部門負(fù)責(zé)人數(shù)據(jù)維護(hù)部門數(shù)據(jù)維護(hù)部門負(fù)責(zé)人業(yè)務(wù)主管部門該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)業(yè)務(wù)主管部門，該部門對(duì)數(shù)據(jù)口徑、編碼取值和相關(guān)專業(yè)術(shù)語(yǔ)業(yè)務(wù)主管部門負(fù)責(zé)人數(shù)據(jù)上報(bào)系統(tǒng)最終對(duì)數(shù)據(jù)進(jìn)行計(jì)算和發(fā)布的系統(tǒng)，也是數(shù)據(jù)生成系統(tǒng)生成數(shù)據(jù)所需的數(shù)據(jù)所在的來(lái)源系統(tǒng)，如數(shù)據(jù)上游系統(tǒng)主要依據(jù)關(guān)于指標(biāo)的解釋和描述文件。如集團(tuán)規(guī)范、業(yè)務(wù)定義指標(biāo)類型根據(jù)管理需要可以將指標(biāo)分為基礎(chǔ)指標(biāo)、計(jì)算指標(biāo)公式用于描述相關(guān)指標(biāo)間的平衡關(guān)系，可用于指標(biāo)數(shù)據(jù)審核過(guò)程中，能有效地保證指標(biāo)技術(shù)屬性計(jì)量單位統(tǒng)計(jì)精度指標(biāo)統(tǒng)計(jì)數(shù)值精確到小數(shù)還是整數(shù)。數(shù)據(jù)值域統(tǒng)計(jì)周期統(tǒng)計(jì)粒度“地市級(jí)”等。統(tǒng)計(jì)維度“在網(wǎng)時(shí)長(zhǎng)”、指標(biāo)出數(shù)表指標(biāo)出數(shù)代碼指標(biāo)數(shù)據(jù)來(lái)源于物理表的哪個(gè)。將發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)更新至數(shù)據(jù)標(biāo)準(zhǔn)管理模塊中，如圖6-3所示。數(shù)據(jù)標(biāo)準(zhǔn)送審稿征求意見(jiàn)數(shù)據(jù)標(biāo)準(zhǔn)屬更數(shù)據(jù)標(biāo)準(zhǔn)提供數(shù)據(jù)屬性信息調(diào)者數(shù)據(jù)標(biāo)準(zhǔn)變圖6-3數(shù)據(jù)標(biāo)準(zhǔn)管理的編制、審查、發(fā)布流程圖其流程如圖6-3示：標(biāo)準(zhǔn)管理，數(shù)據(jù)標(biāo)準(zhǔn)的執(zhí)行流程如圖6-2所示。果數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)錄入制定數(shù)據(jù)標(biāo)準(zhǔn)接口控行結(jié)果圖6-2數(shù)據(jù)標(biāo)準(zhǔn)管理的執(zhí)行流程圖如圖6-5所示。在變更需求在變更需求審批表中簽更需求匯總審議數(shù)據(jù)標(biāo)準(zhǔn)變更項(xiàng)準(zhǔn)變更需求更調(diào)者數(shù)據(jù)標(biāo)準(zhǔn)、版本發(fā)布圖6-5數(shù)據(jù)標(biāo)準(zhǔn)管理的變更流程圖程如圖6-5所示：協(xié)同實(shí)現(xiàn)落地，監(jiān)控流程如圖6-6所示：庫(kù)集核圖6-6數(shù)據(jù)標(biāo)準(zhǔn)管理監(jiān)控流程圖數(shù)據(jù)標(biāo)準(zhǔn)管理監(jiān)控流程如下：本期具體建設(shè)內(nèi)容包括：●指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)2、數(shù)據(jù)標(biāo)準(zhǔn)化管控內(nèi)容涵蓋：●實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)管理流程的功能系統(tǒng)化，并銜接元數(shù)據(jù)管理、數(shù)數(shù)據(jù)標(biāo)準(zhǔn)管理實(shí)施要求包括：3、實(shí)現(xiàn)XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)中數(shù)據(jù)業(yè)務(wù)口徑和技術(shù)口徑有效4、支撐XX企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)的平臺(tái)化、產(chǎn)品化和數(shù)據(jù)資產(chǎn)運(yùn)研究與顧問(wèn)咨詢公司Gartner發(fā)布的《2013年十大戰(zhàn)略性技術(shù)趨勢(shì)》維護(hù)的全過(guò)程，并發(fā)揮以下作用：>新增集群DataNode節(jié)點(diǎn)的業(yè)務(wù)/技術(shù)元數(shù)據(jù)；>管理流程：新增跨部門、跨系統(tǒng)的多層次交互式的元數(shù)據(jù)>角色權(quán)限：管理上更加細(xì)致的分工，不同部門需新增相應(yīng)的元數(shù)據(jù)查詢、管理、維護(hù)角色；>需支持大數(shù)據(jù)平臺(tái)新增元數(shù)據(jù)范圍地獲取、存儲(chǔ)與管理；>需支持大數(shù)據(jù)平臺(tái)海量元數(shù)據(jù)的獲取、存儲(chǔ)、管理及應(yīng)用；的運(yùn)行元數(shù)據(jù)信息；>需對(duì)大數(shù)據(jù)平臺(tái)的文件、語(yǔ)音、圖片等非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)檢索查詢等應(yīng)用支持；>需為終端用戶提供簡(jiǎn)單易用的元數(shù)據(jù)產(chǎn)品，降低使用成本。出以下要求：NumeNod團(tuán)C客元數(shù)據(jù)NameNodeNaseNade]A省元數(shù)據(jù)無(wú)數(shù)據(jù)圖6-7總部集群與省集群節(jié)點(diǎn)的元數(shù)據(jù)上報(bào)關(guān)系示意圖6-7為集團(tuán)總控節(jié)點(diǎn)與省集群節(jié)點(diǎn)的元數(shù)據(jù)上報(bào)關(guān)系示意圖。集群節(jié)點(diǎn)定期上報(bào)其自身的NameNode階段運(yùn)行信息及數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)信息，供集團(tuán)了解省分節(jié)點(diǎn)運(yùn)行、存儲(chǔ)情況，為后續(xù)的統(tǒng)一管控提供基礎(chǔ)支撐。對(duì)于集群NameNode節(jié)點(diǎn)的運(yùn)行監(jiān)控類元數(shù)據(jù)，屬于ApacheHadoop的私有定義，暫無(wú)法使用或在CWM規(guī)范基礎(chǔ)上擴(kuò)充。故直接引用ApacheHadoop的相關(guān)定義，并對(duì)其進(jìn)行適當(dāng)規(guī)范。本期對(duì)NameNode節(jié)點(diǎn)的元數(shù)據(jù)上報(bào)信息要求如下：英文名中文名類型備注配置容量e當(dāng)前總?cè)萘縠剩余容量e已用容量e使用率e小數(shù)點(diǎn)后4位Underreplicatedblocks待復(fù)制數(shù)據(jù)塊e中斷復(fù)制數(shù)據(jù)塊e丟失數(shù)據(jù)塊e可用節(jié)點(diǎn)數(shù)e不可用節(jié)點(diǎn)數(shù)e英文名中文名類型備注名稱描述更新時(shí)間步驟狀態(tài)擁有人Datanode節(jié)點(diǎn)需要上報(bào)的元數(shù)據(jù)信息如下：英文名中文名類型備注節(jié)點(diǎn)名稱主機(jī)名所屬機(jī)架可用狀態(tài)配置容量e已用容量e非DFS使用容量e剩余容量e已用容量e小數(shù)點(diǎn)后4位使用率e小數(shù)點(diǎn)后4位配置緩存容量e緩存使用量e緩存剩余量e緩存使用率e小數(shù)點(diǎn)后4位緩存剩余率e小數(shù)點(diǎn)后4位最近檢查時(shí)間為支持大數(shù)據(jù)平臺(tái)下文件、目錄、Hbase、Hive相關(guān)元數(shù)據(jù)的集中存儲(chǔ)，本期規(guī)范將CWM核心元模型的Table、Column、View類進(jìn)行擴(kuò)展，同時(shí)新增model.hadoop.hdfs模型包，里邊包含目錄(Directory)和文件(File)兩個(gè)實(shí)體及相關(guān)屬性。關(guān)于經(jīng)分系統(tǒng)核心元模型及參考表，元模型標(biāo)準(zhǔn)CWM的相關(guān)定義，請(qǐng)參考《XX省級(jí)NG2-BASS(v5.0)技術(shù)規(guī)范核心元模型規(guī)范》修訂內(nèi)容如下：1、需要修改的元模型包括：●Table類增加以下屬性：說(shuō)明：存儲(chǔ)大數(shù)據(jù)平臺(tái)上該表對(duì)應(yīng)的HDFS文件目錄信息。說(shuō)明：該表的創(chuàng)建時(shí)間。說(shuō)明：該表的創(chuàng)建人?！馛olumn類增加以下屬性：說(shuō)明：Hive表對(duì)應(yīng)的分區(qū)字段編號(hào)?！馰iew類增加以下屬性：說(shuō)明：該視圖的創(chuàng)建時(shí)間。說(shuō)明：該視圖的創(chuàng)建人。2、需要增加的元模型包括：●ColumnFamily類有如下屬性：說(shuō)明：Hbase對(duì)應(yīng)的列簇名稱?！馞ile類有如下屬性：說(shuō)明：文件名稱。說(shuō)明：文件路徑信息。說(shuō)明：壓縮類型。說(shuō)明：文件大小。說(shuō)明：文件類型。說(shuō)明：權(quán)限。說(shuō)明：所有者。說(shuō)明：所屬用戶組。說(shuō)明：目錄名稱。說(shuō)明：路徑信息。說(shuō)明：權(quán)限。說(shuō)明：所有者。3、需要增加的元模型關(guān)系包括：據(jù)治理要求，對(duì)元數(shù)據(jù)的維護(hù)提出以下補(bǔ)充要私級(jí)別信息；主要建設(shè)以下內(nèi)容：括以下模塊：●收藏與評(píng)價(jià)大數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量和傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)的區(qū)別如表6-5所示。表6-5大數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量和傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)的區(qū)別監(jiān)控?cái)?shù)據(jù)的類型可以對(duì)非/半結(jié)構(gòu)化數(shù)據(jù)中指定信息項(xiàng)進(jìn)行監(jiān)控，例如Gn日志中的終端信息等僅監(jiān)控結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)的類型支持傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)、MPP和使用者數(shù)據(jù)資產(chǎn)的所有者及其授權(quán)用戶、數(shù)據(jù)應(yīng)用開(kāi)發(fā)者、租戶等將成為大數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量管理模經(jīng)分運(yùn)維人員和數(shù)據(jù)質(zhì)量管理員為主要使用者，負(fù)責(zé)將業(yè)務(wù)人員的塊的主要使用者，負(fù)責(zé)監(jiān)控規(guī)則需求在數(shù)據(jù)質(zhì)量模塊上運(yùn)維工作運(yùn)維人員主要負(fù)責(zé)保障數(shù)據(jù)質(zhì)量功能模塊的正常運(yùn)行和規(guī)則庫(kù)的擴(kuò)充，規(guī)則配置、執(zhí)行和結(jié)果處理等實(shí)際工作由用戶自行負(fù)責(zé)。作范疇涵蓋數(shù)據(jù)質(zhì)量監(jiān)控的全流程，包括采集、規(guī)則配置、告警、結(jié)果監(jiān)控模式由事后監(jiān)控向事中、事后監(jiān)控相結(jié)合轉(zhuǎn)化，用戶/應(yīng)用設(shè)置數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則后，可以在計(jì)算執(zhí)行過(guò)程中調(diào)用數(shù)據(jù)質(zhì)量監(jiān)控作業(yè)無(wú)需等待結(jié)果出來(lái)后再進(jìn)行監(jiān)用戶僅能在結(jié)果出來(lái)后質(zhì)量保障數(shù)據(jù)質(zhì)量功能模塊是大數(shù)據(jù)平臺(tái)收的源數(shù)據(jù)均符合大數(shù)據(jù)平臺(tái)的要求；數(shù)據(jù)質(zhì)量還是大數(shù)據(jù)平臺(tái)數(shù)據(jù)資產(chǎn)評(píng)估的重要組成部分，定期運(yùn)行平臺(tái)數(shù)據(jù)資產(chǎn)的相關(guān)質(zhì)量規(guī)則，為數(shù)據(jù)資產(chǎn)評(píng)估提供輸未明確規(guī)定數(shù)據(jù)質(zhì)量為其它功能模塊提供服大數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量管理的原則包括：元數(shù)據(jù)模塊將檢索結(jié)果反饋給數(shù)據(jù)質(zhì)量模塊，如圖6-8所示。元數(shù)據(jù)信息結(jié)束用戶圖6-8數(shù)據(jù)質(zhì)量模塊與元數(shù)據(jù)模塊交互流程則。圖6-9所示。數(shù)據(jù)質(zhì)量模塊與數(shù)據(jù)資產(chǎn)模塊的交互(資產(chǎn)數(shù)據(jù)質(zhì)量模塊與數(shù)據(jù)資產(chǎn)模塊的交互(資產(chǎn)接收)開(kāi)始通知源數(shù)據(jù)整改4不通過(guò)結(jié)束通過(guò)圖6-9數(shù)據(jù)質(zhì)量模塊與數(shù)據(jù)資產(chǎn)模塊交互流程(資產(chǎn)接收)控結(jié)果反饋給數(shù)據(jù)資產(chǎn)模塊，為數(shù)據(jù)資產(chǎn)評(píng)估提供支持，如圖6-10數(shù)據(jù)質(zhì)量模塊與數(shù)據(jù)資產(chǎn)模塊的交互(資產(chǎn)評(píng)估)則圖6-10數(shù)據(jù)質(zhì)量模塊與數(shù)據(jù)資產(chǎn)模塊交互流程(資產(chǎn)評(píng)估)適配的作業(yè)；數(shù)據(jù)質(zhì)量功能模塊為一線人員提供數(shù)據(jù)質(zhì)量應(yīng)用，包括：結(jié)果的進(jìn)一步剖析；備資產(chǎn)的屬性。數(shù)據(jù)資產(chǎn)包含著如下幾個(gè)要素：1)被企業(yè)擁有和控制；2)能夠用貨幣來(lái)計(jì)量；3)能為企業(yè)帶來(lái)經(jīng)濟(jì)利益。系統(tǒng)權(quán)限系統(tǒng)權(quán)限應(yīng)用(租戶)權(quán)限模型注冊(cè)接口模型訪問(wèn)接口數(shù)據(jù)源管理致性統(tǒng)計(jì)數(shù)據(jù)資產(chǎn)屬性統(tǒng)計(jì)數(shù)據(jù)資產(chǎn)模型審計(jì)數(shù)據(jù)審計(jì)更審核詢資產(chǎn)統(tǒng)計(jì)分析圖6-11數(shù)據(jù)資產(chǎn)架構(gòu)圖如圖6-11所示，數(shù)據(jù)資產(chǎn)管理系統(tǒng)包括六個(gè)部分：注冊(cè)管理：支持多種方式(采集器、在線維護(hù)、提供自助注冊(cè)接口)注冊(cè)數(shù)據(jù)資產(chǎn)，并提供審核及版本控制等功能；審計(jì)；資產(chǎn)標(biāo)識(shí)規(guī)范為五段式結(jié)構(gòu)，每段以點(diǎn)分隔。具體格式如圖6-12所示：圖6-12數(shù)據(jù)資產(chǎn)標(biāo)識(shí)規(guī)范{業(yè)務(wù)域}:指數(shù)據(jù)資產(chǎn)所歸屬的業(yè)務(wù)系統(tǒng)類別域。其值為等二維碼如圖6-13所示。圖6-13數(shù)據(jù)資產(chǎn)標(biāo)識(shí)二維碼實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的業(yè)務(wù)價(jià)值。其管理過(guò)程如圖6-14所示：全生命周期階段劃分戰(zhàn)略規(guī)劃全生命周期階段劃分戰(zhàn)略規(guī)劃圖6-14數(shù)據(jù)資產(chǎn)全生命周期管理過(guò)程如圖6-14所示，數(shù)據(jù)資產(chǎn)全生命周期管理過(guò)程分為如下四大階段：數(shù)據(jù)資產(chǎn)健康運(yùn)營(yíng)。運(yùn)營(yíng)維護(hù)包含數(shù)據(jù)資產(chǎn)發(fā)布、資產(chǎn)稽核、監(jiān)控告警、資產(chǎn)評(píng)估、資產(chǎn)審計(jì)、資產(chǎn)變更等方面；提供數(shù)據(jù)資產(chǎn)給授權(quán)的消費(fèi)者(內(nèi)部用戶、集團(tuán)用戶和外部用戶)使用；對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行盤點(diǎn)，監(jiān)控?cái)?shù)據(jù)資產(chǎn)的使用情況，對(duì)數(shù)據(jù)資產(chǎn)訪問(wèn)記錄進(jìn)行審計(jì)；對(duì)數(shù)據(jù)資產(chǎn)從規(guī)劃到運(yùn)營(yíng)階段情況進(jìn)行全方位、多維度的統(tǒng)計(jì)分析，對(duì)資產(chǎn)內(nèi)容標(biāo)準(zhǔn)化、合規(guī)性的稽核評(píng)價(jià)，根據(jù)評(píng)估結(jié)果有目的的對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行改進(jìn)和完善。注銷報(bào)廢：該階段主要是對(duì)無(wú)效和失效的資產(chǎn)進(jìn)行清理，主要包括資產(chǎn)注銷和報(bào)廢清除等任務(wù)和活動(dòng)。在注銷報(bào)廢階段，對(duì)已失效的資產(chǎn)，由管理者注銷資產(chǎn)，并由運(yùn)維者銷毀資產(chǎn)對(duì)象；管理平臺(tái)需令使用用數(shù)據(jù)治理組織架構(gòu)數(shù)據(jù)資產(chǎn)管理撼撼品.用戶籍應(yīng)用平臺(tái)運(yùn)營(yíng)支撐業(yè)務(wù)支撐合作伙伴網(wǎng)元網(wǎng)管管道流量能力平臺(tái)管理支撐例信令圖6-15數(shù)據(jù)資產(chǎn)管理對(duì)象1.IT支撐系統(tǒng)(含業(yè)務(wù)支撐、運(yùn)營(yíng)支撐、管理支撐等)所產(chǎn)生的上網(wǎng)日志、性能檢測(cè)數(shù)據(jù)，簡(jiǎn)稱O域數(shù)據(jù)；3.業(yè)務(wù)平臺(tái)(含管理平臺(tái)、能力平臺(tái)、應(yīng)用平臺(tái)等)對(duì)內(nèi)進(jìn)行發(fā)數(shù)據(jù)資產(chǎn)管理過(guò)程中，應(yīng)包含如表6-6相關(guān)的角色：表6-6人員角色職責(zé)數(shù)據(jù)資產(chǎn)規(guī)劃者制定數(shù)據(jù)資產(chǎn)模型規(guī)范；規(guī)劃數(shù)據(jù)資產(chǎn)建設(shè)方案；數(shù)據(jù)資產(chǎn)提供者提交數(shù)據(jù)資產(chǎn)相關(guān)信息到數(shù)據(jù)資產(chǎn)管控平臺(tái)進(jìn)行數(shù)據(jù)資產(chǎn)注冊(cè)；確保數(shù)據(jù)資產(chǎn)提交的信息和注冊(cè)信息一致數(shù)據(jù)資產(chǎn)消費(fèi)查看可用的數(shù)據(jù)資產(chǎn)；者申請(qǐng)使用數(shù)據(jù)資產(chǎn)服務(wù)訂閱并使用數(shù)據(jù)資產(chǎn)服務(wù)；數(shù)據(jù)資產(chǎn)管理者數(shù)據(jù)資產(chǎn)的注冊(cè)管理和變更管理；數(shù)據(jù)資產(chǎn)的稽核審計(jì)和監(jiān)控告警；數(shù)據(jù)服務(wù)的創(chuàng)建、發(fā)布、下線管理；數(shù)據(jù)服務(wù)申請(qǐng)審批；數(shù)據(jù)資產(chǎn)運(yùn)維期的使用跟蹤分析和優(yōu)化；數(shù)據(jù)資產(chǎn)運(yùn)維者數(shù)據(jù)資產(chǎn)的保護(hù)，如備份、加密、脫敏和安全管理；數(shù)據(jù)資產(chǎn)的銷毀；數(shù)據(jù)安全主要內(nèi)容包括：●應(yīng)用權(quán)限控制，為用戶的應(yīng)用功能訪問(wèn)權(quán)限的控制管理提供服保護(hù)，并實(shí)現(xiàn)相關(guān)的安全防護(hù)工作，如：數(shù)據(jù)使用2.數(shù)落安全防護(hù)：數(shù)據(jù)貌域、數(shù)票加密、傳喻連道加密1、數(shù)據(jù)安全防護(hù)：數(shù)據(jù)尼小化、數(shù)據(jù)脫敏、數(shù)據(jù)文件加水印1、數(shù)據(jù)安全防護(hù)：業(yè)務(wù)邏擔(dān)安全1.存儲(chǔ)設(shè)備訪問(wèn)控制：身份識(shí)別、權(quán)限控制、訪問(wèn)控制2.數(shù)癌安全防護(hù)：數(shù)據(jù)脫做，數(shù)據(jù)加圖6-16數(shù)據(jù)治理全程的安全需求數(shù)據(jù)安全需求如圖6-16所示。>存儲(chǔ)設(shè)備訪問(wèn)控制：身份識(shí)別、權(quán)限控制、訪問(wèn)控制、操作審計(jì)、金庫(kù)模式；>數(shù)據(jù)安全防護(hù)：數(shù)據(jù)脫敏、數(shù)據(jù)加密；>數(shù)據(jù)安全防護(hù)：業(yè)務(wù)邏輯安全；>數(shù)據(jù)安全防護(hù)：數(shù)據(jù)最小化、數(shù)據(jù)脫敏、數(shù)