信息通信網(wǎng)智能化運營管理架構(gòu) 數(shù)據(jù)架構(gòu)

信息通信網(wǎng)智能化運營管理系統(tǒng)架構(gòu)數(shù)據(jù)架構(gòu)本文件規(guī)定了信息通信網(wǎng)智能化運營管理系統(tǒng)功能架構(gòu)中的數(shù)據(jù)融合管理層的數(shù)據(jù)模型與數(shù)據(jù)管理層功能，相關(guān)功能主要包括數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲與數(shù)據(jù)管理等。本文件適用于信息通信網(wǎng)智能化運營管理系統(tǒng)規(guī)劃和設(shè)計，系統(tǒng)開發(fā)與建設(shè)也可參照使用。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件3.1術(shù)語和定義組織的各類邏輯和物理數(shù)據(jù)資產(chǎn)以及數(shù)據(jù)管理資源的結(jié)構(gòu)。一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。與傳統(tǒng)數(shù)據(jù)庫的面向應(yīng)用相對應(yīng)的一個抽象概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用的抽象。聯(lián)系較為緊密的數(shù)據(jù)主題的集合，即對某個主題進(jìn)行分析后確定的主題的邊界。根據(jù)將數(shù)據(jù)主題劃分到不同的主題域。2在數(shù)據(jù)存儲中，以數(shù)據(jù)倉庫通用數(shù)據(jù)分層為基礎(chǔ)，結(jié)合0Ss領(lǐng)域的特點，將存儲的數(shù)據(jù)分為源數(shù)據(jù)標(biāo)準(zhǔn)層、主題聯(lián)結(jié)層和對象洞察層，并對各層數(shù)據(jù)根據(jù)組織方式和業(yè)務(wù)目的進(jìn)一步細(xì)分領(lǐng)域，實現(xiàn)從數(shù)據(jù)到信息到領(lǐng)域知識的轉(zhuǎn)化的數(shù)據(jù)模型源數(shù)據(jù)標(biāo)準(zhǔn)層originaldatastandandla將預(yù)處理后的各個源系統(tǒng)的數(shù)據(jù)抽取到本地緩存，并對數(shù)據(jù)進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化。主題聯(lián)結(jié)層subjectdatalinkagelayer實現(xiàn)面向主題的數(shù)據(jù)組織方式，基于對象關(guān)系、業(yè)務(wù)/事件流、算法建立數(shù)據(jù)間聯(lián)結(jié)關(guān)系，形成數(shù)據(jù)到信息的轉(zhuǎn)化。對象洞察層objectdatainsightlayer面向業(yè)務(wù)對象對主題模型數(shù)據(jù)進(jìn)行降維，注入業(yè)務(wù)知識和智能，實現(xiàn)知識資產(chǎn)沉淀。4符號和縮略語下列縮略語適用于本文件。網(wǎng)元管理系統(tǒng)ElementManagementSyst運營支持系統(tǒng)移動性管理實體MobilityManagementE業(yè)務(wù)體驗質(zhì)量QualityofExperience互聯(lián)網(wǎng)應(yīng)用服務(wù)分組網(wǎng)絡(luò)語音回落k超文本傳輸協(xié)議HyperTextTransferProtocol互聯(lián)網(wǎng)應(yīng)用業(yè)務(wù)5信息通信網(wǎng)智能化運營管理系統(tǒng)數(shù)據(jù)架構(gòu)綜述5.1數(shù)據(jù)架構(gòu)定位數(shù)據(jù)架構(gòu)對應(yīng)數(shù)據(jù)模型和YD/TXXXXxxXX中的“融合數(shù)據(jù)管理層”對應(yīng)的數(shù)據(jù)管理功能，相關(guān)功能主要包括數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲與數(shù)據(jù)管理等。本文件不涉及EMS北向數(shù)據(jù)接口定義35.2數(shù)據(jù)模型數(shù)據(jù)模型是數(shù)據(jù)特征的抽象，它從抽象層次上描述一組數(shù)據(jù)的概念和定義。數(shù)據(jù)建模是對數(shù)據(jù)根據(jù)一定的維度進(jìn)行全面的組織和存儲，使數(shù)據(jù)更好地發(fā)揮作用。運營商對于數(shù)據(jù)有如下兩個方面典型的要求：數(shù)據(jù)作為核心資產(chǎn)，應(yīng)具備較好的穩(wěn)定性和可擴展性；數(shù)據(jù)作為基礎(chǔ)能力，應(yīng)具備對上層應(yīng)用支撐的能力。基于上述需求，需要抽象和規(guī)范化數(shù)據(jù)模型。數(shù)據(jù)模型標(biāo)準(zhǔn)化主要包含分層分域規(guī)則和數(shù)據(jù)模型定義模板本文件定義的數(shù)據(jù)模型以數(shù)據(jù)倉庫通用數(shù)據(jù)分層為基礎(chǔ)，結(jié)合0SS領(lǐng)域的特點，將存儲的數(shù)據(jù)分為源數(shù)據(jù)標(biāo)準(zhǔn)層、主題聯(lián)結(jié)層和對象洞察層，并對各層數(shù)據(jù)根據(jù)組織方式和業(yè)務(wù)目的進(jìn)一步細(xì)分領(lǐng)域，實現(xiàn)從數(shù)據(jù)到信息到領(lǐng)域知識的轉(zhuǎn)化。5.3數(shù)據(jù)管理層功能如圖1,信息通信網(wǎng)智能化管理數(shù)據(jù)架構(gòu)功能包含如下部分：數(shù)據(jù)獲?。夯诙喾N方式獲取來自通信系統(tǒng)的數(shù)據(jù)；數(shù)據(jù)預(yù)處理：對獲取的數(shù)據(jù)基于一定的策略和規(guī)則進(jìn)行對應(yīng)方式的處理，主要包含數(shù)據(jù)集成、數(shù)據(jù)清洗和數(shù)據(jù)變換；數(shù)據(jù)存儲存儲預(yù)處理后的數(shù)據(jù)，并對預(yù)處理后的數(shù)據(jù)按照數(shù)據(jù)模型進(jìn)行存儲，形成數(shù)據(jù)模型資產(chǎn)目錄，體系化地提供運營商信息通信網(wǎng)具備的數(shù)據(jù)能力：數(shù)據(jù)管璟包括數(shù)據(jù)模型管理，數(shù)據(jù)生命周期管理，數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)安全管理，數(shù)據(jù)共享管理。數(shù)安全管理圖1信息通信網(wǎng)智能化管理數(shù)據(jù)架構(gòu)功能6.1分層分域數(shù)據(jù)模型6.1.1分層數(shù)據(jù)模型0Ss領(lǐng)域分層數(shù)據(jù)模型從下到上依次分為如下三層：源數(shù)據(jù)標(biāo)準(zhǔn)層、主題聯(lián)結(jié)層和對象洞察層，如圖2所示。源數(shù)據(jù)標(biāo)準(zhǔn)層將預(yù)處理后的各個源系統(tǒng)的數(shù)據(jù)抽取到本地進(jìn)行緩存并對數(shù)據(jù)進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化。主題聯(lián)結(jié)層實現(xiàn)面向主題的數(shù)據(jù)組織方式，建立數(shù)據(jù)之間的聯(lián)系。圖3分層分域數(shù)據(jù)模型6.2.1源數(shù)據(jù)標(biāo)準(zhǔn)層概念源數(shù)據(jù)標(biāo)準(zhǔn)層，對應(yīng)預(yù)處理后的數(shù)據(jù)模型層，在這一層主要是對數(shù)據(jù)進(jìn)行規(guī)范化、標(biāo)準(zhǔn)于網(wǎng)絡(luò)數(shù)據(jù)，屏蔽不同廣商、協(xié)議的數(shù)據(jù)的能力。源數(shù)據(jù)標(biāo)準(zhǔn)層除本地緩存用途外，還標(biāo)準(zhǔn)化和編碼化，實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)和統(tǒng)一存儲。源數(shù)據(jù)標(biāo)準(zhǔn)層對獲取的數(shù)據(jù)進(jìn)行規(guī)范化、標(biāo)準(zhǔn)化。信息通信網(wǎng)具有復(fù)雜的數(shù)據(jù)來源，這在不同的地理位置、不同的數(shù)據(jù)庫、不同的應(yīng)用之中。因此，設(shè)立源數(shù)據(jù)標(biāo)準(zhǔn)層用于存放從取出來的數(shù)據(jù)，這些數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯關(guān)系上都與業(yè)務(wù)系統(tǒng)基本保持一6.2.2源數(shù)據(jù)標(biāo)準(zhǔn)層分域原則源數(shù)據(jù)標(biāo)準(zhǔn)層的分域按照專業(yè)領(lǐng)域>數(shù)據(jù)分類>分類模型進(jìn)行管理信息通信網(wǎng)的數(shù)據(jù)分類典型分類如下：性能數(shù)據(jù)、告警數(shù)據(jù)、日志數(shù)據(jù)、配置數(shù)據(jù)、工單數(shù)據(jù)等。針對信息通信網(wǎng)不同專業(yè)領(lǐng)域(接入，傳輸，核心網(wǎng)),對獲取的數(shù)據(jù)進(jìn)行分類如下表1所示：表1源數(shù)據(jù)標(biāo)準(zhǔn)層分域模型專業(yè)領(lǐng)域和數(shù)據(jù)分類映射√√√數(shù)據(jù)分類和分類模型實例的映射關(guān)系如表2所示：Management)性網(wǎng)絡(luò)/業(yè)務(wù)質(zhì)量故障分析(故障樹)日志數(shù)據(jù)置單：時告警、智能網(wǎng)關(guān)無線洞察、網(wǎng)規(guī)網(wǎng)優(yōu)；知已經(jīng)有影響或者預(yù)測有影響的機會/問劃場景。9量、容量與狀態(tài)的統(tǒng)計分析等相關(guān)場景。端口狀態(tài)分析等。模型有影響或者預(yù)測有影響的機會/問題/異常/風(fēng)險(統(tǒng)稱現(xiàn)象),通過分析、收斂為需要最終處質(zhì)量問題，進(jìn)行網(wǎng)絡(luò)優(yōu)化設(shè)計、實施、評估。戶6.3.3主題示例本節(jié)的主題參考包括網(wǎng)絡(luò)質(zhì)量域、業(yè)務(wù)質(zhì)量域、客戶體驗域?qū)?yīng)的主題示例。主題聯(lián)結(jié)層網(wǎng)絡(luò)質(zhì)量域、業(yè)務(wù)質(zhì)量域以及客戶體驗域的典型參考主題如圖6所示：客戶體驗域客戶體驗域業(yè)務(wù)質(zhì)量域圖6主題聯(lián)結(jié)層參考主題網(wǎng)絡(luò)質(zhì)量城主題包含CS性能、PS性能：業(yè)務(wù)質(zhì)量域包含主題如語音業(yè)務(wù)(EPSFB場景)體驗、語音(VoLTE)體驗：客戶體驗域主題包含如用戶投訴模型等。具體的主題域及其對應(yīng)的主題、主題數(shù)據(jù)聯(lián)結(jié)模型如下表4所示。主題數(shù)據(jù)聯(lián)結(jié)模型基于已識別的主題，結(jié)合分析場景進(jìn)行主題模型設(shè)計，再根據(jù)數(shù)據(jù)實體之間的相互關(guān)系，設(shè)計主題聯(lián)結(jié)關(guān)系。表4主題域?qū)?yīng)主題及主題數(shù)據(jù)模型示例換PS網(wǎng)絡(luò)性能Gb&lu-PS等接口網(wǎng)絡(luò)性能指標(biāo)模型：EPCMlo-CS呼叫指標(biāo)模型：主被叫接通、掉話指標(biāo)VoLTE業(yè)務(wù)指標(biāo)模型：呼叫、短消息、業(yè)務(wù)媒體質(zhì)量指6.4對象洞察層6.4.1對象洞察層概念對象洞察層，面向不同的需求，選擇相關(guān)信息進(jìn)行深度分析，萃取需要的特征、標(biāo)簽等，構(gòu)建相應(yīng)模型，例如對于同樣的用戶，面向用戶體驗的分析和面向營銷支撐的畫像模型是不同的。這一層以分析的對象為中心，存儲對象屬性、標(biāo)簽和相關(guān)的統(tǒng)計數(shù)據(jù)，滿足不同部門或不同角色的個性化數(shù)據(jù)需求，快速響應(yīng)用戶的數(shù)據(jù)需求。對象洞察層面向?qū)ο?，對主題聯(lián)結(jié)層進(jìn)行降維，支撐智能化應(yīng)用或者智能化實現(xiàn)，實現(xiàn)知識資產(chǎn)沉6.4.2對象劃分原則對象洞察層按照‘對象類型>對象域>業(yè)務(wù)對象’的數(shù)據(jù)模型進(jìn)行管理，如表5所示。參考eTOMGB991架構(gòu)，對象洞察層包含了三大對象類型網(wǎng)絡(luò)資源、業(yè)務(wù)、客戶，劃分原則如下·面向網(wǎng)絡(luò)資源圍繞網(wǎng)絡(luò)“規(guī)建維優(yōu)”構(gòu)建數(shù)據(jù)能力，打造網(wǎng)絡(luò)價值指標(biāo)與特征標(biāo)簽，通過數(shù)據(jù)服務(wù)支撐一線敏捷開發(fā)；·面向業(yè)務(wù)：圍繞業(yè)務(wù)使用數(shù)據(jù)構(gòu)建業(yè)務(wù)特征標(biāo)簽，支撐特定對象的重點業(yè)務(wù)優(yōu)化與保障：·面向客戶通過客戶生命周期管理沉淀客戶體驗與客戶營銷標(biāo)簽，刻畫用戶特征，通過數(shù)據(jù)開放支撐市場營銷。表5對象類型及業(yè)務(wù)對象定義通過移網(wǎng)用戶信令等數(shù)據(jù)分析用戶終端特征，業(yè)務(wù)特征，使用感知家庭寬帶相關(guān)的用戶特征、位置分布特征、訂購特征、質(zhì)量畫像VoLTE等語音業(yè)務(wù)量、流量、質(zhì)量等特征指標(biāo)、標(biāo)簽沉淀，形成業(yè)數(shù)據(jù)業(yè)務(wù)量，流量，質(zhì)量等特征指標(biāo)，標(biāo)簽沉淀，主要涉及物聯(lián)網(wǎng)等新業(yè)務(wù)特征指標(biāo)、標(biāo)簽，洞察新HIIP、網(wǎng)頁測覽、視頻等OTT業(yè)務(wù)體通過移網(wǎng)網(wǎng)絡(luò)信令、性能日志等數(shù)據(jù)分析小區(qū)、站點等特征固網(wǎng)通過固網(wǎng)網(wǎng)絡(luò)信令、性能、告警、日志等數(shù)據(jù)分析網(wǎng)元相關(guān)特征6.4.3業(yè)務(wù)對象及洞察模型示例對應(yīng)各個對象域，定義對象洞察模型，圍繞已識別的對象，結(jié)合分析場景，進(jìn)行對象洞察模型設(shè)計。并使用AI/ML等技術(shù)進(jìn)行統(tǒng)計學(xué)習(xí)、預(yù)測，注入業(yè)務(wù)知識和智能，實現(xiàn)知識資產(chǎn)積累。各個對象域?qū)?yīng)的對象模型如表6所示按用戶使用流量排名前十的應(yīng)用及其流量、次數(shù)息用戶在各類位置(如：工作地、居住地、常駐地)段類型(如：工作時段、居住時段)下的業(yè)務(wù)量情況量計算各小區(qū)的業(yè)務(wù)體驗指標(biāo)，包括Web、Stre統(tǒng)最多支持配置10個熱點APP.6.5數(shù)據(jù)模型定義模板本章節(jié)針對分層分域模型中各層數(shù)據(jù)模型規(guī)定數(shù)據(jù)模型定義模板。在源數(shù)據(jù)標(biāo)準(zhǔn)層，針對不同的數(shù)據(jù)類型定義了數(shù)據(jù)標(biāo)準(zhǔn)在主題聯(lián)結(jié)層，基于已識別的主題進(jìn)行主題模型設(shè)計時，根據(jù)對象實體之間的相互關(guān)系，設(shè)計主題聯(lián)結(jié)關(guān)系：在對象洞察層中作為已識別的業(yè)務(wù)對象的數(shù)據(jù)標(biāo)準(zhǔn)。6.5.2源數(shù)據(jù)標(biāo)準(zhǔn)層數(shù)據(jù)標(biāo)準(zhǔn)模板源數(shù)據(jù)標(biāo)準(zhǔn)層數(shù)據(jù)標(biāo)準(zhǔn)模板包含如下屬性-—專業(yè)領(lǐng)城：專業(yè)領(lǐng)域指源數(shù)據(jù)所屬專業(yè)領(lǐng)域.包括接入網(wǎng)，傳輸網(wǎng)，核心網(wǎng)等：——數(shù)據(jù)分類數(shù)據(jù)所屬分類，典型分類包含性能數(shù)據(jù)、告警數(shù)據(jù)、日志數(shù)據(jù)、配置數(shù)據(jù)、工單數(shù)據(jù)等：-—數(shù)據(jù)源：數(shù)據(jù)獲取來源，如探針采集數(shù)據(jù)，網(wǎng)管系統(tǒng)數(shù)據(jù)，外部數(shù)據(jù)等：-—中文名稱：數(shù)據(jù)的中文名稱：——英文名稱：數(shù)據(jù)的英文名稱：——數(shù)據(jù)定義：表征數(shù)據(jù)的詳細(xì)定義和說明：——數(shù)據(jù)用途：闡述數(shù)據(jù)的主要用途：——數(shù)據(jù)類型：表征數(shù)據(jù)的類型，如整型，浮點數(shù)類型，字符類型等：-—數(shù)據(jù)長度：表征數(shù)據(jù)的長度，如幾個bit,幾個字節(jié)等。6.5.3主題聯(lián)結(jié)層數(shù)據(jù)標(biāo)準(zhǔn)模板主題聯(lián)結(jié)層數(shù)據(jù)標(biāo)準(zhǔn)模板包含如下屬性：-—主題域分組：主題域分組表征數(shù)據(jù)所屬的主題域。垂直主題域分組包括規(guī)劃建設(shè)、準(zhǔn)備支持、實施交付、保障、計費五個分組水平主題域分組包括網(wǎng)絡(luò)資源層、業(yè)務(wù)層、客戶層三個分組--主題域：主題域表征對分析對象數(shù)據(jù)的完整一致的描述。主要包含如下十一個主題域：業(yè)務(wù)規(guī)劃域、網(wǎng)絡(luò)規(guī)劃域、客戶運營域、業(yè)務(wù)運營域、資源管理域、業(yè)務(wù)配置域、網(wǎng)絡(luò)資源配置域、客戶體驗域、業(yè)務(wù)質(zhì)量域、事件域、網(wǎng)絡(luò)質(zhì)量域——主題：主題表征在主題域的基礎(chǔ)上根據(jù)不同的業(yè)務(wù)和事件歸納的模型：——中文名稱：數(shù)據(jù)的中文名稱：-—英文名稱：數(shù)據(jù)的英文名稱：-—數(shù)據(jù)定義：表征數(shù)據(jù)的詳細(xì)定義和說明——數(shù)據(jù)用途：闡述數(shù)據(jù)的主要用途；——數(shù)據(jù)類型：表征數(shù)據(jù)的類型，如整型，浮點數(shù)類型，字符類型等；——數(shù)據(jù)長度：表征數(shù)據(jù)的長度，如幾個bit,幾個字節(jié)等。6.5.4對象洞察層數(shù)據(jù)標(biāo)準(zhǔn)模板對象洞察層數(shù)據(jù)模型參考數(shù)據(jù)標(biāo)準(zhǔn)模板包含如下屬性：——對象類型：對象類型指對象洞察層包含的三類對象類型；網(wǎng)絡(luò)資源、業(yè)務(wù)、客戶；——對象域：對象類型對應(yīng)的各類對象，網(wǎng)絡(luò)資源層對應(yīng)對象域為移網(wǎng)和固網(wǎng)；業(yè)務(wù)層對應(yīng)對象域為語音業(yè)務(wù)、數(shù)據(jù)業(yè)務(wù)、新業(yè)務(wù)、OTT業(yè)務(wù)；客戶層對應(yīng)對象域為個人用戶、家庭用戶、政企用戶；-—業(yè)務(wù)對象：業(yè)務(wù)對象表征業(yè)務(wù)所屬的實體對象，如用戶，小區(qū)，基站等——中文名稱：數(shù)據(jù)的中文名稱；——英文名稱：數(shù)據(jù)的英文名稱；——數(shù)據(jù)定義：表征數(shù)據(jù)的詳細(xì)定義和說明 數(shù)據(jù)用途：闡述數(shù)據(jù)的主要用途： 數(shù)據(jù)類型：表征數(shù)據(jù)的類型，如整型，浮點數(shù)類型，字符類型等：——數(shù)據(jù)長度：表征數(shù)據(jù)的長度，如幾個bit,幾個字節(jié)等。7數(shù)據(jù)管理層功能7.1數(shù)據(jù)獲取數(shù)據(jù)獲取實現(xiàn)從數(shù)據(jù)源獲取設(shè)備日志，話統(tǒng)，話單，事件告警，配置文件答數(shù)據(jù)，并實現(xiàn)數(shù)據(jù)結(jié)構(gòu)化的轉(zhuǎn)換。數(shù)據(jù)獲取需要提供數(shù)據(jù)采集，轉(zhuǎn)換，補采。數(shù)據(jù)質(zhì)量打點等關(guān)鍵能力。數(shù)據(jù)源獲取的數(shù)據(jù)可能包含了大量的缺失值，可能包含大量的噪音，也可能因為人工錄入錯誤導(dǎo)致有異常點存在，非常不利于算法模型的訓(xùn)練。因此需要根據(jù)一定的策略和規(guī)則對數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理主要包含數(shù)據(jù)集成、數(shù)據(jù)清洗和數(shù)據(jù)變換。數(shù)據(jù)集成指把數(shù)據(jù)從數(shù)據(jù)采集接口遷移到數(shù)據(jù)倉庫，并將多個數(shù)據(jù)源中的同一類數(shù)據(jù)結(jié)合存放在數(shù)據(jù)倉庫；數(shù)據(jù)清洗是對各種原始臟數(shù)據(jù)進(jìn)行對應(yīng)方式的處理，如通過填補缺失值、光滑噪聲數(shù)據(jù)、平滑或刪除離群點，從而得到標(biāo)準(zhǔn)的、干凈的、連續(xù)的數(shù)據(jù)提供給數(shù)據(jù)統(tǒng)計、數(shù)據(jù)挖掘等使用數(shù)據(jù)變換是通過數(shù)據(jù)格式轉(zhuǎn)換工具對數(shù)據(jù)進(jìn)行規(guī)范化、離散化處理以達(dá)到數(shù)據(jù)格式的統(tǒng)一7.3數(shù)據(jù)存儲數(shù)據(jù)源獲取的數(shù)據(jù)經(jīng)過預(yù)處理后需要進(jìn)行數(shù)據(jù)存儲，即將數(shù)據(jù)預(yù)處理后的數(shù)據(jù)裝載到數(shù)據(jù)倉庫。數(shù)據(jù)預(yù)處理后的數(shù)據(jù)經(jīng)過數(shù)據(jù)建模后生成模型化的數(shù)據(jù)，也需要存儲到數(shù)據(jù)倉庫，供上層模塊使用。數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。從定位上看，數(shù)據(jù)倉庫是將各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集成到一起，然后通過數(shù)據(jù)建模、加工，支撐業(yè)務(wù)應(yīng)用。數(shù)據(jù)存儲包含文件存儲 (如分布式文件存儲系統(tǒng)(HadoopDistrnbuteFileSystem,HDFS)文件)和數(shù)據(jù)庫(如Hive,Carbon.HBase,GaussDB)等，面向支撐大數(shù)據(jù)的分析，進(jìn)行實時和非實時數(shù)據(jù)開放。數(shù)據(jù)倉庫層構(gòu)建各種數(shù)據(jù)模型。本文件的數(shù)據(jù)模型詳細(xì)描述見第5章。7.4數(shù)據(jù)管理7.4.1數(shù)據(jù)模型管理數(shù)據(jù)模型管理包含數(shù)據(jù)模型創(chuàng)建，數(shù)據(jù)模型變更，數(shù)據(jù)模型刪除：——數(shù)據(jù)模型創(chuàng)建支持根據(jù)需求變化，創(chuàng)建新的數(shù)據(jù)模型。具體包括概念數(shù)據(jù)模型設(shè)計，邏輯模型設(shè)計開發(fā)，物理模型設(shè)計開發(fā)。概念數(shù)據(jù)模型從宏觀角度描述業(yè)務(wù)的整體結(jié)構(gòu)，對業(yè)務(wù)模型進(jìn)行抽象處理，確定歸屬層級和主題域邏輯模型對概念模型進(jìn)行細(xì)化，根據(jù)業(yè)務(wù)定義、分類和規(guī)則，定義其中的實體，描述實體之間的關(guān)系并產(chǎn)生實體關(guān)系圖，然后遵照規(guī)范化思想在實體關(guān)系的基礎(chǔ)上明確各個實體的屬性：物理數(shù)據(jù)模型設(shè)計是針對具體的分析需求和物理平臺，對邏輯模型做最終物理實現(xiàn)的過程。具體是指按照一定規(guī)則和方法，將邏輯數(shù)據(jù)模型中所定義的邏輯數(shù)據(jù)實體、屬性、屬性約束、關(guān)系等要素轉(zhuǎn)換為數(shù)據(jù)庫軟件所能夠識別的一種物理描述：-—數(shù)據(jù)模型變更支持根據(jù)需求的變化，對數(shù)據(jù)模型進(jìn)行修改，包含數(shù)據(jù)模型的名稱，屬性的名稱。模型所屬的主題域或?qū)ο笥虻龋?數(shù)據(jù)模型刪除支持根據(jù)需求變化，對數(shù)據(jù)模型進(jìn)行刪除。7.4.2數(shù)據(jù)生命周期管理數(shù)據(jù)全生命周期管理以數(shù)據(jù)作為管理對象，以全生命周期為導(dǎo)向，從系統(tǒng)整體目標(biāo)出發(fā)，統(tǒng)籌考慮數(shù)據(jù)資產(chǎn)的獲取、存儲、存檔和銷毀的全過程。數(shù)據(jù)生命周期管理包括數(shù)據(jù)獲取管理、數(shù)據(jù)存儲管理、數(shù)據(jù)存檔和銷毀管理。-—數(shù)據(jù)獲取管理主要包括制定采集環(huán)節(jié)數(shù)據(jù)獲取范圍和策略。數(shù)據(jù)獲取范圍指在數(shù)據(jù)規(guī)劃文檔中明確定義與業(yè)務(wù)數(shù)據(jù)需求相對應(yīng)的數(shù)據(jù)源，源數(shù)據(jù)可以是通過網(wǎng)絡(luò)生產(chǎn)系統(tǒng)產(chǎn)生的，也可以通過購買或其它外部渠道獲得。對同一業(yè)務(wù)管理主題下的數(shù)據(jù)應(yīng)有統(tǒng)一的數(shù)據(jù)獲取策略，避免同一數(shù)據(jù)需求的重復(fù)采集數(shù)據(jù)獲取環(huán)節(jié)是數(shù)據(jù)進(jìn)入數(shù)據(jù)平臺的入口，需要保證數(shù)據(jù)上下游的一致性、完整性：——數(shù)據(jù)存儲管理規(guī)定對歷史數(shù)據(jù)的保留時間和存儲方式，歷史數(shù)據(jù)的存儲保留時間和存儲方式取決于外部監(jiān)管、法律要求及內(nèi)部經(jīng)營管理的要求。數(shù)據(jù)存儲規(guī)劃應(yīng)該從業(yè)務(wù)需求出發(fā)，針對不同數(shù)據(jù)采用不同存儲和計算資源。數(shù)據(jù)存儲策略的制定需要遵循下列原則減少冗余存儲，即同一組數(shù)據(jù)應(yīng)一次存儲，多次使用當(dāng)前數(shù)據(jù)的存儲應(yīng)注重考慮訪間效率，控制在線數(shù)據(jù)規(guī)模數(shù)據(jù)存儲策略參考：源數(shù)據(jù)標(biāo)準(zhǔn)層數(shù)據(jù)大于等于7天，小于等于14天，主題層數(shù)據(jù)存儲大于等于30天，小于等于90天；對象洞察層數(shù)據(jù)根據(jù)業(yè)務(wù)需求存儲； 數(shù)據(jù)存檔和銷毀管理出于數(shù)據(jù)安全、存儲管理成本、數(shù)據(jù)訪問效率等因素的考虎，不同類型的數(shù)據(jù)集合對數(shù)據(jù)存檔和未來的銷毀過程也將提出不同的需求應(yīng)及時存檔，超過數(shù)據(jù)存儲生命周期的數(shù)據(jù)應(yīng)及時銷毀。7.4.3數(shù)據(jù)共享管理數(shù)據(jù)共享管理是指在提供產(chǎn)品與服務(wù)、開展經(jīng)營管理等活動中，對數(shù)據(jù)消費的管理和管理?！獢?shù)據(jù)消費不應(yīng)超出數(shù)據(jù)獲取時所聲明的目的和范圍。數(shù)據(jù)消費源于業(yè)務(wù)驅(qū)動，以業(yè)向的數(shù)據(jù)分析與應(yīng)用或者數(shù)據(jù)驅(qū)動，以數(shù)據(jù)出發(fā)，發(fā)現(xiàn)數(shù)據(jù)價值。推廣到應(yīng)用。常見數(shù)據(jù)消費有：客戶洞察、內(nèi)容洞察、位置能力、客戶標(biāo)簽、指標(biāo)能力：——數(shù)據(jù)開放是指按照統(tǒng)一的管理策略對數(shù)據(jù)進(jìn)行有選擇的對外開放，同時按照相關(guān)的入外部數(shù)據(jù)供組織內(nèi)部應(yīng)用。數(shù)據(jù)共享的周期必須是有限的，用戶在申請數(shù)據(jù)開放申明開放周期7.4.4數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量指在特定業(yè)務(wù)環(huán)境下，數(shù)據(jù)滿足業(yè)務(wù)運行、管理與決策的程度，主要包括數(shù)時性、準(zhǔn)確性、一致性、有效性、唯一性等。數(shù)據(jù)質(zhì)量管理機制包含數(shù)據(jù)質(zhì)量策劃、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)質(zhì)量度量和數(shù)據(jù)質(zhì)量改進(jìn)：——數(shù)據(jù)質(zhì)量策劃指識別質(zhì)量管理需求和目標(biāo)后，將數(shù)據(jù)質(zhì)量目標(biāo)分解到領(lǐng)域，細(xì)化到業(yè)務(wù)對象-—數(shù)據(jù)質(zhì)量控制包括事前預(yù)防、事中監(jiān)控與事后總結(jié)，將數(shù)據(jù)質(zhì)量管理機制落實并細(xì)分到系統(tǒng)各個環(huán)節(jié)中。在需求開發(fā)階段進(jìn)行事前預(yù)防，建立數(shù)據(jù)質(zhì)量協(xié)同管理機制和數(shù)據(jù)標(biāo)準(zhǔn)在系統(tǒng)運維過程中，需進(jìn)行事中監(jiān)控，建立數(shù)據(jù)質(zhì)量監(jiān)控預(yù)警管理機制事后需要及時進(jìn)行總結(jié)提升，總結(jié)數(shù)據(jù)質(zhì)量管理工作成果，明確改進(jìn)方向。對共性的、普遍的問題及其解決方案進(jìn)行歸納，形成問題處理案例，存入數(shù)據(jù)質(zhì)量知識庫中，用于后續(xù)質(zhì)量問題的參——數(shù)據(jù)質(zhì)量度量從“設(shè)計”、“執(zhí)行”兩個方面評估數(shù)據(jù)質(zhì)量綜合水平，揭示數(shù)據(jù)質(zhì)設(shè)計質(zhì)量方面，對領(lǐng)峨所有業(yè)務(wù)對象的數(shù)據(jù)架構(gòu)從資產(chǎn)目錄、數(shù)據(jù)模型、數(shù)據(jù)等方面進(jìn)行數(shù)據(jù)質(zhì)量評估和度量；在執(zhí)行方面，針對數(shù)據(jù)質(zhì)量“六性”:完整性、及時性、準(zhǔn)確性、一致性、有效性、唯一性進(jìn)行質(zhì)量評估和度量。發(fā)布度量報告，根據(jù)度量結(jié)本度量期間數(shù)據(jù)質(zhì)量狀況，牽引數(shù)據(jù)質(zhì)量持續(xù)改進(jìn)；——數(shù)據(jù)質(zhì)量改進(jìn)對數(shù)據(jù)質(zhì)量控制中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題進(jìn)行分層分級剖析，找出數(shù)據(jù)因，制定相應(yīng)解決方案。7.4.5數(shù)據(jù)安全管理數(shù)據(jù)銷毀安全管理。——數(shù)據(jù)獲取安全管理需定義數(shù)據(jù)獲取的目的和用途，明確數(shù)據(jù)獲取源和數(shù)據(jù)獲取范圍，嚴(yán)禁執(zhí)行超出授權(quán)范圍的任何操作：遵循合規(guī)原則，確保數(shù)據(jù)獲取的合法性、正當(dāng)性數(shù)據(jù)最小化原則，只采集滿足業(yè)務(wù)所需的最少數(shù)據(jù)遵循確保安全原則，對采集的數(shù)據(jù)進(jìn)行分類分級標(biāo)識，并對不同類和級別的數(shù)據(jù)實施相應(yīng)的安全管理策略和保障措施。在采集數(shù)據(jù)時，如涉及使用工具的場景，需使用安全合規(guī)的工具采集的數(shù)據(jù)已成功上傳后，需及時刪除存儲介質(zhì)中保存的原始數(shù)據(jù)，不得超出授權(quán)使用期限。采集數(shù)據(jù)應(yīng)始終與授權(quán)關(guān)聯(lián)，確保數(shù)據(jù)使用-—數(shù)據(jù)存儲安全管理是指對存儲的數(shù)據(jù)設(shè)置備份與恢復(fù)機制，對存儲的數(shù)據(jù)的機密性和完整性的保護，數(shù)據(jù)的存儲必須符合當(dāng)?shù)胤煞ㄒ?guī)和數(shù)據(jù)所有者授權(quán)要求，在授權(quán)的可轉(zhuǎn)移范圍內(nèi)存儲。對于重要數(shù)據(jù)，應(yīng)使用數(shù)據(jù)加密、數(shù)字簽名等密碼學(xué)機制保證數(shù)據(jù)機密性和完整性。在向第三方轉(zhuǎn)移數(shù)據(jù)時，雷獲取明確授權(quán)，并通過簽訂協(xié)議等方式告知第三方數(shù)據(jù)使用要求：-—數(shù)據(jù)共享安全管理原則為“誰使用誰獲取授權(quán)”、“誰使用誰負(fù)責(zé)生命周期管理”的數(shù)據(jù)