信息通信網(wǎng)智能化運(yùn)營(yíng)管理架構(gòu) 數(shù)據(jù)架構(gòu)

信息通信網(wǎng)智能化運(yùn)營(yíng)管理系統(tǒng)架構(gòu)數(shù)據(jù)架構(gòu)本文件規(guī)定了信息通信網(wǎng)智能化運(yùn)營(yíng)管理系統(tǒng)功能架構(gòu)中的數(shù)據(jù)融合管理層的數(shù)據(jù)模型與數(shù)據(jù)管理層功能，相關(guān)功能主要包括數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)管理等。本文件適用于信息通信網(wǎng)智能化運(yùn)營(yíng)管理系統(tǒng)規(guī)劃和設(shè)計(jì)，系統(tǒng)開發(fā)與建設(shè)也可參照使用。2規(guī)范性引用文件本文件沒有規(guī)范性引用文件3.1術(shù)語(yǔ)和定義組織的各類邏輯和物理數(shù)據(jù)資產(chǎn)以及數(shù)據(jù)管理資源的結(jié)構(gòu)。一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。與傳統(tǒng)數(shù)據(jù)庫(kù)的面向應(yīng)用相對(duì)應(yīng)的一個(gè)抽象概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用的抽象。聯(lián)系較為緊密的數(shù)據(jù)主題的集合，即對(duì)某個(gè)主題進(jìn)行分析后確定的主題的邊界。根據(jù)將數(shù)據(jù)主題劃分到不同的主題域。2在數(shù)據(jù)存儲(chǔ)中，以數(shù)據(jù)倉(cāng)庫(kù)通用數(shù)據(jù)分層為基礎(chǔ)，結(jié)合0Ss領(lǐng)域的特點(diǎn)，將存儲(chǔ)的數(shù)據(jù)分為源數(shù)據(jù)標(biāo)準(zhǔn)層、主題聯(lián)結(jié)層和對(duì)象洞察層，并對(duì)各層數(shù)據(jù)根據(jù)組織方式和業(yè)務(wù)目的進(jìn)一步細(xì)分領(lǐng)域，實(shí)現(xiàn)從數(shù)據(jù)到信息到領(lǐng)域知識(shí)的轉(zhuǎn)化的數(shù)據(jù)模型源數(shù)據(jù)標(biāo)準(zhǔn)層originaldatastandandla將預(yù)處理后的各個(gè)源系統(tǒng)的數(shù)據(jù)抽取到本地緩存，并對(duì)數(shù)據(jù)進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化。主題聯(lián)結(jié)層subjectdatalinkagelayer實(shí)現(xiàn)面向主題的數(shù)據(jù)組織方式，基于對(duì)象關(guān)系、業(yè)務(wù)/事件流、算法建立數(shù)據(jù)間聯(lián)結(jié)關(guān)系，形成數(shù)據(jù)到信息的轉(zhuǎn)化。對(duì)象洞察層objectdatainsightlayer面向業(yè)務(wù)對(duì)象對(duì)主題模型數(shù)據(jù)進(jìn)行降維，注入業(yè)務(wù)知識(shí)和智能，實(shí)現(xiàn)知識(shí)資產(chǎn)沉淀。4符號(hào)和縮略語(yǔ)下列縮略語(yǔ)適用于本文件。網(wǎng)元管理系統(tǒng)ElementManagementSyst運(yùn)營(yíng)支持系統(tǒng)移動(dòng)性管理實(shí)體MobilityManagementE業(yè)務(wù)體驗(yàn)質(zhì)量QualityofExperience互聯(lián)網(wǎng)應(yīng)用服務(wù)分組網(wǎng)絡(luò)語(yǔ)音回落k超文本傳輸協(xié)議HyperTextTransferProtocol互聯(lián)網(wǎng)應(yīng)用業(yè)務(wù)5信息通信網(wǎng)智能化運(yùn)營(yíng)管理系統(tǒng)數(shù)據(jù)架構(gòu)綜述5.1數(shù)據(jù)架構(gòu)定位數(shù)據(jù)架構(gòu)對(duì)應(yīng)數(shù)據(jù)模型和YD/TXXXXxxXX中的“融合數(shù)據(jù)管理層”對(duì)應(yīng)的數(shù)據(jù)管理功能，相關(guān)功能主要包括數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)管理等。本文件不涉及EMS北向數(shù)據(jù)接口定義35.2數(shù)據(jù)模型數(shù)據(jù)模型是數(shù)據(jù)特征的抽象，它從抽象層次上描述一組數(shù)據(jù)的概念和定義。數(shù)據(jù)建模是對(duì)數(shù)據(jù)根據(jù)一定的維度進(jìn)行全面的組織和存儲(chǔ)，使數(shù)據(jù)更好地發(fā)揮作用。運(yùn)營(yíng)商對(duì)于數(shù)據(jù)有如下兩個(gè)方面典型的要求：數(shù)據(jù)作為核心資產(chǎn)，應(yīng)具備較好的穩(wěn)定性和可擴(kuò)展性；數(shù)據(jù)作為基礎(chǔ)能力，應(yīng)具備對(duì)上層應(yīng)用支撐的能力。基于上述需求，需要抽象和規(guī)范化數(shù)據(jù)模型。數(shù)據(jù)模型標(biāo)準(zhǔn)化主要包含分層分域規(guī)則和數(shù)據(jù)模型定義模板本文件定義的數(shù)據(jù)模型以數(shù)據(jù)倉(cāng)庫(kù)通用數(shù)據(jù)分層為基礎(chǔ)，結(jié)合0SS領(lǐng)域的特點(diǎn)，將存儲(chǔ)的數(shù)據(jù)分為源數(shù)據(jù)標(biāo)準(zhǔn)層、主題聯(lián)結(jié)層和對(duì)象洞察層，并對(duì)各層數(shù)據(jù)根據(jù)組織方式和業(yè)務(wù)目的進(jìn)一步細(xì)分領(lǐng)域，實(shí)現(xiàn)從數(shù)據(jù)到信息到領(lǐng)域知識(shí)的轉(zhuǎn)化。5.3數(shù)據(jù)管理層功能如圖1,信息通信網(wǎng)智能化管理數(shù)據(jù)架構(gòu)功能包含如下部分：數(shù)據(jù)獲?。夯诙喾N方式獲取來(lái)自通信系統(tǒng)的數(shù)據(jù)；數(shù)據(jù)預(yù)處理：對(duì)獲取的數(shù)據(jù)基于一定的策略和規(guī)則進(jìn)行對(duì)應(yīng)方式的處理，主要包含數(shù)據(jù)集成、數(shù)據(jù)清洗和數(shù)據(jù)變換；數(shù)據(jù)存儲(chǔ)存儲(chǔ)預(yù)處理后的數(shù)據(jù)，并對(duì)預(yù)處理后的數(shù)據(jù)按照數(shù)據(jù)模型進(jìn)行存儲(chǔ)，形成數(shù)據(jù)模型資產(chǎn)目錄，體系化地提供運(yùn)營(yíng)商信息通信網(wǎng)具備的數(shù)據(jù)能力：數(shù)據(jù)管璟包括數(shù)據(jù)模型管理，數(shù)據(jù)生命周期管理，數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)安全管理，數(shù)據(jù)共享管理。數(shù)安全管理圖1信息通信網(wǎng)智能化管理數(shù)據(jù)架構(gòu)功能6.1分層分域數(shù)據(jù)模型6.1.1分層數(shù)據(jù)模型0Ss領(lǐng)域分層數(shù)據(jù)模型從下到上依次分為如下三層：源數(shù)據(jù)標(biāo)準(zhǔn)層、主題聯(lián)結(jié)層和對(duì)象洞察層，如圖2所示。源數(shù)據(jù)標(biāo)準(zhǔn)層將預(yù)處理后的各個(gè)源系統(tǒng)的數(shù)據(jù)抽取到本地進(jìn)行緩存并對(duì)數(shù)據(jù)進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化。主題聯(lián)結(jié)層實(shí)現(xiàn)面向主題的數(shù)據(jù)組織方式，建立數(shù)據(jù)之間的聯(lián)系。圖3分層分域數(shù)據(jù)模型6.2.1源數(shù)據(jù)標(biāo)準(zhǔn)層概念源數(shù)據(jù)標(biāo)準(zhǔn)層，對(duì)應(yīng)預(yù)處理后的數(shù)據(jù)模型層，在這一層主要是對(duì)數(shù)據(jù)進(jìn)行規(guī)范化、標(biāo)準(zhǔn)于網(wǎng)絡(luò)數(shù)據(jù)，屏蔽不同廣商、協(xié)議的數(shù)據(jù)的能力。源數(shù)據(jù)標(biāo)準(zhǔn)層除本地緩存用途外，還標(biāo)準(zhǔn)化和編碼化，實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)和統(tǒng)一存儲(chǔ)。源數(shù)據(jù)標(biāo)準(zhǔn)層對(duì)獲取的數(shù)據(jù)進(jìn)行規(guī)范化、標(biāo)準(zhǔn)化。信息通信網(wǎng)具有復(fù)雜的數(shù)據(jù)來(lái)源，這在不同的地理位置、不同的數(shù)據(jù)庫(kù)、不同的應(yīng)用之中。因此，設(shè)立源數(shù)據(jù)標(biāo)準(zhǔn)層用于存放從取出來(lái)的數(shù)據(jù)，這些數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯關(guān)系上都與業(yè)務(wù)系統(tǒng)基本保持一6.2.2源數(shù)據(jù)標(biāo)準(zhǔn)層分域原則源數(shù)據(jù)標(biāo)準(zhǔn)層的分域按照專業(yè)領(lǐng)域>數(shù)據(jù)分類>分類模型進(jìn)行管理信息通信網(wǎng)的數(shù)據(jù)分類典型分類如下：性能數(shù)據(jù)、告警數(shù)據(jù)、日志數(shù)據(jù)、配置數(shù)據(jù)、工單數(shù)據(jù)等。針對(duì)信息通信網(wǎng)不同專業(yè)領(lǐng)域(接入，傳輸，核心網(wǎng)),對(duì)獲取的數(shù)據(jù)進(jìn)行分類如下表1所示：表1源數(shù)據(jù)標(biāo)準(zhǔn)層分域模型專業(yè)領(lǐng)域和數(shù)據(jù)分類映射√√√數(shù)據(jù)分類和分類模型實(shí)例的映射關(guān)系如表2所示：Management)性網(wǎng)絡(luò)/業(yè)務(wù)質(zhì)量故障分析(故障樹)日志數(shù)據(jù)置單：時(shí)告警、智能網(wǎng)關(guān)無(wú)線洞察、網(wǎng)規(guī)網(wǎng)優(yōu)；知已經(jīng)有影響或者預(yù)測(cè)有影響的機(jī)會(huì)/問(wèn)劃場(chǎng)景。9量、容量與狀態(tài)的統(tǒng)計(jì)分析等相關(guān)場(chǎng)景。端口狀態(tài)分析等。模型有影響或者預(yù)測(cè)有影響的機(jī)會(huì)/問(wèn)題/異常/風(fēng)險(xiǎn)(統(tǒng)稱現(xiàn)象),通過(guò)分析、收斂為需要最終處質(zhì)量問(wèn)題，進(jìn)行網(wǎng)絡(luò)優(yōu)化設(shè)計(jì)、實(shí)施、評(píng)估。戶6.3.3主題示例本節(jié)的主題參考包括網(wǎng)絡(luò)質(zhì)量域、業(yè)務(wù)質(zhì)量域、客戶體驗(yàn)域?qū)?yīng)的主題示例。主題聯(lián)結(jié)層網(wǎng)絡(luò)質(zhì)量域、業(yè)務(wù)質(zhì)量域以及客戶體驗(yàn)域的典型參考主題如圖6所示：客戶體驗(yàn)域客戶體驗(yàn)域業(yè)務(wù)質(zhì)量域圖6主題聯(lián)結(jié)層參考主題網(wǎng)絡(luò)質(zhì)量城主題包含CS性能、PS性能：業(yè)務(wù)質(zhì)量域包含主題如語(yǔ)音業(yè)務(wù)(EPSFB場(chǎng)景)體驗(yàn)、語(yǔ)音(VoLTE)體驗(yàn)：客戶體驗(yàn)域主題包含如用戶投訴模型等。具體的主題域及其對(duì)應(yīng)的主題、主題數(shù)據(jù)聯(lián)結(jié)模型如下表4所示。主題數(shù)據(jù)聯(lián)結(jié)模型基于已識(shí)別的主題，結(jié)合分析場(chǎng)景進(jìn)行主題模型設(shè)計(jì)，再根據(jù)數(shù)據(jù)實(shí)體之間的相互關(guān)系，設(shè)計(jì)主題聯(lián)結(jié)關(guān)系。表4主題域?qū)?yīng)主題及主題數(shù)據(jù)模型示例換PS網(wǎng)絡(luò)性能Gb&lu-PS等接口網(wǎng)絡(luò)性能指標(biāo)模型：EPCMlo-CS呼叫指標(biāo)模型：主被叫接通、掉話指標(biāo)VoLTE業(yè)務(wù)指標(biāo)模型：呼叫、短消息、業(yè)務(wù)媒體質(zhì)量指6.4對(duì)象洞察層6.4.1對(duì)象洞察層概念對(duì)象洞察層，面向不同的需求，選擇相關(guān)信息進(jìn)行深度分析，萃取需要的特征、標(biāo)簽等，構(gòu)建相應(yīng)模型，例如對(duì)于同樣的用戶，面向用戶體驗(yàn)的分析和面向營(yíng)銷支撐的畫像模型是不同的。這一層以分析的對(duì)象為中心，存儲(chǔ)對(duì)象屬性、標(biāo)簽和相關(guān)的統(tǒng)計(jì)數(shù)據(jù)，滿足不同部門或不同角色的個(gè)性化數(shù)據(jù)需求，快速響應(yīng)用戶的數(shù)據(jù)需求。對(duì)象洞察層面向?qū)ο?，?duì)主題聯(lián)結(jié)層進(jìn)行降維，支撐智能化應(yīng)用或者智能化實(shí)現(xiàn)，實(shí)現(xiàn)知識(shí)資產(chǎn)沉6.4.2對(duì)象劃分原則對(duì)象洞察層按照‘對(duì)象類型>對(duì)象域>業(yè)務(wù)對(duì)象’的數(shù)據(jù)模型進(jìn)行管理，如表5所示。參考eTOMGB991架構(gòu)，對(duì)象洞察層包含了三大對(duì)象類型網(wǎng)絡(luò)資源、業(yè)務(wù)、客戶，劃分原則如下·面向網(wǎng)絡(luò)資源圍繞網(wǎng)絡(luò)“規(guī)建維優(yōu)”構(gòu)建數(shù)據(jù)能力，打造網(wǎng)絡(luò)價(jià)值指標(biāo)與特征標(biāo)簽，通過(guò)數(shù)據(jù)服務(wù)支撐一線敏捷開發(fā)；·面向業(yè)務(wù)：圍繞業(yè)務(wù)使用數(shù)據(jù)構(gòu)建業(yè)務(wù)特征標(biāo)簽，支撐特定對(duì)象的重點(diǎn)業(yè)務(wù)優(yōu)化與保障：·面向客戶通過(guò)客戶生命周期管理沉淀客戶體驗(yàn)與客戶營(yíng)銷標(biāo)簽，刻畫用戶特征，通過(guò)數(shù)據(jù)開放支撐市場(chǎng)營(yíng)銷。表5對(duì)象類型及業(yè)務(wù)對(duì)象定義通過(guò)移網(wǎng)用戶信令等數(shù)據(jù)分析用戶終端特征，業(yè)務(wù)特征，使用感知家庭寬帶相關(guān)的用戶特征、位置分布特征、訂購(gòu)特征、質(zhì)量畫像VoLTE等語(yǔ)音業(yè)務(wù)量、流量、質(zhì)量等特征指標(biāo)、標(biāo)簽沉淀，形成業(yè)數(shù)據(jù)業(yè)務(wù)量，流量，質(zhì)量等特征指標(biāo)，標(biāo)簽沉淀，主要涉及物聯(lián)網(wǎng)等新業(yè)務(wù)特征指標(biāo)、標(biāo)簽，洞察新HIIP、網(wǎng)頁(yè)測(cè)覽、視頻等OTT業(yè)務(wù)體通過(guò)移網(wǎng)網(wǎng)絡(luò)信令、性能日志等數(shù)據(jù)分析小區(qū)、站點(diǎn)等特征固網(wǎng)通過(guò)固網(wǎng)網(wǎng)絡(luò)信令、性能、告警、日志等數(shù)據(jù)分析網(wǎng)元相關(guān)特征6.4.3業(yè)務(wù)對(duì)象及洞察模型示例對(duì)應(yīng)各個(gè)對(duì)象域，定義對(duì)象洞察模型，圍繞已識(shí)別的對(duì)象，結(jié)合分析場(chǎng)景，進(jìn)行對(duì)象洞察模型設(shè)計(jì)。并使用AI/ML等技術(shù)進(jìn)行統(tǒng)計(jì)學(xué)習(xí)、預(yù)測(cè)，注入業(yè)務(wù)知識(shí)和智能，實(shí)現(xiàn)知識(shí)資產(chǎn)積累。各個(gè)對(duì)象域?qū)?yīng)的對(duì)象模型如表6所示按用戶使用流量排名前十的應(yīng)用及其流量、次數(shù)息用戶在各類位置(如：工作地、居住地、常駐地)段類型(如：工作時(shí)段、居住時(shí)段)下的業(yè)務(wù)量情況量計(jì)算各小區(qū)的業(yè)務(wù)體驗(yàn)指標(biāo)，包括Web、Stre統(tǒng)最多支持配置10個(gè)熱點(diǎn)APP.6.5數(shù)據(jù)模型定義模板本章節(jié)針對(duì)分層分域模型中各層數(shù)據(jù)模型規(guī)定數(shù)據(jù)模型定義模板。在源數(shù)據(jù)標(biāo)準(zhǔn)層，針對(duì)不同的數(shù)據(jù)類型定義了數(shù)據(jù)標(biāo)準(zhǔn)在主題聯(lián)結(jié)層，基于已識(shí)別的主題進(jìn)行主題模型設(shè)計(jì)時(shí)，根據(jù)對(duì)象實(shí)體之間的相互關(guān)系，設(shè)計(jì)主題聯(lián)結(jié)關(guān)系：在對(duì)象洞察層中作為已識(shí)別的業(yè)務(wù)對(duì)象的數(shù)據(jù)標(biāo)準(zhǔn)。6.5.2源數(shù)據(jù)標(biāo)準(zhǔn)層數(shù)據(jù)標(biāo)準(zhǔn)模板源數(shù)據(jù)標(biāo)準(zhǔn)層數(shù)據(jù)標(biāo)準(zhǔn)模板包含如下屬性-—專業(yè)領(lǐng)城：專業(yè)領(lǐng)域指源數(shù)據(jù)所屬專業(yè)領(lǐng)域.包括接入網(wǎng)，傳輸網(wǎng)，核心網(wǎng)等：——數(shù)據(jù)分類數(shù)據(jù)所屬分類，典型分類包含性能數(shù)據(jù)、告警數(shù)據(jù)、日志數(shù)據(jù)、配置數(shù)據(jù)、工單數(shù)據(jù)等：-—數(shù)據(jù)源：數(shù)據(jù)獲取來(lái)源，如探針采集數(shù)據(jù)，網(wǎng)管系統(tǒng)數(shù)據(jù)，外部數(shù)據(jù)等：-—中文名稱：數(shù)據(jù)的中文名稱：——英文名稱：數(shù)據(jù)的英文名稱：——數(shù)據(jù)定義：表征數(shù)據(jù)的詳細(xì)定義和說(shuō)明：——數(shù)據(jù)用途：闡述數(shù)據(jù)的主要用途：——數(shù)據(jù)類型：表征數(shù)據(jù)的類型，如整型，浮點(diǎn)數(shù)類型，字符類型等：-—數(shù)據(jù)長(zhǎng)度：表征數(shù)據(jù)的長(zhǎng)度，如幾個(gè)bit,幾個(gè)字節(jié)等。6.5.3主題聯(lián)結(jié)層數(shù)據(jù)標(biāo)準(zhǔn)模板主題聯(lián)結(jié)層數(shù)據(jù)標(biāo)準(zhǔn)模板包含如下屬性：-—主題域分組：主題域分組表征數(shù)據(jù)所屬的主題域。垂直主題域分組包括規(guī)劃建設(shè)、準(zhǔn)備支持、實(shí)施交付、保障、計(jì)費(fèi)五個(gè)分組水平主題域分組包括網(wǎng)絡(luò)資源層、業(yè)務(wù)層、客戶層三個(gè)分組--主題域：主題域表征對(duì)分析對(duì)象數(shù)據(jù)的完整一致的描述。主要包含如下十一個(gè)主題域：業(yè)務(wù)規(guī)劃域、網(wǎng)絡(luò)規(guī)劃域、客戶運(yùn)營(yíng)域、業(yè)務(wù)運(yùn)營(yíng)域、資源管理域、業(yè)務(wù)配置域、網(wǎng)絡(luò)資源配置域、客戶體驗(yàn)域、業(yè)務(wù)質(zhì)量域、事件域、網(wǎng)絡(luò)質(zhì)量域——主題：主題表征在主題域的基礎(chǔ)上根據(jù)不同的業(yè)務(wù)和事件歸納的模型：——中文名稱：數(shù)據(jù)的中文名稱：-—英文名稱：數(shù)據(jù)的英文名稱：-—數(shù)據(jù)定義：表征數(shù)據(jù)的詳細(xì)定義和說(shuō)明——數(shù)據(jù)用途：闡述數(shù)據(jù)的主要用途；——數(shù)據(jù)類型：表征數(shù)據(jù)的類型，如整型，浮點(diǎn)數(shù)類型，字符類型等；——數(shù)據(jù)長(zhǎng)度：表征數(shù)據(jù)的長(zhǎng)度，如幾個(gè)bit,幾個(gè)字節(jié)等。6.5.4對(duì)象洞察層數(shù)據(jù)標(biāo)準(zhǔn)模板對(duì)象洞察層數(shù)據(jù)模型參考數(shù)據(jù)標(biāo)準(zhǔn)模板包含如下屬性：——對(duì)象類型：對(duì)象類型指對(duì)象洞察層包含的三類對(duì)象類型；網(wǎng)絡(luò)資源、業(yè)務(wù)、客戶；——對(duì)象域：對(duì)象類型對(duì)應(yīng)的各類對(duì)象，網(wǎng)絡(luò)資源層對(duì)應(yīng)對(duì)象域?yàn)橐凭W(wǎng)和固網(wǎng)；業(yè)務(wù)層對(duì)應(yīng)對(duì)象域?yàn)檎Z(yǔ)音業(yè)務(wù)、數(shù)據(jù)業(yè)務(wù)、新業(yè)務(wù)、OTT業(yè)務(wù)；客戶層對(duì)應(yīng)對(duì)象域?yàn)閭€(gè)人用戶、家庭用戶、政企用戶；-—業(yè)務(wù)對(duì)象：業(yè)務(wù)對(duì)象表征業(yè)務(wù)所屬的實(shí)體對(duì)象，如用戶，小區(qū)，基站等——中文名稱：數(shù)據(jù)的中文名稱；——英文名稱：數(shù)據(jù)的英文名稱；——數(shù)據(jù)定義：表征數(shù)據(jù)的詳細(xì)定義和說(shuō)明 數(shù)據(jù)用途：闡述數(shù)據(jù)的主要用途： 數(shù)據(jù)類型：表征數(shù)據(jù)的類型，如整型，浮點(diǎn)數(shù)類型，字符類型等：——數(shù)據(jù)長(zhǎng)度：表征數(shù)據(jù)的長(zhǎng)度，如幾個(gè)bit,幾個(gè)字節(jié)等。7數(shù)據(jù)管理層功能7.1數(shù)據(jù)獲取數(shù)據(jù)獲取實(shí)現(xiàn)從數(shù)據(jù)源獲取設(shè)備日志，話統(tǒng)，話單，事件告警，配置文件答數(shù)據(jù)，并實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)化的轉(zhuǎn)換。數(shù)據(jù)獲取需要提供數(shù)據(jù)采集，轉(zhuǎn)換，補(bǔ)采。數(shù)據(jù)質(zhì)量打點(diǎn)等關(guān)鍵能力。數(shù)據(jù)源獲取的數(shù)據(jù)可能包含了大量的缺失值，可能包含大量的噪音，也可能因?yàn)槿斯や浫脲e(cuò)誤導(dǎo)致有異常點(diǎn)存在，非常不利于算法模型的訓(xùn)練。因此需要根據(jù)一定的策略和規(guī)則對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理主要包含數(shù)據(jù)集成、數(shù)據(jù)清洗和數(shù)據(jù)變換。數(shù)據(jù)集成指把數(shù)據(jù)從數(shù)據(jù)采集接口遷移到數(shù)據(jù)倉(cāng)庫(kù)，并將多個(gè)數(shù)據(jù)源中的同一類數(shù)據(jù)結(jié)合存放在數(shù)據(jù)倉(cāng)庫(kù)；數(shù)據(jù)清洗是對(duì)各種原始臟數(shù)據(jù)進(jìn)行對(duì)應(yīng)方式的處理，如通過(guò)填補(bǔ)缺失值、光滑噪聲數(shù)據(jù)、平滑或刪除離群點(diǎn)，從而得到標(biāo)準(zhǔn)的、干凈的、連續(xù)的數(shù)據(jù)提供給數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)挖掘等使用數(shù)據(jù)變換是通過(guò)數(shù)據(jù)格式轉(zhuǎn)換工具對(duì)數(shù)據(jù)進(jìn)行規(guī)范化、離散化處理以達(dá)到數(shù)據(jù)格式的統(tǒng)一7.3數(shù)據(jù)存儲(chǔ)數(shù)據(jù)源獲取的數(shù)據(jù)經(jīng)過(guò)預(yù)處理后需要進(jìn)行數(shù)據(jù)存儲(chǔ)，即將數(shù)據(jù)預(yù)處理后的數(shù)據(jù)裝載到數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)預(yù)處理后的數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)建模后生成模型化的數(shù)據(jù)，也需要存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)，供上層模塊使用。數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。從定位上看，數(shù)據(jù)倉(cāng)庫(kù)是將各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集成到一起，然后通過(guò)數(shù)據(jù)建模、加工，支撐業(yè)務(wù)應(yīng)用。數(shù)據(jù)存儲(chǔ)包含文件存儲(chǔ) (如分布式文件存儲(chǔ)系統(tǒng)(HadoopDistrnbuteFileSystem,HDFS)文件)和數(shù)據(jù)庫(kù)(如Hive,Carbon.HBase,GaussDB)等，面向支撐大數(shù)據(jù)的分析，進(jìn)行實(shí)時(shí)和非實(shí)時(shí)數(shù)據(jù)開放。數(shù)據(jù)倉(cāng)庫(kù)層構(gòu)建各種數(shù)據(jù)模型。本文件的數(shù)據(jù)模型詳細(xì)描述見第5章。7.4數(shù)據(jù)管理7.4.1數(shù)據(jù)模型管理數(shù)據(jù)模型管理包含數(shù)據(jù)模型創(chuàng)建，數(shù)據(jù)模型變更，數(shù)據(jù)模型刪除：——數(shù)據(jù)模型創(chuàng)建支持根據(jù)需求變化，創(chuàng)建新的數(shù)據(jù)模型。具體包括概念數(shù)據(jù)模型設(shè)計(jì)，邏輯模型設(shè)計(jì)開發(fā)，物理模型設(shè)計(jì)開發(fā)。概念數(shù)據(jù)模型從宏觀角度描述業(yè)務(wù)的整體結(jié)構(gòu)，對(duì)業(yè)務(wù)模型進(jìn)行抽象處理，確定歸屬層級(jí)和主題域邏輯模型對(duì)概念模型進(jìn)行細(xì)化，根據(jù)業(yè)務(wù)定義、分類和規(guī)則，定義其中的實(shí)體，描述實(shí)體之間的關(guān)系并產(chǎn)生實(shí)體關(guān)系圖，然后遵照規(guī)范化思想在實(shí)體關(guān)系的基礎(chǔ)上明確各個(gè)實(shí)體的屬性：物理數(shù)據(jù)模型設(shè)計(jì)是針對(duì)具體的分析需求和物理平臺(tái)，對(duì)邏輯模型做最終物理實(shí)現(xiàn)的過(guò)程。具體是指按照一定規(guī)則和方法，將邏輯數(shù)據(jù)模型中所定義的邏輯數(shù)據(jù)實(shí)體、屬性、屬性約束、關(guān)系等要素轉(zhuǎn)換為數(shù)據(jù)庫(kù)軟件所能夠識(shí)別的一種物理描述：-—數(shù)據(jù)模型變更支持根據(jù)需求的變化，對(duì)數(shù)據(jù)模型進(jìn)行修改，包含數(shù)據(jù)模型的名稱，屬性的名稱。模型所屬的主題域或?qū)ο笥虻龋?數(shù)據(jù)模型刪除支持根據(jù)需求變化，對(duì)數(shù)據(jù)模型進(jìn)行刪除。7.4.2數(shù)據(jù)生命周期管理數(shù)據(jù)全生命周期管理以數(shù)據(jù)作為管理對(duì)象，以全生命周期為導(dǎo)向，從系統(tǒng)整體目標(biāo)出發(fā)，統(tǒng)籌考慮數(shù)據(jù)資產(chǎn)的獲取、存儲(chǔ)、存檔和銷毀的全過(guò)程。數(shù)據(jù)生命周期管理包括數(shù)據(jù)獲取管理、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)存檔和銷毀管理。-—數(shù)據(jù)獲取管理主要包括制定采集環(huán)節(jié)數(shù)據(jù)獲取范圍和策略。數(shù)據(jù)獲取范圍指在數(shù)據(jù)規(guī)劃文檔中明確定義與業(yè)務(wù)數(shù)據(jù)需求相對(duì)應(yīng)的數(shù)據(jù)源，源數(shù)據(jù)可以是通過(guò)網(wǎng)絡(luò)生產(chǎn)系統(tǒng)產(chǎn)生的，也可以通過(guò)購(gòu)買或其它外部渠道獲得。對(duì)同一業(yè)務(wù)管理主題下的數(shù)據(jù)應(yīng)有統(tǒng)一的數(shù)據(jù)獲取策略，避免同一數(shù)據(jù)需求的重復(fù)采集數(shù)據(jù)獲取環(huán)節(jié)是數(shù)據(jù)進(jìn)入數(shù)據(jù)平臺(tái)的入口，需要保證數(shù)據(jù)上下游的一致性、完整性：——數(shù)據(jù)存儲(chǔ)管理規(guī)定對(duì)歷史數(shù)據(jù)的保留時(shí)間和存儲(chǔ)方式，歷史數(shù)據(jù)的存儲(chǔ)保留時(shí)間和存儲(chǔ)方式取決于外部監(jiān)管、法律要求及內(nèi)部經(jīng)營(yíng)管理的要求。數(shù)據(jù)存儲(chǔ)規(guī)劃應(yīng)該從業(yè)務(wù)需求出發(fā)，針對(duì)不同數(shù)據(jù)采用不同存儲(chǔ)和計(jì)算資源。數(shù)據(jù)存儲(chǔ)策略的制定需要遵循下列原則減少冗余存儲(chǔ)，即同一組數(shù)據(jù)應(yīng)一次存儲(chǔ)，多次使用當(dāng)前數(shù)據(jù)的存儲(chǔ)應(yīng)注重考慮訪間效率，控制在線數(shù)據(jù)規(guī)模數(shù)據(jù)存儲(chǔ)策略參考：源數(shù)據(jù)標(biāo)準(zhǔn)層數(shù)據(jù)大于等于7天，小于等于14天，主題層數(shù)據(jù)存儲(chǔ)大于等于30天，小于等于90天；對(duì)象洞察層數(shù)據(jù)根據(jù)業(yè)務(wù)需求存儲(chǔ)； 數(shù)據(jù)存檔和銷毀管理出于數(shù)據(jù)安全、存儲(chǔ)管理成本、數(shù)據(jù)訪問(wèn)效率等因素的考虎，不同類型的數(shù)據(jù)集合對(duì)數(shù)據(jù)存檔和未來(lái)的銷毀過(guò)程也將提出不同的需求應(yīng)及時(shí)存檔，超過(guò)數(shù)據(jù)存儲(chǔ)生命周期的數(shù)據(jù)應(yīng)及時(shí)銷毀。7.4.3數(shù)據(jù)共享管理數(shù)據(jù)共享管理是指在提供產(chǎn)品與服務(wù)、開展經(jīng)營(yíng)管理等活動(dòng)中，對(duì)數(shù)據(jù)消費(fèi)的管理和管理?！獢?shù)據(jù)消費(fèi)不應(yīng)超出數(shù)據(jù)獲取時(shí)所聲明的目的和范圍。數(shù)據(jù)消費(fèi)源于業(yè)務(wù)驅(qū)動(dòng)，以業(yè)向的數(shù)據(jù)分析與應(yīng)用或者數(shù)據(jù)驅(qū)動(dòng)，以數(shù)據(jù)出發(fā)，發(fā)現(xiàn)數(shù)據(jù)價(jià)值。推廣到應(yīng)用。常見數(shù)據(jù)消費(fèi)有：客戶洞察、內(nèi)容洞察、位置能力、客戶標(biāo)簽、指標(biāo)能力：——數(shù)據(jù)開放是指按照統(tǒng)一的管理策略對(duì)數(shù)據(jù)進(jìn)行有選擇的對(duì)外開放，同時(shí)按照相關(guān)的入外部數(shù)據(jù)供組織內(nèi)部應(yīng)用。數(shù)據(jù)共享的周期必須是有限的，用戶在申請(qǐng)數(shù)據(jù)開放申明開放周期7.4.4數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量指在特定業(yè)務(wù)環(huán)境下，數(shù)據(jù)滿足業(yè)務(wù)運(yùn)行、管理與決策的程度，主要包括數(shù)時(shí)性、準(zhǔn)確性、一致性、有效性、唯一性等。數(shù)據(jù)質(zhì)量管理機(jī)制包含數(shù)據(jù)質(zhì)量策劃、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)質(zhì)量度量和數(shù)據(jù)質(zhì)量改進(jìn)：——數(shù)據(jù)質(zhì)量策劃指識(shí)別質(zhì)量管理需求和目標(biāo)后，將數(shù)據(jù)質(zhì)量目標(biāo)分解到領(lǐng)域，細(xì)化到業(yè)務(wù)對(duì)象-—數(shù)據(jù)質(zhì)量控制包括事前預(yù)防、事中監(jiān)控與事后總結(jié)，將數(shù)據(jù)質(zhì)量管理機(jī)制落實(shí)并細(xì)分到系統(tǒng)各個(gè)環(huán)節(jié)中。在需求開發(fā)階段進(jìn)行事前預(yù)防，建立數(shù)據(jù)質(zhì)量協(xié)同管理機(jī)制和數(shù)據(jù)標(biāo)準(zhǔn)在系統(tǒng)運(yùn)維過(guò)程中，需進(jìn)行事中監(jiān)控，建立數(shù)據(jù)質(zhì)量監(jiān)控預(yù)警管理機(jī)制事后需要及時(shí)進(jìn)行總結(jié)提升，總結(jié)數(shù)據(jù)質(zhì)量管理工作成果，明確改進(jìn)方向。對(duì)共性的、普遍的問(wèn)題及其解決方案進(jìn)行歸納，形成問(wèn)題處理案例，存入數(shù)據(jù)質(zhì)量知識(shí)庫(kù)中，用于后續(xù)質(zhì)量問(wèn)題的參——數(shù)據(jù)質(zhì)量度量從“設(shè)計(jì)”、“執(zhí)行”兩個(gè)方面評(píng)估數(shù)據(jù)質(zhì)量綜合水平，揭示數(shù)據(jù)質(zhì)設(shè)計(jì)質(zhì)量方面，對(duì)領(lǐng)峨所有業(yè)務(wù)對(duì)象的數(shù)據(jù)架構(gòu)從資產(chǎn)目錄、數(shù)據(jù)模型、數(shù)據(jù)等方面進(jìn)行數(shù)據(jù)質(zhì)量評(píng)估和度量；在執(zhí)行方面，針對(duì)數(shù)據(jù)質(zhì)量“六性”:完整性、及時(shí)性、準(zhǔn)確性、一致性、有效性、唯一性進(jìn)行質(zhì)量評(píng)估和度量。發(fā)布度量報(bào)告，根據(jù)度量結(jié)本度量期間數(shù)據(jù)質(zhì)量狀況，牽引數(shù)據(jù)質(zhì)量持續(xù)改進(jìn)；——數(shù)據(jù)質(zhì)量改進(jìn)對(duì)數(shù)據(jù)質(zhì)量控制中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行分層分級(jí)剖析，找出數(shù)據(jù)因，制定相應(yīng)解決方案。7.4.5數(shù)據(jù)安全管理數(shù)據(jù)銷毀安全管理。——數(shù)據(jù)獲取安全管理需定義數(shù)據(jù)獲取的目的和用途，明確數(shù)據(jù)獲取源和數(shù)據(jù)獲取范圍，嚴(yán)禁執(zhí)行超出授權(quán)范圍的任何操作：遵循合規(guī)原則，確保數(shù)據(jù)獲取的合法性、正當(dāng)性數(shù)據(jù)最小化原則，只采集滿足業(yè)務(wù)所需的最少數(shù)據(jù)遵循確保安全原則，對(duì)采集的數(shù)據(jù)進(jìn)行分類分級(jí)標(biāo)識(shí)，并對(duì)不同類和級(jí)別的數(shù)據(jù)實(shí)施相應(yīng)的安全管理策略和保障措施。在采集數(shù)據(jù)時(shí)，如涉及使用工具的場(chǎng)景，需使用安全合規(guī)的工具采集的數(shù)據(jù)已成功上傳后，需及時(shí)刪除存儲(chǔ)介質(zhì)中保存的原始數(shù)據(jù)，不得超出授權(quán)使用期限。采集數(shù)據(jù)應(yīng)始終與授權(quán)關(guān)聯(lián)，確保數(shù)據(jù)使用-—數(shù)據(jù)存儲(chǔ)安全管理是指對(duì)存儲(chǔ)的數(shù)據(jù)設(shè)置備份與恢復(fù)機(jī)制，對(duì)存儲(chǔ)的數(shù)據(jù)的機(jī)密性和完整性的保護(hù)，數(shù)據(jù)的存儲(chǔ)必須符合當(dāng)?shù)胤煞ㄒ?guī)和數(shù)據(jù)所有者授權(quán)要求，在授權(quán)的可轉(zhuǎn)移范圍內(nèi)存儲(chǔ)。對(duì)于重要數(shù)據(jù)，應(yīng)使用數(shù)據(jù)加密、數(shù)字簽名等密碼學(xué)機(jī)制保證數(shù)據(jù)機(jī)密性和完整性。在向第三方轉(zhuǎn)移數(shù)據(jù)時(shí)，雷獲取明確授權(quán)，并通過(guò)簽訂協(xié)議等方式告知第三方數(shù)據(jù)使用要求：-—數(shù)據(jù)共享安全管理原則為“誰(shuí)使用誰(shuí)獲取授權(quán)”、“誰(shuí)使用誰(shuí)負(fù)責(zé)生命周期管理”的數(shù)據(jù)