數(shù)據(jù)中臺(tái)數(shù)據(jù)模型建設(shè)方案V2

1、數(shù)據(jù)地圖元數(shù)據(jù)第三方小數(shù)據(jù)呈在線(xiàn)交互，交換數(shù)據(jù)呈較大、定期或一次性大批府用高實(shí)時(shí)性要求低實(shí)時(shí)性要求呈數(shù)據(jù)要求soap/wtp;FTP 個(gè)V1o（|bc/k）bc服務(wù)模式數(shù)據(jù)服務(wù)API接口模式發(fā)布訂閱模式數(shù)據(jù)庫(kù)模式數(shù)據(jù)版務(wù)1數(shù)據(jù)服務(wù)2眼務(wù)策略管理訪問(wèn)隊(duì)列管E認(rèn)振務(wù)目錄維護(hù)訪問(wèn)雜管控負(fù)載均衡服務(wù)檢索訪問(wèn)過(guò)程管控統(tǒng)計(jì)分析一服芬路由服務(wù)運(yùn)行縱訪問(wèn)緩存管控安全及自身管理管數(shù)據(jù)服務(wù)管理與發(fā)埋數(shù)據(jù)中臺(tái)數(shù)據(jù)模型建設(shè)方案目錄 TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 第1章綜述3 HYPERLINK l bookmark3 o Current

2、Document 項(xiàng)目背錄3 HYPERLINK l bookmark4 o Current Document 建設(shè)目標(biāo)31. 2.1數(shù)據(jù)資產(chǎn)自動(dòng)匯聚、一鍵發(fā)布3數(shù)據(jù)資產(chǎn)可視、可用、可管理42. 3數(shù)據(jù)質(zhì)量可控、可視、可追溯5 HYPERLINK l bookmark5 o Current Document 建設(shè)思路5 HYPERLINK l bookmark6 o Current Document 第2章建設(shè)方案7 HYPERLINK l bookmark7 o Current Document 2. 1采集層71.1采集適配模塊72. 1.2數(shù)據(jù)處理適配器72. 1. 3數(shù)據(jù)采集策略的定制

3、管理8 HYPERLINK l bookmark14 o Current Document 2.1.4數(shù)據(jù)補(bǔ)采10 HYPERLINK l bookmark16 o Current Document 2. 1.5采集調(diào)度模塊11 HYPERLINK l bookmark40 o Current Document 數(shù)據(jù)模型層20 HYPERLINK l bookmark41 o Current Document 2. 2.1建模方法思路21 HYPERLINK l bookmark47 o Current Document 數(shù)據(jù)模型分層架構(gòu)設(shè)計(jì)24 HYPERLINK l bookmark48

4、o Current Document 數(shù)據(jù)治理功能262. 3.1統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)管理26 HYPERLINK l bookmark49 o Current Document 2. 3.2統(tǒng)一數(shù)據(jù)建模26 HYPERLINK l bookmark50 o Current Document 2.3. 2. 1統(tǒng)一數(shù)據(jù)加工272. 3.3統(tǒng)一數(shù)據(jù)資產(chǎn)272. 3.4統(tǒng)一數(shù)據(jù)質(zhì)景管理272.3. 4. 1統(tǒng)一數(shù)據(jù)共享與開(kāi)放28 HYPERLINK l bookmark51 o Current Document 能力開(kāi)放292.4.1數(shù)據(jù)資產(chǎn)開(kāi)放29 HYPERLINK l bookmark52 o Cu

5、rrent Document 2.4. 2指標(biāo)開(kāi)放292.4. 3數(shù)據(jù)服務(wù)超市29 HYPERLINK l bookmark53 o Current Document 網(wǎng)管遷移方案30 HYPERLINK l bookmark54 o Current Document 2.5.1BI 工具302.5. 2話(huà)務(wù)及數(shù)據(jù)專(zhuān)業(yè)報(bào)表明細(xì)整理33第1章綜述1.1項(xiàng)目背景在20年集團(tuán)網(wǎng)絡(luò)工作部署，明確提出構(gòu)建網(wǎng)絡(luò)中臺(tái)，推進(jìn)業(yè)務(wù)拉通和數(shù)據(jù)共 享。打造數(shù)據(jù)業(yè)務(wù)化、業(yè)務(wù)數(shù)據(jù)化、技術(shù)通用化的網(wǎng)管中臺(tái)架構(gòu)體系。以業(yè)務(wù)與 數(shù)據(jù)治理為核心，存量系統(tǒng)共性能力按需解耦改造、新增能力遵循分層架構(gòu)建設(shè)。1.2建設(shè)目標(biāo)針對(duì)本次系統(tǒng)

6、接管與替換，在整體架構(gòu)上考慮以中臺(tái)支撐現(xiàn)有系統(tǒng)的發(fā)展， 基于智慧平臺(tái)構(gòu)建的0SS數(shù)據(jù)中臺(tái)，實(shí)現(xiàn)數(shù)據(jù)專(zhuān)業(yè)整合，打通專(zhuān)業(yè)信息壁壘和數(shù) 據(jù)孤島，提升數(shù)據(jù)規(guī)范化水平。實(shí)現(xiàn)數(shù)據(jù)集中存儲(chǔ)和業(yè)務(wù)邏輯的數(shù)據(jù)處理，包括 按時(shí)間粒度和維度組合的數(shù)據(jù)匯總。同時(shí)數(shù)據(jù)中臺(tái)中的數(shù)據(jù)可根據(jù)需要封裝后直 接對(duì)上層應(yīng)用開(kāi)放。1.2.1數(shù)據(jù)資產(chǎn)自動(dòng)匯聚、一鍵發(fā)布數(shù)據(jù)資產(chǎn)多手段自動(dòng)匯聚通過(guò)三種手段實(shí)現(xiàn)數(shù)據(jù)處理相關(guān)的接口、模型、任務(wù)、服務(wù)、指標(biāo)各環(huán)節(jié)元 數(shù)據(jù)及血緣關(guān)系的自動(dòng)獲取，同時(shí)發(fā)布為數(shù)據(jù)資產(chǎn)。血緣關(guān)系自動(dòng)獲取，自動(dòng)獲取數(shù)據(jù)實(shí)體間的上下游信息，字段之間轉(zhuǎn)換 關(guān)系。血緣關(guān)系登記錄入：在無(wú)法自動(dòng)獲取血緣關(guān)系的場(chǎng)景下，提供血緣關(guān)系登記

7、錄入界面，以補(bǔ)充完整數(shù)據(jù)血緣關(guān)系。/元數(shù)據(jù)登記錄入：支持?jǐn)?shù)據(jù)實(shí)體的批量錄入功能，能夠滿(mǎn)足物理實(shí)體及其元數(shù)據(jù)信息的快速創(chuàng)建。指標(biāo)庫(kù) 標(biāo)簽庫(kù)數(shù)據(jù)資產(chǎn)一鍵發(fā)布依托統(tǒng)一的元數(shù)據(jù)庫(kù)，將開(kāi)發(fā)完成的標(biāo)簽、指標(biāo)數(shù)據(jù)一鍵發(fā)布到標(biāo)簽庫(kù)、指 標(biāo)庫(kù)、。標(biāo)簽庫(kù)：展現(xiàn)企業(yè)的標(biāo)簽數(shù)據(jù)，用于包括開(kāi)發(fā)人員、業(yè)務(wù)人員、運(yùn)維人員理 解系統(tǒng)標(biāo)簽庫(kù)的現(xiàn)狀，支撐其進(jìn)行數(shù)據(jù)訂閱使用、生命周期管理等應(yīng)用。指標(biāo)庫(kù)：展現(xiàn)企業(yè)的指標(biāo)數(shù)據(jù)，用于包括開(kāi)發(fā)人員、業(yè)務(wù)人員、運(yùn)維人員理 解系統(tǒng)標(biāo)簽庫(kù)的現(xiàn)狀，支撐其進(jìn)行數(shù)據(jù)訂閱使用、生命周期管理等應(yīng)用。1.2.2數(shù)據(jù)資產(chǎn)可視、可用、可管理強(qiáng)化元數(shù)據(jù)管理能力將數(shù)據(jù)開(kāi)發(fā)過(guò)程和元數(shù)據(jù)登記錄入過(guò)程融合，實(shí)現(xiàn)元數(shù)據(jù)信息

8、的自動(dòng)錄入。 實(shí)現(xiàn)數(shù)據(jù)開(kāi)發(fā)的統(tǒng)一管控?cái)?shù)據(jù)生產(chǎn)各環(huán)節(jié)的開(kāi)發(fā)工作基于數(shù)據(jù)管理模塊實(shí)現(xiàn)，各環(huán)境的元數(shù)據(jù)信息自 動(dòng)獲取，并同步給其他應(yīng)用系統(tǒng)，確保應(yīng)用系統(tǒng)的元數(shù)據(jù)信息與數(shù)據(jù)管理模塊一致。數(shù)據(jù)資產(chǎn)應(yīng)用審批確保數(shù)據(jù)資產(chǎn)安全，上層應(yīng)用或用戶(hù)申請(qǐng)數(shù)據(jù)使用時(shí)，需要通過(guò)流程審批。數(shù)據(jù)對(duì)內(nèi)開(kāi)放信息完整提供樣例數(shù)據(jù)査詢(xún)，字段級(jí)統(tǒng)計(jì)數(shù)據(jù)齊詢(xún)，以方便開(kāi)發(fā)人員選擇所需數(shù)據(jù)資1.2.3數(shù)據(jù)質(zhì)量可控、可視、可追溯數(shù)據(jù)標(biāo)準(zhǔn)落地結(jié)合湖南移動(dòng)網(wǎng)絡(luò)運(yùn)維與業(yè)務(wù)發(fā)展要求，梳理適合本地的數(shù)據(jù)標(biāo)準(zhǔn)，井基于 數(shù)據(jù)管理模塊完成數(shù)據(jù)標(biāo)準(zhǔn)的IT落地。數(shù)據(jù)血緣關(guān)系可視通過(guò)數(shù)據(jù)生產(chǎn)各環(huán)節(jié)的元數(shù)據(jù)信息自動(dòng)獲取，形成端到端的數(shù)據(jù)血緣關(guān)系， 通過(guò)可視化手段呈現(xiàn)

9、數(shù)據(jù)血緣關(guān)系。端到端數(shù)據(jù)質(zhì)量監(jiān)控依托數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)血緣關(guān)系的構(gòu)匙建立數(shù)據(jù)質(zhì)量稽核告警與端到端可視 化呈現(xiàn)機(jī)制，質(zhì)量情況可監(jiān)控，可量化。1.3建設(shè)思路集咨曲務(wù)數(shù)據(jù) 幵放腿專(zhuān):ik采獮移a巨闕番緬客戶(hù)ms砌賊81制n向性析移功網(wǎng)數(shù)幵放?？弯浥飵苑判伦尣稉?jù)開(kāi)放團(tuán)向贓棚IK 辨用戶(hù)行為識(shí)3!授型瞞專(zhuān)般舞核心專(zhuān)采集集客Ik務(wù)設(shè)番采集工作臺(tái)元數(shù)超管理腿可視化雜析網(wǎng)堪眼務(wù)授娶用硼觸1%計(jì)算系祝翻脈觸系統(tǒng)整體分為數(shù)據(jù)采集層、數(shù)據(jù)模型層、能力開(kāi)放層及功能域。數(shù)據(jù)采集層：采集層采用模塊化設(shè)計(jì)思想，從業(yè)務(wù)功能上分為采集適配器、數(shù)據(jù)處理層、采集調(diào)度層、數(shù)據(jù)共享層四個(gè)層次，并通過(guò)系統(tǒng)自身管理模塊實(shí)現(xiàn)自身的業(yè)務(wù)邏輯控制和

10、管理，通過(guò)多維監(jiān)控和質(zhì)量管理，實(shí)現(xiàn)對(duì)系統(tǒng)平 臺(tái)的實(shí)時(shí)多角度監(jiān)控與數(shù)據(jù)質(zhì)量管理；同時(shí)，開(kāi)放標(biāo)準(zhǔn)化的外部管理接口，以實(shí)現(xiàn)對(duì)外的可管理性。業(yè)務(wù)功能層面，每層只需要關(guān)心本層的數(shù)據(jù)、業(yè)務(wù) 邏輯和業(yè)務(wù)實(shí)現(xiàn)，層與層之間通過(guò)標(biāo)準(zhǔn)接U進(jìn)行交互，能更好地實(shí)現(xiàn)系統(tǒng)的 可擴(kuò)展性。數(shù)據(jù)模型層：結(jié)合業(yè)界規(guī)范和多年的0數(shù)據(jù)數(shù)據(jù)建模經(jīng)驗(yàn)，綜合考慮了數(shù)據(jù) 特點(diǎn)、存儲(chǔ)方式、處理效率、處理復(fù)雜度、訪問(wèn)效率及模型擴(kuò)展性等方面，采用了模型分層設(shè)計(jì)的思想，分為原始數(shù)據(jù)層、基礎(chǔ)數(shù)據(jù)層、融合信息層、 應(yīng)用數(shù)據(jù)層四層，實(shí)現(xiàn)了數(shù)據(jù)源和加工處理過(guò)程的分離，保證了數(shù)據(jù)流向清 晰，提髙了數(shù)據(jù)訪問(wèn)效率等。 能力開(kāi)放層：主要提供發(fā)布訂閱模式、異步模式、同

11、步模式等不同模式的數(shù) 據(jù)開(kāi)放共享。數(shù)據(jù)治理功能域：提供對(duì)數(shù)據(jù)的統(tǒng)一治理能力，主要包括數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全管理和數(shù)據(jù)質(zhì)量管理等能力。第2章建設(shè)方案2.1采集層2.1.1采集適配模塊采集適配模塊實(shí)現(xiàn)網(wǎng)元直連網(wǎng)管接口采集和OMC北向接口適配采集；采集適 配器層接收采集任務(wù)，實(shí)現(xiàn)與設(shè)備側(cè)的接口協(xié)議適配，從設(shè)備側(cè)獲取原始數(shù)據(jù)， 進(jìn)行數(shù)據(jù)采集，采集適配器的功能組成如下：協(xié)議適配、數(shù)據(jù)獲取，并支持被動(dòng) 接收設(shè)備側(cè)發(fā)送的數(shù)據(jù)。采集的源數(shù)據(jù)通過(guò)適配器北向接口向上共享。采集適配器支持實(shí)時(shí)數(shù)據(jù)、非實(shí)時(shí)數(shù)據(jù)；協(xié)議接口類(lèi)型支持文件接口、數(shù)據(jù) 庫(kù)接口、指令接口、Syslog接口、NetFlow

12、接口、SNMP接口、C0RBA接口等主流 網(wǎng)管接口類(lèi)型，同時(shí)支持接口類(lèi)型的擴(kuò)展。系統(tǒng)提供釆集適配器的注冊(cè)、動(dòng)態(tài)加載及注銷(xiāo)功能，并提供采集、處理適配 器參數(shù)配置界面，以及適配器狀態(tài)查看功能。并對(duì)適配器進(jìn)行手工的狀態(tài)變更， 比如啟動(dòng)、停止、重啟等操作。2. 1. 1. 1 采集過(guò)程數(shù)據(jù)檢測(cè)能夠及時(shí)檢測(cè)設(shè)備側(cè)發(fā)送過(guò)來(lái)的文件準(zhǔn)備好消息通知或者原始數(shù)據(jù)準(zhǔn)備情 況，數(shù)據(jù)準(zhǔn)備好消息接收到后立即進(jìn)行采集；數(shù)據(jù)始終未達(dá)到設(shè)定的完整標(biāo)準(zhǔn)， 也能把部分準(zhǔn)備好的數(shù)據(jù)進(jìn)行采集，可配合廠商側(cè)的情況，盡最大可能完整及時(shí) 的采集數(shù)據(jù)。2.1.2數(shù)據(jù)處理適配器數(shù)據(jù)處理適配器接收調(diào)度中心的數(shù)據(jù)處理命令，將采集適配器生成的數(shù)據(jù)進(jìn)

13、行處理、關(guān)聯(lián)運(yùn)算，通過(guò)ETL過(guò)程將數(shù)據(jù)錄入到數(shù)據(jù)庫(kù)中。數(shù)據(jù)處理適配層接收處理任務(wù)，對(duì)數(shù)據(jù)進(jìn)行解析、格式化，并根據(jù)需要進(jìn)行，風(fēng)暴抑制、數(shù)據(jù)上報(bào)、KPI指標(biāo)計(jì)算。原始數(shù)裾、格式化數(shù)裾、KPI指標(biāo)均可以 推送到數(shù)據(jù)共享層，可以文件、數(shù)據(jù)庫(kù)、消息等方式進(jìn)行傳送和保存?？梢杂羞x 擇地提供告警數(shù)據(jù)過(guò)濾能力。2.1.3數(shù)據(jù)采集策略的定制管理根據(jù)第三方應(yīng)用，或者定制的配置、性能和告警數(shù)據(jù)的特性，采用不同的策 略利用導(dǎo)航方式創(chuàng)建采集流程，描述了在何時(shí)到何地采集什么樣的數(shù)據(jù)。以向?qū)礁鶕?jù)不同業(yè)務(wù)需求創(chuàng)建合適的采集策略。根據(jù)性能、配置和告警數(shù)據(jù)的特性，采用不同的策略創(chuàng)建流程，明確創(chuàng)建過(guò) 程，降低用戶(hù)輸入錯(cuò)誤率。采f

14、t性能數(shù)據(jù)注棚賓般細(xì)&棚.實(shí)炒雄布.is分仲小時(shí)一f.分 3湖玄時(shí).教發(fā)和通11C0R8A攝格ae設(shè)備於進(jìn)行極主軹tor在則，采助i_i了沒(méi)備的扁中城方穿憧憐給於g采隹比較傳好.fi論一忘.因此采集的任務(wù)移fi眼芳的投*上 WLAN數(shù) （AP，一級(jí)熱點(diǎn).二級(jí)熱點(diǎn)）用W5?. BJS忙.超閑AP.進(jìn)行WIANMM3奇:倍令數(shù)據(jù)數(shù)之間卿好瀟:采ttKE數(shù)解*力天實(shí)集一次.荈用期發(fā)起請(qǐng)氏+鉚Egg?供分?jǐn)?shù)據(jù)（用戶(hù)終媒、迗華、a數(shù)用戶(hù)8*倍e用子分析用戶(hù)行為.用P蛇小區(qū)棚使用驚兄.新計(jì)對(duì)性TO!破：創(chuàng)建策略的步驟有采集數(shù)據(jù)（數(shù)據(jù)源和數(shù)據(jù)集）、處理數(shù)據(jù)（標(biāo)準(zhǔn)化和制定策略。描述了在何時(shí)到何地采集什么樣的數(shù)

15、據(jù)。采累取據(jù)迎理取據(jù)話(huà)榮G*JRBWiS5D5FTP3*RUSK 至FTP；IFTP首先選擇數(shù)據(jù)源，即到何地采集，也可以直接創(chuàng)建一個(gè)新 數(shù)據(jù)源。主要是通過(guò)FTP服務(wù)方式獲取報(bào)告，但不限于此。 之所以采用服務(wù)的方式進(jìn)行描述，而不是OMC ,是因?yàn)橥?用性更好，擴(kuò)展性更強(qiáng)。采霣婦據(jù)劃理敢據(jù)制定策略8fES 爆棚突5棚校苗戰(zhàn)15伸ICRM 1咖供rU* rOMC.MM冪钃Q BMWMVXM1MT-9!其次選擇數(shù)據(jù)集，即采集的什么數(shù)據(jù)。數(shù)據(jù)集是根據(jù)集團(tuán):規(guī)范預(yù)先定義好，他包括了哪些報(bào)告，4報(bào)告中應(yīng)該具! :備明陛count,所以需避免策略創(chuàng)建過(guò)程中的濫用,否則不; !利于規(guī)范化進(jìn)程。I開(kāi)肪對(duì)采鬣的行疼

16、灌化采累馭據(jù)劃理飲據(jù)話(huà)榮番番下一歩 涵涵函三不釋 Si否遍涵福i涵報(bào)聶S理。如果報(bào)告已經(jīng)是標(biāo)準(zhǔn)文件格式，則可以不需要標(biāo)準(zhǔn)化 處理。話(huà)束m采爾銨據(jù)劃理敘據(jù)S稱(chēng)：10哎件：糊Rr23 : 15W3 次賊棚：60 采戴曲2W抄效缺球時(shí)長(zhǎng):300秒灌求/授示59SX9 : C邊百 卯gm功的助現(xiàn) S :番略 朌砘沁字糸斟鋼S燧字糸，SSSS&?字米W煙枷菇皿咎字米乏燕7J、洚葙字米罷碧g薛lHImss。汫抖：皿;SIH : B?s;iln -111図測(cè)君a図郵雞貓a-3蝱-&皿咨alfgm沏 3孬.裏擊|雜；漾麗浮貓；議-|字雜 H來(lái)義七薄，硌S1沌縫_3來(lái)楚葙覺(jué)1 戽，ssllleff渲糸絲篛-#捏

17、H#澤耳，滸簾隊(duì)ftw咎字糸，3-s 沙皿&wi胳米義，a砌丑44講曠_民鵁X, sssss 米，鱗汫米鞭蹄3雖此浮_描圍雖緬冷奇nwMs,到淳瞄陳3雜米迪冷掛抖wi-k犍冰漭，W敗舡它淳瞄薄賀3#耷-7-;3棼議 浮崗，粱1糸峋政炒箱囊菊膚駕楚議3糸練一E碑，SSSSS SN碑糸癢錨。2. 1. 5. 5 狀態(tài)監(jiān)控對(duì)下發(fā)到采集機(jī)上的采集任務(wù)的執(zhí)行情況監(jiān)控，如有某一采集任務(wù)某次采集 有問(wèn)題，及時(shí)進(jìn)行處理保證數(shù)據(jù)采集的連續(xù)性。實(shí)時(shí)監(jiān)控任務(wù)全生命周期各個(gè)環(huán)節(jié)：未下發(fā)任務(wù)、正在執(zhí)行的任務(wù)和異常結(jié)朿的任務(wù)，提供單個(gè)任務(wù)的流程拓?fù)鋱D，端到端査看相應(yīng)環(huán)節(jié)的執(zhí)行情況。當(dāng)出現(xiàn)異常任務(wù)吋，系統(tǒng)除支持自動(dòng)補(bǔ)救以外

18、，還可以進(jìn)行手工的補(bǔ)救以及分環(huán)節(jié)的補(bǔ)救。2. 1. 5. 6 采集節(jié)點(diǎn)負(fù)荷異常的影響范圍控制系統(tǒng)考慮了采集的數(shù)據(jù)分級(jí)，在緊急情況下能保證高級(jí)別數(shù)據(jù)的采集完備 性；對(duì)于采集節(jié)點(diǎn)的負(fù)荷也進(jìn)行分級(jí)監(jiān)控，采集的新增、調(diào)整、停止也充分考慮 到各個(gè)采集機(jī)的負(fù)荷情況，調(diào)整機(jī)制完備；極限情況下，低級(jí)別采集任務(wù)的停止、 或是否新增能夠提示管理員進(jìn)行干預(yù)，同時(shí)支持未干預(yù)條件下的自動(dòng)執(zhí)行機(jī)制， 機(jī)制合理、安全。2. 1. 5. 6. 1高安全平臺(tái)容災(zāi)機(jī)制調(diào)度屮心池可承載多個(gè)調(diào)度屮心，從而達(dá)到調(diào)度屮心級(jí)別容災(zāi)。調(diào)度中心池可以為一個(gè)適配器啟動(dòng)多個(gè)實(shí)例，從而達(dá)到適配器級(jí)別容災(zāi)。此兩者容災(zāi)的能力將使整套架構(gòu)均能達(dá)到每一層的

19、容災(zāi)能力，即任何一層 中的設(shè)備宕機(jī)都不會(huì)對(duì)系統(tǒng)運(yùn)行造成致命的影響。2.1.5. 6. 2更高效負(fù)載均衡能力系統(tǒng)采用最優(yōu)適配器算法，即根據(jù)采集機(jī)負(fù)荷的評(píng)估動(dòng)態(tài)選擇合適的適配 器實(shí)例，可以有效的利用分布式資源，從而髙效的進(jìn)行任務(wù)調(diào)度，確保采集任 務(wù)的及時(shí)、高效。tnspur2. 1. 5. 6. 3熱插拔式升級(jí)和擴(kuò)容能力新増的調(diào)度中心可即時(shí)分擔(dān)調(diào)度工 作，升級(jí)則可以將原來(lái)的重啟,可實(shí)現(xiàn)24小時(shí)運(yùn)行0務(wù)。新増的適配器實(shí)例可即時(shí)分擔(dān)采集 工作，升級(jí)則可以將原來(lái)的重啟,可實(shí)現(xiàn)24小時(shí)運(yùn)行務(wù)。此兩者容災(zāi)的能力將使整套架構(gòu)均能達(dá)到每一層的擴(kuò)容能力，即任何一層 中的服務(wù)都可以隨時(shí)增加，而不會(huì)對(duì)系統(tǒng)運(yùn)行造成致命

20、的影響。2.2數(shù)據(jù)模型層結(jié)合業(yè)界規(guī)范和多年的大數(shù)據(jù)建設(shè)經(jīng)驗(yàn)，浪潮提供完整、合理、準(zhǔn)確的數(shù)據(jù)模型建設(shè)方案。a立統(tǒng)一和標(biāo)港的業(yè)務(wù)定 義和數(shù)據(jù)絕織.統(tǒng)一實(shí)體，統(tǒng) -銘,統(tǒng)一規(guī)范實(shí)體屬性和 關(guān)系2、建立全局?jǐn)?shù)據(jù)視圖匿蓋 資源.業(yè)務(wù)、客戶(hù)、運(yùn)維等層 面及各層面之間的關(guān)聯(lián)關(guān)系.采用了模型分層設(shè)計(jì)的思想綜合考慮了數(shù)據(jù)特點(diǎn)、存儲(chǔ)方式、處理效率、處理復(fù)雜度、訪問(wèn)效率及模型 擴(kuò)展性等方面，采用分層的模型設(shè)計(jì)思想，按照原始數(shù)據(jù)層、基礎(chǔ)數(shù)據(jù)層、融合 信息層和應(yīng)用數(shù)據(jù)層建設(shè)?！白皂斚蛳隆焙汀白缘紫蛏稀毕嘟Y(jié)合的建模方法采用“自頂向下”和“自底向上”相結(jié)合的建模方法，對(duì)數(shù)據(jù)模型體系結(jié)構(gòu) 分層設(shè)計(jì)。遵循“概念模型-邏輯模型-

21、物理模型”的三階段五步實(shí)施法每層模型通過(guò)概念-邏輯-物理的三個(gè)階段，按照概念模型設(shè)計(jì)、數(shù)據(jù)源系統(tǒng) 評(píng)估、邏輯模型設(shè)計(jì)、物理模型設(shè)計(jì)與實(shí)施、模型驗(yàn)證與優(yōu)化的五個(gè)步驟進(jìn)行實(shí) 施落地。邏輯分層、物理分布式存儲(chǔ)的模型存儲(chǔ)設(shè)計(jì)基于數(shù)據(jù)的分層模型結(jié)構(gòu)，結(jié)合實(shí)際技術(shù)選型，數(shù)據(jù)采用邏輯分層，物理分 布式存儲(chǔ)的方式，并對(duì)典型數(shù)據(jù)的處理流程、訪問(wèn)流程進(jìn)行設(shè)計(jì)規(guī)劃。合理的模型存儲(chǔ)計(jì)算部件選擇結(jié)合各層數(shù)據(jù)的特點(diǎn)（數(shù)據(jù)量、訪問(wèn)頻度、存儲(chǔ)周期等）和各項(xiàng)技術(shù)的特性（存儲(chǔ)、計(jì)算、查詢(xún)、擴(kuò)展等方面），對(duì)各層模型的存儲(chǔ)計(jì)算部件進(jìn)行合理 規(guī)劃。2. 2.1建模方法思路數(shù)據(jù)中臺(tái)數(shù)據(jù)建模的基本思想：采用概念模型、邏輯模型、物理模型三階

22、段建模方式； 自頂向下”方式為主，從業(yè)務(wù)需求出發(fā)，分析研宄業(yè)務(wù)需求 中的業(yè)務(wù)場(chǎng)景，提煉業(yè)務(wù)數(shù)據(jù)，界定系統(tǒng)的數(shù)據(jù)范圍，劃分主題域， 對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分類(lèi)，構(gòu)建抽象實(shí)體，最終梳理出業(yè)務(wù)實(shí)體，以及實(shí) 體之間的關(guān)聯(lián)關(guān)系，通過(guò)實(shí)體及實(shí)體間關(guān)系表示業(yè)務(wù)規(guī)則；“自底向上”方式為輔，從源系統(tǒng)入手，研宄和識(shí)別源系統(tǒng) 內(nèi)的數(shù)據(jù)實(shí)體，并對(duì)數(shù)據(jù)實(shí)體進(jìn)行分類(lèi)；將實(shí)體以及實(shí)體的分類(lèi)結(jié)果 與“自頂向下”方式梳理出的結(jié)果進(jìn)行對(duì)比，驗(yàn)證建模結(jié)果的合理性， 并進(jìn)行修正；“自頂向下”和“自底向上”兩種方式相互協(xié)作，不斷迭代 演進(jìn)，逐級(jí)細(xì)化，構(gòu)建出數(shù)據(jù)模型；充分考慮未來(lái)的業(yè)務(wù)分析需求，對(duì)于一些通用概念和結(jié)構(gòu)采 用相同的模型設(shè)計(jì)，從而保

23、證了公用和未來(lái)擴(kuò)展的需求；遵循業(yè)界通用標(biāo)準(zhǔn)和方法論（SID）,保證模型的適用性；2. 2.1.1模型設(shè)計(jì)思路遵循模型設(shè)計(jì)規(guī)范要求，采用“自頂向下”和“自底向上”相結(jié)合的建模 方法。根據(jù)業(yè)務(wù)需求設(shè)計(jì)應(yīng)用層模型，根據(jù)數(shù)據(jù)源模型設(shè)計(jì)ODS、BDS、CIS 層模型，在CISADS間實(shí)現(xiàn)數(shù)據(jù)的結(jié)合。數(shù)據(jù)源原始數(shù)據(jù)層基a瞰據(jù)層融合信自層應(yīng)用數(shù)據(jù)層數(shù)跡系統(tǒng)済洗業(yè)務(wù)分析指標(biāo)飾醐歸一4E1 1)攝口旅Ss1f分析頗=i畫(huà)2. 2.1.2模型設(shè)計(jì)原則標(biāo)準(zhǔn)化、規(guī)范化原則數(shù)據(jù)模型應(yīng)遵從統(tǒng)-的主題域劃分和實(shí)體命名規(guī)則，保證模型的標(biāo)準(zhǔn)化和 規(guī)范化：先進(jìn)性原則要求邏輯模型在設(shè)計(jì)上吸收業(yè)界、國(guó)內(nèi)外優(yōu)秀的建模經(jīng)驗(yàn)與方法，確保模

24、 型的先進(jìn)性； 一致性原則數(shù)據(jù)模型的設(shè)計(jì)要能夠確保數(shù)據(jù)的一致性，消除各數(shù)據(jù)源的數(shù)據(jù)不一致 性，以保證數(shù)據(jù)模型內(nèi)的信息是關(guān)于整個(gè)企業(yè)一致的全局信息；擴(kuò)展性原則要求數(shù)據(jù)模型具備良好的可擴(kuò)展性，支持對(duì)模型的迭代性演進(jìn)。當(dāng)業(yè)務(wù)需求提出新問(wèn)題或有新的數(shù)據(jù)加入模型時(shí)，要求數(shù)據(jù)模型能夠確保現(xiàn)有的數(shù)據(jù)和 應(yīng)用都不發(fā)生改變，更不得導(dǎo)致系統(tǒng)崩潰；自上而下的設(shè)計(jì)與自下而上的驗(yàn)證原則數(shù)據(jù)模型是為業(yè)務(wù)分析服務(wù)的，所以在創(chuàng)建模型時(shí)，應(yīng)以業(yè)務(wù)需求為驅(qū)動(dòng)。 根據(jù)業(yè)務(wù)需求采用自上而下的方法設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)模型，并且采取迭代演進(jìn)的 模式，逐步豐富數(shù)據(jù)模型，逐步求精。同時(shí)，為了驗(yàn)證設(shè)計(jì)與實(shí)現(xiàn)的合理性與 正確性，要求以實(shí)際數(shù)據(jù)對(duì)模型進(jìn)

25、行自下而上的驗(yàn)證；簡(jiǎn)單可識(shí)別原則實(shí)體命名等要遵循簡(jiǎn)潔、能直接識(shí)別出業(yè)務(wù)意義的原則。2. 2.1.3數(shù)據(jù)建模步驟數(shù)據(jù)建模五步法如下:i模型設(shè)計(jì)數(shù)據(jù)源g快浮怙19招授型ifiit物理授型設(shè)計(jì)與實(shí)施授型驗(yàn)II與優(yōu)化分析業(yè)勞需求.評(píng)估數(shù)據(jù)質(zhì)垣與明確邏播模型實(shí)珪立物理授型，按醒勞罟求was確定范圍定義提供能力.進(jìn)行體、居性，主提映射文生成的支淳能力、效壟等生成指標(biāo)隹.區(qū)字段理性取舍、.關(guān)聯(lián)珪授語(yǔ)句、數(shù)S進(jìn)行獅分基本涵.衍整臺(tái)確定實(shí)two我貝R射腳本優(yōu)化調(diào)費(fèi)授型結(jié)構(gòu).娜標(biāo)，作為業(yè)明確接規(guī)范法.新堪.慘改饑行腳本進(jìn)行物形成最終授型勞元數(shù)據(jù)桎理確定業(yè)勞授型理桎型落to明確頊需求概念模型設(shè)計(jì)：分析業(yè)務(wù)需求，確定

26、范圍定義，確定概念模型生成指標(biāo)集，區(qū)分基本指標(biāo)、衍生指標(biāo)，作為業(yè)務(wù)元數(shù)據(jù)梳理明確接口需求數(shù)據(jù)源系統(tǒng)評(píng)估評(píng)估數(shù)據(jù)質(zhì)量與提供能力，進(jìn)行字段屬性取舍、整合明確接口規(guī)范確定業(yè)務(wù)模型邏輯模型設(shè)計(jì)明確邏輯模型實(shí)體、屬性、主鍵、關(guān)聯(lián)確定實(shí)體加載算法，新增、修改物理模型設(shè)計(jì)與實(shí)施建立物理模型，映射文檔；生成建模語(yǔ)句、數(shù)據(jù)映射腳本執(zhí)行腳本進(jìn)行物理模型落地模型驗(yàn)證與優(yōu)化按照業(yè)務(wù)需求對(duì)模型的支撐能力、效率等進(jìn)行驗(yàn)證2.優(yōu)化調(diào)整模型結(jié)構(gòu)，形成最終模型2. 2.2數(shù)據(jù)模型分層架構(gòu)設(shè)計(jì)2. 2. 2.1分層架構(gòu)設(shè)計(jì)原則結(jié)合業(yè)界規(guī)范和多年的大數(shù)據(jù)建設(shè)經(jīng)驗(yàn)，綜合考慮了數(shù)據(jù)特點(diǎn)、存儲(chǔ)方式、 處理效率、處理復(fù)雜度、訪問(wèn)效率及模型

27、擴(kuò)展性等方面，采用了模型分層設(shè)計(jì)的思想，分為原始數(shù)據(jù)層、基礎(chǔ)數(shù)據(jù)層、融合信息層、應(yīng)用數(shù)據(jù)層四層，實(shí)現(xiàn)了數(shù)據(jù)源和加工處理過(guò)程的分離，保證了數(shù)據(jù)流向清晰，提高了數(shù)據(jù)訪問(wèn)效率等。XXX艦應(yīng)用數(shù)據(jù)層(ADS)應(yīng)用數(shù)據(jù)mt數(shù)摘助費(fèi)進(jìn)行新俎粘is,專(zhuān)蜃個(gè)性化脣求.快速wa用戶(hù)霈乳采用祕(mì)it的曲轘方式議長(zhǎng)明存ttSt合信皂層(CIS)越礎(chǔ)數(shù)據(jù)層(BDS) 原始數(shù)據(jù)層(ODS)存場(chǎng)匯.S飲摘.為用戶(hù)曰主分析提供史霣采用罐焴if槽方式.支持SS橘型和；檑型:寘中讓務(wù)相關(guān)性絞敗荈力充衷數(shù)珀番議至少保S年做為的數(shù)耐.主要咨婦一；處連(敗拍的濟(jì)洗、關(guān)馱投也 蠘mbwi位 析O 采用關(guān)JRIMI . asai籌算三范式

28、數(shù)M筘番行數(shù)K保捋 數(shù)作為數(shù)K沖fc .臧少對(duì)敗鑽_1力:ft于間困3鱗及數(shù)癱折處 _ 與M耐算的帽罘數(shù)初S番議保番7天原始數(shù)據(jù)層作為數(shù)據(jù)緩沖區(qū)，減少對(duì)數(shù)據(jù)源系統(tǒng)壓力；便于問(wèn)題回溯及數(shù)據(jù)重新處理與數(shù)據(jù)源的模型保持一致基礎(chǔ)數(shù)據(jù)層做為穩(wěn)定的基礎(chǔ)數(shù)據(jù)層，主要做歸一化處理(數(shù)據(jù)的清洗、關(guān)聯(lián)整合、編碼統(tǒng)一據(jù)單位統(tǒng)一等)，釆用實(shí)體-關(guān)系建模，模型遵循第三范式融合信息層存儲(chǔ)匯總數(shù)據(jù)，為用戶(hù)自主分析應(yīng)用提供支撐采用維度建模方式，支持星型模型和雪花模型；其中業(yè)務(wù)相關(guān)性較高的數(shù)據(jù)合并為寬表*應(yīng)用數(shù)據(jù)層對(duì)匯總數(shù)據(jù)層數(shù)據(jù)進(jìn)行重新組織滿(mǎn)足部門(mén)、地市、專(zhuān)題個(gè)性化需求，快速響應(yīng)用戶(hù)需求。采用反范式的建模方式2. 2. 2.

29、 2數(shù)據(jù)模型分層設(shè)計(jì)基于數(shù)據(jù)的分層模型結(jié)構(gòu)，結(jié)合實(shí)際技術(shù)選型，數(shù)據(jù)采用邏輯分層，物理分 布式存儲(chǔ)的方式。各層模型存儲(chǔ)原始數(shù)據(jù)層：數(shù)據(jù)存儲(chǔ)在接口層內(nèi)，物理上存儲(chǔ)在接口機(jī)磁盤(pán)及 Kafka集群內(nèi)。基礎(chǔ)數(shù)據(jù)層：用戶(hù)詳單數(shù)據(jù)（信令相關(guān)）存儲(chǔ)在HBase集群內(nèi)，經(jīng)清洗歸一化后的非用戶(hù)詳單數(shù)據(jù)存儲(chǔ)在MPP數(shù)據(jù)庫(kù)內(nèi)。融合信息層：經(jīng)匯總后的各類(lèi)數(shù)據(jù)存儲(chǔ)在MPP數(shù)據(jù)庫(kù)內(nèi)。應(yīng)用數(shù)據(jù)層：針對(duì)上層應(yīng)用的數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)內(nèi)。2.3數(shù)據(jù)治理功能2. 3.1統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)管理按照數(shù)據(jù)中臺(tái)新建數(shù)據(jù)標(biāo)注內(nèi)容，實(shí)現(xiàn)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一管控。針對(duì)青海移動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)體系中規(guī)定的各類(lèi)數(shù)據(jù)對(duì)象分類(lèi)、數(shù)據(jù)分層、數(shù)據(jù)分 域、數(shù)據(jù)命名規(guī)則、數(shù)據(jù)

30、編碼規(guī)則等各類(lèi)標(biāo)準(zhǔn)進(jìn)行界面化統(tǒng)一管理，指導(dǎo)。數(shù)據(jù)標(biāo)準(zhǔn)管理模塊對(duì)數(shù)據(jù)標(biāo)準(zhǔn)提供系統(tǒng)工具支撐，包括標(biāo)準(zhǔn)管理、標(biāo)準(zhǔn)展示、 標(biāo)準(zhǔn)監(jiān)控三大功能。面向數(shù)據(jù)管理者提供標(biāo)準(zhǔn)發(fā)布、審批管理等功能；面向數(shù)據(jù) 維護(hù)者提供標(biāo)準(zhǔn)維護(hù)、稽核、版本管理等功能；面向數(shù)據(jù)提供者和消費(fèi)者提供查 詢(xún)、提取、核對(duì)及分析等功能，全面提供數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)能力。2. 3. 2統(tǒng)一數(shù)據(jù)建模基于數(shù)據(jù)標(biāo)準(zhǔn)和元數(shù)據(jù)管理體系，提供可視化的建模工具，構(gòu)造最優(yōu)的數(shù)據(jù) 庫(kù)模式，建立數(shù)據(jù)庫(kù)及其應(yīng)用系統(tǒng)，能夠有效地存儲(chǔ)數(shù)據(jù)，滿(mǎn)足大數(shù)據(jù)治理需求。系統(tǒng)提供基于元數(shù)據(jù)管理圖形化數(shù)據(jù)建模工具，提供模型的設(shè)計(jì)、審核、實(shí) 施、驗(yàn)證；包含物理模型的設(shè)計(jì)、指標(biāo)模型、分析模型的設(shè)計(jì)

31、等。設(shè)計(jì)庫(kù)與實(shí)際數(shù)據(jù)庫(kù)逬行比對(duì)，二、通過(guò)業(yè)務(wù)應(yīng)用進(jìn)行驗(yàn)證。2.3. 2. 1統(tǒng)一數(shù)據(jù)加工根據(jù)業(yè)務(wù)需求及各類(lèi)技術(shù)特點(diǎn)，對(duì)平臺(tái)內(nèi)的不同類(lèi)型數(shù)據(jù)釆用不同的數(shù)據(jù)處 理技術(shù)及流程，主要分為大數(shù)據(jù)處理流程、傳統(tǒng)數(shù)據(jù)處理流程、實(shí)時(shí)流數(shù)據(jù)處理 流程。2.3.3統(tǒng)一數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)是指己通過(guò)數(shù)據(jù)清洗規(guī)則配置，并進(jìn)行任務(wù)校驗(yàn)后的有效數(shù)據(jù)或是 系統(tǒng)中的資產(chǎn)數(shù)據(jù)，以不同的方式呈現(xiàn)給用戶(hù)，或供用戶(hù)使用。數(shù)據(jù)資產(chǎn)以資產(chǎn) 的角度開(kāi)展數(shù)據(jù)管理工作，為解決目前普遍存在的需求分散重復(fù)、口徑模糊等問(wèn) 題，實(shí)現(xiàn)成果和經(jīng)驗(yàn)的共享和積累，方便實(shí)現(xiàn)應(yīng)用和數(shù)據(jù)的生命周期的自動(dòng)化管 理。數(shù)據(jù)資產(chǎn)化包含了數(shù)據(jù)資產(chǎn)梳理盤(pán)點(diǎn)和數(shù)據(jù)價(jià)值評(píng)估的過(guò)程。2

32、. 3. 4統(tǒng)一數(shù)據(jù)質(zhì)量管理系統(tǒng)支持對(duì)、Ik務(wù)數(shù)據(jù)進(jìn)行全面的質(zhì)量管理，通過(guò)數(shù)據(jù)質(zhì)量的管理辦法、組織、 流程以及評(píng)價(jià)考核規(guī)則的制定，及時(shí)發(fā)現(xiàn)并解決數(shù)據(jù)質(zhì)量問(wèn)題，提升數(shù)據(jù)的完整 性、及時(shí)性、準(zhǔn)確性和一致性，從而提升數(shù)據(jù)的價(jià)值。基于數(shù)據(jù)架構(gòu)體系，為平臺(tái)提供全程的端到端數(shù)據(jù)質(zhì)量管控;2. 3. 4. 1統(tǒng)一數(shù)據(jù)共享與開(kāi)放以獨(dú)立的功能組件“數(shù)據(jù)共享模塊”統(tǒng)一實(shí)現(xiàn)對(duì)外的數(shù)據(jù)共享，通過(guò)采用層 次化、面向開(kāi)放共享的技術(shù)架構(gòu)，將系統(tǒng)的應(yīng)用與數(shù)據(jù)解耦，形成相對(duì)穩(wěn)定、獨(dú)立、開(kāi)放的數(shù)據(jù)共享模塊，支撐上層各類(lèi)應(yīng)用及外部系統(tǒng)的數(shù)據(jù)需求，實(shí)現(xiàn)“一個(gè)數(shù)據(jù)平臺(tái)，支撐多樣化內(nèi)、外部應(yīng)用”的目標(biāo)。數(shù)據(jù)地圖元數(shù)據(jù)第三方小數(shù)據(jù)a在往交

33、豆.交換數(shù)涯B較大、定期戒一次性大批府用亮實(shí)時(shí)性求低實(shí)時(shí)注要求鋸貶求soap/Atp:FTP O(|BC/jbBC瞟_ 口模式-發(fā)布訂閱模式數(shù)據(jù)庫(kù)模式 -H數(shù)鋤22.4能力開(kāi)放數(shù)據(jù)開(kāi)放門(mén)戶(hù)實(shí)現(xiàn)了對(duì)共享平臺(tái)的指標(biāo)、模型、數(shù)據(jù)開(kāi)放服務(wù)的統(tǒng)一管理、 展示及在線(xiàn)申請(qǐng)訂閱功能。2. 4.1數(shù)據(jù)資產(chǎn)開(kāi)放從模型角度展示平臺(tái)數(shù)據(jù)資產(chǎn)，展示當(dāng)前平臺(tái)內(nèi)己具備的模型情況，提供分 領(lǐng)域、分專(zhuān)題的導(dǎo)航2. 4. 2指標(biāo)開(kāi)放從指標(biāo)角度展示平臺(tái)數(shù)據(jù)資產(chǎn)，展示當(dāng)前平臺(tái)內(nèi)己具備的指標(biāo)情況，提供分 領(lǐng)域、分專(zhuān)題的導(dǎo)航。實(shí)現(xiàn)對(duì)平臺(tái)管理的指標(biāo)進(jìn)行統(tǒng)一呈現(xiàn)，包括對(duì)指標(biāo)進(jìn)行全 局搜索、按照接入系統(tǒng)對(duì)指標(biāo)進(jìn)行分類(lèi)統(tǒng)計(jì)、按照維度實(shí)現(xiàn)對(duì)指標(biāo)的過(guò)濾等等功 能。2. 4. 3數(shù)據(jù)服務(wù)超市展示平臺(tái)對(duì)外發(fā)布的服務(wù)信息，支持服務(wù)的申請(qǐng)及調(diào)用。2.5網(wǎng)管遷移方案話(huà)務(wù)網(wǎng)管建議不再考慮單獨(dú)建設(shè)，基