數(shù)據(jù)中臺數(shù)據(jù)模型建設方案V2

1、數(shù)據(jù)地圖元數(shù)據(jù)第三方小數(shù)據(jù)呈在線交互，交換數(shù)據(jù)呈較大、定期或一次性大批府用高實時性要求低實時性要求呈數(shù)據(jù)要求soap/wtp;FTP 個V1o（|bc/k）bc服務模式數(shù)據(jù)服務API接口模式發(fā)布訂閱模式數(shù)據(jù)庫模式數(shù)據(jù)版務1數(shù)據(jù)服務2眼務策略管理訪問隊列管E認振務目錄維護訪問雜管控負載均衡服務檢索訪問過程管控統(tǒng)計分析一服芬路由服務運行縱訪問緩存管控安全及自身管理管數(shù)據(jù)服務管理與發(fā)埋數(shù)據(jù)中臺數(shù)據(jù)模型建設方案目錄 TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 第1章綜述3 HYPERLINK l bookmark3 o Current

2、Document 項目背錄3 HYPERLINK l bookmark4 o Current Document 建設目標31. 2.1數(shù)據(jù)資產自動匯聚、一鍵發(fā)布3數(shù)據(jù)資產可視、可用、可管理42. 3數(shù)據(jù)質量可控、可視、可追溯5 HYPERLINK l bookmark5 o Current Document 建設思路5 HYPERLINK l bookmark6 o Current Document 第2章建設方案7 HYPERLINK l bookmark7 o Current Document 2. 1采集層71.1采集適配模塊72. 1.2數(shù)據(jù)處理適配器72. 1. 3數(shù)據(jù)采集策略的定制

3、管理8 HYPERLINK l bookmark14 o Current Document 2.1.4數(shù)據(jù)補采10 HYPERLINK l bookmark16 o Current Document 2. 1.5采集調度模塊11 HYPERLINK l bookmark40 o Current Document 數(shù)據(jù)模型層20 HYPERLINK l bookmark41 o Current Document 2. 2.1建模方法思路21 HYPERLINK l bookmark47 o Current Document 數(shù)據(jù)模型分層架構設計24 HYPERLINK l bookmark48

4、o Current Document 數(shù)據(jù)治理功能262. 3.1統(tǒng)一數(shù)據(jù)標準管理26 HYPERLINK l bookmark49 o Current Document 2. 3.2統(tǒng)一數(shù)據(jù)建模26 HYPERLINK l bookmark50 o Current Document 2.3. 2. 1統(tǒng)一數(shù)據(jù)加工272. 3.3統(tǒng)一數(shù)據(jù)資產272. 3.4統(tǒng)一數(shù)據(jù)質景管理272.3. 4. 1統(tǒng)一數(shù)據(jù)共享與開放28 HYPERLINK l bookmark51 o Current Document 能力開放292.4.1數(shù)據(jù)資產開放29 HYPERLINK l bookmark52 o Cu

5、rrent Document 2.4. 2指標開放292.4. 3數(shù)據(jù)服務超市29 HYPERLINK l bookmark53 o Current Document 網管遷移方案30 HYPERLINK l bookmark54 o Current Document 2.5.1BI 工具302.5. 2話務及數(shù)據(jù)專業(yè)報表明細整理33第1章綜述1.1項目背景在20年集團網絡工作部署，明確提出構建網絡中臺，推進業(yè)務拉通和數(shù)據(jù)共 享。打造數(shù)據(jù)業(yè)務化、業(yè)務數(shù)據(jù)化、技術通用化的網管中臺架構體系。以業(yè)務與 數(shù)據(jù)治理為核心，存量系統(tǒng)共性能力按需解耦改造、新增能力遵循分層架構建設。1.2建設目標針對本次系統(tǒng)

6、接管與替換，在整體架構上考慮以中臺支撐現(xiàn)有系統(tǒng)的發(fā)展， 基于智慧平臺構建的0SS數(shù)據(jù)中臺，實現(xiàn)數(shù)據(jù)專業(yè)整合，打通專業(yè)信息壁壘和數(shù) 據(jù)孤島，提升數(shù)據(jù)規(guī)范化水平。實現(xiàn)數(shù)據(jù)集中存儲和業(yè)務邏輯的數(shù)據(jù)處理，包括 按時間粒度和維度組合的數(shù)據(jù)匯總。同時數(shù)據(jù)中臺中的數(shù)據(jù)可根據(jù)需要封裝后直 接對上層應用開放。1.2.1數(shù)據(jù)資產自動匯聚、一鍵發(fā)布數(shù)據(jù)資產多手段自動匯聚通過三種手段實現(xiàn)數(shù)據(jù)處理相關的接口、模型、任務、服務、指標各環(huán)節(jié)元 數(shù)據(jù)及血緣關系的自動獲取，同時發(fā)布為數(shù)據(jù)資產。血緣關系自動獲取，自動獲取數(shù)據(jù)實體間的上下游信息，字段之間轉換 關系。血緣關系登記錄入：在無法自動獲取血緣關系的場景下，提供血緣關系登記

7、錄入界面，以補充完整數(shù)據(jù)血緣關系。/元數(shù)據(jù)登記錄入：支持數(shù)據(jù)實體的批量錄入功能，能夠滿足物理實體及其元數(shù)據(jù)信息的快速創(chuàng)建。指標庫 標簽庫數(shù)據(jù)資產一鍵發(fā)布依托統(tǒng)一的元數(shù)據(jù)庫，將開發(fā)完成的標簽、指標數(shù)據(jù)一鍵發(fā)布到標簽庫、指 標庫、。標簽庫：展現(xiàn)企業(yè)的標簽數(shù)據(jù)，用于包括開發(fā)人員、業(yè)務人員、運維人員理 解系統(tǒng)標簽庫的現(xiàn)狀，支撐其進行數(shù)據(jù)訂閱使用、生命周期管理等應用。指標庫：展現(xiàn)企業(yè)的指標數(shù)據(jù)，用于包括開發(fā)人員、業(yè)務人員、運維人員理 解系統(tǒng)標簽庫的現(xiàn)狀，支撐其進行數(shù)據(jù)訂閱使用、生命周期管理等應用。1.2.2數(shù)據(jù)資產可視、可用、可管理強化元數(shù)據(jù)管理能力將數(shù)據(jù)開發(fā)過程和元數(shù)據(jù)登記錄入過程融合，實現(xiàn)元數(shù)據(jù)信息

8、的自動錄入。 實現(xiàn)數(shù)據(jù)開發(fā)的統(tǒng)一管控數(shù)據(jù)生產各環(huán)節(jié)的開發(fā)工作基于數(shù)據(jù)管理模塊實現(xiàn)，各環(huán)境的元數(shù)據(jù)信息自 動獲取，并同步給其他應用系統(tǒng)，確保應用系統(tǒng)的元數(shù)據(jù)信息與數(shù)據(jù)管理模塊一致。數(shù)據(jù)資產應用審批確保數(shù)據(jù)資產安全，上層應用或用戶申請數(shù)據(jù)使用時，需要通過流程審批。數(shù)據(jù)對內開放信息完整提供樣例數(shù)據(jù)査詢，字段級統(tǒng)計數(shù)據(jù)齊詢，以方便開發(fā)人員選擇所需數(shù)據(jù)資1.2.3數(shù)據(jù)質量可控、可視、可追溯數(shù)據(jù)標準落地結合湖南移動網絡運維與業(yè)務發(fā)展要求，梳理適合本地的數(shù)據(jù)標準，井基于 數(shù)據(jù)管理模塊完成數(shù)據(jù)標準的IT落地。數(shù)據(jù)血緣關系可視通過數(shù)據(jù)生產各環(huán)節(jié)的元數(shù)據(jù)信息自動獲取，形成端到端的數(shù)據(jù)血緣關系， 通過可視化手段呈現(xiàn)

9、數(shù)據(jù)血緣關系。端到端數(shù)據(jù)質量監(jiān)控依托數(shù)據(jù)標準與數(shù)據(jù)血緣關系的構匙建立數(shù)據(jù)質量稽核告警與端到端可視 化呈現(xiàn)機制，質量情況可監(jiān)控，可量化。1.3建設思路集咨曲務數(shù)據(jù) 幵放腿專:ik采獮移a巨闕番緬客戶ms砌賊81制n向性析移功網數(shù)幵放?？弯浥飵苑判伦尣稉?jù)開放團向贓棚IK 辨用戶行為識3!授型瞞專般舞核心專采集集客Ik務設番采集工作臺元數(shù)超管理腿可視化雜析網堪眼務授娶用硼觸1%計算系祝翻脈觸系統(tǒng)整體分為數(shù)據(jù)采集層、數(shù)據(jù)模型層、能力開放層及功能域。數(shù)據(jù)采集層：采集層采用模塊化設計思想，從業(yè)務功能上分為采集適配器、數(shù)據(jù)處理層、采集調度層、數(shù)據(jù)共享層四個層次，并通過系統(tǒng)自身管理模塊實現(xiàn)自身的業(yè)務邏輯控制和

10、管理，通過多維監(jiān)控和質量管理，實現(xiàn)對系統(tǒng)平 臺的實時多角度監(jiān)控與數(shù)據(jù)質量管理；同時，開放標準化的外部管理接口，以實現(xiàn)對外的可管理性。業(yè)務功能層面，每層只需要關心本層的數(shù)據(jù)、業(yè)務 邏輯和業(yè)務實現(xiàn)，層與層之間通過標準接U進行交互，能更好地實現(xiàn)系統(tǒng)的 可擴展性。數(shù)據(jù)模型層：結合業(yè)界規(guī)范和多年的0數(shù)據(jù)數(shù)據(jù)建模經驗，綜合考慮了數(shù)據(jù) 特點、存儲方式、處理效率、處理復雜度、訪問效率及模型擴展性等方面，采用了模型分層設計的思想，分為原始數(shù)據(jù)層、基礎數(shù)據(jù)層、融合信息層、 應用數(shù)據(jù)層四層，實現(xiàn)了數(shù)據(jù)源和加工處理過程的分離，保證了數(shù)據(jù)流向清 晰，提髙了數(shù)據(jù)訪問效率等。 能力開放層：主要提供發(fā)布訂閱模式、異步模式、同

11、步模式等不同模式的數(shù) 據(jù)開放共享。數(shù)據(jù)治理功能域：提供對數(shù)據(jù)的統(tǒng)一治理能力，主要包括數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)資產管理、數(shù)據(jù)安全管理和數(shù)據(jù)質量管理等能力。第2章建設方案2.1采集層2.1.1采集適配模塊采集適配模塊實現(xiàn)網元直連網管接口采集和OMC北向接口適配采集；采集適 配器層接收采集任務，實現(xiàn)與設備側的接口協(xié)議適配，從設備側獲取原始數(shù)據(jù)， 進行數(shù)據(jù)采集，采集適配器的功能組成如下：協(xié)議適配、數(shù)據(jù)獲取，并支持被動 接收設備側發(fā)送的數(shù)據(jù)。采集的源數(shù)據(jù)通過適配器北向接口向上共享。采集適配器支持實時數(shù)據(jù)、非實時數(shù)據(jù)；協(xié)議接口類型支持文件接口、數(shù)據(jù) 庫接口、指令接口、Syslog接口、NetFlow

12、接口、SNMP接口、C0RBA接口等主流 網管接口類型，同時支持接口類型的擴展。系統(tǒng)提供釆集適配器的注冊、動態(tài)加載及注銷功能，并提供采集、處理適配 器參數(shù)配置界面，以及適配器狀態(tài)查看功能。并對適配器進行手工的狀態(tài)變更， 比如啟動、停止、重啟等操作。2. 1. 1. 1 采集過程數(shù)據(jù)檢測能夠及時檢測設備側發(fā)送過來的文件準備好消息通知或者原始數(shù)據(jù)準備情 況，數(shù)據(jù)準備好消息接收到后立即進行采集；數(shù)據(jù)始終未達到設定的完整標準， 也能把部分準備好的數(shù)據(jù)進行采集，可配合廠商側的情況，盡最大可能完整及時 的采集數(shù)據(jù)。2.1.2數(shù)據(jù)處理適配器數(shù)據(jù)處理適配器接收調度中心的數(shù)據(jù)處理命令，將采集適配器生成的數(shù)據(jù)進

13、行處理、關聯(lián)運算，通過ETL過程將數(shù)據(jù)錄入到數(shù)據(jù)庫中。數(shù)據(jù)處理適配層接收處理任務，對數(shù)據(jù)進行解析、格式化，并根據(jù)需要進行，風暴抑制、數(shù)據(jù)上報、KPI指標計算。原始數(shù)裾、格式化數(shù)裾、KPI指標均可以 推送到數(shù)據(jù)共享層，可以文件、數(shù)據(jù)庫、消息等方式進行傳送和保存。可以有選 擇地提供告警數(shù)據(jù)過濾能力。2.1.3數(shù)據(jù)采集策略的定制管理根據(jù)第三方應用，或者定制的配置、性能和告警數(shù)據(jù)的特性，采用不同的策 略利用導航方式創(chuàng)建采集流程，描述了在何時到何地采集什么樣的數(shù)據(jù)。以向導式根據(jù)不同業(yè)務需求創(chuàng)建合適的采集策略。根據(jù)性能、配置和告警數(shù)據(jù)的特性，采用不同的策略創(chuàng)建流程，明確創(chuàng)建過 程，降低用戶輸入錯誤率。采f

14、t性能數(shù)據(jù)注棚賓般細&棚.實炒雄布.is分仲小時一f.分 3湖玄時.教發(fā)和通11C0R8A攝格ae設備於進行極主軹tor在則，采助i_i了沒備的扁中城方穿憧憐給於g采隹比較傳好.fi論一忘.因此采集的任務移fi眼芳的投*上 WLAN數(shù) （AP，一級熱點.二級熱點）用W5?. BJS忙.超閑AP.進行WIANMM3奇:倍令數(shù)據(jù)數(shù)之間卿好瀟:采ttKE數(shù)解*力天實集一次.荈用期發(fā)起請氏+鉚Egg?供分數(shù)據(jù)（用戶終媒、迗華、a數(shù)用戶8*倍e用子分析用戶行為.用P蛇小區(qū)棚使用驚兄.新計對性TO!破：創(chuàng)建策略的步驟有采集數(shù)據(jù)（數(shù)據(jù)源和數(shù)據(jù)集）、處理數(shù)據(jù)（標準化和制定策略。描述了在何時到何地采集什么樣的數(shù)

15、據(jù)。采累取據(jù)迎理取據(jù)話榮G*JRBWiS5D5FTP3*RUSK 至FTP；IFTP首先選擇數(shù)據(jù)源，即到何地采集，也可以直接創(chuàng)建一個新 數(shù)據(jù)源。主要是通過FTP服務方式獲取報告，但不限于此。 之所以采用服務的方式進行描述，而不是OMC ,是因為通 用性更好，擴展性更強。采霣婦據(jù)劃理敢據(jù)制定策略8fES 爆棚突5棚校苗戰(zhàn)15伸ICRM 1咖供rU* rOMC.MM冪钃Q BMWMVXM1MT-9!其次選擇數(shù)據(jù)集，即采集的什么數(shù)據(jù)。數(shù)據(jù)集是根據(jù)集團:規(guī)范預先定義好，他包括了哪些報告，4報告中應該具! :備明陛count,所以需避免策略創(chuàng)建過程中的濫用,否則不; !利于規(guī)范化進程。I開肪對采鬣的行疼

16、灌化采累馭據(jù)劃理飲據(jù)話榮番番下一歩 涵涵函三不釋 Si否遍涵福i涵報聶S理。如果報告已經是標準文件格式，則可以不需要標準化 處理。話束m采爾銨據(jù)劃理敘據(jù)S稱：10哎件：糊Rr23 : 15W3 次賊棚：60 采戴曲2W抄效缺球時長:300秒灌求/授示59SX9 : C邊百 卯gm功的助現(xiàn) S :番略 朌砘沁字糸斟鋼S燧字糸，SSSS&?字米W煙枷菇皿咎字米乏燕7J、洚葙字米罷碧g薛lHImss。汫抖：皿;SIH : B?s;iln -111図測君a図郵雞貓a-3蝱-&皿咨alfgm沏 3孬.裏擊|雜；漾麗浮貓；議-|字雜 H來義七薄，硌S1沌縫_3來楚葙覺1 戽，ssllleff渲糸絲篛-#捏

17、H#澤耳，滸簾隊ftw咎字糸，3-s 沙皿&wi胳米義，a砌丑44講曠_民鵁X, sssss 米，鱗汫米鞭蹄3雖此浮_描圍雖緬冷奇nwMs,到淳瞄陳3雜米迪冷掛抖wi-k犍冰漭，W敗舡它淳瞄薄賀3#耷-7-;3棼議 浮崗，粱1糸峋政炒箱囊菊膚駕楚議3糸練一E碑，SSSSS SN碑糸癢錨。2. 1. 5. 5 狀態(tài)監(jiān)控對下發(fā)到采集機上的采集任務的執(zhí)行情況監(jiān)控，如有某一采集任務某次采集 有問題，及時進行處理保證數(shù)據(jù)采集的連續(xù)性。實時監(jiān)控任務全生命周期各個環(huán)節(jié)：未下發(fā)任務、正在執(zhí)行的任務和異常結朿的任務，提供單個任務的流程拓撲圖，端到端査看相應環(huán)節(jié)的執(zhí)行情況。當出現(xiàn)異常任務吋，系統(tǒng)除支持自動補救以外

18、，還可以進行手工的補救以及分環(huán)節(jié)的補救。2. 1. 5. 6 采集節(jié)點負荷異常的影響范圍控制系統(tǒng)考慮了采集的數(shù)據(jù)分級，在緊急情況下能保證高級別數(shù)據(jù)的采集完備 性；對于采集節(jié)點的負荷也進行分級監(jiān)控，采集的新增、調整、停止也充分考慮 到各個采集機的負荷情況，調整機制完備；極限情況下，低級別采集任務的停止、 或是否新增能夠提示管理員進行干預，同時支持未干預條件下的自動執(zhí)行機制， 機制合理、安全。2. 1. 5. 6. 1高安全平臺容災機制調度屮心池可承載多個調度屮心，從而達到調度屮心級別容災。調度中心池可以為一個適配器啟動多個實例，從而達到適配器級別容災。此兩者容災的能力將使整套架構均能達到每一層的

19、容災能力，即任何一層 中的設備宕機都不會對系統(tǒng)運行造成致命的影響。2.1.5. 6. 2更高效負載均衡能力系統(tǒng)采用最優(yōu)適配器算法，即根據(jù)采集機負荷的評估動態(tài)選擇合適的適配 器實例，可以有效的利用分布式資源，從而髙效的進行任務調度，確保采集任 務的及時、高效。tnspur2. 1. 5. 6. 3熱插拔式升級和擴容能力新増的調度中心可即時分擔調度工 作，升級則可以將原來的重啟,可實現(xiàn)24小時運行0務。新増的適配器實例可即時分擔采集 工作，升級則可以將原來的重啟,可實現(xiàn)24小時運行務。此兩者容災的能力將使整套架構均能達到每一層的擴容能力，即任何一層 中的服務都可以隨時增加，而不會對系統(tǒng)運行造成致命

20、的影響。2.2數(shù)據(jù)模型層結合業(yè)界規(guī)范和多年的大數(shù)據(jù)建設經驗，浪潮提供完整、合理、準確的數(shù)據(jù)模型建設方案。a立統(tǒng)一和標港的業(yè)務定 義和數(shù)據(jù)絕織.統(tǒng)一實體，統(tǒng) -銘,統(tǒng)一規(guī)范實體屬性和 關系2、建立全局數(shù)據(jù)視圖匿蓋 資源.業(yè)務、客戶、運維等層 面及各層面之間的關聯(lián)關系.采用了模型分層設計的思想綜合考慮了數(shù)據(jù)特點、存儲方式、處理效率、處理復雜度、訪問效率及模型 擴展性等方面，采用分層的模型設計思想，按照原始數(shù)據(jù)層、基礎數(shù)據(jù)層、融合 信息層和應用數(shù)據(jù)層建設?！白皂斚蛳隆焙汀白缘紫蛏稀毕嘟Y合的建模方法采用“自頂向下”和“自底向上”相結合的建模方法，對數(shù)據(jù)模型體系結構 分層設計。遵循“概念模型-邏輯模型-

21、物理模型”的三階段五步實施法每層模型通過概念-邏輯-物理的三個階段，按照概念模型設計、數(shù)據(jù)源系統(tǒng) 評估、邏輯模型設計、物理模型設計與實施、模型驗證與優(yōu)化的五個步驟進行實 施落地。邏輯分層、物理分布式存儲的模型存儲設計基于數(shù)據(jù)的分層模型結構，結合實際技術選型，數(shù)據(jù)采用邏輯分層，物理分 布式存儲的方式，并對典型數(shù)據(jù)的處理流程、訪問流程進行設計規(guī)劃。合理的模型存儲計算部件選擇結合各層數(shù)據(jù)的特點（數(shù)據(jù)量、訪問頻度、存儲周期等）和各項技術的特性（存儲、計算、查詢、擴展等方面），對各層模型的存儲計算部件進行合理 規(guī)劃。2. 2.1建模方法思路數(shù)據(jù)中臺數(shù)據(jù)建模的基本思想：采用概念模型、邏輯模型、物理模型三階

22、段建模方式； 自頂向下”方式為主，從業(yè)務需求出發(fā)，分析研宄業(yè)務需求 中的業(yè)務場景，提煉業(yè)務數(shù)據(jù)，界定系統(tǒng)的數(shù)據(jù)范圍，劃分主題域， 對業(yè)務數(shù)據(jù)進行分類，構建抽象實體，最終梳理出業(yè)務實體，以及實 體之間的關聯(lián)關系，通過實體及實體間關系表示業(yè)務規(guī)則；“自底向上”方式為輔，從源系統(tǒng)入手，研宄和識別源系統(tǒng) 內的數(shù)據(jù)實體，并對數(shù)據(jù)實體進行分類；將實體以及實體的分類結果 與“自頂向下”方式梳理出的結果進行對比，驗證建模結果的合理性， 并進行修正；“自頂向下”和“自底向上”兩種方式相互協(xié)作，不斷迭代 演進，逐級細化，構建出數(shù)據(jù)模型；充分考慮未來的業(yè)務分析需求，對于一些通用概念和結構采 用相同的模型設計，從而保

23、證了公用和未來擴展的需求；遵循業(yè)界通用標準和方法論（SID）,保證模型的適用性；2. 2.1.1模型設計思路遵循模型設計規(guī)范要求，采用“自頂向下”和“自底向上”相結合的建模 方法。根據(jù)業(yè)務需求設計應用層模型，根據(jù)數(shù)據(jù)源模型設計ODS、BDS、CIS 層模型，在CISADS間實現(xiàn)數(shù)據(jù)的結合。數(shù)據(jù)源原始數(shù)據(jù)層基a瞰據(jù)層融合信自層應用數(shù)據(jù)層數(shù)跡系統(tǒng)済洗業(yè)務分析指標飾醐歸一4E1 1)攝口旅Ss1f分析頗=i畫2. 2.1.2模型設計原則標準化、規(guī)范化原則數(shù)據(jù)模型應遵從統(tǒng)-的主題域劃分和實體命名規(guī)則，保證模型的標準化和 規(guī)范化：先進性原則要求邏輯模型在設計上吸收業(yè)界、國內外優(yōu)秀的建模經驗與方法，確保模

24、 型的先進性； 一致性原則數(shù)據(jù)模型的設計要能夠確保數(shù)據(jù)的一致性，消除各數(shù)據(jù)源的數(shù)據(jù)不一致 性，以保證數(shù)據(jù)模型內的信息是關于整個企業(yè)一致的全局信息；擴展性原則要求數(shù)據(jù)模型具備良好的可擴展性，支持對模型的迭代性演進。當業(yè)務需求提出新問題或有新的數(shù)據(jù)加入模型時，要求數(shù)據(jù)模型能夠確?，F(xiàn)有的數(shù)據(jù)和 應用都不發(fā)生改變，更不得導致系統(tǒng)崩潰；自上而下的設計與自下而上的驗證原則數(shù)據(jù)模型是為業(yè)務分析服務的，所以在創(chuàng)建模型時，應以業(yè)務需求為驅動。 根據(jù)業(yè)務需求采用自上而下的方法設計并實現(xiàn)數(shù)據(jù)模型，并且采取迭代演進的 模式，逐步豐富數(shù)據(jù)模型，逐步求精。同時，為了驗證設計與實現(xiàn)的合理性與 正確性，要求以實際數(shù)據(jù)對模型進

25、行自下而上的驗證；簡單可識別原則實體命名等要遵循簡潔、能直接識別出業(yè)務意義的原則。2. 2.1.3數(shù)據(jù)建模步驟數(shù)據(jù)建模五步法如下:i模型設計數(shù)據(jù)源g快浮怙19招授型ifiit物理授型設計與實施授型驗II與優(yōu)化分析業(yè)勞需求.評估數(shù)據(jù)質垣與明確邏播模型實珪立物理授型，按醒勞罟求was確定范圍定義提供能力.進行體、居性，主提映射文生成的支淳能力、效壟等生成指標隹.區(qū)字段理性取舍、.關聯(lián)珪授語句、數(shù)S進行獅分基本涵.衍整臺確定實two我貝R射腳本優(yōu)化調費授型結構.娜標，作為業(yè)明確接規(guī)范法.新堪.慘改饑行腳本進行物形成最終授型勞元數(shù)據(jù)桎理確定業(yè)勞授型理桎型落to明確頊需求概念模型設計：分析業(yè)務需求，確定

26、范圍定義，確定概念模型生成指標集，區(qū)分基本指標、衍生指標，作為業(yè)務元數(shù)據(jù)梳理明確接口需求數(shù)據(jù)源系統(tǒng)評估評估數(shù)據(jù)質量與提供能力，進行字段屬性取舍、整合明確接口規(guī)范確定業(yè)務模型邏輯模型設計明確邏輯模型實體、屬性、主鍵、關聯(lián)確定實體加載算法，新增、修改物理模型設計與實施建立物理模型，映射文檔；生成建模語句、數(shù)據(jù)映射腳本執(zhí)行腳本進行物理模型落地模型驗證與優(yōu)化按照業(yè)務需求對模型的支撐能力、效率等進行驗證2.優(yōu)化調整模型結構，形成最終模型2. 2.2數(shù)據(jù)模型分層架構設計2. 2. 2.1分層架構設計原則結合業(yè)界規(guī)范和多年的大數(shù)據(jù)建設經驗，綜合考慮了數(shù)據(jù)特點、存儲方式、 處理效率、處理復雜度、訪問效率及模型

27、擴展性等方面，采用了模型分層設計的思想，分為原始數(shù)據(jù)層、基礎數(shù)據(jù)層、融合信息層、應用數(shù)據(jù)層四層，實現(xiàn)了數(shù)據(jù)源和加工處理過程的分離，保證了數(shù)據(jù)流向清晰，提高了數(shù)據(jù)訪問效率等。XXX艦應用數(shù)據(jù)層(ADS)應用數(shù)據(jù)mt數(shù)摘助費進行新俎粘is,專蜃個性化脣求.快速wa用戶霈乳采用祕it的曲轘方式議長明存ttSt合信皂層(CIS)越礎數(shù)據(jù)層(BDS) 原始數(shù)據(jù)層(ODS)存場匯.S飲摘.為用戶曰主分析提供史霣采用罐焴if槽方式.支持SS橘型和；檑型:寘中讓務相關性絞敗荈力充衷數(shù)珀番議至少保S年做為的數(shù)耐.主要咨婦一；處連(敗拍的濟洗、關馱投也 蠘mbwi位 析O 采用關JRIMI . asai籌算三范式

28、數(shù)M筘番行數(shù)K保捋 數(shù)作為數(shù)K沖fc .臧少對敗鑽_1力:ft于間困3鱗及數(shù)癱折處 _ 與M耐算的帽罘數(shù)初S番議保番7天原始數(shù)據(jù)層作為數(shù)據(jù)緩沖區(qū)，減少對數(shù)據(jù)源系統(tǒng)壓力；便于問題回溯及數(shù)據(jù)重新處理與數(shù)據(jù)源的模型保持一致基礎數(shù)據(jù)層做為穩(wěn)定的基礎數(shù)據(jù)層，主要做歸一化處理(數(shù)據(jù)的清洗、關聯(lián)整合、編碼統(tǒng)一據(jù)單位統(tǒng)一等)，釆用實體-關系建模，模型遵循第三范式融合信息層存儲匯總數(shù)據(jù)，為用戶自主分析應用提供支撐采用維度建模方式，支持星型模型和雪花模型；其中業(yè)務相關性較高的數(shù)據(jù)合并為寬表*應用數(shù)據(jù)層對匯總數(shù)據(jù)層數(shù)據(jù)進行重新組織滿足部門、地市、專題個性化需求，快速響應用戶需求。采用反范式的建模方式2. 2. 2.

29、 2數(shù)據(jù)模型分層設計基于數(shù)據(jù)的分層模型結構，結合實際技術選型，數(shù)據(jù)采用邏輯分層，物理分 布式存儲的方式。各層模型存儲原始數(shù)據(jù)層：數(shù)據(jù)存儲在接口層內，物理上存儲在接口機磁盤及 Kafka集群內?；A數(shù)據(jù)層：用戶詳單數(shù)據(jù)（信令相關）存儲在HBase集群內，經清洗歸一化后的非用戶詳單數(shù)據(jù)存儲在MPP數(shù)據(jù)庫內。融合信息層：經匯總后的各類數(shù)據(jù)存儲在MPP數(shù)據(jù)庫內。應用數(shù)據(jù)層：針對上層應用的數(shù)據(jù)存儲在關系型數(shù)據(jù)庫內。2.3數(shù)據(jù)治理功能2. 3.1統(tǒng)一數(shù)據(jù)標準管理按照數(shù)據(jù)中臺新建數(shù)據(jù)標注內容，實現(xiàn)對數(shù)據(jù)標準的統(tǒng)一管控。針對青海移動數(shù)據(jù)標準體系中規(guī)定的各類數(shù)據(jù)對象分類、數(shù)據(jù)分層、數(shù)據(jù)分 域、數(shù)據(jù)命名規(guī)則、數(shù)據(jù)

30、編碼規(guī)則等各類標準進行界面化統(tǒng)一管理，指導。數(shù)據(jù)標準管理模塊對數(shù)據(jù)標準提供系統(tǒng)工具支撐，包括標準管理、標準展示、 標準監(jiān)控三大功能。面向數(shù)據(jù)管理者提供標準發(fā)布、審批管理等功能；面向數(shù)據(jù) 維護者提供標準維護、稽核、版本管理等功能；面向數(shù)據(jù)提供者和消費者提供查 詢、提取、核對及分析等功能，全面提供數(shù)據(jù)標準服務能力。2. 3. 2統(tǒng)一數(shù)據(jù)建?；跀?shù)據(jù)標準和元數(shù)據(jù)管理體系，提供可視化的建模工具，構造最優(yōu)的數(shù)據(jù) 庫模式，建立數(shù)據(jù)庫及其應用系統(tǒng)，能夠有效地存儲數(shù)據(jù)，滿足大數(shù)據(jù)治理需求。系統(tǒng)提供基于元數(shù)據(jù)管理圖形化數(shù)據(jù)建模工具，提供模型的設計、審核、實 施、驗證；包含物理模型的設計、指標模型、分析模型的設計

31、等。設計庫與實際數(shù)據(jù)庫逬行比對，二、通過業(yè)務應用進行驗證。2.3. 2. 1統(tǒng)一數(shù)據(jù)加工根據(jù)業(yè)務需求及各類技術特點，對平臺內的不同類型數(shù)據(jù)釆用不同的數(shù)據(jù)處 理技術及流程，主要分為大數(shù)據(jù)處理流程、傳統(tǒng)數(shù)據(jù)處理流程、實時流數(shù)據(jù)處理 流程。2.3.3統(tǒng)一數(shù)據(jù)資產數(shù)據(jù)資產是指己通過數(shù)據(jù)清洗規(guī)則配置，并進行任務校驗后的有效數(shù)據(jù)或是 系統(tǒng)中的資產數(shù)據(jù)，以不同的方式呈現(xiàn)給用戶，或供用戶使用。數(shù)據(jù)資產以資產 的角度開展數(shù)據(jù)管理工作，為解決目前普遍存在的需求分散重復、口徑模糊等問 題，實現(xiàn)成果和經驗的共享和積累，方便實現(xiàn)應用和數(shù)據(jù)的生命周期的自動化管 理。數(shù)據(jù)資產化包含了數(shù)據(jù)資產梳理盤點和數(shù)據(jù)價值評估的過程。2

32、. 3. 4統(tǒng)一數(shù)據(jù)質量管理系統(tǒng)支持對、Ik務數(shù)據(jù)進行全面的質量管理，通過數(shù)據(jù)質量的管理辦法、組織、 流程以及評價考核規(guī)則的制定，及時發(fā)現(xiàn)并解決數(shù)據(jù)質量問題，提升數(shù)據(jù)的完整 性、及時性、準確性和一致性，從而提升數(shù)據(jù)的價值?；跀?shù)據(jù)架構體系，為平臺提供全程的端到端數(shù)據(jù)質量管控;2. 3. 4. 1統(tǒng)一數(shù)據(jù)共享與開放以獨立的功能組件“數(shù)據(jù)共享模塊”統(tǒng)一實現(xiàn)對外的數(shù)據(jù)共享，通過采用層 次化、面向開放共享的技術架構，將系統(tǒng)的應用與數(shù)據(jù)解耦，形成相對穩(wěn)定、獨立、開放的數(shù)據(jù)共享模塊，支撐上層各類應用及外部系統(tǒng)的數(shù)據(jù)需求，實現(xiàn)“一個數(shù)據(jù)平臺，支撐多樣化內、外部應用”的目標。數(shù)據(jù)地圖元數(shù)據(jù)第三方小數(shù)據(jù)a在往交

33、豆.交換數(shù)涯B較大、定期戒一次性大批府用亮實時性求低實時注要求鋸貶求soap/Atp:FTP O(|BC/jbBC瞟_ 口模式-發(fā)布訂閱模式數(shù)據(jù)庫模式 -H數(shù)鋤22.4能力開放數(shù)據(jù)開放門戶實現(xiàn)了對共享平臺的指標、模型、數(shù)據(jù)開放服務的統(tǒng)一管理、 展示及在線申請訂閱功能。2. 4.1數(shù)據(jù)資產開放從模型角度展示平臺數(shù)據(jù)資產，展示當前平臺內己具備的模型情況，提供分 領域、分專題的導航2. 4. 2指標開放從指標角度展示平臺數(shù)據(jù)資產，展示當前平臺內己具備的指標情況，提供分 領域、分專題的導航。實現(xiàn)對平臺管理的指標進行統(tǒng)一呈現(xiàn)，包括對指標進行全 局搜索、按照接入系統(tǒng)對指標進行分類統(tǒng)計、按照維度實現(xiàn)對指標的過濾等等功 能。2. 4. 3數(shù)據(jù)服務超市展示平臺對外發(fā)布的服務信息，支持服務的申請及調用。2.5網管遷移方案話務網管建議不再考慮單獨建設，基