20130901-共享數(shù)據(jù)中心試點項目架構(gòu)設(shè)計-v0.1

廣東公司網(wǎng)絡(luò)管理中心共享數(shù)據(jù)中心試點項目架構(gòu)設(shè)計目錄共享數(shù)據(jù)中心總體方案總部共享數(shù)據(jù)中心試點要求回顧12系統(tǒng)架構(gòu)和關(guān)鍵技術(shù)3總部共享數(shù)據(jù)中心任務(wù)要求回顧

——網(wǎng)通[2012]172號（12年7月）+2012半年工作會魏總報告

數(shù)據(jù)集中和建模要求：實現(xiàn)對設(shè)備統(tǒng)計、MR數(shù)據(jù)、信令數(shù)據(jù)、撥測/路測數(shù)據(jù)、用戶話單、用戶投訴等多源數(shù)據(jù)的集中管理統(tǒng)一指標(biāo)數(shù)據(jù)建模方法，梳理數(shù)據(jù)類別、數(shù)據(jù)關(guān)聯(lián)關(guān)系，系統(tǒng)地建立全專業(yè)、多層次、多維度的網(wǎng)絡(luò)質(zhì)量指標(biāo)數(shù)據(jù)框架業(yè)務(wù)驅(qū)動力和支撐能力目標(biāo)：優(yōu)化整合技術(shù)架構(gòu)，試點統(tǒng)一采集平臺、共享數(shù)據(jù)中心，實現(xiàn)網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)集中采集存儲、有效整合支撐端到端業(yè)務(wù)品質(zhì)管理、集中化性能管理、智能管道管理的一體化、綜合化分析需求，支撐影響客戶感知質(zhì)量問題的可視和可溯源數(shù)據(jù)共享和開放的要求：對綜合分析系統(tǒng)進行數(shù)據(jù)層與應(yīng)用層的拆分實現(xiàn)數(shù)據(jù)開放、共享，為各類上層應(yīng)用提供平臺化數(shù)據(jù)服務(wù)，并通過四網(wǎng)協(xié)同等熱點分析應(yīng)用進行架構(gòu)驗證試點單位和時間要求：廣東牽頭、北京與福建配合，江蘇牽頭、天津與遼寧配合，兩組同時開展年底前試點建成網(wǎng)絡(luò)數(shù)據(jù)共享中心總部啟動此次試點的原因（同時也是價值和意義）分散、割裂、無法共享：專業(yè)網(wǎng)管、綜合網(wǎng)管、無線網(wǎng)優(yōu)平臺以及各類網(wǎng)絡(luò)業(yè)務(wù)監(jiān)測系統(tǒng)并存，各系統(tǒng)分散地采集網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)，各數(shù)據(jù)源的數(shù)據(jù)彼此割裂、無法共享；應(yīng)用重復(fù)：各系統(tǒng)的質(zhì)量分析應(yīng)用在一定程度上存在功能重復(fù)；缺少關(guān)聯(lián)整合：同時，缺乏統(tǒng)一的網(wǎng)絡(luò)質(zhì)量分析數(shù)據(jù)模型，不同數(shù)據(jù)源的數(shù)據(jù)、不同專業(yè)的數(shù)據(jù)、不同時間粒度的數(shù)據(jù)沒有有效整合，用戶、終端、平臺、網(wǎng)絡(luò)、設(shè)備各環(huán)節(jié)的數(shù)據(jù)不能關(guān)聯(lián)，無法滿足端到端業(yè)務(wù)品質(zhì)管理、集中化性能管理、智能管道管理的一體化、綜合化分析需求，無法做到影響客戶感知質(zhì)量問題的可視和可溯源總部共享數(shù)據(jù)中心任務(wù)要求回顧（續(xù)）

2013年年初網(wǎng)絡(luò)工作會2013年年中集中故障管理現(xiàn)場會運行庫（OLTP）vs數(shù)據(jù)中心建成性能管理系統(tǒng)，數(shù)據(jù)與應(yīng)用分層，實現(xiàn)數(shù)據(jù)統(tǒng)一管理與共享，支撐重點專題應(yīng)用信令數(shù)據(jù)納入性能管理系統(tǒng)統(tǒng)一存儲；信令分析應(yīng)用由性能管理系統(tǒng)統(tǒng)一實現(xiàn)各種DPI數(shù)據(jù)分階段納入性能管理系統(tǒng)，先進行采集層與數(shù)據(jù)層解耦，后續(xù)數(shù)據(jù)存儲與分析應(yīng)用納入性能管理系統(tǒng)性能管理系統(tǒng)重點解決好三方面問題：系統(tǒng)架構(gòu)開放性：從封閉式系統(tǒng)向開放的網(wǎng)絡(luò)數(shù)據(jù)平臺轉(zhuǎn)變，實現(xiàn)應(yīng)用層與數(shù)據(jù)層解耦；平臺式架構(gòu)數(shù)據(jù)層可擴展性、數(shù)據(jù)關(guān)聯(lián)性：數(shù)據(jù)源多、數(shù)據(jù)量大；分層數(shù)據(jù)架構(gòu)（明細(xì)層、匯總層）；數(shù)據(jù)間實現(xiàn)靈活關(guān)聯(lián)和可鉆取上層應(yīng)用基于數(shù)據(jù)層靈活定制和集中性能管理系統(tǒng)的關(guān)系數(shù)據(jù)中心試點項目建設(shè)歷程技術(shù)規(guī)范&建設(shè)方案詳細(xì)方案設(shè)計2013/1-2數(shù)據(jù)中心技術(shù)規(guī)范數(shù)據(jù)中心建設(shè)方案總部組織電話會議，討論采集平臺和數(shù)據(jù)中心技術(shù)方案和規(guī)劃技術(shù)部溝通，就技術(shù)路線達成共識2013/3-5可研立項，落實投資和臨時環(huán)境資源詳細(xì)方案設(shè)計技術(shù)交流和培訓(xùn)開發(fā)、實施和系統(tǒng)聯(lián)調(diào)2013/6硬件到貨和安裝部署軟件開發(fā)（敏捷開發(fā)，第一次迭代）現(xiàn)場軟件部署和軟件升級南向數(shù)據(jù)源接入2013/7軟件開發(fā)（敏捷開發(fā)，第二次迭代）現(xiàn)場軟件升級北向接口聯(lián)調(diào)

系統(tǒng)聯(lián)調(diào)和上線2013/8-9北向應(yīng)用聯(lián)調(diào)數(shù)據(jù)質(zhì)量核查平臺功能優(yōu)化系統(tǒng)性能調(diào)優(yōu)

總部委托2012/7總部委托廣東公司牽頭進行數(shù)據(jù)中心試點項目啟動2012/12/4組織召開項目啟動會，廠家進場前期可研和技術(shù)方案研討2012/8-9廣東公司的數(shù)據(jù)共享現(xiàn)狀和需求調(diào)研分析兄弟公司多源數(shù)據(jù)共享需求收集數(shù)據(jù)中心關(guān)鍵問題收集總體技術(shù)方案和關(guān)鍵技術(shù)難點研討（南方基地研討會）高層匯報確定技術(shù)路線2012/10/18溫總匯報確定技術(shù)路線：基于信令平臺擴展和信令項目組溝通確認(rèn)項目開展合作分工方式開發(fā)、實施和數(shù)據(jù)接入對共享數(shù)據(jù)中心目標(biāo)藍(lán)圖的理解

——總體架構(gòu)（內(nèi)外部關(guān)系和定位）的關(guān)鍵要點分析應(yīng)用：信令分析應(yīng)用等納入性能管理系統(tǒng)實現(xiàn)；性能管理應(yīng)用、（無線）優(yōu)化分析應(yīng)用，應(yīng)統(tǒng)一從數(shù)據(jù)中心取數(shù)，形成自己的數(shù)據(jù)集市提供應(yīng)用發(fā)布與管理平臺，實現(xiàn)對各類分析應(yīng)用的全生命周期管理數(shù)據(jù)采集和處理：信令平臺/DPI完成編解碼、關(guān)聯(lián)合成為xDR和固定KPI預(yù)統(tǒng)計后，應(yīng)將xDR和KPI同時送往數(shù)據(jù)中心基于信令的實時應(yīng)用及共享（CallTrace、實時QoS監(jiān)控、CDR和KPI的實時對外共享）、基于撥測和路測的實時應(yīng)用及共享（撥測驗證等）等，還需要保留在信令平臺、撥測/路測平臺中數(shù)據(jù)管理和存儲：需要實現(xiàn)各類網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)的統(tǒng)一建模、建立關(guān)聯(lián)、集中存儲、集中管理。數(shù)據(jù)范圍包含細(xì)節(jié)數(shù)據(jù)（CDR、MR、話單、DPI、日志等）和各類統(tǒng)計數(shù)據(jù)（KPI）數(shù)據(jù)中心是網(wǎng)絡(luò)質(zhì)量統(tǒng)計類數(shù)據(jù)的屬主，數(shù)據(jù)中心要實現(xiàn)對準(zhǔn)實時性能數(shù)據(jù)的統(tǒng)一集中管理數(shù)據(jù)開放和共享：實現(xiàn)綜合分析系統(tǒng)應(yīng)用和數(shù)據(jù)的分離，對外開放共享數(shù)據(jù)模型和數(shù)據(jù)內(nèi)容不僅僅向分析類應(yīng)用開放數(shù)據(jù)，使用準(zhǔn)實時性能數(shù)據(jù)的應(yīng)用也可以從數(shù)據(jù)中心獲取對共享數(shù)據(jù)中心目標(biāo)藍(lán)圖的理解

——主要的數(shù)據(jù)管理范圍（目標(biāo)）各類網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)的集中，數(shù)據(jù)粒度包括細(xì)節(jié)數(shù)據(jù)和統(tǒng)計匯總數(shù)據(jù)；網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)中心作為各類詳細(xì)數(shù)據(jù)的備份，根據(jù)不同類型數(shù)據(jù)的特點需要保存一定時間段內(nèi)的詳細(xì)數(shù)據(jù)，用于為支撐分析應(yīng)用的面向詳細(xì)數(shù)據(jù)的溯源分析和滿足新的統(tǒng)計需求下的基于歷史數(shù)據(jù)的重計算。序號數(shù)據(jù)分類計算處理的實時性最小粒度備注1設(shè)備性能準(zhǔn)實時網(wǎng)元counter2信令xDR/DPI準(zhǔn)實時xDRXDR應(yīng)該是篩選后字段3MR測量數(shù)據(jù)每日測量值4撥測數(shù)據(jù)準(zhǔn)實時撥測記錄5路測數(shù)據(jù)每日路測記錄6網(wǎng)絡(luò)日志數(shù)據(jù)每日日志詳單短信、彩信、WAP日志7話單數(shù)據(jù)每日原始話單如異常話單8資源數(shù)據(jù)準(zhǔn)實時資源配置9工單數(shù)據(jù)每日原始工單如投訴工單10告警數(shù)據(jù)每日原始告警11終端數(shù)據(jù)按需更新終端終端品牌、型號等12用戶屬性按需更新用戶級別如品牌、價值等屬性對共享數(shù)據(jù)中心目標(biāo)藍(lán)圖的理解

——主要解決的問題和價值（驅(qū)動力）數(shù)據(jù)重復(fù)處理和存儲，口徑不一專業(yè)網(wǎng)管、綜合網(wǎng)管、無線網(wǎng)優(yōu)平臺以及各類撥測/路測系統(tǒng)、各類信令監(jiān)測系統(tǒng)并存，各系統(tǒng)各自分散地采集網(wǎng)絡(luò)質(zhì)量數(shù)據(jù)，重復(fù)計算存儲造成投資、投入浪費由于缺少統(tǒng)一的計算處理，算法各異，導(dǎo)致呈現(xiàn)指標(biāo)口徑不一，可信度低分析應(yīng)用重復(fù)建設(shè)由于質(zhì)量數(shù)據(jù)的分散、割裂，多個分析優(yōu)化類系統(tǒng)的質(zhì)量分析應(yīng)用在一定程度上存在功能重復(fù)，造成投資浪費同時影響綜合分析等重點建設(shè)大系統(tǒng)的應(yīng)用推廣網(wǎng)絡(luò)性能數(shù)據(jù)共享困難專業(yè)網(wǎng)管、綜合網(wǎng)管、無線網(wǎng)優(yōu)平臺以及各類撥測/路測系統(tǒng)、各類信令監(jiān)測系統(tǒng)之間的數(shù)據(jù)共享困難，不及時、不準(zhǔn)確，相互理解困難頻繁通過系統(tǒng)接口傳遞共享數(shù)據(jù)，數(shù)據(jù)質(zhì)量得不到有效保障質(zhì)量數(shù)據(jù)之間缺少關(guān)聯(lián)整合同時，缺乏統(tǒng)一的網(wǎng)絡(luò)質(zhì)量分析數(shù)據(jù)模型，不同數(shù)據(jù)源的數(shù)據(jù)、不同專業(yè)的數(shù)據(jù)、不同時間粒度的數(shù)據(jù)沒有有效整合，用戶、終端、平臺、網(wǎng)絡(luò)、設(shè)備各環(huán)節(jié)的數(shù)據(jù)不能關(guān)聯(lián)，無法滿足端到端業(yè)務(wù)品質(zhì)管理、集中化性能管理、智能管道管理的一體化、綜合化分析需求，無法做到影響客戶感知質(zhì)量問題的可視和可溯源1234廣東公司性能管理系統(tǒng)（試點）建設(shè)現(xiàn)狀廣東公司綜合網(wǎng)絡(luò)分析系統(tǒng)從2008年開始探索、啟動建設(shè)針對明確而宏大的目標(biāo)，需要基于現(xiàn)狀分析確定技術(shù)演進路線信令分析系統(tǒng)建設(shè)：2011年：啟動信令分析系統(tǒng)架構(gòu)預(yù)研2012年：開展廠家技術(shù)測試，廠家招標(biāo)選型廣東公司綜合分析系統(tǒng)的現(xiàn)狀綜合分析系統(tǒng)在實現(xiàn)對各類綜合化的分析需求提供支撐的同時，在數(shù)據(jù)管理能力方面有如下現(xiàn)狀和需求：集中管理問題：數(shù)據(jù)類型接入較多，但每類數(shù)據(jù)都不夠完整，單純以滿足應(yīng)用需求為驅(qū)動元數(shù)據(jù)管理問題：沒有參與實際計算過程，不能實時反映數(shù)據(jù)現(xiàn)狀，無法有效支撐數(shù)據(jù)質(zhì)量管理要求、溯源影響分析大數(shù)據(jù)分析問題：對新增個性化需求的響應(yīng)效率低，無法快速支撐生產(chǎn)計算和存儲能力問題：集中式的小型機為主的架構(gòu)（SMP），節(jié)點規(guī)模受限、磁盤IO瓶頸等，計算和存儲能力可擴展性不足，導(dǎo)致高峰期負(fù)荷高，性能劣化明顯；并且性價比不高，缺乏冗余備份，安全性不足；無法對信令、話單等進行全量管理，難以支撐端到端的、靈活的分析優(yōu)化應(yīng)用數(shù)據(jù)開放共享問題：數(shù)據(jù)分層接口沒有標(biāo)準(zhǔn)化和開放，封閉的體系使得進度和質(zhì)量受限于單一廠家的資源、能力序號接入數(shù)據(jù)類型備注說明1工單主要是投訴、故障工單2告警3性能統(tǒng)計每天同步、網(wǎng)元小時匯總4信令Gn口信令匯總（用戶按業(yè)務(wù)子類的小時流量統(tǒng)計），詳單通過API查詢5話單SGSN話單、增值話單匯總6資源從綜合資管獲取7參數(shù)、測量鄰區(qū)參數(shù)、測量報告，從網(wǎng)優(yōu)平臺獲取8終端經(jīng)分+人工維護9業(yè)務(wù)、資費用戶信息、資費等，從經(jīng)分獲取IBMP55A8*X86RAC(IBMP780*2+P570*2)RAC(IBMP570*2)虛擬機+列數(shù)據(jù)庫廣東公司信令監(jiān)測系統(tǒng)架構(gòu)現(xiàn)狀應(yīng)用層應(yīng)用管理子層：實現(xiàn)應(yīng)用的全生命管理應(yīng)用子層：提供各類分析應(yīng)用編解碼子層信令的編解碼、合成和關(guān)聯(lián),向上提供CDR

實時應(yīng)用提供采集層采集原始信令碼流數(shù)據(jù)，并實現(xiàn)全省的信令碼流數(shù)據(jù)的匯聚，統(tǒng)一提供給編解碼子層進行信令的編解碼共享子層已經(jīng)實現(xiàn)了對信令CDR數(shù)據(jù)的接入數(shù)據(jù)計算與存儲層：已經(jīng)實現(xiàn)了海量數(shù)據(jù)存儲、海量數(shù)據(jù)處理（并行計算）、海量數(shù)據(jù)倉庫數(shù)據(jù)共享層：已經(jīng)實現(xiàn)了基于元數(shù)據(jù)的信令類各類分析應(yīng)用的數(shù)據(jù)提取需求，提供靈活的數(shù)據(jù)共享接口并通過訂閱提供大數(shù)據(jù)已經(jīng)實現(xiàn)了元數(shù)據(jù)對數(shù)據(jù)驅(qū)動，對外提供基于元數(shù)據(jù)共享服務(wù)共享數(shù)據(jù)中心目標(biāo)落地的技術(shù)演進路線選擇綜分、信令和目標(biāo)藍(lán)圖各個層次/模塊的對應(yīng)關(guān)系我省相關(guān)系統(tǒng)現(xiàn)狀或待建規(guī)劃目標(biāo)藍(lán)圖存在“基于綜分系統(tǒng)改造”、“基于信令平臺擴展”、“新建”等技術(shù)路線，信令平臺架構(gòu)采用了分層開放的架構(gòu)、具備海量數(shù)據(jù)存儲、計算、共享能力，并且接入了數(shù)據(jù)共享中心中占比最大的信令數(shù)據(jù)，具備了數(shù)據(jù)共享中心的雛形，因此“從信令平臺擴展到共享數(shù)據(jù)中心”的技術(shù)路線更符合經(jīng)濟性和可行性，建設(shè)風(fēng)險最低。共享數(shù)據(jù)中心試點階段臨時方案GP服務(wù)器：2臺IBM3650M4（2*8核，主頻2.4GHZCPU，64GB內(nèi)存，16*1TBSATA硬盤）數(shù)據(jù)處理服務(wù)器：2臺IBM3650M4（2*8核，主頻2.4GHZCPU，128GB內(nèi)存，16*1TBSATA硬盤）應(yīng)用服務(wù)器：2臺IBM3650M4（2*8核，主頻2.4GHZCPU，64GB內(nèi)存，16*1TBSATA硬盤）OracleEXADATA（1/2X2-2HPEXADATA）共享數(shù)據(jù)中心的關(guān)鍵技術(shù)要點性能管理系統(tǒng)共享數(shù)據(jù)中心STAGE（采集到的緩存原始數(shù)據(jù)）ODS（清洗轉(zhuǎn)換后的細(xì)節(jié)數(shù)據(jù)）EDS（基于統(tǒng)一模型計算的質(zhì)量統(tǒng)計指標(biāo)數(shù)據(jù)）分布式計算框架大數(shù)據(jù)分析共享接口層元數(shù)據(jù)管理元數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量管理無線網(wǎng)優(yōu)平臺場景監(jiān)控業(yè)務(wù)監(jiān)控性能監(jiān)控設(shè)備數(shù)據(jù)統(tǒng)一采集信令/DPI采集和處理撥測采集處理資源管理告警管理EOMS其他應(yīng)用或數(shù)據(jù)源

非實時分析類應(yīng)用準(zhǔn)實時性能數(shù)據(jù)應(yīng)用其他應(yīng)用路測采集處理經(jīng)營分析投訴處理支撐智能管道實時應(yīng)用及共享實時應(yīng)用及共享實時應(yīng)用及共享性能、測量、話單日志CDR、KPIKPIKPI應(yīng)用發(fā)布與管理平臺其他應(yīng)用采集層數(shù)據(jù)層應(yīng)用層彩印業(yè)務(wù)實時數(shù)據(jù)應(yīng)用2164359871110在總部的指導(dǎo)下，通過前期的一系列研討，梳理了目標(biāo)藍(lán)圖實現(xiàn)要解決的關(guān)鍵技術(shù)難點。共享數(shù)據(jù)中心的關(guān)鍵技術(shù)要點（續(xù)）序號數(shù)據(jù)中心關(guān)鍵要點問題簡述大信令項目驗證數(shù)據(jù)中心試點驗證后期驗證1數(shù)據(jù)中心和采集平臺的邊界

數(shù)據(jù)中心和采集平臺在數(shù)據(jù)處理上的分工？采集平臺是否要保留必要的計算能力？2數(shù)據(jù)中心和應(yīng)用層的邊界各分析應(yīng)用是否應(yīng)該保留自己的應(yīng)用數(shù)據(jù)庫？數(shù)據(jù)中心和應(yīng)用的數(shù)據(jù)邊界？3數(shù)據(jù)建模如何建立分層的數(shù)據(jù)倉庫模型？使得基礎(chǔ)模型相對穩(wěn)定又具備靈活性和可擴展性？如何實現(xiàn)數(shù)據(jù)關(guān)聯(lián)，支撐靈活的關(guān)聯(lián)鉆?。?大數(shù)據(jù)量處理數(shù)據(jù)中心的整體架構(gòu)設(shè)計？如何實現(xiàn)滿足TB/PB級數(shù)據(jù)處理能力的可擴展的平臺？5準(zhǔn)實時計算和共享（和綜合監(jiān)控的定位）如何實現(xiàn)“短時延”的計算引擎，能夠在分鐘級時延內(nèi)完成計算任務(wù)，并能北向共享滿足準(zhǔn)實時應(yīng)用需求？6元數(shù)據(jù)驅(qū)動業(yè)務(wù)元數(shù)據(jù)能否和技術(shù)元數(shù)據(jù)統(tǒng)一？元數(shù)據(jù)如何驅(qū)動全過程？7大數(shù)據(jù)分析面對不確定的、臨時的、基于ODM明細(xì)數(shù)據(jù)的需求，平臺是否可提供了大數(shù)據(jù)的即席查詢和分析任務(wù)定制兩種功能，進一步開放平臺的處理能力？8數(shù)據(jù)質(zhì)量保障如何實現(xiàn)：基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量保障，基于指標(biāo)模型進行數(shù)據(jù)質(zhì)量評估，實現(xiàn)對數(shù)據(jù)的一站式定義和管理，可監(jiān)控、可溯源的數(shù)據(jù)質(zhì)量管理？9數(shù)據(jù)開放和共享數(shù)據(jù)開放和共享的技術(shù)實現(xiàn)方式？10可運營的數(shù)據(jù)中心需要建立“可視、可控、可分析、可溯源”的可運營平臺，需要建設(shè)相應(yīng)的管控功能11應(yīng)用商店和平臺化開發(fā)模式在平臺上創(chuàng)新打造“應(yīng)用商店”，對信令網(wǎng)管應(yīng)用的建設(shè)和推廣進行管理；運用平臺應(yīng)用解耦技術(shù)，支撐應(yīng)用快速開發(fā)數(shù)據(jù)中心和采集平臺的邊界-試點現(xiàn)階段現(xiàn)狀協(xié)議適配、原始counter文件獲取文件解析、格式歸一化整理在內(nèi)存中網(wǎng)元級的KPI計算輸出為counter標(biāo)準(zhǔn)文件（CSV）消息中間件性能監(jiān)控數(shù)據(jù)庫性能監(jiān)控應(yīng)用文件緩存在數(shù)據(jù)庫中進行時間、空間的匯總、計算性能分析報表共享數(shù)據(jù)中心ESB1數(shù)據(jù)中心和采集平臺的邊界-目標(biāo)協(xié)議適配、原始counter文件獲取文件解析、格式歸一化整理在內(nèi)存中網(wǎng)元級的KPI計算輸出為counter標(biāo)準(zhǔn)文件（CSV）消息中間件性能監(jiān)控數(shù)據(jù)庫性能監(jiān)控應(yīng)用文件緩存共享數(shù)據(jù)中心1數(shù)據(jù)中心和采集平臺的邊界優(yōu)勢風(fēng)險點方案一在采集平臺中保留內(nèi)存計算方式，實現(xiàn)網(wǎng)元級KPI實時計算（不做時空匯總），直接發(fā)布給性能監(jiān)控減少數(shù)據(jù)處理環(huán)節(jié)，實時性強指標(biāo)模型、元數(shù)據(jù)等需要兩者同時維護，未能統(tǒng)一管理性能監(jiān)控面臨兩個數(shù)據(jù)源，可能會產(chǎn)生不一致方案二采集平臺中不做任何計算，所有計算收斂到數(shù)據(jù)中心，實時處理后發(fā)布給性能監(jiān)控模型、元數(shù)據(jù)統(tǒng)一管理性能監(jiān)控數(shù)據(jù)源唯一增加了處理環(huán)節(jié)，實時性待驗證，數(shù)據(jù)質(zhì)量風(fēng)險增大已經(jīng)達成的共識：數(shù)據(jù)采集平臺不需要數(shù)據(jù)庫，以文件方式緩存，提供接口支持共享數(shù)據(jù)中心進行補采和核查，建議緩存時間一個月網(wǎng)元Counter級數(shù)據(jù)需要納入共享數(shù)據(jù)中心管理采集平臺不做時間、空間的匯總，統(tǒng)一由數(shù)據(jù)中心實現(xiàn)數(shù)據(jù)中心需要具備準(zhǔn)實時的匯總計算和對外共享能力，按需為準(zhǔn)實時性能監(jiān)控提供KPI指標(biāo)級數(shù)據(jù)爭議點：采集平臺/信令采集和編解碼子層中是否要保留基本的、實時的KPI計算能力？1共享數(shù)據(jù)中心與應(yīng)用之間的數(shù)據(jù)邊界2分布計算框架大數(shù)據(jù)分析共享接口層統(tǒng)一采集平臺其他數(shù)據(jù)云、存儲云、處理能力云綜分應(yīng)用應(yīng)用數(shù)據(jù)其他分析應(yīng)用海量數(shù)據(jù)存儲海量數(shù)據(jù)處理（并行計算）海量數(shù)據(jù)倉庫（以資源為基礎(chǔ)，多維關(guān)聯(lián)，統(tǒng)一建模），對外提供大數(shù)據(jù)挖掘分析服務(wù)統(tǒng)一的元數(shù)據(jù)管理，對外提供元數(shù)據(jù)服務(wù)元數(shù)據(jù)、數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)服務(wù)數(shù)據(jù)中心作為基礎(chǔ)平臺提供數(shù)據(jù)的存儲、計算、共享報表專題BI自定義綜分應(yīng)用數(shù)據(jù)性能管理系統(tǒng)作為數(shù)據(jù)中心的一個典型應(yīng)用：重點在于應(yīng)用功能邏輯、界面等的實現(xiàn)梳理應(yīng)用數(shù)據(jù)模型，并從數(shù)據(jù)中心抽取相關(guān)數(shù)據(jù)（匯總級別數(shù)據(jù)或Cube），形成應(yīng)用數(shù)據(jù)視圖應(yīng)用數(shù)據(jù)可以通過cube、傳統(tǒng)oracle數(shù)據(jù)庫、列數(shù)據(jù)庫（提供更優(yōu)的查詢效率）來承載詳單數(shù)據(jù)通過數(shù)據(jù)中心共享層直接查詢數(shù)據(jù)中心企業(yè)應(yīng)用集市數(shù)據(jù)中心和應(yīng)用層的邊界（續(xù)）ODSEDSDMSTAGEEDS寬表數(shù)據(jù)倉庫ODMDWRoot+匯總2共享數(shù)據(jù)中心的目標(biāo)是數(shù)據(jù)的共享，將眾多應(yīng)用中的共性的數(shù)據(jù)集中起來，統(tǒng)一描述，統(tǒng)一計算，統(tǒng)一共享通過對共性數(shù)據(jù)的統(tǒng)一處理，降低了整體的系統(tǒng)處理成本，提高了數(shù)據(jù)的一致性，并且建立了為更多應(yīng)用提供可靠的一致性數(shù)據(jù)的服務(wù)能力；應(yīng)用保留一個輕量級的數(shù)據(jù)庫以滿足應(yīng)用的功能性要求基于共享數(shù)據(jù)中心提供的基礎(chǔ)數(shù)據(jù)服務(wù)，應(yīng)用廠商可以使用自己熟悉的工具和手段進行應(yīng)用建設(shè)，數(shù)據(jù)消費者可以快速獲取基礎(chǔ)數(shù)據(jù)，但并不意味著不需要本地存儲，應(yīng)用系統(tǒng)需要將應(yīng)用個性化的數(shù)據(jù)存儲于本地數(shù)據(jù)庫中，用于支撐完整應(yīng)用邏輯提高應(yīng)用設(shè)計靈活性通過應(yīng)用和數(shù)據(jù)共享中心確定了明確的邊界，降低了數(shù)據(jù)共享中心和應(yīng)用的耦合度，降低了數(shù)據(jù)共享中心實施難度；數(shù)據(jù)共享中心如果對應(yīng)用ETL過程和個性化數(shù)據(jù)進行管理，那么就需要介入到每個應(yīng)用的功能設(shè)計過程中，容易使數(shù)據(jù)共享中心成為瓶頸，而且使應(yīng)用與共享中心之間責(zé)任不清；當(dāng)然，數(shù)據(jù)中心所在的物理平臺可以為應(yīng)用提供PaaS服務(wù)（資源層面）增強數(shù)據(jù)共享中心的健壯性和安全性共享數(shù)據(jù)中心和上層應(yīng)用的邊界（以四網(wǎng)協(xié)同為例）2序號數(shù)據(jù)共享方式業(yè)務(wù)專題數(shù)據(jù)接口名稱備注1A+B方式SGSN話單日匯總接口數(shù)據(jù)訂閱2B+C方式SGSN話單月匯總接口數(shù)據(jù)訂閱3B+C方式SGSN用戶維度月接口數(shù)據(jù)訂閱4A+B方式Gn用戶業(yè)務(wù)日匯總接口數(shù)據(jù)訂閱5B方式Gn用戶業(yè)務(wù)月匯總接口數(shù)據(jù)訂閱6A+B方式Gn用戶小區(qū)日匯總接口數(shù)據(jù)訂閱7B方式Gn用戶小區(qū)月匯總接口數(shù)據(jù)訂閱8A+B方式Gn小區(qū)業(yè)務(wù)日匯總接口數(shù)據(jù)訂閱9B方式Gn小區(qū)業(yè)務(wù)月匯總接口數(shù)據(jù)訂閱10B方式GSM小區(qū)GPRS業(yè)務(wù)月數(shù)據(jù)接口數(shù)據(jù)訂閱11B方式TD小區(qū)GPRS業(yè)務(wù)月數(shù)據(jù)接口數(shù)據(jù)訂閱12B+C方式WLAN熱點業(yè)務(wù)月數(shù)據(jù)接口數(shù)據(jù)訂閱13A+B方式小區(qū)用戶數(shù)月接口數(shù)據(jù)訂閱14A方式Gn話單詳單數(shù)據(jù)接口調(diào)用查詢接口廣東移動綜分系統(tǒng)“四網(wǎng)協(xié)同”專題的北向數(shù)據(jù)共享方式數(shù)據(jù)中心分層的數(shù)據(jù)模型不同存儲形式的數(shù)據(jù)：不同數(shù)據(jù)采取不用的存儲方式，以達到更高的存儲性價比與更快的訪問效率多種維度的數(shù)據(jù)：借助數(shù)據(jù)倉庫的能力，有效存放和管理各種不同維度的數(shù)據(jù)。穩(wěn)定的數(shù)據(jù)結(jié)構(gòu)：DW和ODM相對穩(wěn)定，靈活滿足業(yè)務(wù)分析的需求近源數(shù)據(jù)存儲接口表臨時表事實根表維表Counter，KPIKPIExCounterRawCounterODMStagingDW(Aggregation)匯聚表DW(Root)3DW(Aggregation)：提供中性的數(shù)據(jù)服務(wù)以及專題基礎(chǔ)數(shù)據(jù)匯聚。DW：面向全局，數(shù)據(jù)整合，按照主題域建模。ODM：對數(shù)據(jù)進行簡單處理和識別，如維度化，以及對數(shù)據(jù)進行業(yè)務(wù)分類。Staging：純技術(shù)加工，為ODM提供技術(shù)清理后的數(shù)據(jù)。數(shù)據(jù)中心分層的數(shù)據(jù)模型（DW）網(wǎng)絡(luò)主題域：以資源為核心的建模，主要關(guān)注網(wǎng)元的性能與容量、質(zhì)量等。業(yè)務(wù)主題域：以業(yè)務(wù)為核心的建模，主要關(guān)注業(yè)務(wù)的性能以及業(yè)務(wù)量上，并支持從業(yè)務(wù)到網(wǎng)元的穿透分析。客戶主題域：以客戶為核心的建模，主要從用戶的角度來關(guān)注用戶的體驗，包括建立用戶的檔案、用戶的行為特征、用戶的業(yè)務(wù)使用、用戶的行動軌跡（網(wǎng)元）、用戶的投訴。公共主題域：包括公共的維度模型，這些公共的維度模型在各個其他主題域的計算或者中性匯聚過程中是需要的，并且也常常是上層應(yīng)用所經(jīng)常使用到的。維度模型的統(tǒng)一和共享：維度模型在全局范圍內(nèi)是唯一的，且可以被其他各主題域的模型所共享。主題域間的維度集成：為了支持網(wǎng)絡(luò)-業(yè)務(wù)-客戶之間的穿透分析需求，在設(shè)計各個主題域時，單個主題域需保留其他主題域的核心模型維度。比如：客戶主題域中需支持客戶-網(wǎng)絡(luò)，或者客戶-業(yè)務(wù)的事實數(shù)據(jù)，以支持用戶軌跡或者用戶業(yè)務(wù)分析的功能。3ODM可以分為從存儲PM數(shù)據(jù)的ODM-DB和存儲話單的CDR-DBODM-DB：作為PM/CM數(shù)據(jù)的存儲域，使用關(guān)系型數(shù)據(jù)庫CDR-DB：存儲數(shù)據(jù)量大的信令數(shù)據(jù)以及日志數(shù)據(jù)大數(shù)據(jù)量處理的系統(tǒng)架構(gòu)分布式庫外計算：分布式庫外計算將原始文件匯聚成Counter。庫內(nèi)數(shù)據(jù)聚合計算：完成基于數(shù)據(jù)庫的統(tǒng)計數(shù)據(jù)聚合計算。統(tǒng)計數(shù)據(jù)倉庫：依據(jù)數(shù)據(jù)倉庫數(shù)據(jù)模型要求建模，存放統(tǒng)計數(shù)據(jù)。CDR數(shù)據(jù)庫：存放原始CDR文件。元數(shù)據(jù)&數(shù)據(jù)質(zhì)量管理：提供算法并驅(qū)動計算；對數(shù)據(jù)質(zhì)量進行管控。數(shù)據(jù)共享：通過數(shù)據(jù)共享北向輸出數(shù)據(jù)。1234564大數(shù)據(jù)量處理的系統(tǒng)架構(gòu)（分布式計算和存儲）文件服務(wù)器集群（PC服務(wù)器），接收編解碼送來CDR（CallDetailRecord）文件。分布式計算集群（PC服務(wù)器），CDR數(shù)據(jù)流處理，數(shù)據(jù)匯總和聚合技術(shù)。匯總數(shù)據(jù)存儲（EXADATA一體機），存儲匯總數(shù)據(jù)。分布式存儲集群（PC服務(wù)器），存儲原始CDR數(shù)據(jù)。數(shù)據(jù)共享集群（PC服務(wù)器），為上層應(yīng)用提供數(shù)據(jù)共享服務(wù)。備份集群（PC服務(wù)器），數(shù)據(jù)安全備份。分布式方案數(shù)據(jù)ETL2前置分布式流式計算集群6備份集群內(nèi)存流式計算數(shù)據(jù)分發(fā)5數(shù)據(jù)共享集群3匯總數(shù)據(jù)計算和存儲數(shù)據(jù)視圖數(shù)據(jù)訂閱聚合數(shù)據(jù)XDR原始數(shù)據(jù)WebService查詢接口1文件服務(wù)器集群CS域文件PS域文件4分布式存儲集群4準(zhǔn)實時數(shù)據(jù)計算和共享準(zhǔn)實時數(shù)據(jù)計算和共享流式計算框架是基于規(guī)則引擎的計算，并在電信業(yè)務(wù)方向上做了優(yōu)化，以滿足準(zhǔn)實時Counter/KPI數(shù)據(jù)計算的要求。流式計算的優(yōu)勢：可以水平擴展支持按照業(yè)務(wù)進行數(shù)據(jù)分布，大大提高數(shù)據(jù)處理效率基于OSGI框架的設(shè)計，方便業(yè)務(wù)組件的升級和擴展

準(zhǔn)實時Counter/KPI通過實時數(shù)據(jù)接口北向共享，滿足準(zhǔn)實時應(yīng)用的需求5端到端的元數(shù)據(jù)管理端到端的元數(shù)據(jù)管理驅(qū)動數(shù)據(jù)在系統(tǒng)中流轉(zhuǎn)，驅(qū)動數(shù)據(jù)建模過程和數(shù)據(jù)質(zhì)量管控過程生產(chǎn)數(shù)據(jù)的過程做靈活的控制和調(diào)度，確保數(shù)據(jù)生產(chǎn)線生產(chǎn)出的數(shù)據(jù)按照既定圖紙生產(chǎn)，并靈活可變生產(chǎn)出的數(shù)據(jù)做質(zhì)量控制，數(shù)據(jù)質(zhì)量可視、可監(jiān)控、可追溯元數(shù)據(jù)驅(qū)動的數(shù)據(jù)生產(chǎn)與管理本質(zhì)上是體現(xiàn)規(guī)范的開發(fā)過程要求，體現(xiàn)的是設(shè)計指導(dǎo)實現(xiàn)，實現(xiàn)與設(shè)計吻合的管理要求6大數(shù)據(jù)分析7平臺化的自定義計算服務(wù)、大數(shù)據(jù)自定義分析服務(wù)：基礎(chǔ)數(shù)據(jù)集中后，如何發(fā)揮更大價值，需要提供一個平臺化的自定義計算分析服務(wù)框架，讓更多的集成商能基于平臺進行數(shù)據(jù)計算定義，最大發(fā)揮平臺價值，也避免了數(shù)據(jù)中心成為瓶頸大數(shù)據(jù)分析能力：在數(shù)據(jù)共享的基礎(chǔ)上，平臺提供了大數(shù)據(jù)的即席查詢和分析任務(wù)定制兩種功能，進一步開放了平臺的處理能力采集層數(shù)據(jù)質(zhì)量檢測分布式計算數(shù)據(jù)質(zhì)量檢測SQLEngine(DB)CalculationengineDataWarehouseDataModulingMetadataMasterJAVAEngineMetadataclientMetadataclient數(shù)據(jù)質(zhì)量模型CounterCounterCounter數(shù)據(jù)質(zhì)量檢測Counter元數(shù)據(jù)驅(qū)動數(shù)據(jù)質(zhì)量定義：數(shù)據(jù)質(zhì)量的要求由元數(shù)據(jù)定義，不同的數(shù)據(jù)和指標(biāo)允許有不同的數(shù)據(jù)質(zhì)量等級各層的數(shù)據(jù)質(zhì)量檢測模塊驅(qū)動檢測：元數(shù)據(jù)主模塊同步數(shù)據(jù)質(zhì)量要求到SQL計算模塊和Java計算模塊及采集層的元數(shù)據(jù)子模塊，由元數(shù)據(jù)子模塊驅(qū)動對應(yīng)的數(shù)據(jù)質(zhì)量檢測模塊進行數(shù)據(jù)質(zhì)量檢測，并把檢測結(jié)果返回數(shù)據(jù)質(zhì)量模型。數(shù)據(jù)質(zhì)量模型化模塊進行數(shù)據(jù)質(zhì)量計算并提供API：收集到的數(shù)據(jù)質(zhì)量Counter進行數(shù)據(jù)質(zhì)量建模，經(jīng)過Counter－－》KPI－－》DQI過程實現(xiàn)對指標(biāo)／數(shù)據(jù)源數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)量架構(gòu)框圖數(shù)據(jù)質(zhì)量管理功能數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)質(zhì)量分析數(shù)據(jù)質(zhì)量模型管理數(shù)據(jù)質(zhì)量溯源8DataCenter3rdapplication接口開放性，適用多種數(shù)據(jù)共享需求環(huán)境GreenPlumExadataCubeJDBC/ODBCDataCenterGreenPlumDataProxyExadata3rdapplication應(yīng)用模塊WebService+FileSQLSQL數(shù)據(jù)中心直接開放數(shù)據(jù)庫JDBC、ODBC連接應(yīng)用抽取數(shù)據(jù)通過API/Webservice的數(shù)據(jù)接口訂閱數(shù)據(jù)，數(shù)據(jù)網(wǎng)關(guān)通過元數(shù)據(jù)組織數(shù)據(jù)提供給使用方。優(yōu)點：應(yīng)用和數(shù)據(jù)中心松耦合，應(yīng)用移植相對容易，缺點：實現(xiàn)較復(fù)雜查詢基本功能：數(shù)據(jù)庫直連接口DataProxy查詢接口優(yōu)點：簡單，實現(xiàn)容易，

缺點：系統(tǒng)緊耦合，數(shù)據(jù)中心表的變動，會直接影響應(yīng)用DataCenter3rdapplication應(yīng)用