沃網絡系統(tǒng)技術架構培訓材料

內部資料注意保密浪潮軟件集團通信事業(yè)本部五月23中國聯(lián)通OSS2.0沃網絡系統(tǒng)培訓對技術需求的理解1O域、B域、互聯(lián)網等多數(shù)據(jù)源關聯(lián)需求源海量數(shù)據(jù)采集、處理、存儲管理需求量用戶級、業(yè)務級端到端細粒度分析度各類GIS、圖表需求，智能終端訪問需求用與周邊系統(tǒng)的關系2統(tǒng)一采集與指令適配平臺（采集、適配、能力共享）資源管理電子運維（門戶）沃網絡智能監(jiān)控客戶服務支撐無線PM、CM、MR、Trace核心網PM、CM、XDR資源數(shù)據(jù)問題派單作業(yè)計劃組織樹KPI性能預警告警歷史數(shù)據(jù)問題小區(qū)影響范圍系統(tǒng)建設原則-13架構云化系統(tǒng)建設原則-24服務能力開放化系統(tǒng)建設原則-35分析用戶化分析用戶化用戶使用有效性易學易用用戶群差異化用戶體驗激發(fā)創(chuàng)造性用戶參與度系統(tǒng)建設原則-46數(shù)據(jù)可視化7數(shù)據(jù)采集數(shù)據(jù)應用數(shù)據(jù)處理展現(xiàn)接口數(shù)據(jù)設備數(shù)據(jù)基礎數(shù)據(jù)采集管理解析存儲處理數(shù)據(jù)質量監(jiān)控及維護數(shù)據(jù)中心專題大屏GIS網絡質量監(jiān)控基礎數(shù)據(jù)管理管理網絡質量評估網絡質量分析業(yè)務質量分析專項分析報表中心維護統(tǒng)計分析...系統(tǒng)功能結構系統(tǒng)整體技術架構8數(shù)據(jù)匯聚中心基礎管理中心展現(xiàn)層數(shù)據(jù)源系統(tǒng)（B域、O域、M域、外部域）海量數(shù)據(jù)運算緩存集群海量數(shù)據(jù)存儲實時分析集群Vertica實時運算集群RedisStorm關系型數(shù)據(jù)庫OracleHDFSHBaseHiveMRSPARKYARN數(shù)據(jù)融合中心ETLManagerZabbixAnsible基礎數(shù)據(jù)存儲運算集群應用層SolrSPSSWebServicesStruts2移動端IOSAndroidHtml5PC端JSPeasyUIBaiduMap在線流式數(shù)據(jù)采集FlumeKafkaStorm離線批量數(shù)據(jù)采集FTPSFTPJDBC互聯(lián)網數(shù)據(jù)采集WebCrawlerJQueryArcGis數(shù)據(jù)采集-流式采集技術9流處理方案采用業(yè)界主流的Flume+Kafka+Storm混搭架構，采用分布式集群部署方式。數(shù)據(jù)處理-分布式任務調度10DTD作為一個集群化的采集平臺，支持任務流調度（即預先定義多個任務的先后執(zhí)行關系），是一個接口開放的執(zhí)行平臺，其中可以嵌入任何基于Java的執(zhí)行模塊，可用于各類采集、統(tǒng)計功能的部署實施。數(shù)據(jù)存儲-HADOOP技術11Hadoop框架在沃網絡系統(tǒng)中用于數(shù)據(jù)海量原始數(shù)據(jù)存儲、海量離線分析計算，其具備電信級可靠性、數(shù)據(jù)驅動的彈性擴展能力。浪潮Hadoop技術涉及HDFS/MapRedure/Yarn、HBase、Hive、Zookeeper、Spark、SparkStreaming等業(yè)界主要技術方案，滿足沃網絡系統(tǒng)對Hadoop技術應用要求。數(shù)據(jù)存儲-MPP技術12MPP產品選用Vertica，具有小并發(fā)、高容量的特點，適用于長期海量分析數(shù)據(jù)（MR匯總數(shù)據(jù)、話單數(shù)據(jù)、話統(tǒng)數(shù)據(jù)等）存儲。數(shù)據(jù)存儲-RDB技術13RDB技術架構具有高并發(fā)、小容量等技術特點，適用于小量結果類數(shù)據(jù)、周期/實時更新類數(shù)據(jù)（基站工參數(shù)據(jù)、考核結果數(shù)據(jù)、工單數(shù)據(jù)、管理數(shù)據(jù)等）存儲。浪潮RDB技術方案適用于ORACLE、MYSQL、SQLSERVER等主流數(shù)據(jù)庫產品，可實現(xiàn)與各類關系型數(shù)據(jù)庫的無縫對接。目前選用ORACLE做為沃網絡RDB技術方案。數(shù)據(jù)存儲-內存數(shù)據(jù)庫14分布式內存緩存技術，是對Hadoop、MPP、RDB方案的補充，主要用于對數(shù)據(jù)處理實時性極高（如信令跟蹤，與流式采集技術相結合，可以實現(xiàn)實時的用戶信令跟蹤），以及涉及到快速關聯(lián)分析的數(shù)據(jù)提取場景（如工參數(shù)據(jù)會在MR數(shù)據(jù)計算位置時需要持續(xù)快速的引用，此時工參數(shù)據(jù)緩存在內存中進行緩存，可以達到最快的響應速度）。廠家支撐人員快速構建專題能力-自定義報表15業(yè)務人員通過自定義報表定制工具，4步驟輕松完成報表定義，一次定制永久使用?？梢暬芰?GIS方案16沃網絡GIS方案采用商用(ARCIGS)+開源（如BaiduMap）的技術方案，前者適用于分析類需求，特點是功能全面，后者適用于展現(xiàn)類需求，特點是界面效果美觀。可視化能力-GIS效率優(yōu)化17使用動態(tài)地圖服務可實現(xiàn)大數(shù)據(jù)量的GIS呈現(xiàn)預處理使用局部刷新模式提高即時分析呈現(xiàn)效率使用大數(shù)據(jù)聚類方式提高即時分析呈現(xiàn)效率集中發(fā)布，多處使用統(tǒng)一管理，方便數(shù)據(jù)更新提供多種服務類型，供多種客戶端消費地圖服務任務調度方式自動生成地圖服務，因此不存在效率問題使用已發(fā)布的服務，無需用戶再次生成渲染圖層加載速度快、GIS操作流暢，用戶體驗好S1S2S3SnGIS服務器服務接口服務發(fā)布程序可視化能力-移動終端應用18－18－移動終端采用原生APP+HTML5方案，前者適用于工具類需求，特點是支持靈活復雜的交互場景，后者適用于展現(xiàn)類需求，特點是界面效果美觀。其他關鍵技術-指標公式匯總19指標分類廠家原始指標公共指標表達式動態(tài)編譯常量四則運算自定義函數(shù)表達式嵌套計算優(yōu)先級其他關鍵技術-全文搜索20目標：提升用戶查詢體驗，仿百度地圖的操作模式方案：采用solr/lucene做為查詢服務關鍵點：中文分詞、數(shù)