智能管道數(shù)據(jù)采集分析解決方案

1、智能管道數(shù)據(jù)采集分析解決方案目錄解決方案概述1采集分析軟件部分3云平臺部分4采集分析硬件部分2基于SmartProbe和云平臺的整體解決架構網(wǎng)絡原始數(shù)據(jù)基于Hadoop云平臺的數(shù)據(jù)存儲挖掘分析，服務器集群數(shù)據(jù)采集、解析、合成層云存儲、數(shù)據(jù)挖掘層應用層/LTE數(shù)據(jù)采集解析合成層Smart Probe（智能探針）設備連接方式SDHHLRHLR DBMSC ServerMGWBSCBTS155M622MFE/GEE1/FEE1SCPE1/FENodeBRNC155M622MATMSGSNGGSNInternetE1/FE/GEFE/GEFE/GEFE/GE Smart Probe Smart Pro

2、be采集Mc、Gb、IuPS、Gn&Gi等接口的信令數(shù)據(jù)，對采集的數(shù)據(jù)實時解碼和業(yè)務合成生成詳細的用戶業(yè)務記錄（xDR），實時、準確、全面的獲取用戶行為及網(wǎng)絡使用情況?？梢?平滑升級支持 LTE網(wǎng)絡采集分析。在2G/3G中的部署RNCBSCSmart ProbeGnIuPSGb其他數(shù)據(jù)處理平臺云計算數(shù)據(jù)平臺上層應用上層應用在LTE中的部署UEPCRFeNodeBS-GWP-GWS5/S8S11MMEMMES6aS1-MMELTE-UuS1-USmart Probe云計算數(shù)據(jù)平臺上層應用上層應用目錄解決方案概述1采集分析硬件部分2采集分析軟件部分3云平臺部分4Smart Probe的硬件平臺S-

3、1000S-2000S-ATCA最新的工業(yè)計算機架構 ATCA電信級產(chǎn)品積木式擴展全接口數(shù)據(jù)采集一體化的探針高中低端系類產(chǎn)品，根據(jù)用戶采集規(guī)?？梢造`活配置Smart Probe 一體化全接口采集平臺構件采用標準的ATCA架構，有6U/3U或者14U等多種不同形式。支持所有電信接口的數(shù)據(jù)采集： E1/T1/J1、STM-1/4、100M/1000M/10000M AMCAMCATCAATCA機箱10G采集單板（ATCA）單板提供了強大的數(shù)據(jù)采集能力和交換功能 ，完成數(shù)據(jù)的采集、匯聚、處理、重組與分發(fā)功能。1、單板包括兩片TILERA的Gx36多核CPU，主頻1.2GHz，單板超強的處理能力。2、

4、專有控制CPU，負責整個單板的管理。3、內(nèi)嵌具有100G交換能力的模塊，可以作為一個超強交換板使用4、 8個10Gbps SFP+接口，或者10個1Gbps接口E1接口采集單板（AMC）單板E1鏈路承載的各種數(shù)據(jù)的采集，底層協(xié)議處理。項目數(shù)量描述接入能力8支持8對E1鏈路支持協(xié)議支持所有協(xié)議被采集的數(shù)據(jù)鏈路速率16K/32K/64K/N*64K/2M鏈路數(shù)量512單板支持512條鏈路155M/622M SDH接口采集單板（AMC）單板SDH鏈路承載的各種數(shù)據(jù)的采集，底層協(xié)議處理。項目數(shù)量描述接入能力2支持2對SDH 155M/622M鏈路支持協(xié)議ATM/POS/通道化SDH支持所有協(xié)議被采集的

5、數(shù)據(jù)鏈路速率16K/32K/64K/N*64K/2M/155M鏈路數(shù)量2000條單板支持1000條鏈路2.5G SDH接口采集單板（AMC）單板SDH鏈路承載的各種數(shù)據(jù)的采集，底層協(xié)議處理。項目數(shù)量描述接入能力2支持2對SDH2.5G/GE鏈路支持協(xié)議ATM/POS/通道化SDH支持所有協(xié)議被采集的數(shù)據(jù)鏈路速率16K/32K/64K/N*64K/2M/155M/GE鏈路數(shù)量2000條單板支持2000條鏈路Smart Probe 采集平臺特點說明：可根據(jù)網(wǎng)絡接口、數(shù)量、主設備不同，針對不同網(wǎng)絡靈活配置。采用先進的ATCA架構體積小，管理集中、移動方便支持各廠家、通用，兼容TD光電混插、熱插拔、靈

6、活配置提供遠程監(jiān)控和操作接口預留擴展空間，板卡&服務器均可支持所有軟件在線升級雙電源、一體化設計分布式部署, 靈活擴展容量 業(yè)界集成度最高、支持接口最全面的采集平臺；業(yè)界唯一支持多接口混采的采集平臺S-ATCA DPI 規(guī)格參數(shù)型號性能端口設備規(guī)格（ATCA）TH-12000整機支持200G業(yè)務處理能力單個槽位：5個10G Fabric接口（背板），8個10GE SFP+接口4個GE接口整機支持：96*10GE+48*GE或者120個GE19,14U獨立機箱式設備 TH-6000整機支持100G業(yè)務處理能力單個槽位：5個10G Fabric接口（背板），8個10GE SFP+接口4個GE接口整

7、機支持：48*10GE+24*GE或者60個GE19,6U獨立機箱式設備TH-3000單設備 20G業(yè)務處理能力單個槽位：5個10G Fabric接口（背板），12個GE接口或者8個10GE SFP+接口加4個GE接口整機支持：16*10GE+8*GE或者24個GE19,3U獨立機箱式設備目前正在研發(fā)業(yè)界領先的支持100G采集接口的下一代Probe，預計將于6月份正式推出目錄解決方案概述1云平臺部分4采集分析軟件部分3采集分析硬件部分2Smart Probe 軟件架構輸出模塊協(xié)議處理模塊采集模塊系統(tǒng)配置管理系統(tǒng)自身管理系統(tǒng)管理號碼關聯(lián)回填、多協(xié)議關聯(lián)模塊xDR輸出控制模塊xDR輸出模塊采集適配

8、及信令預處理模塊采用分布式處理技術，保證系統(tǒng)良好的擴展性！數(shù)據(jù)交換總線：是軟件核心模塊，通過一個公共的數(shù)據(jù)交換軟件，其它模塊都通過該模塊交換數(shù)據(jù)。其優(yōu)點：支持分布計算模式、系統(tǒng)處理沒有瓶頸、多線索并行技術、支持伸縮性結構具有良好開放性、方便開發(fā)、管理和維護。支持自有采集設備采集的原始數(shù)據(jù)，也支持三方采集設備采集的原始數(shù)據(jù)，有很好的適應性。數(shù)據(jù)交換總線自有采集模塊三方采集模塊信令解碼、合成生成xDRSmart Probe 輸出模塊-基于元數(shù)據(jù)驅動模式元數(shù)據(jù)驅動點1：通過動態(tài)加載自定義的元數(shù)據(jù)模型，可以解析和識別采集到的不同數(shù)據(jù)源的數(shù)據(jù)元數(shù)據(jù)驅動點2：根據(jù)應用層的要求定義數(shù)據(jù)模型，接口適配基于對規(guī)

9、則的解釋完成采數(shù)據(jù)的格式轉換和預處理。即可以按不同應用定義不同的數(shù)據(jù)輸出規(guī)則，從而可以靈活適應不同應用對數(shù)據(jù)的要求。Smart Probe 采集各接口的協(xié)議內(nèi)容GiSGSNGGSNIuPSGnGiHLRGrOther PLMNGpGpExternal NetworkGcSGBSCRNCGbSmart Probe Gb/IuPS 接口xDR（4W+1H）WHEREWHENBBUxDR主要信息RRUIMSIMSISDNIMEIPTMSIWHOBSCRNCSGSNLACCellSACHOW開始時間結束時間響應時間結果：成功、失敗 failure reasonWHAT業(yè)務類型： Attach、Deta

10、ch、RAUPDPxDR詳細描述：Smart Probe Gn 接口xDR（4W+1H）WHEREWHENBBUxDR主要信息RRUIMSIMSISDNIMEIWHOGGSNSGSNLACCellSACHOW開始時間結束時間響應時間結果：成功、失敗 failure reasonWHAT業(yè)務類型：參考DPI能力詳細描述 上下行流量上下行包數(shù)承載QOSxDR詳細描述：DPI能力詳細描述：Smart Probe LTE硬采 接口xDR（4W+1H）WHEREWHENBBUxDR主要信息RRUIMSIMSISDNIMEIWHOENB SGSNCELLTACHOW開始時間結束時間響應時間結果：成功、失敗

11、 failure reasonWHAT業(yè)務類型：參考DPI能力詳細描述 上下行流量上下行包數(shù)承載QOSLTE xDR詳細描述：DPI能力詳細描述：同時支持固網(wǎng)鏈路和移動網(wǎng)絡的多種信令接口的數(shù)據(jù)采集2G網(wǎng)：Abis、A/Mc、 B、C、D、E、G，Gb、Gn、Gi接口等；3G網(wǎng)：Iub、IuCS、IuPS接口等；4G網(wǎng)：X2、S1-U/MME、S10，S11,S5/S8 ,S6a等；信令采集支持的物理接口類型：E1/T1/J1、STM-1/4支持的鏈路層協(xié)議：HDLC、ATM/IMA、TCP/IP、POS、PPP/MPPP、FR、IP over PPP等接口協(xié)議同時支持多種信令接口的解碼合成2G

12、網(wǎng)：Abis、A/Mc、 B、C、D、E、G，Gb、Gn、Gi；3G網(wǎng)：Iub（部分支持）、IuCS、IuPS；4G網(wǎng)： X2、S1-U/MME、 S10，S11,S5/S8 ,S6a等解碼合成Smart Probe 支持的接口和協(xié)議多接口協(xié)議解碼與實時回填技術Smart Probe對 Gb、Gn、IuPS，LTE等接口進行實時數(shù)據(jù)采集和解碼合成，對各接口用戶面、控制面包含的用戶信息進行實時關聯(lián)回填，保證輸出記錄信息的完整性，關聯(lián)率達到99%以上DPI應用特征識別技術采用“DPI/DFI深度包檢測技術”，實現(xiàn)報文的全文檢索。對每個IP數(shù)據(jù)包進行1-7層的分析，通過端口號、IP地址、URL地址、

13、HOST、User-Agent、16進制碼流等特征匹配來實現(xiàn)對網(wǎng)頁瀏覽、即時通訊、流媒體、P2P下載等業(yè)務類型的識別和統(tǒng)計，網(wǎng)絡流量識別率達到95%以上先進的多核軟硬件一體處理平臺高密度、高性能。設備集成了10GE、GE網(wǎng)絡接口，采用多核網(wǎng)絡交換處理架構，芯片級DPI分析平臺，處理能力達到20G，滿足實時DPI超高性能需求。系列化多種性能硬件平臺，支持GE、N*10GE單設備解決方案，滿足用戶不同場景需求豐富的業(yè)務識別支持1500+熱門應用對于重點關注業(yè)務有進一步的精細化分析業(yè)務描述采用正則表達式，支持全報文的復雜特征SmartProbe的技術優(yōu)勢SmartProbe DPI 的優(yōu)勢 深入分析

14、行為和內(nèi)容。例如用戶使用微信的ID，具體是在做語音聊天、視頻，還是文字輸入等動作。用戶行為特征和用戶興趣點密切相關的內(nèi)容，能夠進行有效的解析和記錄Smart Probe DPI 優(yōu)勢 識別特征庫支持熱部署升級，切換時間99.99%, 可識別 的應用流量準確率 90%, HTTP的識別速度1500種互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)應用，范圍涵蓋了即時通訊、P2P下載、音樂音頻、網(wǎng)絡視頻、股票證券、網(wǎng)絡游戲、生活服務、行業(yè)軟件及IANA標準網(wǎng)絡協(xié)議等.覆蓋運營商移動網(wǎng)絡95%的應用流量采用定制的實時系統(tǒng)，網(wǎng)絡數(shù)據(jù)包獲取幾乎沒有時延，數(shù)據(jù)包獲取與內(nèi)容分析之間的銜接緊湊。根據(jù)在運營商實際網(wǎng)絡環(huán)境中的數(shù)據(jù)解析測算，數(shù)

15、據(jù)包從獲取到給出分析結果平均時延99.999999%,SmartProbe DPI 的核心指標性能支持 1G bps 10Gbps 無損包分析，綜合GTP包 98%對于 特定需要精細化識別的應用(如中移動要求的12項精細化識別的應用，準確率 95%， 對于其他能識別的應用，準確率 90%覆蓋HTTP 網(wǎng)址覆蓋率 95% ， 并可提供 20 萬的網(wǎng)址分類庫可識別的移動互聯(lián)網(wǎng)應用覆蓋移動數(shù)據(jù)總流量 90%粒度應用及協(xié)議識別，可提供 業(yè)務-應用行為-應用層協(xié)議-承載協(xié)議5個層次的細粒度識別。支持 應用 行為 內(nèi)容 還原 等多種DPI需求更新定期更新（周為單位） 和事件即時更新（發(fā)生特定的移動互聯(lián)網(wǎng)事

16、件時），特征庫支持熱部署，升級切換時間xDR數(shù)據(jù)，一般是原始信令的1/4-1/8數(shù)據(jù)量統(tǒng)計數(shù)據(jù)，一般僅是xDR數(shù)據(jù)的1/10數(shù)據(jù)量，以數(shù)據(jù)表形式保存，以便處理復雜的管理和查詢需求匯總報表數(shù)據(jù)，一般是統(tǒng)計層數(shù)據(jù)的1/10數(shù)據(jù)量，以數(shù)據(jù)表形式保存數(shù)據(jù)庫存儲原始信令存儲，一般為文件處理和存儲，壓縮比例一般為50%，歷史信令反查由于解壓縮產(chǎn)生額外50ms的時延 傳統(tǒng)關系型數(shù)據(jù)庫和云平臺面對大數(shù)據(jù)處理關系型數(shù)據(jù)庫面對大數(shù)據(jù)云平臺面對大數(shù)據(jù)性能低：行存儲導致大量無效I/O，限制了吞吐量。海量數(shù)據(jù)下的索引占用空間大，造成查詢效率低下。維護難，影響穩(wěn)定性：為了處理大數(shù)據(jù)，必須進行分庫、分表、多副本的設計和管理

17、，開發(fā)維護難度大。性能高：列存儲，分散I/O，高吞吐量，極大提升了海量數(shù)據(jù)處理性能可擴展性差：關系表結構無法自適應硬件橫向擴展一次性投資成本高模型簡單，系統(tǒng)穩(wěn)定性高高擴展性和投資靈活性：存儲特性使得水平擴展簡單，可根據(jù)數(shù)據(jù)選擇軟硬件投資規(guī)模并方便擴充。 基于云平臺的大數(shù)據(jù)處理架構運維支撐客服市場分析數(shù)據(jù)緩存關聯(lián)Hive、Spark、Impala結構化數(shù)據(jù)Hbase解析Map/Reduce半結構化數(shù)據(jù)Hbase/HDFS非結構化數(shù)據(jù)Hadoop統(tǒng)計結果Sql db元數(shù)據(jù)子系統(tǒng)數(shù)據(jù)接口其他系統(tǒng)數(shù)據(jù)源子系統(tǒng)數(shù)據(jù)接口xDR數(shù)據(jù)源統(tǒng)計結構化數(shù)據(jù)數(shù)據(jù)挖掘即席查詢 基于云平臺的分布式存儲機制示意云平臺內(nèi)部組件結構關系圖HadoopHBaseHDFS服務組件應用Flume文件寫入sqoopOozie數(shù)據(jù)S