課程1-TMA系統(tǒng)篇.pptx

1、TMA流量監(jiān)控系統(tǒng)-系統(tǒng)篇,2011年9月,北京寬廣電信高技術(shù)發(fā)展有限公司,北京寬廣電信高技術(shù)發(fā)展有限公司成立于1994年，同年經(jīng)北京市高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)認(rèn)定為新技術(shù)企業(yè)，2002年被認(rèn)定為軟件企業(yè) 寬廣公司是長期從事電信設(shè)備研制，以技術(shù)研發(fā)為主的公司。為電信運(yùn)營商及其他客戶提供全面的網(wǎng)絡(luò)交換、傳輸和監(jiān)控解決方案 1994年成功研制國內(nèi)第一臺(tái)DXC 設(shè)備，1995年自主研制國內(nèi)第一臺(tái)ATM交換機(jī)，獲國家科技進(jìn)步二等獎(jiǎng)，郵電部科技進(jìn)步一等獎(jiǎng) 多年來承擔(dān)多項(xiàng)國家級(jí)和省部級(jí)重大科研項(xiàng)目，在B-ISDN、骨干交換機(jī)、G比特MPLS路由器和寬帶信息網(wǎng)等領(lǐng)域承擔(dān)863、八五、九五、信息產(chǎn)業(yè)部和自然科學(xué)基金

2、重大項(xiàng)目 經(jīng)過多年的技術(shù)儲(chǔ)備，通過長期市場調(diào)研和技術(shù)跟蹤（包括流量工程、流量模型、網(wǎng)絡(luò)測量、業(yè)務(wù)識(shí)別、性能測評(píng)、數(shù)據(jù)挖掘、行為分析等）， 2002年確定新的產(chǎn)品方向?yàn)镮nternet網(wǎng)絡(luò)的監(jiān)測、分析和控制,2,公司發(fā)展歷程,承擔(dān)國家863重點(diǎn)項(xiàng)目課題，研制出國內(nèi)第一臺(tái)自主知識(shí)產(chǎn)權(quán)ATM骨干交換機(jī)和DXC數(shù)字交叉連接設(shè)備。 榮獲國家科技進(jìn)步二等獎(jiǎng)，郵電部科技進(jìn)步一等獎(jiǎng) ATM交換機(jī)實(shí)現(xiàn)產(chǎn)業(yè)化商用，DXC占領(lǐng)50%軍隊(duì)份額,2002年起公司研發(fā)重心轉(zhuǎn)向IP領(lǐng)域，先后研制出VoIP、流量分析、流量控制、用戶行為分析、一拖N檢測、非法互聯(lián)、Web信息推送等產(chǎn)品，于2005年形成完整的TMA流量監(jiān)控體系

3、，在固網(wǎng)運(yùn)營商集團(tuán)、省公司和城域網(wǎng)出口規(guī)模商用,2007年開始研發(fā)面向3G的移動(dòng)互聯(lián)網(wǎng)流量監(jiān)控解決方案，目前已具備對(duì)GPRS/TD、WCDMA、CDMA/EVDO主流3G制式網(wǎng)絡(luò)和2G網(wǎng)絡(luò)的監(jiān)控能力，獲得用戶廣泛認(rèn)可,研發(fā)40G高速接口設(shè)備、支持IPv6，完善內(nèi)容計(jì)費(fèi)、不良信息封堵、質(zhì)量監(jiān)測、網(wǎng)站備案等功能,寬帶互聯(lián)網(wǎng) 流量監(jiān)控,移動(dòng)互聯(lián)網(wǎng) 流量監(jiān)控,持續(xù)發(fā)展,傳輸與交換 ATM&DXC,3,寬廣電信公司產(chǎn)品定位,2003年完成國內(nèi)第一臺(tái)網(wǎng)絡(luò)流量分析設(shè)備，2004年自主研發(fā)了國內(nèi)第一臺(tái)流量控制設(shè)備，2005和2006年相繼在業(yè)界率先推出2.5G和10G高速接口線速處理設(shè)備，在業(yè)務(wù)識(shí)別和流量控制

4、等方面居領(lǐng)先地位 2005年推出全系列TMA流量監(jiān)控綜合解決方案 產(chǎn)品包括：xFlow流量分析系統(tǒng)、二層流量監(jiān)測系統(tǒng)、網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，帶寬管理分配系統(tǒng)、用戶行為分析系統(tǒng)、應(yīng)用監(jiān)控系統(tǒng)（VoIP、P2P、私接、一拖N、Web推送等）、網(wǎng)站質(zhì)量監(jiān)測系統(tǒng)、IDC網(wǎng)站自服務(wù)系統(tǒng)、ICSA安全審計(jì)系統(tǒng) 提供符合運(yùn)營商要求基于硬件平臺(tái)的高速網(wǎng)絡(luò)監(jiān)控整體解決方案 幫助電信運(yùn)營商實(shí)現(xiàn)：用戶可識(shí)別、業(yè)務(wù)可管控、行為可歸納 TMA流量監(jiān)控系統(tǒng)可部署于電信骨干網(wǎng)、城域網(wǎng)、移動(dòng)核心數(shù)據(jù)網(wǎng)等高速鏈路，針對(duì)電信運(yùn)營商網(wǎng)絡(luò)大量用戶和復(fù)雜業(yè)務(wù)環(huán)境，對(duì)因特網(wǎng)中的流量進(jìn)行全面采集和分析，為網(wǎng)絡(luò)運(yùn)營和管理者提供全方位的監(jiān)控分析平

5、臺(tái)，為客戶提供高效可靠的數(shù)據(jù)業(yè)務(wù),4,TMA主要商用案例,中國移動(dòng)集團(tuán)網(wǎng)間、國際出口鏈路 中國電信集團(tuán)網(wǎng)間、國際出口鏈路 中國聯(lián)通集團(tuán)國際出口鏈路 浙江移動(dòng) 湖南移動(dòng) 安徽移動(dòng) 海南移動(dòng) 江西移動(dòng) 陜西電信 江蘇電信 海南電信,上海電信 廣州電信 深圳電信 甘肅聯(lián)通 湖南聯(lián)通 河北聯(lián)通 國務(wù)院辦公廳 移動(dòng)通信集團(tuán)研究院 移動(dòng)集團(tuán)OA系統(tǒng)安全加固 IDC ,目前現(xiàn)網(wǎng)監(jiān)控鏈路帶寬超過7000Gbps,5,目錄,1、流量監(jiān)控需求,2、產(chǎn)品技術(shù)路線,3、TMA系統(tǒng)架構(gòu),4、TMA系統(tǒng)功能,5、DPI技術(shù)發(fā)展,6,3G時(shí)代移動(dòng)數(shù)據(jù)業(yè)務(wù)面臨的挑戰(zhàn),7,3G時(shí)代移動(dòng)數(shù)據(jù)業(yè)務(wù)面臨的挑戰(zhàn),寬帶網(wǎng)已經(jīng)逐步成為社會(huì)

6、生活的重要組成部分，不僅已經(jīng)成為一種基本通信工具，也已經(jīng)成為獲取信息和從事各種商務(wù)活動(dòng)的平臺(tái) 寬帶網(wǎng)上的信息和業(yè)務(wù)提供者和客戶構(gòu)成各種消費(fèi)關(guān)系 網(wǎng)絡(luò)業(yè)務(wù)和用戶行為無法準(zhǔn)確識(shí)別，無法充分了解，無法積累歷史資料；網(wǎng)絡(luò)業(yè)務(wù)的使用無法監(jiān)控，無法區(qū)分業(yè)務(wù)等級(jí)，無法提供高等級(jí)服務(wù) 流量監(jiān)測手段使運(yùn)營商可以看到管道中的任何內(nèi)容，可以善加利用,8,從”管道工”到“服務(wù)商”,Monitoring and Monetizing through DPI!,9,流量監(jiān)控的市場驅(qū)動(dòng),大量的P2P等侵蝕型業(yè)務(wù)和部分損害型應(yīng)用消耗了50%以上的帶寬資源，雖然用戶數(shù)量穩(wěn)步增加，但帶寬消耗的增長與收入不成比例，運(yùn)營商無法從用戶

7、的增長中獲得最大化的利益，反而要投入更多的資金進(jìn)行網(wǎng)絡(luò)的擴(kuò)容以應(yīng)對(duì)快速增長的用戶 隨著國內(nèi)電信市場競爭的日趨激烈，各大運(yùn)營商的經(jīng)營模式逐漸從“技術(shù)驅(qū)動(dòng)”向“市場驅(qū)動(dòng)”、“客戶驅(qū)動(dòng)”轉(zhuǎn)化。面對(duì)客戶的多樣化、層次化、個(gè)性化需求，以前的大眾化營銷已失去優(yōu)勢?；诳蛻粜畔?、客戶價(jià)值和行為，深入數(shù)據(jù)分析的精確服務(wù)與營銷需求日益顯現(xiàn)潛力，迫切要求運(yùn)營商能夠?qū)崿F(xiàn)精確服務(wù)、精確營銷，提高服務(wù)質(zhì)量，增強(qiáng)現(xiàn)有客戶的忠誠度、發(fā)掘新客戶增加收入。 流量分析控制系統(tǒng)是移動(dòng)數(shù)據(jù)網(wǎng)絡(luò)運(yùn)營維護(hù)的重要支撐系統(tǒng)，在現(xiàn)有的移動(dòng)數(shù)據(jù)網(wǎng)絡(luò)中引入DPI集中監(jiān)控功能將在助力移動(dòng)數(shù)據(jù)業(yè)務(wù)發(fā)展中發(fā)揮重大作用，具有重要現(xiàn)實(shí)價(jià)值,10,流量監(jiān)控需

8、求分析,識(shí)別、評(píng)估、監(jiān)管、控制業(yè)務(wù)對(duì)網(wǎng)絡(luò)的有效運(yùn)行和安全運(yùn)營具有重要意義 使運(yùn)營商深入了解數(shù)據(jù)管道中的內(nèi)容，善加利用實(shí)現(xiàn)增值 有效識(shí)別業(yè)務(wù)和用戶，進(jìn)行流量分析統(tǒng)計(jì)和行為分析 調(diào)整目前資源占用的不合理狀態(tài)，限制疏導(dǎo)垃圾和低價(jià)值流量 為重要商業(yè)客戶提供高品質(zhì)服務(wù)，向普通客戶提供增值服務(wù) 建立用戶行為數(shù)據(jù)庫，充分了解移動(dòng)用戶的上網(wǎng)行為和習(xí)慣 根據(jù)用戶行為進(jìn)行針對(duì)性營銷和開發(fā)新業(yè)務(wù)引導(dǎo)消費(fèi) 在業(yè)務(wù)和流量監(jiān)測和控制的基礎(chǔ)上發(fā)掘潛在的服務(wù)包裝 目標(biāo)：在現(xiàn)有的寬帶IP網(wǎng)基礎(chǔ)結(jié)構(gòu)上增加一個(gè)業(yè)務(wù)監(jiān)控的層面 構(gòu)建靈活的、可管控、融合的全I(xiàn)P網(wǎng)絡(luò)的必要手段流量分析控制系統(tǒng),11,移動(dòng)互聯(lián)網(wǎng)監(jiān)控目標(biāo),3G業(yè)務(wù)將逐漸成

9、為主流，移動(dòng)數(shù)據(jù)業(yè)務(wù)將逐漸成為中國移動(dòng)的主要收入來源，建設(shè)集中化管理的中國移動(dòng)互聯(lián)網(wǎng)流量分析控制系統(tǒng)，對(duì)促進(jìn)移動(dòng)數(shù)據(jù)業(yè)務(wù)的發(fā)展將起重大的關(guān)鍵性作用 建設(shè)一個(gè)集中和開放的移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務(wù)采集、分析、控制和應(yīng)用系統(tǒng)，將全網(wǎng)數(shù)據(jù)業(yè)務(wù)監(jiān)控功能統(tǒng)一到這個(gè)平臺(tái) 通過流量分析控制系統(tǒng)能夠?yàn)榫W(wǎng)絡(luò)、業(yè)務(wù)、用戶提供運(yùn)維、運(yùn)營和服務(wù)手段。保障網(wǎng)絡(luò)高效安全輕載運(yùn)行，提供高質(zhì)量可靠的寬帶業(yè)務(wù)，為客戶提供滿意多樣化的服務(wù) 集團(tuán)對(duì)移動(dòng)數(shù)據(jù)業(yè)務(wù)缺乏系統(tǒng)、整體和實(shí)時(shí)的掌控，急需加強(qiáng)對(duì)GPRS、TD網(wǎng)絡(luò)流量和業(yè)務(wù)的全局分析和控制能力，改變各省“分而治之”的現(xiàn)狀,12,移動(dòng)互聯(lián)網(wǎng)監(jiān)控目標(biāo),以DPI設(shè)備為核心的網(wǎng)絡(luò)監(jiān)控解決方案，圍

10、繞著“用戶可識(shí)別、業(yè)務(wù)可區(qū)分、用戶行為可管控”的核心，提供深入全面的分析能力和靈活有效的管控能力 最基本和核心的功能是監(jiān)控鏈路、網(wǎng)元、業(yè)務(wù)和用戶的流量和質(zhì)量狀況，保障移動(dòng)互聯(lián)網(wǎng)高效和輕載運(yùn)行 提供安全保障、異常告警、熱點(diǎn)分析、用戶行為分析、精細(xì)化運(yùn)營、增值業(yè)務(wù)等功能，并可為新業(yè)務(wù)提供數(shù)據(jù)支持和網(wǎng)絡(luò)支撐 建立一體化的集中管理系統(tǒng)進(jìn)行全網(wǎng)的業(yè)務(wù)管理控制，通過監(jiān)控形成基準(zhǔn)數(shù)據(jù)，幫助網(wǎng)管和市場人員了解網(wǎng)絡(luò)的流量和業(yè)務(wù)模型，精確分析網(wǎng)絡(luò)使用狀況，提升整體網(wǎng)絡(luò)的質(zhì)量及效能,13,目錄,1、流量監(jiān)控需求,2、產(chǎn)品技術(shù)路線,3、TMA系統(tǒng)架構(gòu),4、TMA系統(tǒng)功能,5、DPI技術(shù)發(fā)展,14,監(jiān)控產(chǎn)品技術(shù)難點(diǎn),高

11、速：骨干鏈路速率2.5G/10G，要求線速流量檢測、業(yè)務(wù)識(shí)別、用戶識(shí)別、報(bào)文過濾、連接緩存，流量和用戶數(shù)目大 復(fù)雜：骨干和出口鏈路的網(wǎng)絡(luò)、用戶、業(yè)務(wù)、協(xié)議組成都非常復(fù)雜，需要去蕪存精，化繁為簡 可變：業(yè)務(wù)和應(yīng)用紛繁復(fù)雜，新的軟件和服務(wù)日新月異，分析需求和控制要求也不斷變化，要求架構(gòu)穩(wěn)定，部署靈活，功能模塊可靈活擴(kuò)展和升級(jí) 可靠：提供電信級(jí)解決方案的高可靠性產(chǎn)品,15,關(guān)鍵技術(shù)路線,串接 vs 并接 單機(jī) vs 分流 硬件 vs 軟件 DPI vs DFI 雙向 vs 單向 逐包 vs 采樣 漏桶流控 vs 偽造報(bào)文 專用設(shè)備 vs 附加功能,16,串接 vs 并接,1、串接方式,2、旁路方式,

12、3、掛接方式,監(jiān)控系統(tǒng)采用串接或并接兩種技術(shù)路線，寬廣公司采用串接方式 其他國內(nèi)廠家大都采用并接方式，旁路或掛接。 國外廠家?guī)缀跛械膹S家都采用串接方式 串接方式一般有旁路保護(hù)設(shè)備，故障時(shí)切換到直通 串接控制方式靈活、控制有效而精確；并接方式實(shí)現(xiàn)簡單，部署風(fēng)險(xiǎn)小，但控制效果較差 掛接是并接方式的一種,17,串接 vs 并接,控制方式 串接方式：直接對(duì)業(yè)務(wù)或用戶流量實(shí)施各種控制（禁止、限制和整形） 旁路方式：通過中斷或干擾用戶正常業(yè)務(wù)連接達(dá)到限制的目的 控制能力 串接方式：可以實(shí)施全面的流量控制，能夠?qū)λ锌勺R(shí)別和不可識(shí)別的業(yè)務(wù)流量實(shí)施流控 旁路方式：能夠控制的業(yè)務(wù)種類和支持的控制方式都很有限，

13、只能對(duì)TCP業(yè)務(wù)進(jìn)行流量控制，對(duì)UDP業(yè)務(wù)難以實(shí)施有效的控制，擴(kuò)展性差 控制粒度 串接方式：控制精度和粒度可滿足精細(xì)化運(yùn)營要求 旁路方式：無法滿足精確控制需求 法律糾紛 串接方式：模擬網(wǎng)絡(luò)正常行為，是非侵入式控制，不會(huì)有法律風(fēng)險(xiǎn) 旁路方式：控制方式類似于黑客行為，面臨法律風(fēng)險(xiǎn)和用戶投訴,18,串接 vs 并接,加密流量控制 串接方式：通過DPIDFI特征識(shí)別出業(yè)務(wù)，針對(duì)連接直接實(shí)施控制 旁路方式：難以控制大多數(shù)經(jīng)過加密的業(yè)務(wù)，對(duì)于加密的連接無法實(shí)施阻斷或流量控制，尤其是UDP的業(yè)務(wù) 流量工程原則 串接方式：遵循流量工程原則，部署的DPI系統(tǒng)實(shí)際成為核心網(wǎng)絡(luò)進(jìn)行流量工程的邊界控制設(shè)備 旁路方式：

14、無法實(shí)現(xiàn)此功能 總結(jié) 較之旁路方式，串接方式在流量控制方面有明顯的優(yōu)勢，已經(jīng)成為國內(nèi)外流量控制領(lǐng)域的共識(shí)。設(shè)計(jì)在高速環(huán)境和復(fù)雜流量下，能夠線速處理、簡單直接的業(yè)務(wù)控制技術(shù)是目前研究和產(chǎn)品的熱點(diǎn) 基于特征識(shí)別的串接控制設(shè)備比單純的帶寬限制設(shè)備更富價(jià)值,19,單機(jī) vs 分流,10G 或 2.5G,GE,GE,GE,GE,普通PC服務(wù)器,普通PC服務(wù)器,10G 或 2.5G,TMA單臺(tái)設(shè)備即可完成10G鏈路雙向監(jiān)測和控制 不需要增加轉(zhuǎn)換設(shè)備或分流路由器拆分成多個(gè)GE 監(jiān)控10G鏈路只需2U機(jī)架空間、功耗小、易于維護(hù)單鏈路性價(jià)比遠(yuǎn)大于分流 轉(zhuǎn)換和分流方式只適合于分析，分路容易合路難，無法直接控制業(yè)務(wù)

15、,TMA硬件設(shè)備,20,硬件 vs 軟件,硬件處理方式（ASIC/FPGA）,軟件處理方式 （NP/CPU）,Data A,Data B,Data C,條件 A,條件 B,條件 C,原始數(shù)據(jù)報(bào)文,數(shù)據(jù)分析流程,業(yè)務(wù)C,業(yè)務(wù)B,業(yè)務(wù)A,數(shù)據(jù)分析結(jié)果,Data A,Data B,Data C,業(yè)務(wù)C,業(yè)務(wù)B,業(yè)務(wù)A,效率,性能,條件 A,條件 B,條件 C,操作系統(tǒng),軟件指令,軟件指令,21,硬件 vs 軟件,硬件架構(gòu),軟件CPU,硬件處理能力不依賴于用戶、業(yè)務(wù)和策略的復(fù)雜度在滿配置方式下不影響處理性能,硬件相關(guān)：FPGA、總線、頻率、定時(shí)、高速、流水線、并行、寄存器、存儲(chǔ)器、邏輯、納秒、重復(fù)、固

16、化,軟件相關(guān)：CPU、內(nèi)存、線程、同步、算法、緩存、串行、指針、數(shù)組、鏈表、變量、尋址、靈活、插件、升級(jí),10G線速轉(zhuǎn)發(fā)在典型報(bào)文長度分布滿速率條件下轉(zhuǎn)發(fā)時(shí)延平均值14us最大值18us,22,硬件 vs 軟件,硬件結(jié)構(gòu) 高速信息被送到大規(guī)模高速集成電路后，被立即復(fù)制為若干個(gè) 所有需要的分析處理在硬件中多路并行分布地進(jìn)行，時(shí)延確定 硬件電路以最基本的處理單元為單位，按照預(yù)先設(shè)定的程序組合成各種專門的處理功能，以最為經(jīng)濟(jì)有效的方式完成處理 可以達(dá)到純軟件方式不能企及的效率和性能 提供無損透傳、鏡像等基于CPU體系無法實(shí)現(xiàn)的功能 硬件主要由物理接口、報(bào)文過濾、特征提取、流量累積、連接緩存、策略控制

17、等模塊組成。內(nèi)置高速數(shù)字芯片能夠?qū)﹄p向流量進(jìn)行線速1:1報(bào)文采集，逐報(bào)文進(jìn)行協(xié)議特征識(shí)別和流量行為分析,23,通過不同業(yè)務(wù)流的流量統(tǒng)計(jì)規(guī)律和連接規(guī)律進(jìn)行業(yè)務(wù)識(shí)別，例如連接速率、流持續(xù)時(shí)間、報(bào)文長度分布等,- 24 -,DPIDeep Packet Inspection,通過深度分析報(bào)文凈荷中的特征指紋Signature進(jìn)行業(yè)務(wù)識(shí)別，是目前識(shí)別協(xié)議和應(yīng)用最重要的技術(shù)手段,DFIDeep Flow Inspection,DPI vs DFI,24,DPI vs DFI,DPIDeep Packet Inspection 基于關(guān)鍵字、應(yīng)用層特征、行為模式及啟發(fā)式進(jìn)行分類 優(yōu)點(diǎn)：實(shí)施性好、識(shí)別準(zhǔn)確率高

18、、可區(qū)分到具體應(yīng)用 缺點(diǎn)：檢測凈荷、實(shí)現(xiàn)復(fù)雜、性能要求高、涉及隱私 DFIDeep Flow Inspection 基于五元組流統(tǒng)計(jì)特征和連接行為進(jìn)行分類 優(yōu)點(diǎn)：速度較快、不依賴具體應(yīng)用、可識(shí)別加密協(xié)議 缺點(diǎn)：識(shí)別精確比DPI差、受網(wǎng)絡(luò)環(huán)境影響、存在誤判 現(xiàn)狀 國內(nèi)外很多運(yùn)營商已大規(guī)模應(yīng)用DPI技術(shù)進(jìn)行監(jiān)控 近年來未來25年國內(nèi)運(yùn)營商正全面部署DPI監(jiān)測與業(yè)務(wù)控制系統(tǒng)，實(shí)現(xiàn)真正意義上的差異化服務(wù) 預(yù)計(jì)510年后DPI將與國家信息安全監(jiān)管政策結(jié)合,25,雙向 vs 單向,串接系統(tǒng)天然提供雙向流量監(jiān)控能力，不需額外增加系統(tǒng)設(shè)備和投資，而并接系統(tǒng)為節(jié)省硬件投資往往只實(shí)現(xiàn)單向監(jiān)測 單向監(jiān)控只能提供部分

19、信令信息，無法獲得全面的流量數(shù)據(jù)尤其是基于統(tǒng)計(jì)、計(jì)費(fèi)等應(yīng)用，雙向監(jiān)控能采集到更多用戶行為信息 雙向流量監(jiān)控可以識(shí)別請(qǐng)求和響應(yīng)雙向協(xié)議，識(shí)別和控制交互式應(yīng)用更準(zhǔn)確。單向監(jiān)控?zé)o法獲取業(yè)務(wù)的內(nèi)容和質(zhì)量 DFI流量識(shí)別算法在雙向監(jiān)控情況下比單向更加準(zhǔn)確和有效 雙向監(jiān)控可以進(jìn)行單方向的控制，或?qū)τ诔鋈刖沉髁坎捎貌煌南拗撇呗裕髁靠刂剖侄胃S富，策略能力更強(qiáng)大,26,相同的令牌漏桶流控機(jī)制針對(duì)不同業(yè)務(wù)的流控效果,周期注入令牌,網(wǎng)絡(luò)A,網(wǎng)絡(luò)B,D,S,DPI監(jiān)控,漏桶流控 vs 偽造報(bào)文,交互式短數(shù)據(jù)流突發(fā)業(yè)務(wù) 例: Web、Email、IM,非交互式下載型持續(xù)業(yè)務(wù)例: P2P、FTP、Stream,漏桶

20、容量,漏桶容量,周期注入令牌,27,漏桶流控 vs 偽造報(bào)文,P2P用戶A,P2P用戶B,業(yè)務(wù)服務(wù)器,用戶報(bào)文,鏈路報(bào)文,偽造報(bào)文,截獲報(bào)文,偽造用戶干擾報(bào)文類似黑客行為，容易被發(fā)現(xiàn)遭投訴且存在法律風(fēng)險(xiǎn) 向網(wǎng)絡(luò)注入非法報(bào)文導(dǎo)致異常流量增加，也不符合安全網(wǎng)絡(luò)運(yùn)行的要求 對(duì)于DDoS和病毒流量無能為力，反而增加負(fù)擔(dān),28,專用設(shè)備 vs 附加功能,流量監(jiān)控系統(tǒng)是專門針對(duì)電信和移動(dòng)運(yùn)營商大量用戶和復(fù)雜業(yè)務(wù)環(huán)境設(shè)計(jì)的監(jiān)控分析平臺(tái)能夠提供足夠的分析處理能力，產(chǎn)品大多采用高速處理性能的芯片或網(wǎng)絡(luò)處理器，完成GE、2.5G、10G等高速鏈路的雙向全業(yè)務(wù)監(jiān)控能力 而傳統(tǒng)的交換機(jī)和路由器其主要功能是完成交換、路

21、由，根據(jù)包頭的二三層地址信息實(shí)現(xiàn)快速的決策和轉(zhuǎn)發(fā)；固網(wǎng)的BRAS、移動(dòng)核心網(wǎng)的SGSN和GGSN其主要功能負(fù)責(zé)用戶的接入、認(rèn)證、計(jì)費(fèi)和管理，完成信令處理和數(shù)據(jù)傳輸，核心是保證業(yè)務(wù)連接的可靠建立和數(shù)據(jù)的高速傳輸 從業(yè)務(wù)識(shí)別、業(yè)務(wù)分析、流量控制、用戶行為分析等功能而言，路由器、BRAS、SGSN、GGSN等設(shè)備從某種程度上也可以具備部分或類似功能，但由于系統(tǒng)設(shè)計(jì)、資源限制、設(shè)備造價(jià)等角度考慮，它們并不適合進(jìn)行專門的流量監(jiān)控和用戶分析,29,目錄,1、流量監(jiān)控需求,2、產(chǎn)品技術(shù)路線,3、TMA系統(tǒng)架構(gòu),4、TMA系統(tǒng)功能,5、DPI技術(shù)發(fā)展,30,TMA系統(tǒng)分層模型,31,TMA系統(tǒng)體系結(jié)構(gòu),硬件架

22、構(gòu)探針設(shè)備監(jiān)控應(yīng)用軟件業(yè)務(wù)平臺(tái) 統(tǒng)一硬件平臺(tái)和軟件結(jié)構(gòu) 探針適應(yīng)高速鏈路過濾和轉(zhuǎn)發(fā) 探針內(nèi)嵌軟件的前置分析處理 前端采集器多設(shè)備關(guān)聯(lián)和管理 基于數(shù)據(jù)庫的存儲(chǔ)分析和挖掘 統(tǒng)一的開放性的多業(yè)務(wù)平臺(tái) 基于B/S架構(gòu)的管理和業(yè)務(wù)流程,高速數(shù)字芯片,網(wǎng)絡(luò)處理器,前端采集器,數(shù)據(jù)庫存儲(chǔ)分析,中心服務(wù)器,中心服務(wù)器,探針設(shè)備,業(yè)務(wù)平臺(tái),32,TMA設(shè)備功能模型,識(shí)別R,統(tǒng)計(jì)S,過濾F,流控C,策略P,鏡像分發(fā),管理M,丟棄！,轉(zhuǎn)發(fā),33,TMA設(shè)備功能特性,高速線路轉(zhuǎn)發(fā)引擎，高性能低時(shí)延 基于硬件的特征匹配和連接累積 針對(duì)控制和信令進(jìn)行過濾分離提供后分析 針對(duì)數(shù)據(jù)和傳輸進(jìn)行跟蹤和統(tǒng)計(jì)提供流量 提供強(qiáng)大的流過

23、濾鏡像能力進(jìn)行專項(xiàng)分析 配合前置內(nèi)嵌軟件進(jìn)行協(xié)同分析和互操作 結(jié)構(gòu)統(tǒng)一，算法和模塊可共用，按需組合 邏輯微碼遠(yuǎn)程升級(jí)，支持不同產(chǎn)品的在線轉(zhuǎn)換,34,服務(wù)器群,服務(wù)器群,前置服務(wù)器功能模型,流記錄,Radius >P.,數(shù)據(jù)分發(fā),數(shù)據(jù)庫,IP報(bào)文,管理&控制,用戶分析,xDR文件,業(yè)務(wù)解析,業(yè)務(wù)分析,行為喜好,TMA設(shè)備,專項(xiàng)分析,安全檢測,35,區(qū)域1,業(yè)務(wù)服務(wù)器功能模型,分析系統(tǒng),業(yè)務(wù)分析,報(bào)表系統(tǒng),趨勢分析,熱點(diǎn)分析,用戶分析,在線分析,離線分析,接口表,用戶表,中心資源管理庫,資源表,WebWAP,彩信飛信,用戶表,統(tǒng)計(jì)表,策略表,專項(xiàng)分析,數(shù)據(jù)挖掘,業(yè)務(wù)系統(tǒng)1,業(yè)務(wù)系統(tǒng)2,區(qū)域2,

24、用戶表,統(tǒng)計(jì)表,區(qū)域分析,匯總報(bào)表,TCP/IP,數(shù)據(jù)庫服務(wù)器群,后臺(tái)業(yè)務(wù)服務(wù)器群,報(bào)表輸出,36,37,TMA系統(tǒng)功能組成,數(shù)據(jù)庫服務(wù)器,鏈路#1,前置采集服務(wù)器,探針設(shè)備(分析),PDP上下線消息,探針設(shè)備(控制),業(yè)務(wù)監(jiān)控服務(wù)器,前置采集服務(wù)器,探針設(shè)備(分析),探針設(shè)備(控制),前置采集服務(wù)器,探針設(shè)備(分析),探針設(shè)備(控制),手機(jī)用戶信息,業(yè)務(wù)分析服務(wù)器,行為分析服務(wù)器,增值業(yè)務(wù)服務(wù)器,網(wǎng)頁推送服務(wù)器,策略管理服務(wù)器,Radius/GTP采集,鏈路#2,鏈路#N,信息過濾匯聚,Web服務(wù)器,信息過濾匯聚,信息過濾匯聚,37,38,系統(tǒng)架構(gòu)的靈活性,兩級(jí)服務(wù)器架構(gòu)提供了高效處理能力

25、前置采集服務(wù)器對(duì)經(jīng)過硬件探針匯聚、過濾后的鏈路用戶、業(yè)務(wù)流量信息進(jìn)行預(yù)處理 后臺(tái)服務(wù)器對(duì)前置采集服務(wù)器上報(bào)信息進(jìn)行集中處理，大大減少了服務(wù)器的數(shù)量 系統(tǒng)架構(gòu)靈活，擴(kuò)展性強(qiáng) 可以通過在前置采集機(jī)上安裝不同功能模塊、在后臺(tái)部署對(duì)應(yīng)中心管理服務(wù)器的方式靈活增加功能 支持增加前置采集服務(wù)器、后臺(tái)服務(wù)器數(shù)量方式實(shí)現(xiàn)系統(tǒng)處理能力的擴(kuò)充,38,系統(tǒng)特點(diǎn)：單臺(tái)設(shè)備支持10G鏈路雙向線速監(jiān)控,自主研發(fā)的大規(guī)模高速數(shù)字芯片專門針對(duì)業(yè)務(wù)監(jiān)控需求 基于硬件令牌漏桶的管控策略支持多維高精度流量管控 國內(nèi)唯一單臺(tái)設(shè)備即可完成10G鏈路的雙向監(jiān)測和控制 10G/2.5Gbps的線速識(shí)別、轉(zhuǎn)發(fā)和控制，轉(zhuǎn)發(fā)性能20Gbps 不

26、需要增加接口轉(zhuǎn)換設(shè)備拆分成多個(gè)GE，監(jiān)控2.5G/10G鏈路只需2U機(jī)架空間，功耗小于150W。占用空間最小，整體耗電量最低，安裝和維護(hù)最簡單,39,系統(tǒng)特點(diǎn)：硬件實(shí)現(xiàn)DPI+DFI技術(shù),DPI：通過關(guān)鍵字、協(xié)議指紋等特征實(shí)現(xiàn)對(duì)業(yè)務(wù)的精確識(shí)別 DFI：通過統(tǒng)計(jì)連接上的流量特征，比如流量速率和時(shí)長、平均報(bào)文長度和變化規(guī)律、序列化累積特征等信息，實(shí)現(xiàn)對(duì)業(yè)務(wù)的識(shí)別，能識(shí)別采用加密協(xié)議的業(yè)務(wù) 高速線路轉(zhuǎn)發(fā)引擎，基于硬件的特征匹配和連接累積，高性能低時(shí)延。逐報(bào)文進(jìn)行特征分析和指紋識(shí)別，逐流統(tǒng)計(jì)流量特征 采用DPI+DFI結(jié)合的方式，高效準(zhǔn)確識(shí)別出業(yè)務(wù)應(yīng)用，既能識(shí)別加密業(yè)務(wù)，又能有效減小單純DFI算法的誤

27、判率,40,系統(tǒng)特點(diǎn)：硬件多路并行流水線處理,硬件處理方式（ASIC/FPGA）,Data A,Data B,Data C,業(yè)務(wù)C,業(yè)務(wù)B,業(yè)務(wù)A,效率,性能,條件 A,條件 B,條件 C,線速報(bào)文識(shí)別、控制、轉(zhuǎn)發(fā),報(bào)文轉(zhuǎn)發(fā)時(shí)延小于50微秒,滿策略、滿流量時(shí)處理性能和轉(zhuǎn)發(fā)時(shí)延不受影響,41,系統(tǒng)特點(diǎn)：硬件令牌桶和多維流量管控,既支持雙向流量也支持單向控制 針對(duì)出入境流量可采用不同的限制劣化策略 過濾分離控制和信令進(jìn)行深入分析 提供強(qiáng)大的流過濾鏡像能力進(jìn)行專項(xiàng)分析 支持最多7個(gè)維度的流量管控 根據(jù)客戶和業(yè)務(wù)區(qū)分QoS等級(jí)，支持TOS/DSCP重標(biāo)識(shí)，與其他網(wǎng)絡(luò)設(shè)備配合實(shí)施流量工程 系統(tǒng)架構(gòu)靈活擴(kuò)

28、展性強(qiáng)，支持設(shè)備邏輯微碼和業(yè)務(wù)特征庫在線遠(yuǎn)程升級(jí),42,標(biāo)準(zhǔn)接口,定制接口,高度開放接口,OptiSwap監(jiān)測口 智能過濾鏡像端口 鏡像指定用戶報(bào)文 鏡像指定業(yè)務(wù)報(bào)文 組合條件策略鏡像,SNMP、SysLog ODBC、JDBC SOAP、XML 報(bào)表接口 ,原始報(bào)文,流記錄上報(bào),連接統(tǒng)計(jì)記錄 DPI過濾流記錄 經(jīng)分系統(tǒng)或VGOP 系統(tǒng)數(shù)據(jù)源 ,計(jì)費(fèi)系統(tǒng)接口 CRM系統(tǒng)接口 網(wǎng)管告警接口 開放API接口 ,數(shù)據(jù)接口作為TMA系統(tǒng)的一個(gè)重要的對(duì)外通道，在現(xiàn)網(wǎng)環(huán)境中長期持續(xù)的為運(yùn)營商各部門提供著數(shù)據(jù)支撐，詳盡的數(shù)據(jù)報(bào)表為運(yùn)營商自有系統(tǒng)和第三方系統(tǒng)的后分析提供了堅(jiān)實(shí)的基礎(chǔ)。,43,目錄,1、流量監(jiān)控

29、需求,2、產(chǎn)品技術(shù)路線,3、TMA系統(tǒng)架構(gòu),4、TMA系統(tǒng)功能,5、DPI技術(shù)發(fā)展,44,系統(tǒng)部署方式,前端TMA設(shè)備線速識(shí)別、轉(zhuǎn)發(fā)和控制，后端采用商用服務(wù)器 支持GE、2.5G POS、10G POS和10GE鏈路，轉(zhuǎn)發(fā)性能20Gbps,10G DPI設(shè)備，2U高度,GE/2.5G DPI設(shè)備，1U,旁路設(shè)備，直通和控制方式,45,移動(dòng)數(shù)據(jù)核心網(wǎng),46,IP數(shù)據(jù)網(wǎng)業(yè)務(wù)承載與質(zhì)量分析目標(biāo) 支撐市場業(yè)務(wù)發(fā)展、研究業(yè)務(wù)組成與用戶行為特征、提高客戶感知和質(zhì)量 技術(shù)部門 業(yè)務(wù)承載質(zhì)量如何？ 質(zhì)量問題出現(xiàn)在哪？ 業(yè)務(wù)部門 各市場領(lǐng)域的業(yè)務(wù)發(fā)展情況？ 業(yè)務(wù)推廣的效果如何？ 用戶對(duì)業(yè)務(wù)的喜好如何？ 決策部門

30、 全網(wǎng)數(shù)據(jù)業(yè)務(wù)資源占用情況如何？ 全網(wǎng)業(yè)務(wù)分布和發(fā)展情況如何？ 用戶群體對(duì)業(yè)務(wù)的使用和發(fā)展趨勢如何？,監(jiān)控解決的問題,47,業(yè)務(wù)可區(qū)分,綜合DPI和DFI算法識(shí)別業(yè)務(wù),及時(shí)跟蹤和識(shí)別熱門業(yè)務(wù),自定義業(yè)務(wù)特征識(shí)別自有業(yè)務(wù),業(yè)務(wù)特征庫支持遠(yuǎn)程更新,支持隧道協(xié)議和各類封裝業(yè)務(wù),48,業(yè)務(wù)可區(qū)分支持的協(xié)議,主流IP協(xié)議：HTTP、FTP、SMTP、POP3、Telnet、DNS、Radius等 P2P協(xié)議：BitTorrent、eMule、迅雷、Poco、DC、Gnutella、Kugoo、Vagaa、FlastGet等 流媒體：RTSP、MMS、PPLive、PPStream、QQLive、UUSe

31、e、沸點(diǎn)、QVOD、SinaTV等 VoIP：H.323、SIP、MGCP、H.248、Skype、私有協(xié)議等 即時(shí)通信：QQ、MSN、Yahoo、Skype等 移動(dòng)業(yè)務(wù)：WAP、彩信、飛信、Socket等 可根據(jù)移動(dòng)提供的特征識(shí)別自有業(yè)務(wù),49,49,用戶可識(shí)別,50,位置可知曉,終端的可移動(dòng)性是與固網(wǎng)的基本區(qū)別 結(jié)合用戶位置信息能增加分析和控制的維度 Gn接口上的GTP信令可提取SGSN、LAC和CI信息,51,流量可統(tǒng)計(jì),系統(tǒng)可以提供各種靈活的流量統(tǒng)計(jì)分析手段 支持分布采集，集中分析，關(guān)聯(lián)各種信息 支持定制化數(shù)據(jù)報(bào)表,多種文件輸出格式,歷史流量趨勢圖,流量流向分布圖,業(yè)務(wù)組分分布比例分析

32、,流量TopN排名,52,提供全業(yè)務(wù)流量控制能力 支持設(shè)置絕對(duì)和相對(duì)閾值 支持對(duì)出入方向獨(dú)立控制 支持策略的交叉和包含關(guān)系 支持黑白名單和時(shí)變策略 支持TOS/DSCP標(biāo)記和重標(biāo)記 支持多維策略同時(shí)生效 各類策略獨(dú)立流控，結(jié)果進(jìn)行 綜合決策，“一票通過”或 “一票否決”,業(yè)務(wù),用戶,位置,帶寬可管控,53,靈活動(dòng)態(tài)的管控,比特帶寬，原始傳輸?shù)臄?shù)據(jù)帶寬，按比特或字節(jié)計(jì)算 業(yè)務(wù)帶寬，內(nèi)容級(jí)別的數(shù)據(jù)流量，用戶可感知業(yè)務(wù)質(zhì)量 策略帶寬，根據(jù)網(wǎng)絡(luò)和用戶規(guī)模以及業(yè)務(wù)需求制定策略分配帶寬 動(dòng)態(tài)帶寬，根據(jù)用戶級(jí)別或?qū)傩詣?dòng)態(tài)調(diào)整帶寬需求，按需臨時(shí)申請(qǐng) 提供靈活的用戶策略、網(wǎng)絡(luò)策略和時(shí)變策略 按用戶、應(yīng)用、鏈路、

33、時(shí)段組合設(shè)置策略 提供基于應(yīng)用分類的速率限制和動(dòng)態(tài)策略 按網(wǎng)絡(luò)擁塞程度和時(shí)間區(qū)段動(dòng)態(tài)調(diào)整帶寬 逐用戶進(jìn)行業(yè)務(wù)應(yīng)用的定制和帶寬套餐,54,行為可感知,2G上網(wǎng)卡日流量趨勢,3G上網(wǎng)卡日流量趨勢,網(wǎng)站訪問量排名,搜索關(guān)鍵字排名,用戶流量模型對(duì)比分析,55,流量流向分析,網(wǎng)外流向分析,以BGP路由表為基礎(chǔ)，按AS域?yàn)閷?duì)象，分析骨干網(wǎng)進(jìn)出流量去向,提供以指定國家、省份、運(yùn)營商為目的 的流量業(yè)務(wù)分布,提供各省網(wǎng)、城域網(wǎng)在出口鏈路上的各種業(yè)務(wù)、流向流量分布情況,為調(diào)整Peer互聯(lián)鏈路，合理分配資源提供科學(xué)依據(jù),56,用戶行為數(shù)據(jù)中心,以數(shù)據(jù)用戶上網(wǎng)行為數(shù)據(jù)為中心 直接反映數(shù)據(jù)用戶上網(wǎng)消費(fèi)行為特征 形成具有

34、高價(jià)值的分析結(jié)果和業(yè)務(wù)模式 統(tǒng)合數(shù)據(jù)采集流程的建立 數(shù)據(jù)用戶信息多種多樣，涉及的系統(tǒng)眾多且各不相同 上網(wǎng)行為數(shù)據(jù)與其他用戶信息綜合能夠產(chǎn)生更好的效果 從不同系統(tǒng)采集數(shù)據(jù)的模式和流程，包括： DPI和AAA系統(tǒng)：用戶上下線、時(shí)長、使用量和上網(wǎng)喜好數(shù)據(jù) BOSS和CRM系統(tǒng)：用戶屬性數(shù)據(jù)和業(yè)務(wù)套餐 各業(yè)務(wù)系統(tǒng)的話單信息：語音、短信、彩信等 其他信息：用戶歸屬信、移動(dòng)終端信息、客服號(hào)投訴和咨詢紀(jì)錄、數(shù)據(jù)業(yè)務(wù)推介、回訪的反饋記錄,57,TMA系統(tǒng)主要功能,業(yè)務(wù)識(shí)別 用戶和群組 統(tǒng)計(jì)分析 流向分析 行為分析 流量管控 業(yè)務(wù)質(zhì)量 信息推送 安全防御,58,網(wǎng)絡(luò)業(yè)務(wù)識(shí)別,網(wǎng)絡(luò)業(yè)務(wù)的準(zhǔn)確識(shí)別是各級(jí)網(wǎng)絡(luò)流量監(jiān)控

35、的基礎(chǔ)。 業(yè)務(wù)識(shí)別的難度 對(duì)網(wǎng)絡(luò)應(yīng)用需求的不斷擴(kuò)大帶動(dòng)了網(wǎng)絡(luò)業(yè)務(wù)的發(fā)展，目前的網(wǎng)絡(luò)業(yè)務(wù)種類繁多。 因特網(wǎng)的自由發(fā)展的特點(diǎn)也使得網(wǎng)絡(luò)業(yè)務(wù)的設(shè)計(jì)和應(yīng)用非常自由，增加了業(yè)務(wù)多元化程度。 網(wǎng)絡(luò)業(yè)務(wù)軟件發(fā)展和變化速度很快，不同版本軟件可能帶來業(yè)務(wù)特性的不同。 為了能夠準(zhǔn)確地進(jìn)行業(yè)務(wù)識(shí)別，必須根據(jù)業(yè)務(wù)特點(diǎn)采用多種方式。 業(yè)務(wù)和應(yīng)用軟件的不斷變化，要求業(yè)務(wù)識(shí)別的實(shí)現(xiàn)也需要及時(shí)進(jìn)行更新。,59,DPI業(yè)務(wù)識(shí)別,特征字識(shí)別 并非只匹配識(shí)別內(nèi)容凈荷的前幾個(gè)字節(jié)或固定偏移位置，而是對(duì)整個(gè)報(bào)文的凈荷進(jìn)行滑動(dòng)匹配一個(gè)或多個(gè)協(xié)議關(guān)鍵字，在10Gbps線速下逐報(bào)文匹配。以BT為例，HandShake特征字為.BitTorr

36、ent Protocol“,60,DPI業(yè)務(wù)識(shí)別,協(xié)議指紋 報(bào)文的應(yīng)用層格式符合特定的約束條件，以eMule為例包括Marker、Message Type、Message Length等。大多數(shù)P2P協(xié)議的應(yīng)用層封裝中都呈現(xiàn)出類似TLV的格式，而且有些協(xié)議在內(nèi)容凈荷的頭和尾部還有一些特殊的字符，例如“|”，“$”等；QQ的報(bào)文結(jié)構(gòu)是固定的，可以根據(jù)相應(yīng)字節(jié)表示的含義去判斷該報(bào)文是否符合QQ的結(jié)構(gòu),61,DPI業(yè)務(wù)識(shí)別,協(xié)議狀態(tài)機(jī) P2P的客戶端在Peer和Peer的交互過程中大多采用特有的“信令”過程，以BT為例，如Handshake, Bitfield, Unchoke, Intereste

37、d, Request, Piece等。即使在數(shù)據(jù)傳輸階段也有類似的握手報(bào)文，例如Peer申請(qǐng)下載哪個(gè)Piece，通告其他Peer自己有哪些Piece等，通過這些特殊報(bào)文的識(shí)別進(jìn)行特征增強(qiáng),62,DPI業(yè)務(wù)識(shí)別,信令消息解析 某些業(yè)務(wù)在通信過程中，會(huì)在報(bào)文給出重要的信息，例如P2P通信中會(huì)給出其它節(jié)點(diǎn)的IP地址及端口信息，F(xiàn)TP被動(dòng)模式會(huì)給出服務(wù)器即將使用的端口信息，捕獲并分析這些報(bào)文中的信息可以幫助我們相應(yīng)的業(yè)務(wù),63,DFI業(yè)務(wù)識(shí)別,DFI對(duì)每個(gè)連接的報(bào)文速率和比特速率、流持續(xù)時(shí)間、報(bào)文長度分布規(guī)律等進(jìn)行統(tǒng)計(jì)，根據(jù)多維度的統(tǒng)計(jì)規(guī)律，可以大致判斷出一些業(yè)務(wù) 加密和私有業(yè)務(wù)的報(bào)文內(nèi)容中沒有DPI

38、特征，DFI算法是識(shí)別加密業(yè)務(wù)有效方法，是對(duì)DPI無效時(shí)的有效補(bǔ)充,64,綜合DPI和DFI的業(yè)務(wù)識(shí)別,TMA綜合DPI/DFI，協(xié)議指紋、通信模式和流量特征進(jìn)行識(shí)別 基于協(xié)議指紋、握手信令、狀態(tài)機(jī)等 基于流量統(tǒng)計(jì)特性的分析 基于時(shí)間序列累積特性的分析 識(shí)別流程是一系列遞進(jìn)疊代的分析過程，通過一般疑似、重點(diǎn)分析、高度疑似、排除或確認(rèn)自學(xué)習(xí)分步驟的方法進(jìn)行多維度分析和篩選 支持P2P下載、P2P流媒體、VoIP、即時(shí)通信等各類業(yè)務(wù)，大類業(yè)務(wù)下細(xì)分為小類業(yè)務(wù)，如P2P下載業(yè)務(wù)下區(qū)分BT、eMule、迅雷等 持續(xù)跟蹤各種主流P2P應(yīng)用和其他應(yīng)用的發(fā)展和演進(jìn)，形成協(xié)議分析識(shí)別的標(biāo)準(zhǔn)流程，可輕松應(yīng)對(duì)新出

39、現(xiàn)的P2P業(yè)務(wù),65,TMA系統(tǒng)功能展示,66,Gn/Gi鏈路流量和利用率分析,各類業(yè)務(wù)流量趨勢預(yù)測,cmnet和cmwap流量比例分析,分運(yùn)營商分省流向分析,用戶流量排名和行為分析,活躍用戶數(shù)量、流量和業(yè)務(wù),移動(dòng)自營業(yè)務(wù)和網(wǎng)站分析,指定APN的業(yè)務(wù)和用戶分析,TMA系統(tǒng)功能展示,67,熱點(diǎn)LAC和小區(qū)的流量排名分析,熱點(diǎn)區(qū)域的用戶排名分析,TMA系統(tǒng)功能展示,68,TMA系統(tǒng)性能指標(biāo),光旁路保護(hù)設(shè)備OptiSwap切換時(shí)延小于5ms 支持2.5G和10G雙向線速轉(zhuǎn)發(fā)和業(yè)務(wù)管控能力 單設(shè)備在2.5G和10G滿速率條件下實(shí)測72小時(shí)丟包率為0 單設(shè)備在滿速率和配置最大策略數(shù)的條件下轉(zhuǎn)發(fā)時(shí)延小于5

40、0us 省網(wǎng)和運(yùn)營商典型鏈路識(shí)別的業(yè)務(wù)流量大于總流量的80% 已識(shí)別業(yè)務(wù)在滿速率條件下的識(shí)別率大于99% 單設(shè)備最大支持4K個(gè)用戶分群和16K個(gè)管控策略 單個(gè)流管控策略流控精度小于1Kbps 聚合流管控策略流控精度小于10Kbps 管控策略下發(fā)到生效時(shí)延小于1秒,69,CMNET網(wǎng)絡(luò)主要應(yīng)用,中國移動(dòng)互聯(lián)網(wǎng)流量分析控制系統(tǒng)實(shí)現(xiàn)對(duì)鏈路、網(wǎng)元、終端、用戶和服務(wù)提供商的全面監(jiān)控，綜合提供擁塞發(fā)現(xiàn)和流控、網(wǎng)元安全防護(hù)、業(yè)務(wù)熱點(diǎn)發(fā)現(xiàn)、用戶喜好分析、服務(wù)提供商管理、用戶網(wǎng)絡(luò)交互功能。服務(wù)于網(wǎng)絡(luò)運(yùn)維，并支撐業(yè)務(wù)拓展 中國移動(dòng)互聯(lián)網(wǎng)流量分析控制系統(tǒng)的部署將覆蓋CMNET國際出口、國內(nèi)運(yùn)營商互連出口、移動(dòng)各省網(wǎng)

41、出口；移動(dòng)各省省間互連接口和與其他運(yùn)營商直連鏈路；IDC出口鏈路；以及核心網(wǎng)分組域Gi接口和Gn接口鏈路。,70,網(wǎng)站流量統(tǒng)計(jì),在CMNET骨干互聯(lián)出口和各省第三方互聯(lián)出口可以觀測到中國移動(dòng)內(nèi)部用所有對(duì)外部的訪問流量，對(duì)于掌握和評(píng)估中國移動(dòng)整體及移動(dòng)各省產(chǎn)生的互聯(lián)流量流向具有重要意義。 在出口層面，移動(dòng)用戶訪問外部流量中最主要的是P2P類流量和網(wǎng)站訪問流量。對(duì)于P2P流量一般采用管控和疏導(dǎo)處理，而對(duì)于網(wǎng)站訪問則可能進(jìn)行進(jìn)一步的優(yōu)化。 分析移動(dòng)用戶訪問的主要外網(wǎng)熱點(diǎn)網(wǎng)站資源分布情況，為合理規(guī)劃引入網(wǎng)絡(luò)資源，降低網(wǎng)間依賴度提供重要的決策依據(jù)。,71,網(wǎng)站的定義,網(wǎng)站（英文：Website）是指在互

42、聯(lián)網(wǎng)上，根據(jù)一定的規(guī)則，使用HTML等工具制作的用于展示特定內(nèi)容的相關(guān)網(wǎng)頁的集合。簡單地說，網(wǎng)站是一種通信工具，就像布告欄一樣，人們可以通過網(wǎng)站來發(fā)布自己想要公開的信息，或者利用網(wǎng)站來提供相關(guān)的網(wǎng)絡(luò)服務(wù)。人們可以通過網(wǎng)頁瀏覽器來訪問網(wǎng)站，獲取自己需要的信息或者享受網(wǎng)絡(luò)服務(wù)。 在互聯(lián)網(wǎng)的早期，網(wǎng)站還只能保存單純的文本。經(jīng)過幾年的發(fā)展，當(dāng)萬維網(wǎng)出現(xiàn)之后，圖像、聲音、動(dòng)畫、視頻，甚至3D技術(shù)開始在互聯(lián)網(wǎng)上流行起來，網(wǎng)站也慢慢地發(fā)展成我們現(xiàn)在看到的圖文并茂的樣子。通過動(dòng)態(tài)網(wǎng)頁技術(shù)，用戶也可以與其他用戶或者網(wǎng)站管理者交流。也有一些網(wǎng)站提供電子郵件服務(wù)。,72,網(wǎng)站訪問的定義,一般而言，網(wǎng)站訪問為用戶使用

43、瀏覽器通過HTTP協(xié)議按照域名訪問一定的網(wǎng)頁內(nèi)容的過程，隨著瀏覽器支持協(xié)議增多和能力增強(qiáng)，網(wǎng)站內(nèi)容的多樣化，網(wǎng)站訪問的組成也變得復(fù)雜。 所有通過瀏覽器的訪問記關(guān)聯(lián)的訪問： 從訪問協(xié)議：HTTP、HTTPS、流媒體協(xié)議、P2P流媒體下載協(xié)議等 從訪問方式：瀏覽器、瀏覽器嵌入的媒體播放器、P2P播放軟件、其它使用HTTP協(xié)議的軟件等 從訪問內(nèi)容：靜態(tài)網(wǎng)頁、圖片、文件、流媒體文件等,73,網(wǎng)站的標(biāo)識(shí),網(wǎng)站一般由域名標(biāo)識(shí)資源，但一個(gè)網(wǎng)站可能使用多個(gè)二級(jí)或三級(jí)域名來表示不同的服務(wù)內(nèi)容。在統(tǒng)計(jì)分析中，可以從Host域名角度進(jìn)行分析，但在多個(gè)域名屬于同一個(gè)網(wǎng)站的情況下，可以根據(jù)網(wǎng)站域名歸納出一級(jí)域名，用來定

44、義和表征網(wǎng)站。 網(wǎng)站除了通過域名訪問外，也可能存在通過IP地址訪問，這部分IP地址，可以通過配置來制定，也可以通過在DNS或GET報(bào)文中將網(wǎng)管關(guān)聯(lián)的域名與IP地址對(duì)應(yīng)來動(dòng)態(tài)指定。 對(duì)于出口層面的網(wǎng)站分析，目的是在于找到訪問熱點(diǎn)，而一般訪問熱點(diǎn)由特定的內(nèi)容提供商SP提供，所以在識(shí)別和統(tǒng)計(jì)域名的基礎(chǔ)上，需要將域名按照提供他們的運(yùn)營商來歸納進(jìn)行統(tǒng)計(jì)。,74,網(wǎng)站訪問的具體過程,一般瀏覽器訪問過程 用戶在瀏覽器地址欄輸入提供要訪問的URL（包括Host域名、URI路徑）； 瀏覽器提取URL中的域名，向域名服務(wù)器發(fā)出DNS解析請(qǐng)求報(bào)文； 域名服務(wù)器返回DNS應(yīng)答報(bào)文，其中包含該域名對(duì)應(yīng)的IP地址信息，可

45、能有多個(gè)IP； 瀏覽器選擇其中的一個(gè)IP地址，向網(wǎng)站服務(wù)器IP出數(shù)據(jù)訪問請(qǐng)求，請(qǐng)求報(bào)文中包含域名和URI信息。 瀏覽器根據(jù)域名主機(jī)返回的數(shù)據(jù)顯示網(wǎng)頁的內(nèi)容。,75,訪問網(wǎng)站的方式,服務(wù)器或服務(wù)器群提供，通過域名解析訪問。 訪問Web Cache。 通過代理訪問。 訪問CDN資源。 主機(jī)域名托管方式。,76,CMNET出口的網(wǎng)站流量統(tǒng)計(jì)的難點(diǎn),出口層面，網(wǎng)站訪問的流量比較大。 如何定義完整的網(wǎng)站流量并準(zhǔn)確統(tǒng)計(jì) 訪問資源多種多樣，包括網(wǎng)頁、圖片、流媒體、文件等。 網(wǎng)站提供服務(wù)的不同方式?jīng)Q定了網(wǎng)站訪問包括域名訪問、IP地址訪問、CDN或Web Cache等，網(wǎng)站標(biāo)識(shí)復(fù)雜。 網(wǎng)站訪問工具包括了各種瀏覽器、應(yīng)用軟件。 域名和網(wǎng)站、SP的對(duì)應(yīng)關(guān)系沒有一定之規(guī)。 包含了媒體、文件等關(guān)聯(lián)訪問，域名、IP地址、訪問協(xié)議等情況比較復(fù)雜。 網(wǎng)站流量統(tǒng)計(jì)，既要統(tǒng)計(jì)出網(wǎng)流量，更要