互聯(lián)網(wǎng)質(zhì)量?jī)?yōu)化經(jīng)驗(yàn)

2011年7互聯(lián)網(wǎng)質(zhì)量?jī)?yōu)化目錄全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術(shù)目錄22北美和歐洲互聯(lián)網(wǎng)滲透率最高亞洲互聯(lián)網(wǎng)用戶數(shù)最大、發(fā)展?jié)摿ψ畲竺绹?guó)是全球互聯(lián)網(wǎng)中心各大洲建流量交換以北美為最大全球互聯(lián)網(wǎng)內(nèi)容源仍以美國(guó)為中心中國(guó)網(wǎng)站用戶主要集中在國(guó)內(nèi)，國(guó)際化程度不高，信息源質(zhì)量和創(chuàng)新度不夠（百度用戶96%來自國(guó)內(nèi)）互聯(lián)網(wǎng)發(fā)展的主要指標(biāo)互聯(lián)網(wǎng)的網(wǎng)絡(luò)價(jià)值取決于用戶規(guī)模、網(wǎng)絡(luò)能力和內(nèi)容資源三大因素3互聯(lián)網(wǎng)指標(biāo)VerizonAT&TNTTLevel3中國(guó)電信中國(guó)移動(dòng)海外POP點(diǎn)數(shù)量（個(gè)）>1000380025180201自建、1租用連通自治域數(shù)（個(gè)）222422845902565暫無數(shù)據(jù)18轉(zhuǎn)接客戶數(shù)（個(gè)）3150934暫無數(shù)據(jù)>5000暫無數(shù)據(jù)0寬帶用戶數(shù)（戶）1000萬1400萬1700萬05346萬130萬內(nèi)容源情況（互聯(lián)網(wǎng)網(wǎng)站數(shù)）暫無數(shù)據(jù)暫無數(shù)據(jù)暫無數(shù)據(jù)暫無數(shù)據(jù)數(shù)十萬個(gè)數(shù)百個(gè)3全球TOP10網(wǎng)站全球TOP50網(wǎng)站分布中國(guó)網(wǎng)站訪問主要集中在國(guó)內(nèi)數(shù)據(jù)來源：2010年6月Alegal公司統(tǒng)計(jì)發(fā)布全球互聯(lián)網(wǎng)內(nèi)容源仍以美國(guó)為中心，TOP50排名網(wǎng)站中占50%以上；截止到09年中國(guó)網(wǎng)站數(shù)量達(dá)到323萬，與全球相比數(shù)量較少，信息源質(zhì)量和創(chuàng)新程度不夠?；ヂ?lián)網(wǎng)內(nèi)容源分布情況排名網(wǎng)站名國(guó)家1GOOGLE美國(guó)2Facebook美國(guó)3Youtube美國(guó)4Yahoo美國(guó)5WindowsLive美國(guó)6Wikipedia美國(guó)7百度中國(guó)8B美國(guó)9MSN美國(guó)10QQ.com中國(guó)44中國(guó)移動(dòng)的互聯(lián)網(wǎng)發(fā)展國(guó)內(nèi)環(huán)境在移動(dòng)通信和有線寬帶領(lǐng)域均遭受不對(duì)稱管制，國(guó)內(nèi)宏觀環(huán)境總體較差出口結(jié)算不對(duì)稱管制寬帶運(yùn)營(yíng)牌照限制監(jiān)管力度逐步加強(qiáng)根據(jù)工信部的結(jié)算管理辦法，電信和聯(lián)通之間采用互不結(jié)算模式；移動(dòng)和電信、聯(lián)通之間采用付費(fèi)結(jié)算模式，按照互聯(lián)端口支付結(jié)算費(fèi)用2010年中國(guó)移動(dòng)骨干網(wǎng)結(jié)算成本約100萬/G/月，全行業(yè)最高，2010年國(guó)內(nèi)結(jié)算費(fèi)達(dá)到11.2億。電信重組后，中國(guó)移動(dòng)通過中國(guó)鐵通間接獲得有線寬帶運(yùn)營(yíng)牌照、根據(jù)工信部最新文件，中國(guó)移動(dòng)只可經(jīng)營(yíng)利用TD網(wǎng)絡(luò)開展的無線寬帶接入和網(wǎng)元出租業(yè)務(wù)。中國(guó)體統(tǒng)經(jīng)中國(guó)移動(dòng)授權(quán)可以開展有線寬帶接入業(yè)務(wù)。2009年12月份工信部電管【2009】686號(hào)文，對(duì)中國(guó)移動(dòng)和中國(guó)鐵通的經(jīng)營(yíng)范圍作出了明確規(guī)定；各地電信加大申告力度，各地通管局逐步加大管制力度，明確移動(dòng)不能經(jīng)營(yíng)有線寬帶業(yè)務(wù)并對(duì)授權(quán)鐵通經(jīng)營(yíng)有線寬帶制訂了管制細(xì)則。移動(dòng)通信非主導(dǎo)運(yùn)營(yíng)商主導(dǎo)運(yùn)營(yíng)商移動(dòng)固定對(duì)等結(jié)算共建共享攜號(hào)轉(zhuǎn)網(wǎng)價(jià)格監(jiān)管互聯(lián)網(wǎng)非主導(dǎo)運(yùn)營(yíng)商主導(dǎo)運(yùn)營(yíng)商最后一公里接入壟斷付費(fèi)結(jié)算牌照限制內(nèi)容資源壟斷55全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術(shù)CMNET總體情況面臨主要問題分析目錄66寬帶用戶上網(wǎng)感知的影響因素網(wǎng)站本身處理能力不足，業(yè)務(wù)忙時(shí)響應(yīng)時(shí)延較長(zhǎng)；網(wǎng)站頁(yè)面設(shè)計(jì)不合理，頁(yè)面插件多，造成用戶打開慢；網(wǎng)站資源接入帶寬不足。用戶電腦處理能力不足；用戶終端感染病毒，大量發(fā)送數(shù)據(jù)包造成處理器繁忙；用戶終端瀏覽器安裝插件太多，造成打開網(wǎng)頁(yè)處理緩慢；用戶終端軟硬件故障。路由器、防火墻等網(wǎng)絡(luò)設(shè)備處理能力不足，在業(yè)務(wù)忙時(shí)會(huì)造成丟包、會(huì)話建立時(shí)間長(zhǎng)；域名解析服務(wù)器處理處理能力不足導(dǎo)致用戶域名重復(fù)解析；網(wǎng)絡(luò)中鏈路帶寬擁塞；互聯(lián)互通干擾。網(wǎng)絡(luò)網(wǎng)站終端影響用戶上網(wǎng)感知的主要涉及終端、網(wǎng)絡(luò)、網(wǎng)站三個(gè)環(huán)節(jié)。網(wǎng)絡(luò)影響主要是端到端的帶寬保障，任何段落帶寬利用率超過80%都可能導(dǎo)致網(wǎng)絡(luò)層面數(shù)據(jù)傳輸時(shí)延增加、丟包等。77網(wǎng)絡(luò)各環(huán)節(jié)影響分析城域網(wǎng)省網(wǎng)國(guó)際互聯(lián)網(wǎng)電信聯(lián)通教育網(wǎng)CMNET骨干網(wǎng)用戶接入網(wǎng)城域網(wǎng)省網(wǎng)骨干網(wǎng)互聯(lián)網(wǎng)接入網(wǎng)主要影響是部分區(qū)域用戶集中接入，但是受資源限制，存在電路配置帶寬不足現(xiàn)象。隨著城域網(wǎng)擴(kuò)容已經(jīng)逐步緩解。城域網(wǎng)和省網(wǎng)，此前由于部分中繼帶寬利用率超過90%，造成忙時(shí)擁塞。隨著CMNET四擴(kuò)工程推進(jìn)，省內(nèi)和省網(wǎng)出口中繼利用率基本在50%以內(nèi)，省內(nèi)整體時(shí)延在30ms內(nèi)骨干網(wǎng)除個(gè)別中繼外整體利用率不高，骨干網(wǎng)整體時(shí)延在60ms內(nèi)，基本上不影響用戶感知；1、國(guó)際出口電路整體利用率不太高，但是由于互聯(lián)對(duì)象較少，造成訪問多數(shù)國(guó)際互聯(lián)網(wǎng)資源緩慢；2、國(guó)內(nèi)互聯(lián)網(wǎng)資源主要集中在電信、網(wǎng)通網(wǎng)內(nèi)，訪問速度受限于骨干網(wǎng)出口的帶寬；其他省網(wǎng)88互聯(lián)網(wǎng)國(guó)內(nèi)、國(guó)際出口現(xiàn)狀國(guó)際出口總帶寬：33.2G（北美9G，香港24.2G）國(guó)內(nèi)出口總帶寬：133G（電信42.5G，聯(lián)通70G，鐵通23.5G，教育網(wǎng)3.5G，百度1G，世紀(jì)互聯(lián)2.5G）接入網(wǎng)城域網(wǎng)省網(wǎng)骨干網(wǎng)99CMNET骨干網(wǎng)絡(luò)現(xiàn)狀CMNET現(xiàn)狀自2000年建成以來，網(wǎng)絡(luò)架構(gòu)沒有大的變化；骨干節(jié)點(diǎn)沒有增加；出口節(jié)點(diǎn)沒有增加；網(wǎng)絡(luò)發(fā)展體現(xiàn)在傳輸帶寬的增長(zhǎng)以及出口帶寬的增加；為滿足國(guó)際業(yè)務(wù)的疏通，先后建設(shè)了香港、北美兩個(gè)海外節(jié)點(diǎn)；CMNET資源及業(yè)務(wù)增長(zhǎng)情況CMNET網(wǎng)絡(luò)承載流量：2002年底為851M，2010年底為308525M，九年增長(zhǎng)363倍；CMNET網(wǎng)間互連流量：2002年初為283M，2010年底為134112M，九年增長(zhǎng)474倍；接入網(wǎng)城域網(wǎng)省網(wǎng)骨干網(wǎng)1010全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術(shù)CMNET總體情況面臨主要問題分析目錄1111CMNET面臨的主要問題規(guī)模?。篊MNET網(wǎng)絡(luò)建設(shè)于2000年，較電信、聯(lián)通的網(wǎng)絡(luò)晚了近五年時(shí)間；資源少：90％的網(wǎng)絡(luò)資源在外網(wǎng)，85％的互聯(lián)網(wǎng)流量需要出網(wǎng)訪，網(wǎng)間互通壓力巨大；競(jìng)爭(zhēng)激烈：全業(yè)務(wù)競(jìng)爭(zhēng)后，對(duì)方已經(jīng)有意壓制CMNET的發(fā)展，網(wǎng)間帶寬擴(kuò)容難度越來越大；信息安全：國(guó)家賦予運(yùn)營(yíng)商控制互聯(lián)網(wǎng)上不良信息傳播的使命，前期以來人力來發(fā)現(xiàn)、攔截不良信息，投入人力大，效率低。國(guó)內(nèi)IP地址分布國(guó)際出口帶寬分布I地址量（B類）國(guó)際帶寬（Mbps）1212網(wǎng)內(nèi)資源少，對(duì)外網(wǎng)依賴程度大出境流量中Web比例遠(yuǎn)小于入境流量，說明大量的網(wǎng)站資源在CMNET以外。網(wǎng)外的Web站點(diǎn)較為分散，排名前十位的網(wǎng)站訪問量不到13％；社交、搜索、門戶網(wǎng)站訪問量較大1313網(wǎng)間帶寬瓶頸導(dǎo)致業(yè)務(wù)質(zhì)量無法保證從全網(wǎng)負(fù)荷分布來看，高負(fù)荷鏈路共27條，其中國(guó)內(nèi)、國(guó)際出口占20條，網(wǎng)內(nèi)鏈路占7條中低負(fù)荷鏈路共202條，其中國(guó)內(nèi)、國(guó)際出口鏈路僅占9條；

CMNET網(wǎng)內(nèi)質(zhì)量是可以保證的，國(guó)內(nèi)出口鏈路是CMNET網(wǎng)絡(luò)中的瓶頸，且又是流量集中的方向。從目前流量模型看，國(guó)內(nèi)出口流量是主要部分，占全部流量的83%1414目錄全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術(shù)流量疏通流量控制內(nèi)容緩存內(nèi)容引入問題與思考目錄1515互聯(lián)網(wǎng)總體優(yōu)化方向思考核心目標(biāo)：提高互聯(lián)網(wǎng)用戶業(yè)務(wù)感知；重點(diǎn)解決網(wǎng)速慢、錯(cuò)誤代碼等用戶投訴；提高忙時(shí)用戶平均下載速度；重點(diǎn)方向：提高網(wǎng)內(nèi)資源消費(fèi)比例，降低對(duì)外網(wǎng)資源依賴；結(jié)合內(nèi)容引入、CDN、重要資源直聯(lián)等手段，提高用戶網(wǎng)內(nèi)資源消費(fèi)比例；疏堵結(jié)合，降低P2P下載大量消耗出口帶寬影響瀏覽、游戲等時(shí)延敏感業(yè)務(wù)；輔助手段：第三方出口作為階段性應(yīng)急手段，解決網(wǎng)內(nèi)無法引入的熱點(diǎn)資源，降低結(jié)算費(fèi)用；考慮到第三方出口的不穩(wěn)定性、集團(tuán)結(jié)算方法變化等因素，逐步降低對(duì)第三方出口的依賴。1616熱點(diǎn)網(wǎng)站內(nèi)容引入IDC內(nèi)，資源就近訪問第三方出口社會(huì)IDC直連大型網(wǎng)站直連基于DPI/DFI進(jìn)行流量分析，對(duì)P2P流量進(jìn)行分類控制，降低下載類流量占比重定向輔助緩存通用緩存系統(tǒng)蘭汛CDNCMNET加速手段綜述流量疏導(dǎo)流量控制內(nèi)容引入內(nèi)容緩存1717目錄全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術(shù)流量疏通流量控制內(nèi)容緩存內(nèi)容引入問題與思考1818骨干網(wǎng)層面13地市城域網(wǎng)核心NE5000E南京蘇州N*BRASN*SR專線路由器/交換機(jī)N*AC集團(tuán)CMNET骨干網(wǎng)絡(luò)南京省網(wǎng)出口無錫省網(wǎng)出口省內(nèi)互聯(lián)網(wǎng)第三方電路部署方案省網(wǎng)專用第三方出口路由器C7613電信網(wǎng)絡(luò)網(wǎng)通網(wǎng)絡(luò)世紀(jì)互聯(lián)電信網(wǎng)通地市專用第三方出口路由器電信NAT出口NAT/BGP穿透BGP+NAT4*10G4*10G科研網(wǎng)網(wǎng)通骨干網(wǎng)疏通數(shù)據(jù)流第三方疏通數(shù)據(jù)流流量疏通總體原則：第三方電路疏通個(gè)人寬帶流量、個(gè)別互聯(lián)網(wǎng)訪問要求高的集團(tuán)客戶流量，移動(dòng)互聯(lián)網(wǎng)相關(guān)業(yè)務(wù)流量全部通過集團(tuán)骨干網(wǎng)疏通。集團(tuán)公司關(guān)于國(guó)際流量不通過省內(nèi)第三方出口疏通要求。1919互聯(lián)網(wǎng)第三方電路流量疏導(dǎo)方式分析電路類型功能特點(diǎn)路由策略優(yōu)點(diǎn)缺點(diǎn)使用定位BGP方式雙向?qū)Φ然ヂ?lián)，屬于標(biāo)準(zhǔn)網(wǎng)間互聯(lián)方式；按地址段交換路由，對(duì)等交換路由雙向互通，簡(jiǎn)單、靈活、可靠，價(jià)格偏高電信方向目前買不到。省網(wǎng)層面部署少量電路，保障部分重點(diǎn)集團(tuán)客戶和業(yè)務(wù)網(wǎng)站質(zhì)量。NAT方式只能實(shí)現(xiàn)本網(wǎng)用戶到對(duì)方資源的單向訪問；部分銀行、游戲類應(yīng)用受限。方式一：按照源地址策略路由，引導(dǎo)流量到第三方出口路由策略數(shù)量相對(duì)較少，對(duì)設(shè)備負(fù)荷壓力不大。訪問網(wǎng)內(nèi)其他省份流量從骨干網(wǎng)出口倒流；部分SPSOCKET類業(yè)務(wù)受影響；對(duì)于用戶感知提升不明顯。有效降低集團(tuán)結(jié)算分?jǐn)傎M(fèi)用，可以集中在省網(wǎng)層面少量部署大帶寬電路。方式二：源地址+目的地址組合，細(xì)分方向引導(dǎo)流量到第三方出口可以針對(duì)性精細(xì)疏通流量，用戶訪問質(zhì)量改善明顯。（1）路由策略組合造成策略數(shù)量巨大，影響路由器負(fù)荷和轉(zhuǎn)發(fā)性能。（2）大帶寬電路利用率很難提高。適合小帶寬多電路分散部署，提高用戶上網(wǎng)質(zhì)量。方式三：針對(duì)外網(wǎng)熱點(diǎn)資源地址段，在網(wǎng)內(nèi)發(fā)布靜態(tài)路由，強(qiáng)制指向第三方出口對(duì)熱點(diǎn)網(wǎng)站訪問質(zhì)量改善明顯，可以有效降低用戶訪問慢的投訴。（1）用戶訪問外網(wǎng)資源分散，集中部署涉及路由條目數(shù)量巨大，影響設(shè)備性能；（2）大帶寬電路利用率很難提升；（3）易引發(fā)外網(wǎng)用戶無法訪問網(wǎng)內(nèi)資源的投訴。適合小帶寬多電路分散部署，定向改善電信/聯(lián)通網(wǎng)內(nèi)熱點(diǎn)網(wǎng)站訪問質(zhì)量。目前省內(nèi)NAT電路主要按照方式二和方式三部署。2020省內(nèi)互聯(lián)網(wǎng)第三方電路部署策略綜合考慮路由策略復(fù)雜性、對(duì)設(shè)備負(fù)荷影響，以及小帶寬電路被發(fā)現(xiàn)風(fēng)險(xiǎn)低、分公司流量疏通方向需求多樣性等因素，目前第三方出口采取“小帶寬、多電路、分散部署”的策略，在省網(wǎng)和城域網(wǎng)層面分層部署：省網(wǎng)層面以降低結(jié)算分?jǐn)傎M(fèi)用為目標(biāo)，開通少量大帶寬BGP/NAT方式電路為主；城域網(wǎng)層面以解決用戶投訴和互聯(lián)封堵、提升用戶感知為目標(biāo)，在城域網(wǎng)層面部署中小帶寬（100-1000M）NAT方式出口；2121智能疏導(dǎo)系統(tǒng)情況針對(duì)寬帶用戶對(duì)于網(wǎng)速慢的投訴主要集中在網(wǎng)頁(yè)瀏覽、在線視頻等問題，蘇州分公司研發(fā)了互聯(lián)網(wǎng)智能疏導(dǎo)系統(tǒng)，通過增加負(fù)載均衡設(shè)備，結(jié)合第三方出口電路，對(duì)用戶網(wǎng)頁(yè)瀏覽、在線視頻等業(yè)務(wù)進(jìn)行優(yōu)化提速。通過對(duì)蘇州試點(diǎn)地區(qū)的投訴統(tǒng)計(jì)，系統(tǒng)上線后，試點(diǎn)地區(qū)寬帶用戶關(guān)于網(wǎng)速慢的投訴下降了超過60%。針對(duì)特定類型流量，結(jié)合策略路由，可以有效降低策略路由的配置數(shù)量，提高第三方出口電路利用率。具有自動(dòng)選擇最優(yōu)路由、自動(dòng)檢測(cè)第三方出口電路的調(diào)度能力。主要特點(diǎn)2222獨(dú)立IDC直聯(lián)電路疏通CMNET用戶CMIDC內(nèi)容商A獨(dú)立IDC內(nèi)容商B原理：通過機(jī)房間光纖的直接連接，實(shí)現(xiàn)一方用戶對(duì)獨(dú)立IDC內(nèi)容的訪問。特點(diǎn)：內(nèi)容單向訪問。一方向?qū)Ψ桨l(fā)起業(yè)務(wù)訪問與使用。發(fā)起方須向?qū)Ψ街Ц顿M(fèi)用。優(yōu)點(diǎn)：快速解決內(nèi)容源問題，提高移動(dòng)寬帶用戶訪問效果。缺點(diǎn)：訪問內(nèi)容有限制，業(yè)務(wù)內(nèi)容取決于光纖連接的對(duì)方服務(wù)器/IDC內(nèi)存放的內(nèi)容范圍。目前與獨(dú)立IDC世紀(jì)互聯(lián)有1G的電路直聯(lián)，忙時(shí)利用率70.23%。省用用戶可以訪問其IDC內(nèi)托管的近3000家各類企業(yè)托管網(wǎng)站，其中大型互聯(lián)網(wǎng)網(wǎng)站近20家。2323大型網(wǎng)站直連方案（騰訊）2.5GPOS目前騰訊相關(guān)投訴占網(wǎng)速慢相關(guān)投訴總量接近30%現(xiàn)狀措施進(jìn)展省公司網(wǎng)絡(luò)部牽頭實(shí)施江蘇CMNET省網(wǎng)與深圳騰訊CAP直連項(xiàng)目，初期直連帶寬為2.5G。已完成電路調(diào)測(cè)，目前正在協(xié)同騰訊調(diào)整策略。CAP平臺(tái)是騰訊為了解決互聯(lián)網(wǎng)接入商訪問其業(yè)務(wù)而專門建立的接入平臺(tái)。2424目錄全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術(shù)流量疏通流量控制內(nèi)容緩存內(nèi)容引入問題與思考目錄2525CMNET流控系統(tǒng)基本思路基于DPI識(shí)別技術(shù)，

基于“特征字”、行為模式等特征識(shí)別P2P等特定類型的流量，應(yīng)用特定的策略為實(shí)現(xiàn)互聯(lián)網(wǎng)流量做精細(xì)化的分析，整體降低互聯(lián)網(wǎng)結(jié)算分?jǐn)傎M(fèi)用，提升用戶使用感知，啟動(dòng)了流控系統(tǒng)建設(shè)；2009年公司啟動(dòng)了CMNET流量監(jiān)控平臺(tái)一期項(xiàng)目建設(shè)，對(duì)當(dāng)時(shí)的17.5G省網(wǎng)出口流量監(jiān)控，實(shí)現(xiàn)基本的流量和流向分析、P2P流控、廣告推送功能；2010年啟動(dòng)了二期擴(kuò)容項(xiàng)目，所有監(jiān)控點(diǎn)下沉到地市城域數(shù)據(jù)網(wǎng)出口，同時(shí)對(duì)省網(wǎng)IDC出口流量、Radius流量、地市第三方出口流量進(jìn)行全面監(jiān)控；二期采用華為SIG9280E設(shè)備對(duì)原有一期平臺(tái)進(jìn)行全面替換，目前工程仍在實(shí)施中；主要目標(biāo)：落實(shí)對(duì)P2P流量疏堵結(jié)合的策略，保持P2P流量健康發(fā)展；2626流量監(jiān)控平臺(tái)系統(tǒng)組網(wǎng)圖分光10GPOS地市NE5000E南京4臺(tái)SIG9280EIP網(wǎng)T8000干擾WEB管理干擾WEB管理省干RadiusSIG1000無錫NE5000E南京NE5000E管理鏈路干擾鏈路省公司CMNET6509南京S5300無錫3臺(tái)SIG9280E無錫S5300無錫CMNET6509IP網(wǎng)管理MPLSVPN管理MPLSVPN地市CMNET6509南京1臺(tái)SIG9280E無錫1臺(tái)SIG9280E第三方出口SIG1000IDCNE80E每臺(tái)8*GE緩存icach完成省網(wǎng)出口雙向鏈路的全監(jiān)控和流量、流向分析；已完成省IDC中心出口100G雙向鏈路的監(jiān)控，對(duì)IDC中引入流量TOP20的網(wǎng)站進(jìn)行深度監(jiān)控；省網(wǎng)出口部署P2P流控策略，忙時(shí)對(duì)出口流量進(jìn)行打壓，緩解互聯(lián)互通瓶頸；2727P2P流量分析及控制目前系統(tǒng)可對(duì)P2P流量進(jìn)行精細(xì)化的分析，可細(xì)化到每種應(yīng)用的流量情況基于流量分析，系統(tǒng)可制定復(fù)雜的控制策略，實(shí)現(xiàn)基于區(qū)域、協(xié)議、時(shí)間、白名單、帶寬、比例的多維度綜合控制降低結(jié)算費(fèi)用，限制P2P下載類流量占比，保障時(shí)延敏感類流量2828與外部系統(tǒng)數(shù)據(jù)對(duì)接-Cache平臺(tái)根據(jù)緩存系統(tǒng)需求對(duì)所有的流量按數(shù)據(jù)模板要求進(jìn)行篩選，將篩選出的有效用戶請(qǐng)求數(shù)據(jù)通過接口傳送給緩存平臺(tái)目前已完成與一期、二期緩存平臺(tái)的對(duì)接南京無錫南京徐州無錫鎮(zhèn)江其他CMNETSIGRSSCSSCSSRSS：重定向子系統(tǒng)DSS：調(diào)度子系統(tǒng)CSS：緩存子系統(tǒng)MSS：管理子系統(tǒng)DSSMSSCSSRSSSIG南京、蘇州、常州、揚(yáng)州、鹽城、徐州六個(gè)地市節(jié)點(diǎn)，使用本地二級(jí)緩存。。。。。。無錫、南通、泰州、鎮(zhèn)江四個(gè)節(jié)點(diǎn)使用省級(jí)緩存淮安、連云港、宿遷三個(gè)地市使用原來一期緩存平臺(tái)

二期緩存S5328S5328S535210G1GIDC機(jī)房59號(hào)機(jī)房二期緩存二期緩存二期緩存一期緩存2929目錄全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術(shù)流量疏通流量控制內(nèi)容緩存內(nèi)容引入問題與思考目錄3030互聯(lián)網(wǎng)Cache系統(tǒng)加速優(yōu)化基本原理用戶A請(qǐng)求下載外網(wǎng)站點(diǎn)或PEER的某個(gè)文件；緩存直接向外部主機(jī)請(qǐng)求下載該文件；外部主機(jī)響應(yīng)請(qǐng)求，將文件傳送給Cache系統(tǒng)；Cache系統(tǒng)返回用戶同時(shí)將文件保存在本地；用戶B請(qǐng)求下載統(tǒng)一內(nèi)容，Cache系統(tǒng)查詢存儲(chǔ)服務(wù)器，發(fā)現(xiàn)本地緩存文件有效，直接返回給用戶B一次外網(wǎng)訪問，多次內(nèi)網(wǎng)服務(wù)：Cache作為互聯(lián)網(wǎng)與移動(dòng)網(wǎng)絡(luò)之間的緩沖地帶，有效吸納互聯(lián)網(wǎng)通道上的熱點(diǎn)流量，減少網(wǎng)間和網(wǎng)內(nèi)流量壓力，加快網(wǎng)絡(luò)訪問速度，提高用戶互聯(lián)網(wǎng)體驗(yàn)，降低對(duì)網(wǎng)間互聯(lián)鏈路的依賴。DNS重定向策略路由方案HTTP重定向方案3131WEBCACHE系統(tǒng)重定向機(jī)制用戶基于客戶端瀏覽網(wǎng)頁(yè)，向本地DNS發(fā)出域名解析請(qǐng)求；本地DNS向外網(wǎng)發(fā)起DNS請(qǐng)求；解析請(qǐng)求到達(dá)外網(wǎng)DNS前，通過DPI設(shè)備復(fù)制一份到GSLB設(shè)備，原請(qǐng)求到達(dá)外網(wǎng)DNS；GSLB進(jìn)行域名請(qǐng)求判斷，如果為預(yù)先設(shè)定的域名解析請(qǐng)求，則解析域名解析為到WEBCache地址，返回給本地DNS；本地DNS返回WEBCache的IP給用戶，外網(wǎng)DNS回應(yīng)的晚于GSLB到達(dá)本地DNS，被本地DNS丟棄；客戶端收到本地DNS回復(fù)域名解析結(jié)果后，向WEBCache發(fā)起web訪問請(qǐng)求；WEBCache命中則直接回應(yīng)客戶，不命中則去互聯(lián)網(wǎng)抓取數(shù)據(jù)，保存在本地并回應(yīng)用戶。旁路DPI+DNS重定向機(jī)制3232WEBCACHE典型業(yè)務(wù)流程用戶DNS重定向系統(tǒng)負(fù)載均衡器CACHEWEB資源用戶發(fā)起HTTP請(qǐng)求DNS重定向系統(tǒng)返回WEBCACHE的IP地址負(fù)載均衡器分發(fā)到CACHE主機(jī)Cache把本地保存的內(nèi)容返回給用戶Cache命中流程Cache未命中流程CACHE通過負(fù)載均衡器向網(wǎng)站請(qǐng)求內(nèi)容向源網(wǎng)站請(qǐng)求內(nèi)容源網(wǎng)站返回請(qǐng)求內(nèi)容負(fù)載均衡器把內(nèi)容轉(zhuǎn)給CACHECACHE返回內(nèi)容給用戶WEBCache系統(tǒng)3333P2PCache技術(shù)原理用戶從互聯(lián)網(wǎng)下載種子文件，通過其向互聯(lián)網(wǎng)中的tracker服務(wù)器發(fā)送P2P請(qǐng)求；通過分光式旁路鏈路上面的DPI設(shè)備截獲用戶發(fā)起的P2P請(qǐng)求；DPI設(shè)備分析后，將用戶P2P請(qǐng)求轉(zhuǎn)發(fā)到重定向設(shè)備；重定向設(shè)備對(duì)用戶請(qǐng)求進(jìn)行分析判斷該資源是否已被緩存；如果用戶請(qǐng)求資源沒有緩存，重定向設(shè)備將不處理該請(qǐng)求；如果用戶請(qǐng)求資源已經(jīng)被緩存，重定向設(shè)備將用戶連接重定向到緩存服務(wù)器，Cache系統(tǒng)向用戶發(fā)送Peerlist（均為網(wǎng)內(nèi)用戶/服務(wù)器地址），Cache服務(wù)器自身地址也包含在peerlist中；用戶根據(jù)peerlist文件中IP地址連接至相關(guān)服務(wù)器/用戶（含Cache服務(wù)器）后開始P2P下載。P2PCache技術(shù)原理3434P2PCache典型消息流程-熱點(diǎn)資源獲取用戶重定向子系統(tǒng)資源管理緩存服務(wù)器TRACKER服務(wù)器用戶發(fā)起P2P請(qǐng)求熱度達(dá)到閥值，轉(zhuǎn)發(fā)請(qǐng)求P2PCache系統(tǒng)外網(wǎng)資源網(wǎng)絡(luò)熱點(diǎn)統(tǒng)計(jì)分發(fā)用戶P2P請(qǐng)求至特定服務(wù)器請(qǐng)求P2P文件下載信息返回文件索引信息請(qǐng)求PEERLIST返回PEERLISTCache向外網(wǎng)請(qǐng)求內(nèi)容Cache從其他節(jié)點(diǎn)下載內(nèi)容3535P2PCache典型消息流程-緩存加速過程用戶重定向子系統(tǒng)資源管理緩存服務(wù)器TRACKER服務(wù)器用戶向外網(wǎng)發(fā)起P2P請(qǐng)求資源已緩存，對(duì)請(qǐng)求進(jìn)行重定向P2PCache系統(tǒng)外網(wǎng)資源本地資源分布信息上報(bào)用戶向CACHE服務(wù)器請(qǐng)求內(nèi)容源Tracker向用戶回送PEERLIST信息用戶從CACHE服務(wù)器下載內(nèi)容Cache命中流程用戶向其他PEER請(qǐng)求內(nèi)容用戶從其他PEER下載內(nèi)容Cache未命中流程3636通用型緩存平臺(tái)系統(tǒng)組網(wǎng)圖南京無錫南京徐州無錫鎮(zhèn)江其他CMNETSIGRSSCSSCSSRSS：重定向子系統(tǒng)DSS：調(diào)度子系統(tǒng)CSS：緩存子系統(tǒng)MSS：管理子系統(tǒng)DSSMSSCSSRSSSIG南京、蘇州、常州、揚(yáng)州、鹽城、徐州六個(gè)地市節(jié)點(diǎn)，使用本地二級(jí)緩存。。。。。。無錫、南通、泰州、鎮(zhèn)江四個(gè)節(jié)點(diǎn)使用省級(jí)緩存淮安、連云港、宿遷三個(gè)地市使用原來一期緩存平臺(tái)

二期緩存S5328S5328S535210G1GIDC機(jī)房59號(hào)機(jī)房二期緩存二期緩存二期緩存一期緩存3737通用緩存平臺(tái)運(yùn)行情況通緩一期峰值回吐流量約3.5Gbps通緩二期峰值回吐流量約16.5Gbps3838CDN技術(shù)的作用和工作原理ChinaCache節(jié)點(diǎn)GSLB本地DNS服務(wù)器接入服務(wù)器用戶ICP1Web服務(wù)器網(wǎng)絡(luò)服務(wù)商A網(wǎng)絡(luò)服務(wù)商C網(wǎng)絡(luò)服務(wù)商BICP1DNS授權(quán)服務(wù)器ICP2Web服務(wù)器用戶發(fā)出請(qǐng)求；本地DNS服務(wù)器通過解析得到ICP2DNS授權(quán)服務(wù)器的地址ICP2DNS授權(quán)服務(wù)器1234本地DNS服務(wù)器訪問ICP2DNS授權(quán)服務(wù)器，得到GSLB服務(wù)器地址本地DNS服務(wù)器根據(jù)回送過來的地址訪問GSLB服務(wù)器；得到離用戶最近的節(jié)點(diǎn)服務(wù)器的地址，回送給用戶用戶訪問CDN服務(wù)商節(jié)點(diǎn)服務(wù)器，節(jié)點(diǎn)服務(wù)器從源站取得用戶所需內(nèi)容并將內(nèi)容發(fā)給用戶ChinaCache節(jié)點(diǎn)ChinaCache節(jié)點(diǎn)ChinaCache節(jié)點(diǎn)3939CDN的主要服務(wù)內(nèi)容CPIS：將盡量多的電信、新聯(lián)通等異網(wǎng)網(wǎng)站靜態(tài)內(nèi)容緩存在本地，有效降低熱點(diǎn)內(nèi)容對(duì)骨干網(wǎng)資源和互聯(lián)互通資源的占用，主要解決：網(wǎng)站以域名形式發(fā)布的HTTP協(xié)議的80端口靜態(tài)內(nèi)容，通過CDN承載網(wǎng)，到網(wǎng)站源服務(wù)器把內(nèi)容緩存到本地緩存服務(wù)器，實(shí)現(xiàn)把非移動(dòng)網(wǎng)內(nèi)的內(nèi)容獲取到移動(dòng)網(wǎng)內(nèi)。網(wǎng)站以域名形式發(fā)布的HTTP協(xié)議的80端口動(dòng)態(tài)內(nèi)容，通過CDN承載網(wǎng)，到網(wǎng)站源服務(wù)器做內(nèi)容的交互，實(shí)現(xiàn)移動(dòng)網(wǎng)絡(luò)接入與非移動(dòng)網(wǎng)絡(luò)接入快速的互聯(lián)互通CPOS:將移動(dòng)網(wǎng)內(nèi)自有IDC網(wǎng)站的內(nèi)容推送到電信、聯(lián)通網(wǎng)絡(luò)內(nèi)部，提高電信、聯(lián)通網(wǎng)民訪問移動(dòng)網(wǎng)內(nèi)內(nèi)容的速度。例如：省公司的10086門戶平臺(tái)CPOS產(chǎn)品工作原理：使用CPOS服務(wù)的網(wǎng)站需要更改本網(wǎng)站的授權(quán)DNS服務(wù)器，通過CNAME方式到CDN的智能DNS解析系統(tǒng)上，通過智能DNS解析策略，將用戶指向離自己最近、訪問質(zhì)量最好、訪問速度最快的CDN服務(wù)節(jié)點(diǎn)。提高寬帶互聯(lián)網(wǎng)用戶上網(wǎng)體驗(yàn)CPIS(Contentpullinservice)CPOS(Contentpulloutservice)40CPIS加速域名原則移動(dòng)內(nèi)部網(wǎng)站不加速移動(dòng)引入IDC網(wǎng)站不加速不適合緩存網(wǎng)站不加速網(wǎng)站域名分析工具分析出合適進(jìn)行CPIS服務(wù)的網(wǎng)站精細(xì)域名4141CPIS業(yè)務(wù)訪問過程Gateway江蘇移動(dòng)CPIS緩存平臺(tái)最佳節(jié)點(diǎn)移動(dòng)寬帶用戶1.終端用戶訪問源站，向FDNS請(qǐng)求解析；FDNS2.FDNS對(duì)用戶請(qǐng)求的域名進(jìn)行判斷，對(duì)適合做CPIS業(yè)務(wù)的域名請(qǐng)求，給出CPIS緩存平臺(tái)的解析地址，用戶訪問CPIS節(jié)點(diǎn)3.CPIS緩存服務(wù)器對(duì)網(wǎng)民請(qǐng)求的已緩存的內(nèi)容直接響應(yīng)4.CDN緩存服務(wù)器沒有緩存的內(nèi)容通過CDN網(wǎng)絡(luò)從源站獲取后返給網(wǎng)民23414242網(wǎng)頁(yè)型內(nèi)容加速系統(tǒng)工作流程ChinaCacheCDN專用承載網(wǎng)專用高速通道GateWayGateWay江蘇移動(dòng)移動(dòng)網(wǎng)民CacheServerIDC源站電信/新聯(lián)通/其他SP1、客戶向LDNS（有特殊設(shè)置，不向域名授權(quán)DNS發(fā)請(qǐng)求）發(fā)出請(qǐng)求1LDNS特殊功能2x.x.x.x345672、LDNS返回地址為X.X.X.X，X.X.X.X為chinacache的服務(wù)地址3、用戶將請(qǐng)求發(fā)給Cacheserver4、Hit內(nèi)容直接返回給網(wǎng)民5、Miss內(nèi)容Cacheserver回源請(qǐng)求6、源站將內(nèi)容返給cacheserver7、cacheserver再返回給網(wǎng)民4343域名解析實(shí)現(xiàn)方式Forward精確域名方式優(yōu)點(diǎn)：有效保證被加速域名的訪問效果缺點(diǎn)：由于目前沒有一套監(jiān)控所有網(wǎng)站域名的機(jī)制，無法自動(dòng)添加、監(jiān)控域名的工具，導(dǎo)致有好多網(wǎng)站部分域名沒有加速，而影響整個(gè)網(wǎng)站的打開時(shí)間Forward泛域名方式優(yōu)點(diǎn)：網(wǎng)站被加速域名增加，網(wǎng)站整體訪問效果良好缺點(diǎn)：網(wǎng)站內(nèi)部更改一些非80端口的URL，導(dǎo)致緩存服務(wù)器無法處理，造成無法訪問，需要添加到黑名單系統(tǒng)中。但是隨著非80端口的監(jiān)控系統(tǒng)的逐步完善，會(huì)提前用戶發(fā)現(xiàn)，添加到黑名單中保證網(wǎng)站的訪問質(zhì)量4444CPOS業(yè)務(wù)訪問過程GatewayCDN專用承載網(wǎng)移動(dòng)服務(wù)器最佳節(jié)點(diǎn)服務(wù)器群組電信、聯(lián)通用戶本地DNS服務(wù)器SSR定位系統(tǒng)客戶DNS授權(quán)服務(wù)器21367專用高速通道1.終端用戶訪問源站，向本地LDNS請(qǐng)求解析；2.LDNS向源站DNS授權(quán)服務(wù)器請(qǐng)求解析；3.已經(jīng)授權(quán)到GSLB智能解析系統(tǒng)；4.向GSLB智能解析系統(tǒng)請(qǐng)求解析；5.智能解析系統(tǒng)準(zhǔn)確定位終端用戶所在的運(yùn)營(yíng)商和地理位置，確定最佳接入CDN服務(wù)節(jié)點(diǎn)；6.從最佳CDN服務(wù)節(jié)點(diǎn)獲取訪問內(nèi)容；7.通過專用高速通道，經(jīng)由CDN專用網(wǎng)絡(luò)與源站進(jìn)行高速通信，最終獲取訪問內(nèi)容。454545CDN流量輸出情況4月2日最高峰值4646緩存平臺(tái)加速效果加速倍率最高可達(dá)到5.79倍，平均加速倍率為3.19倍4747目錄全球互聯(lián)網(wǎng)情況概覽CMNET總體分析CMNET資源加速技術(shù)流量疏通流量控制內(nèi)容緩存內(nèi)容引入問題與思考目錄4848CMNET網(wǎng)絡(luò)結(jié)構(gòu)－IDC內(nèi)容引入引入IDC的網(wǎng)站，采用多種方法對(duì)用戶請(qǐng)求進(jìn)行調(diào)度：

1、授權(quán)DNS服務(wù)器根據(jù)本地DNS服務(wù)器地址將請(qǐng)求域名解析為移動(dòng)IDC服務(wù)器地址。

2、視頻調(diào)度服務(wù)器根據(jù)用戶源地址調(diào)度為移動(dòng)IDC服務(wù)器地址。

3、P2P調(diào)度服務(wù)器根據(jù)用戶源地址在返回的種子文件中優(yōu)先返回移動(dòng)IDC服務(wù)器地址。目前引入的網(wǎng)站多數(shù)都是非全量?jī)?nèi)容引入，并且部分網(wǎng)站的首頁(yè)不在移動(dòng)網(wǎng)內(nèi)，因此用戶在訪問時(shí)會(huì)存在首頁(yè)打開較慢和部分內(nèi)容速度較慢的情況。可以采取WEB緩存加速與引入網(wǎng)站相結(jié)合進(jìn)行加速。視頻網(wǎng)站源站調(diào)度CMNET省網(wǎng)引入網(wǎng)站DNS調(diào)度視頻網(wǎng)站源站調(diào)度引入網(wǎng)站DNS調(diào)度視頻網(wǎng)站源站調(diào)度引入網(wǎng)站DNS調(diào)度視頻網(wǎng)站源站調(diào)度引入網(wǎng)站DNS調(diào)度電信、聯(lián)通用戶P2P資源電信、聯(lián)通源站資源視頻網(wǎng)站源站調(diào)度引入網(wǎng)站DNS調(diào)度視頻網(wǎng)站源站調(diào)度引入網(wǎng)站DNS調(diào)度視頻網(wǎng)站源站調(diào)度引入網(wǎng)站DNS調(diào)度P2P網(wǎng)站源站調(diào)度視頻網(wǎng)站源站調(diào)度引入網(wǎng)站DNS調(diào)度信令調(diào)度資源訪問移動(dòng)IDC引入資源移動(dòng)用戶P2P資源49IDC共引入各類互聯(lián)網(wǎng)內(nèi)容商100多家（共中地市知名網(wǎng)站9家），包括新浪、搜狐、鳳凰網(wǎng)、土豆、優(yōu)酷、酷六、盛大、TOM、騰訊、UCWEB等國(guó)內(nèi)知名網(wǎng)站紛紛入駐江蘇移動(dòng)IDC機(jī)房。其中集團(tuán)下發(fā)的TOP200網(wǎng)站中已引入28家，列全集團(tuán)引入數(shù)量第二，基本覆蓋各類熱門應(yīng)用。IDC內(nèi)容引入方式疏通方式：內(nèi)容引入到IDC后目前主要依靠合作方按照用戶地址段調(diào)度。5050IDC業(yè)務(wù)流量情況分析幕府山IDC流量排名前十位客戶排名電路名稱帶寬Mbps流入峰值流速(Mbps)1通用型緩存平臺(tái)二期2000