承載集團(tuán)客戶的MLSVN網(wǎng)絡(luò)中國移動I承載網(wǎng)

中國移動MPLSVPN網(wǎng)絡(luò)-IP專用承載網(wǎng)中國移動集團(tuán)網(wǎng)絡(luò)部黃昭銳-2-目錄中國移動IP專用承載網(wǎng)介紹IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量2MPLSVPN業(yè)務(wù)發(fā)展的背景

客戶業(yè)務(wù)需求----從省內(nèi)業(yè)務(wù)擴展到省際業(yè)務(wù).

IP承載網(wǎng)特性----覆蓋廣、質(zhì)量高、安全性高的網(wǎng)絡(luò)。PEIPNETPEPEPEPECEA用戶CEA用戶CEB用戶CEB用戶CEB用戶MPLSVPN可以為用戶提供不同邏輯拓?fù)溥B接的跨省業(yè)務(wù)。MPLSVPN通過不同的“虛通道”，傳遞不同用戶VPN的數(shù)據(jù)。各條“虛通道”互不干擾，保證用戶數(shù)據(jù)的隔離。Internet互聯(lián)網(wǎng)與VPN承載網(wǎng)分離，降低公眾網(wǎng)絡(luò)攻擊的風(fēng)險。MPLSVPN網(wǎng)絡(luò)特點中國移動IP專用承載網(wǎng)介紹

中國移動IP專用承載網(wǎng)是中國移動面向多種業(yè)務(wù)、能夠同時支持語音、視頻、數(shù)據(jù)等多業(yè)務(wù)的核心承載網(wǎng)絡(luò)，是全國性的IP網(wǎng)絡(luò)。主要面向承載中國移動自有高服務(wù)質(zhì)量和高安全可靠性要求的電信業(yè)務(wù)（包括軟交換網(wǎng)、TD核心網(wǎng)電路域/分組域、中國移動企業(yè)內(nèi)部支撐系統(tǒng)）和大客戶業(yè)務(wù)。網(wǎng)絡(luò)通過MPLSVPN來承載和隔離業(yè)務(wù)，保障業(yè)務(wù)信息高速、安全傳送。中國移動IP專用承載網(wǎng)始建于2004年，經(jīng)過多次工程擴容建設(shè)，到2013年，網(wǎng)絡(luò)已經(jīng)覆蓋全國31個省市自治區(qū)約340多個地市節(jié)點以及網(wǎng)管中心節(jié)點。-5-目錄中國移動IP專用承載網(wǎng)介紹IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量5IP專網(wǎng)網(wǎng)絡(luò)組網(wǎng)中國移動IP承載網(wǎng)整體網(wǎng)絡(luò)規(guī)劃定位于核心、匯聚和接入3層結(jié)構(gòu)，其中接入節(jié)點已經(jīng)覆蓋全國所有340余個地市，計劃建設(shè)廣州國際出口節(jié)點，能夠保證滿足用戶VPN業(yè)務(wù)的全國/海外接入需求；后續(xù)計劃建設(shè)北京、上海國際出口節(jié)點。網(wǎng)絡(luò)組網(wǎng)省會和重要城市各個地市核心城市IP專網(wǎng)網(wǎng)絡(luò)組網(wǎng)核心層：

北京、上海、廣州、沈陽、南京、武漢、成都、西安、杭州9個城市分別配置2臺核心路由器（CR）或核心兼作匯聚路由器（CR/BR）構(gòu)成9對核心層節(jié)點。匯聚層

其他省省會城市及廈門、廣州、深圳、大連、無錫、青島成對配置匯聚路由器（BR），構(gòu)成27對匯聚層節(jié)點。接入層

全國300多地市成對配置接入路由器（AR，也稱為PE），構(gòu)成接入層節(jié)點。IP專網(wǎng)路由設(shè)置網(wǎng)絡(luò)整體路由組織采用扁平化原則，全網(wǎng)為單一自治域（AS域）IGP采用IS-IS路由協(xié)議，所有路由器置于Level2層中啟動IGPISIS的快速收斂使用LDP協(xié)議分發(fā)標(biāo)簽通過MP-iBGP傳播VPN路由信息，實現(xiàn)VPN內(nèi)的互通核心層TEFRR鏈路保護(hù)91、全網(wǎng)開啟ISIS，通過metric值設(shè)置路徑選擇；全網(wǎng)為同一個AS域，AS號為24059。2、全網(wǎng)開啟MPLS，通過LDP標(biāo)簽分發(fā)協(xié)議建立LSP;通過MPLSVPN封裝業(yè)務(wù)系統(tǒng)IP專網(wǎng)路由設(shè)置103、CR之間部署流流量工程TE:流量工程是是控制流量量如何通過過本網(wǎng)絡(luò)以以實現(xiàn)資源源利用的最最大化和提提升網(wǎng)絡(luò)的的表現(xiàn)力的的一種手段段。TEFRR收斂時間在在50ms以內(nèi)。目前僅在核心層層（CR之間的所有有鏈路）部部署TE；所有核心節(jié)點之之間實現(xiàn)““一跳式””的保護(hù)，，備用LSP僅在核心層層之間實現(xiàn)現(xiàn)；IP專網(wǎng)路由設(shè)設(shè)置-11-IP承載網(wǎng)、CMNET（專線）架架構(gòu)對比整個IP專網(wǎng)為一個個自治域每個省網(wǎng)為為一個自治治域每個省網(wǎng)為為一個自自治域骨干層骨干網(wǎng)為一一個自自治域省網(wǎng)層IP專網(wǎng)CMNET硬件設(shè)備與與鏈路設(shè)置置路由設(shè)備全網(wǎng)采用業(yè)業(yè)界上最先先進(jìn)的設(shè)備備構(gòu)建，具具備良好的的業(yè)務(wù)支持持能力，具具備MPLS等業(yè)務(wù)的開開展能力，，設(shè)備處理理能力及可可靠性高。。中繼設(shè)置網(wǎng)絡(luò)所有中中繼鏈路帶帶寬設(shè)置滿滿足全網(wǎng)任任何1臺路由器宕宕機及任何何1條中繼鏈路路失效時的的流量疏導(dǎo)導(dǎo)需求。全網(wǎng)基本采采用N*10G鏈路組網(wǎng)，，全網(wǎng)中繼繼鏈路平均均鏈路利用用率不超過過30%。全網(wǎng)為輕輕載網(wǎng)絡(luò)，，對于服務(wù)務(wù)質(zhì)量有力力保證。2013年2季度，現(xiàn)網(wǎng)網(wǎng)省際總帶帶寬達(dá)到1413G，省內(nèi)總帶帶寬12000G。華為NE5000ENE80E…思科CRSASR…JuniperT1600阿爾卡特7750SRIP專網(wǎng)的保護(hù)護(hù)機制設(shè)備級鏈路級網(wǎng)絡(luò)級設(shè)備關(guān)鍵部部件冗余集中控制&分布式轉(zhuǎn)發(fā)發(fā)體系構(gòu)架架MPLSOAM端口Trunk鏈路雙歸環(huán)網(wǎng)保護(hù)IGP快速收斂TEFRR設(shè)備級：路路由器設(shè)備備雙電源、、雙引擎，，設(shè)備故障障率下降明明顯；鏈路級：鏈鏈路故障路路由器快速速檢測達(dá)到到傳輸級別別；網(wǎng)絡(luò)級：節(jié)節(jié)點、鏈路路故障快速速切換保護(hù)護(hù)，業(yè)務(wù)中中斷時間達(dá)達(dá)到電信級級。-14-目錄錄中國移動動IP專用承載載網(wǎng)介紹紹IP專網(wǎng)組網(wǎng)網(wǎng)與路由由設(shè)置IP專網(wǎng)維護(hù)護(hù)手段與與團(tuán)隊IP專網(wǎng)業(yè)務(wù)務(wù)與網(wǎng)絡(luò)絡(luò)質(zhì)量14IP承載網(wǎng)業(yè)業(yè)務(wù)情況況省帶寬Gpbs省帶寬Gpbs省帶寬Gpbs省帶寬Gpbs北京340浙江200重慶40貴州20湖北370河南50天津20云南20廣東300河北40山西40西藏20上海210福建40內(nèi)蒙20甘肅33江蘇270安徽40吉林20青海23四川170山東40黑龍江20寧夏20遼寧110湖南40江西30新疆30陜西190廣西40海南20總部20出省帶寬寬出省帶寬寬利用率率在16%以下，節(jié)節(jié)假日突突發(fā)量約約在30%左右。能能夠滿足足業(yè)務(wù)需需求。集團(tuán)客戶戶接入的的業(yè)務(wù)帶寬寬門限在在接入帶帶寬大小小，而不是是大網(wǎng)容容量。出省流量量（Gbps）IP專網(wǎng)網(wǎng)網(wǎng)絡(luò)性能能與技術(shù)術(shù)指標(biāo)網(wǎng)絡(luò)時延延PE位置平均時延城市范圍同一省內(nèi)

一級城市間60ms鄭州，長沙，武漢，南昌，合肥，南京，石家莊，西安，杭州，廣州，上海，北京，天津，濟南，太原，成都二級城市間或二級至一級城市間90ms蘭州、呼和浩特、福州、南寧、西寧、重慶、?？?、沈陽、貴陽、哈爾濱、昆明、銀川、長春、烏魯木齊、拉薩、大連、無錫、深圳、無錫、廈門三級城市間或與一二級城市間125ms其他城市國際段（HK-LA-LD）

IP專網(wǎng)網(wǎng)網(wǎng)絡(luò)性能能與技術(shù)術(shù)指標(biāo)丟包率與與抖動性能指標(biāo)標(biāo)可用率設(shè)備可用用率：雙雙節(jié)點設(shè)設(shè)備99.99%、單節(jié)點點設(shè)備99.8%。鏈路可用用率：雙雙鏈路可可用率99.9%，單鏈路路可用率率99.7%。端到端路路由器收收斂時間間<=3s核心區(qū)域域快速重重路由收收斂時間間<=50ms指標(biāo)（7月統(tǒng)計）丟包率抖動平均值0.0002%0.93ms最大值0.04%5.47ms網(wǎng)絡(luò)存在在丟包率率的原因因網(wǎng)絡(luò)特性性的原因因：業(yè)務(wù)流量量具備隨隨機性、、突發(fā)性性的原因因，某些些節(jié)點在在業(yè)務(wù)突突發(fā)的情情況下，，轉(zhuǎn)發(fā)性性能下降降，存在在隨機丟丟棄的可可能性。。甚至在在骨干網(wǎng)網(wǎng)中的路路由切換換，也會會有小幾幾率的丟丟包。尤尤其是數(shù)數(shù)據(jù)業(yè)務(wù)務(wù)主要為為UDP報文，本本身是面面對無連連接的業(yè)業(yè)務(wù)，一一旦網(wǎng)絡(luò)絡(luò)略有抖抖動就會會產(chǎn)生丟丟包。傳輸性質(zhì)質(zhì)的原因因：傳輸面對對的環(huán)境境和地理理位置情情況多種種多樣，，傳輸?shù)母筛蓴_、光光功率的的抖動，，傳輸路路由倒換換時，有有可能會會有小概概率的丟丟包。網(wǎng)絡(luò)流量量大的原原因：在流量大大的情況況下，設(shè)設(shè)備或板板卡會根根據(jù)業(yè)務(wù)務(wù)的等級級，丟棄棄一些低低優(yōu)先級級的數(shù)據(jù)據(jù)包。例如ping包的優(yōu)先先級別很很低，使使用ping測試網(wǎng)絡(luò)絡(luò)時，會會可能有有丟包產(chǎn)產(chǎn)生。。路由器設(shè)設(shè)備安全全保護(hù)機機制的原原因：路由器的的CPU本身有保保護(hù)機制制，CPU工作忙、、或受到到攻擊、、或收到到大量快快速大包包ping時，基于于對CPU的保護(hù)，，有可能能會丟棄棄一些包包（/ping包）,達(dá)到路由由器大腦腦的自我我保護(hù)。。行業(yè)內(nèi)內(nèi)的高端端路由器器都使用用了這種種保護(hù)機機制，如如思科、、Juniper、華為等等。Ping測試丟包包不等于于業(yè)務(wù)丟丟包。網(wǎng)管測試試機制的的原因：：網(wǎng)管統(tǒng)計計是一次次發(fā)送60個測試ping包，所以以偶有丟棄一個個包時，，丟包率率就是1.67%。由于網(wǎng)絡(luò)絡(luò)及設(shè)備備處理機機制的緣緣故，存存在偶發(fā)發(fā)丟包現(xiàn)現(xiàn)象，的的原因如如下：IP專網(wǎng)QOS情況骨干：核核心/匯聚設(shè)備備進(jìn)行轉(zhuǎn)轉(zhuǎn)發(fā)控制制邊緣：在在接入業(yè)務(wù)務(wù)的端口口進(jìn)行流流分類在網(wǎng)絡(luò)入口對分組進(jìn)行分類、流量控制，設(shè)置DSCP在網(wǎng)絡(luò)中根據(jù)分組的DSCP值，進(jìn)行隊列調(diào)度、分組丟棄業(yè)務(wù)設(shè)備DiffServ域用戶設(shè)備PHBPHBPHBPHBQoS的實施分分為兩個個部分：：骨干和邊緣。在骨干采用用的技術(shù)術(shù)包括：：帶寬分配配與擁塞塞避免（WRED）帶寬分配配與擁塞塞控制（WFQ）在邊緣采用用的技術(shù)術(shù)包括：：業(yè)務(wù)分類類（Classification：IPP/DSCP,MPLSEXP）速率限制制（CAR）IP專網(wǎng)QOS情況業(yè)務(wù)類型

類別

DSCPIPPEXP

CS

信令、

Iu-Ps

信令、

Gn

信令

CS7

567

7

路由協(xié)議

CS6

486

6

CS

語音、

PS

語音

EF

465

5

PS

流媒體

AF41

344

4

預(yù)留

AF31

263

3

PsInteractive

AF21

182

2

預(yù)留

AF1

101

1

Background

BE

00

0

QOS設(shè)置說明：上上圖為骨骨干網(wǎng)內(nèi)內(nèi)目前設(shè)設(shè)置的QOS，客戶業(yè)業(yè)務(wù)接入入側(cè)的QOS根據(jù)客戶戶需求定定制。-21-目錄錄中國移動動IP專用承載載網(wǎng)介紹紹IP專網(wǎng)組網(wǎng)網(wǎng)與路由由設(shè)置IP專網(wǎng)維護(hù)護(hù)手段與與團(tuán)隊IP專網(wǎng)業(yè)務(wù)務(wù)與網(wǎng)絡(luò)絡(luò)質(zhì)量21IP專網(wǎng)維護(hù)護(hù)手段與與團(tuán)隊人員網(wǎng)管系統(tǒng)統(tǒng)17*24小時監(jiān)控控2維護(hù)團(tuán)隊隊（含省?。?統(tǒng)一管理理-數(shù)據(jù)網(wǎng)管管2VPN業(yè)務(wù)網(wǎng)管管系統(tǒng)告警監(jiān)控控投訴處理理故障派單單、督辦辦故障處理理業(yè)務(wù)分析析、預(yù)警警分析月度報告告網(wǎng)元監(jiān)控控統(tǒng)一告警警監(jiān)控故障派單單質(zhì)量監(jiān)控控性能統(tǒng)計計SLA報告業(yè)務(wù)開通通3技術(shù)支持持方案制定定網(wǎng)絡(luò)規(guī)劃劃中國移動動IP專用承載載網(wǎng)介紹紹網(wǎng)絡(luò)管理對所有VPN設(shè)備和業(yè)業(yè)務(wù)資源源、業(yè)務(wù)務(wù)告警、、業(yè)務(wù)報報表和業(yè)業(yè)務(wù)申請請流程、、業(yè)務(wù)統(tǒng)統(tǒng)計、業(yè)業(yè)務(wù)數(shù)據(jù)據(jù)配置、、業(yè)務(wù)質(zhì)質(zhì)量監(jiān)控控進(jìn)行管管理，為為網(wǎng)絡(luò)和和業(yè)務(wù)統(tǒng)統(tǒng)一管理理提供有有效的基基礎(chǔ)管理理支撐手手段。功能資源管理理拓?fù)涔芾砝砀婢芾砝硇阅芄芾砝碣|(zhì)量管理理SLA管理業(yè)務(wù)開通通月報管理理CE管理客戶自維維網(wǎng)絡(luò)概況況監(jiān)控圖圖業(yè)務(wù)接入入信息管管理業(yè)務(wù)資源源管理業(yè)務(wù)資源源拓?fù)涑食尸F(xiàn)業(yè)務(wù)告警警管理業(yè)務(wù)性能能管理業(yè)務(wù)流量量流向管管理業(yè)務(wù)質(zhì)量量監(jiān)控業(yè)務(wù)開通通管理總結(jié)附錄：集集團(tuán)客戶戶VPN業(yè)務(wù)情況況VPN業(yè)務(wù)量：：7月新奧入入網(wǎng)流量量為21.2TB，博世入入網(wǎng)流量量為46.6TB，流量每每月比較較平穩(wěn)。。博世租用用總帶寬寬為1767Mbps，峰值帶帶寬使用用1045Mbps。新奧租用用總帶寬寬為490Mbps，峰值帶帶寬使用用238Mbps。用戶投訴訴分析：：7月用戶投投訴共22起（新奧奧6起，博世世16起）。客戶原因因引起的的投訴總總共14起，占63%。移動原因因引起的的投訴共共8起，占37%，主要為為傳輸、、電源故故障、時時鐘施工工引起。。34附錄：集集團(tuán)VPN網(wǎng)絡(luò)質(zhì)量量情況35CMNet網(wǎng)絡(luò)質(zhì)量量（新奧奧VPN業(yè)務(wù)）-滿足客戶戶SLA要求：IP承載網(wǎng)絡(luò)質(zhì)量量（博世VPN業(yè)務(wù)）-滿足客戶SLA要求：IPNET31省-北、上、廣時時延見右圖。。丟包率最大為為0.04%，最大抖動為為5.47ms。新奧VPN時延見右圖，，各節(jié)點時延延（藍(lán)線）小小于門限值（（紅線）。丟包率最大為為0.04%，最大抖動為為2ms。9、靜夜夜四無無鄰，，荒居居舊業(yè)業(yè)貧。。。1月-231月-23Thursday,January5,202310、雨中黃葉葉樹，燈下下白頭人。。。18:16:2918:16:2918:161/5/20236:16:29PM11、以以我我獨獨沈沈久久，，愧愧君君相相見見頻頻。。。。1月月-2318:16:2918:16Jan-2305-Jan-2312、故人江海海別，幾度度隔山川。。。18:16:2918:16:2918:16Thursday,January5,202313、乍乍見見翻翻疑疑夢夢，，相相悲悲各各問問年年。。。。1月月-231月月-2318:16:2918:16:29January5,202314、他鄉(xiāng)生生白發(fā)，，舊國見見青山。。。05一一月20236:16:29下午午18:16:291月-2315、比比不不了了得得就就不不比比，，得得不不到到的的就就不不要要。。。。。一月月236:16下下午午1月月-2318:16January5,202316、行動出出成果，，工作出出財富。。。2023/1/518:16:2918:16:2905January202317、做前，能能夠環(huán)視四四周；做時時，你只能能或者最好好沿著以腳腳為起點的的射線向前前。。6:16:29下下午6:16下下午18:16:291月-239、沒有失敗，，只有暫時停停止成功！。。1月-231月-23Thursday,January5,202310、很多多事情情努力力了未未必有有結(jié)果果，但但是不不努力力卻什什么改改變也也沒有有。。。18:16:2918:16:2918:161/5/20236:16:29PM11、成成功功就就是是日日復(fù)復(fù)一一日日那那一一點點點點小小小小努努力力的的積積累累。。。。1月月-2318:16:2918:16Jan-2305-Jan-2312、世間間成事事，不不求其其絕對對圓滿滿，留留一份份不足足，可可得無無限完完美。。。18:16:2918:16:2918:16Thursday,January5,202313、不知香積積寺，數(shù)里里入云峰。。。1月-231月-2318:16:2918:16:29January5,202314、意志堅堅強的人人能把世世界放在在手中像像泥塊一一樣任意意揉捏。。05一一月20236:16:29下午午18:16:291月-2315、楚塞三湘湘接，荊門門九派通。。。。一月236:16下下午1月-2318:16January5,202316、少年十五二二十時，步行行奪得胡馬騎騎。。2023/1/518:16:2918:16:2905January202317、空山山新雨雨后，，天氣氣晚來來秋。。。6:16:29下下午6:16下下午午18:16:291月-239、楊柳散和和風(fēng)，青山山澹吾慮。。。1月-231月-23Thursday,January5,202310、閱讀一切好好書如同和過過去最杰出的的人談話。18:16:2918:16:2918:161/5/202