CMNET網(wǎng)絡(luò)結(jié)構(gòu)和路由策略(福建省網(wǎng))

CMNET省網(wǎng)網(wǎng)絡(luò)結(jié)構(gòu)和路由策略

2012年7月目前CMNET福建省網(wǎng)概述：以福州一廠NE5000E和廈門馬巷NE5000E構(gòu)成雙星型結(jié)構(gòu),CMNET省網(wǎng)各地市都有雙節(jié)點(diǎn)雙上聯(lián)模式,避免單點(diǎn)故障，目前全省有4個(gè)出口：1、國干出口：一廠、廈門BR分別有8*10G上聯(lián)到國家網(wǎng)，共160G出口2、閩會(huì)有2G出口3、金橋有2G出口4、鐵通有主用4*10G。省網(wǎng)引入4個(gè)ICP,閩會(huì)資源ICP帶寬省網(wǎng)在一廠部署東軟NTARS6500用于業(yè)務(wù)流量分析用、部署華為SIG跟PPCache聯(lián)動(dòng)，SIG對流量進(jìn)行協(xié)議分析，PPCache用于P2P應(yīng)用緩存提高用戶體驗(yàn)；馬尾節(jié)點(diǎn)部署帝聯(lián)CDN，用于HTTP緩存，提高用戶網(wǎng)頁瀏覽體驗(yàn)。

福建移動(dòng)IDC資源已向福建鐵通開放，使得移動(dòng)網(wǎng)段回程到福建鐵通的地址，省去往總部出口出的開銷。CMNET福建省網(wǎng)有華為路由器26臺（其中8臺為NE5000E）,10臺接入交換機(jī)，2臺M320(第3方互聯(lián)路由器)。CMNET福建省網(wǎng)概述具體網(wǎng)元見右表：28臺華為NE5000E及NE80E路由器，2臺JUNIPERM320路由器，10臺華為交換機(jī)，2臺思科交換機(jī)。CMNET福建省網(wǎng)網(wǎng)元列表設(shè)備配置JUNIPER華為

思科M320

NE5000E

NE40Es8505S9306C6509省網(wǎng)核心

2

省網(wǎng)匯聚

422822第3方互聯(lián)2

合計(jì)

2622822各出口及ICP情況見右表：BR到AR各中繼情況表見右表CMNET福建省網(wǎng)鏈路情況表CMNET福建省網(wǎng)路由分析一廠新網(wǎng)BR廈門新網(wǎng)BR移動(dòng)CMNET國家網(wǎng)AS:9808鐵通出口RRRRCMNET省網(wǎng)AS:64840一廠M320-2一廠M320-1閩會(huì)(AS:64610)金橋(AS:17964)EBGP基于源地址策略路由EBGP具體總表見右：其中移動(dòng)自有地址1045個(gè)C，閩會(huì)208個(gè)C，金橋192個(gè)C，鐵通IP:1536個(gè)C采用multiihopEBGP互聯(lián)，（本網(wǎng)AS:64840，總部AS:9808）,向總部發(fā)布全省福建移動(dòng)自有地址，通過MED屬性控制一廠、廈門BR回程。采用基于源地址的策略路由閩會(huì)自有地址采用源地址的策略路由；部分需要往閩會(huì)疏通的路由通過EBGP發(fā)布。福建對閩會(huì)發(fā)布的路由做AS過濾采用multiihopEBGP互聯(lián)，向福建移動(dòng)發(fā)布聯(lián)通路由。采用靜態(tài)指向回程到福建移動(dòng)的下一跳指到移動(dòng)互聯(lián)IP.金橋自有地址采用基于源地址的策略路由；其他往金橋疏通的網(wǎng)段由金橋做NATCMNET福建省網(wǎng)路由分析一廠新網(wǎng)BR廈門新網(wǎng)BR地市AR1地市AR2集團(tuán)、家庭、WLAN用戶RRRRCMNET省網(wǎng)AS:64840CMNET城域網(wǎng)IBGP地市使用OSPF(區(qū)域0)省網(wǎng)IGP使用ISIS(LEVEL2)BRAS或SRBRAS或SRBRAS或SR一廠、廈門2臺BR做BGPRR，跟地市AR建立MP-IBGP鄰居，負(fù)責(zé)疏通地市之間的IPv4及VPNipv4業(yè)務(wù)。及出省的業(yè)務(wù)路由選擇。由于業(yè)務(wù)出口主要集中一廠BR的緣故，往地市AR1回程流量比較大，配合調(diào)整流量往地市AR2回程地市AR到地市城域網(wǎng)，配置OSPF在區(qū)域0，由2臺AR下發(fā)缺省路由引導(dǎo)城域網(wǎng)出的流量；回程路由是由2臺AR向省網(wǎng)通過BGP宣告本城域網(wǎng)的路由來實(shí)現(xiàn)。AR跟地市BRAS及SR建立MP-IBGP及LDP鄰居，用于疏通地市內(nèi)專線用戶及VPN用戶互訪地市BRAS或SR跟AR建立MP-IBGP(不建立IPv4鄰居)，做VPNPE節(jié)點(diǎn).配置OSPF在區(qū)域0。IDCS9306或FWIDC出口采用交換機(jī)或防火墻，跟2臺AR建立OSPF鄰居。福建移動(dòng)普通用戶、自有業(yè)務(wù)：（非BGP優(yōu)化網(wǎng)段）。出、入除福建移動(dòng)網(wǎng)段的流量均通過移動(dòng)國家網(wǎng)。CMNET福建省網(wǎng)業(yè)務(wù)流向-1一廠BR廈門BR地市AR1地市AR2移動(dòng)CMNET國家網(wǎng)AS:9808地市城域網(wǎng)RRRRCMNET省網(wǎng)CMNET城域網(wǎng)福建移動(dòng)普通用戶、自有業(yè)務(wù)回程流量出流量BR配置基于源地址策略路由，下一跳丟往福州、廈門國干T1600,回程到城域網(wǎng)采用IGP選路，到一廠BR的流量往AR1回程，到廈門BR的流量往AR2回程國干福州方向往廣州疏通，國干廈門方向往南京疏通。接收福建發(fā)布BGP網(wǎng)段的MED屬性，調(diào)整回程往福建一廠、廈門BR。有缺省指向地市2臺AR的缺省路由，引導(dǎo)用戶流量?；爻掏ㄟ^IGP選路。CMNET福建移動(dòng)VIP用戶IP用戶(BGP優(yōu)化網(wǎng)段，有被訪需求)：出省網(wǎng)通過路由表選路，外省移動(dòng)入往總部出口，其他運(yùn)營商入網(wǎng)閩會(huì)回程CMNET福建省網(wǎng)業(yè)務(wù)流向-2一廠BR廈門BR地市AR-1地市AR2-2移動(dòng)CMNET國家網(wǎng)AS:9808電信（閩會(huì)）AS:64610地市城域網(wǎng)RRRRCMNET省網(wǎng)CMNET城域網(wǎng)福建移動(dòng)VIP用戶：BGP優(yōu)化網(wǎng)段目前回程流量目前出流量國干福州方向往廣州疏通，國干廈門方向往南京疏通。接收福建發(fā)布BGP網(wǎng)段的MED屬性，調(diào)整回程往福建一廠、廈門BR?？偛颗浜习l(fā)布福建移動(dòng)聚合路由段，并不接收其他運(yùn)營商發(fā)布包括移動(dòng)地址的路由段接收福建移動(dòng)發(fā)布的BGP路由，向電信宣告，并由電信向外發(fā)布路由，回程往閩會(huì)走。對于VIP用戶放通通過路由表查找，訪問電信往閩會(huì)出，訪問其他往總部出?；爻掏ㄟ^IGP選路一廠M320-1一廠M320-2由一廠M320-2向電信發(fā)布VIP網(wǎng)段。有缺省指向地市2臺AR的缺省路由，引導(dǎo)用戶流量?；爻掏ㄟ^IGP選路。CMNET福建移動(dòng)智能優(yōu)化網(wǎng)段：到電信、聯(lián)通是做NAT成電信、聯(lián)通地址訪問，效率更高，時(shí)延更小，但是被NAT過，不能被訪，適合沒有被訪需求的網(wǎng)段。CMNET福建省網(wǎng)業(yè)務(wù)流向-3一廠BR廈門BR地市AR-1地市AR2-2移動(dòng)CMNET國家網(wǎng)AS:9808電信（閩會(huì)）AS:64610地市城域網(wǎng)RRRRCMNET省網(wǎng)CMNET城域網(wǎng)福建移動(dòng)IP用戶：第3方NAT網(wǎng)段目前回程流量目前出流量聯(lián)通（金橋）AS:17964一廠M320-1一廠M320-2國干福州方向往廣州疏通，國干廈門方向往南京疏通。接收福建發(fā)布BGP網(wǎng)段的MED屬性，調(diào)整回程往福建一廠、廈門BR?？偛颗浜习l(fā)布福建移動(dòng)聚合路由段，并不接收其他運(yùn)營商發(fā)布包括移動(dòng)地址的路由段閩會(huì)配置基于源地址的策略路由，NAT成電信地址訪問外網(wǎng)閩會(huì)配置基于源地址的策略路由，NAT成聯(lián)通地址訪問外網(wǎng)對于VIP用戶放通通過路由表查找，訪問電信、聯(lián)通往閩會(huì)、金橋出，訪問其他往總部出。回程通過IGP選路有缺省指向地市2臺AR的缺省路由，引導(dǎo)用戶流量?；爻掏ㄟ^IGP選路。需要優(yōu)化目的網(wǎng)站疏通方式：由于往總部出口，訪問其他運(yùn)營商網(wǎng)站可能有不通的或者訪問慢的情況，省網(wǎng)針對這種需求，由閩會(huì)、金橋進(jìn)行測試，若更優(yōu)則往他們疏通。CMNET福建省網(wǎng)業(yè)務(wù)流向-5一廠BR廈門BR地市AR1地市AR2總部出口第3方出口(閩會(huì)、金橋)地市城域網(wǎng)RRRRCMNET省網(wǎng)CMNET城域網(wǎng)對于目的網(wǎng)站：從總部出口訪問不了或訪問慢的優(yōu)化后路由原有路由有缺省指向地市2臺AR的缺省路由，引導(dǎo)用戶流量?；爻掏ㄟ^IGP選路。配置基于源地址的策略路由，下一跳丟往各自的出口。回程通過IGP選路到目的為需要，訪問電信、聯(lián)通往閩會(huì)、金橋出，訪問其他往總部出?；爻掏ㄟ^IGP選路網(wǎng)站資源CMNET系統(tǒng)指標(biāo)－福州核心節(jié)點(diǎn)

一廠BR流向平均流入平均流出最大流入最大流出流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）廣州-國干11984.1014.987411.819.2619046.0023.8114146.0017.68閩會(huì)1092.4254.62482.3224.121898.0094.90865.0043.25金橋753.3737.67277.0013.851671.0083.55630.0031.50鐵通16547.5041.375862.3214.6631967.0079.9211679.0029.20閩會(huì)資源引入出口12483.0034.681483.204.1225185.0069.963515.009.76廈門馬巷BR3603.8336.048036.3080.366928.0069.2816555.00165.55福州一廠AR11921.569.614444.4422.224534.0022.678775.0043.88福州馬尾R11177.3447.09785.4431.422376.0095.041349.0053.96福州湖東R1395.477.91739.7714.80595.0011.901199.0023.98福州金山R1343.6713.75679.9327.20563.0022.521157.0046.28福州上街R145.401.8213.560.5494.003.7658.002.32廈門1038.7910.394049.6740.502340.0023.408123.0081.23寧德542.6910.852163.7343.271077.0021.544343.0086.86莆田1055.9321.122203.8044.081846.0036.924671.0093.42泉州3217.8616.098589.7442.956759.0033.8016771.0083.86漳州1146.0011.464074.4240.742340.0023.408268.0082.68龍巖950.969.513229.5232.302109.0021.096716.0067.16三明666.3613.332486.4549.731393.0027.864296.0085.92南平612.7012.252440.8848.821245.0024.904514.0090.28CMNET系統(tǒng)指標(biāo)－廈門核心節(jié)點(diǎn)廈門BR流向平均流入平均流出最大流入最大流出流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）南京-國干2430.353.042430.353.044017.005.026570.008.21福州湖東AR21117.805.592227.7111.142284.0011.424698.0023.49福州馬尾R22765.4527.65500.535.015594.0055.94659.006.59福州湖東R228.040.56199.804.0046.000.92414.008.28福州金山R212.410.5023.580.9480.003.20154.006.16福州上街R20.690.033.330.1314.000.5627.001.08廈門交換機(jī)104.855.24273.8313.69267.5313.38630.7531.54廈門747.127.47722.977.231772.0017.721541.0015.41寧德490.249.801999.9940.00994.0019.883873.0077.46莆田936.1918.722046.8440.941504.0030.084075.0081.50泉州367.211.841408.467.04771.003.862940.0014.70漳州950.2819.011973.4239.471986.0039.723729.0074.58龍巖1193.1523.862188.5243.772510.0050.203772.0075.44三明560.9811.221060.8521.221154.0023.082665.0053.30南平510.4010.21519.1310.381002.0020.042217.0044.34CMNET省網(wǎng)、城域網(wǎng)路由情況分析一廠新網(wǎng)BR廈門新網(wǎng)BR地市AR1地市AR2RRRRCMNET省網(wǎng)AS:64840CMNET城域網(wǎng)地市使用OSPF(區(qū)域0)省網(wǎng)IGP使用ISIS(LEVEL2)BRAS或SRBRAS或SRBRAS或SR一廠BR回程流量通過IGP選擇是往地市AR1回程，導(dǎo)致地市AR1回程流量較大，可通過配置基于目的的策略路由，匹配地市某些網(wǎng)段回程往AR2回程規(guī)劃COST值，越大越不優(yōu)選，合理調(diào)節(jié)上聯(lián)流量IDCS9306或FW正常情況，流量到達(dá)IDC邊界設(shè)備后直接往AR出，不要出現(xiàn)往另一臺邊界設(shè)備繞的情況Cost20Cost100Cost100Cost10Cost60Cost60移動(dòng)CMNET國家網(wǎng)AS:9808BR向總部發(fā)布BGP路由，可根據(jù)情況修改MED疏通，值越小越優(yōu)選地市AR對下聯(lián)BRAS或SR統(tǒng)一COST值，非互聯(lián)SR之間互訪應(yīng)只通過AR中轉(zhuǎn)CMNET省網(wǎng)QOS規(guī)劃分類服務(wù)等級業(yè)務(wù)名稱隊(duì)列名稱調(diào)度方式隊(duì)列比例ToS隊(duì)列DSCP隊(duì)列家庭寬帶普通普通BEBEWFQ10%公共互聯(lián)網(wǎng)業(yè)務(wù)：WLAN、,C類集團(tuán)專線銅服務(wù)自有業(yè)務(wù)1AF1AF11WFQ10%IDC/ADC,緩存,MISC,視頻監(jiān)控，OA等銀服務(wù)自有業(yè)務(wù)2AF2AF21WFQ10%核心業(yè)務(wù):WAP網(wǎng)關(guān)、GPRS、彩信網(wǎng)關(guān)、短信網(wǎng)關(guān)、IMS、DNS、RADIUS金服務(wù)自有業(yè)務(wù)3AF3AF31WFQ15%A、B類集團(tuán)用戶白金服務(wù)自有業(yè)務(wù)3AF4AF41WFQ15%暫時(shí)保留預(yù)留預(yù)留CS6CS6PQ10%暫時(shí)保留預(yù)留預(yù)留CS7CS7PQ5%暫時(shí)保留預(yù)留預(yù)留EFEFPQ5%CMNET省網(wǎng)QOS實(shí)施一廠新網(wǎng)BR廈門新網(wǎng)BR地市AR1地市AR2RRRRCMNET省網(wǎng)AS:64840CMNET城域網(wǎng)地市使用OSPF(區(qū)域0)省網(wǎng)IGP使用ISIS(LEVEL2)BRAS或SRBRAS或SRBRAS或SR下聯(lián)AR:BR做簡單流分類，信任AR的流分類，并在出接口做調(diào)度.上聯(lián)總部：信任總部出口入的流分類，向地市AR調(diào)度。IDCS9306或FWCost20Cost100Cost100Cost10Cost60Cost60移動(dòng)CMNET國家網(wǎng)AS:9808下聯(lián)BRAS:進(jìn)行復(fù)雜流分類，重標(biāo)記為對應(yīng)隊(duì)列，對出接口做調(diào)度。上聯(lián)BR信任流分類，并調(diào)度到下聯(lián)BRASSIG部署在福州一廠、廈門馬巷。（一廠對廈門SIG的網(wǎng)管通過CMNET省網(wǎng)打通MPLSL3VPN實(shí)現(xiàn)），并跟PPCache互聯(lián)，由PPCache提供特征碼。對總部出口、第3方出口、鐵通出口分光到9280E（由于SIG端口數(shù)不夠，因此目前總部1條10G的上行方向，鐵通10G下行方向未分光到SIG），進(jìn)行協(xié)議分析，由T8000服務(wù)器做管理，下發(fā)策略，能對協(xié)議做干擾到達(dá)減少出口帶寬使用的作用。PPcache部署在福州一廠。簡單說明工作方式1、監(jiān)聽：如右圖用戶A進(jìn)行P2P應(yīng)用，SIG9280E轉(zhuǎn)發(fā)這些應(yīng)用報(bào)文給PPCache，2、緩存：PPCache收到后到外網(wǎng)資源做下載，緩存到服務(wù)器中。3、判斷：在其他用戶要求下載資源時(shí)，PPCache收到后，進(jìn)行判斷是否提供下載。4、重定向：向用戶發(fā)送重定向報(bào)文，由于是內(nèi)網(wǎng)，因此比外網(wǎng)服務(wù)器更早到達(dá)用戶，用戶則通過PPCache做下載。CMNET福建省網(wǎng)PPCACHE及SIG應(yīng)用說明一廠BR廈門BR福州AR1廈門AR2移動(dòng)CMNET國家網(wǎng)AS:9808鐵通出口RRRR一廠M320-2一廠M320-1閩會(huì)(AS:64610)金橋(AS:17964)寬廣設(shè)備分光器T80009280E網(wǎng)管干擾9280E網(wǎng)管干擾SIG網(wǎng)管由一廠AR1到廈門AR2開通MPLSL3VPN實(shí)現(xiàn)互聯(lián)S3228S3228交換機(jī)SIG系統(tǒng)SIG系統(tǒng)PPCache服務(wù)器群用戶A進(jìn)行BT，迅雷、電驢、HTTP下載福州側(cè)：1）、對總部出口8*10G有分光2）鐵通出口4*10GE閩會(huì)資源46G，主用4*10G分光;網(wǎng)宿2.5G分光3）一廠BR跟一廠M320-2互聯(lián)3*2.5G上、下行分光有接入。廈門側(cè)：1）對總部出口8*10G2）廈門BR到一廠M320-1)3*2.5G業(yè)務(wù)細(xì)分網(wǎng)段PPCACHE6/286/272/30地市AR帝聯(lián)、藍(lán)汛CDN提供特定網(wǎng)站緩存：用戶A訪問,向省DNS發(fā)出請求，省DNS向上級做遞歸，帝聯(lián)、藍(lán)汛CDN根據(jù)其遞歸的DNS匹配福建移動(dòng)DNS的，反饋緩存服務(wù)器IP,實(shí)現(xiàn)訪問。帝聯(lián)、藍(lán)汛CDN實(shí)現(xiàn)說明一廠BR廈門BR馬尾2臺ARRRRRDNS、緩存服