構(gòu)建無生成樹的數(shù)據(jù)中心二層網(wǎng)絡(luò)

1、構(gòu)建無生成樹的數(shù)據(jù)中心二層網(wǎng)絡(luò)構(gòu)建二層網(wǎng)絡(luò)以實(shí)現(xiàn)虛擬機(jī)動(dòng)態(tài)遷移，是滿足數(shù)據(jù)中心計(jì)算資源靈活調(diào)配和業(yè)務(wù) 永續(xù)要求的基本條件。傳統(tǒng)二層網(wǎng)絡(luò)延生成樹協(xié)議（STP）構(gòu)造的分發(fā)樹轉(zhuǎn)發(fā)以 太網(wǎng)幀，為避免二層環(huán)路，STP將部分鏈路被阻塞，致使鏈路帶寬利用率不足。未來，隨著業(yè)務(wù)系統(tǒng)對IT基礎(chǔ)設(shè)施靈活度需求的不斷提升，虛擬機(jī)動(dòng)態(tài)遷移技術(shù) 將得以更廣泛應(yīng)用，數(shù)據(jù)中心內(nèi)的二層網(wǎng)絡(luò)范圍將不斷擴(kuò)大，如何避免通過STP 構(gòu)建二層網(wǎng)絡(luò)的帶寬利用率問題，擺在了網(wǎng)絡(luò)設(shè)計(jì)人員面前。本文介紹了兩種構(gòu) 建無STP二層網(wǎng)絡(luò)的新技術(shù)，希望能給讀者帶來一些數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)劃的新思路。一、STP的帶寬利用率問題STP是IEEE 802.1D中

2、定義的一個(gè)應(yīng)用于以太網(wǎng)交換機(jī)的標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)為交換 機(jī)定義了一組規(guī)則用于探知鏈路層拓?fù)?，并對交換機(jī)的鏈路層轉(zhuǎn)發(fā)行為進(jìn)行控 制。如果STP發(fā)現(xiàn)網(wǎng)絡(luò)中存在環(huán)路，它會(huì)在環(huán)路上選擇一個(gè)恰當(dāng)?shù)奈恢米枞?路上的端口一一阻止端口轉(zhuǎn)發(fā)或接收以太網(wǎng)幀，通過這種方式消除二層網(wǎng)絡(luò)中 可能產(chǎn)生的廣播風(fēng)暴。然而在實(shí)際部署中，為確保網(wǎng)絡(luò)的高可用性，無論是數(shù) 據(jù)中心網(wǎng)絡(luò)還是園區(qū)網(wǎng)絡(luò)，通常都會(huì)采用具有環(huán)路的物理拓?fù)?，并采用STP阻 塞部分端口的轉(zhuǎn)發(fā)。對于被阻塞端口，只有在處于轉(zhuǎn)發(fā)狀態(tài)的端口及鏈路發(fā)生 故障時(shí)，才可能被STP加入到二層數(shù)據(jù)幀的轉(zhuǎn)發(fā)樹中。160G葉節(jié)點(diǎn)匯聚接入160G葉節(jié)點(diǎn)匯聚接入圖1. STP引起的帶寬利用率

3、問題STP的這種機(jī)制導(dǎo)致了二層鏈路利用率不足，尤其是在網(wǎng)絡(luò)設(shè)備具有全連接拓?fù)?關(guān)系時(shí)，這種缺陷尤為突出。如圖1所示，當(dāng)采用全網(wǎng)二層設(shè)計(jì)時(shí)，服務(wù)器層、 接入層、匯聚層及核心層之間都有16X10G的鏈路帶寬資源，但STP將阻塞大 多數(shù)鏈路，使接入到匯聚間帶寬降至40G，匯聚全核心間帶寬降至20G。這種缺 陷造成越接近樹根的交換機(jī)，端口擁塞越嚴(yán)重，同時(shí)還限制了網(wǎng)絡(luò)的“對分帶 寬（*注1）”。*注1:“對分帶寬（bisection bandwidth ） ”是考量具有逐級收斂特征的網(wǎng)絡(luò) 拓?fù)涞膸捓寐实膯挝?。這個(gè)概念可簡單的理解為：“將網(wǎng)絡(luò)中的主機(jī)分成同 樣大小的兩組，且主機(jī)都使用相同的網(wǎng)絡(luò)鏈路進(jìn)行

4、互聯(lián)，“對分帶寬”就是這兩 組主機(jī)之間通信的總鏈路帶寬?！比鐖D1，將主機(jī)分左右兩組，每組8臺，由于 部分鏈路被阻塞，左右兩組間的“對分帶寬”只有10G。雖然MSTP（IEEE 802.1s）解決了所有VLAN必須在同一棵生成樹上轉(zhuǎn)發(fā)的問題， 并且隨著40GE/100GE的出現(xiàn)，對分帶寬太小的問題也可適當(dāng)緩解，但采用STP 構(gòu)建二層網(wǎng)絡(luò)時(shí)，因端口阻塞導(dǎo)致鏈路帶寬利用率不足的問題仍無法避免。解 決上述問題的唯一方法是廢除二層網(wǎng)絡(luò)的生成樹模型，使所有端口都處于轉(zhuǎn)發(fā) 狀態(tài)，實(shí)現(xiàn)端到端具有多條二層轉(zhuǎn)發(fā)路徑。當(dāng)前，業(yè)界有兩種比較成熟的構(gòu)建 無STP二層網(wǎng)絡(luò)技術(shù)：基于設(shè)備N:1虛擬化（如H3C IRF技術(shù)）

5、的跨備鏈路聚合TRILL二、IRF實(shí)現(xiàn)以太網(wǎng)跨設(shè)備鏈路聚合IRF技術(shù)概述IRF （Intelligent Resilient Framework）是 H3C 公司的 N:1 網(wǎng)絡(luò)虛擬化技術(shù)。 IRF可將多臺網(wǎng)絡(luò)設(shè)備（成員設(shè)備）虛擬化為一臺網(wǎng)絡(luò)設(shè)備（虛擬設(shè)備），并將 這些設(shè)備作為單一設(shè)備管理和使用。IRF成員設(shè)備在本地記錄自己已知的拓?fù)湫?息，拓?fù)湫畔⑼ㄟ^IRF互聯(lián)端口傳遞，經(jīng)過一段時(shí)間的收集，所有設(shè)備上都會(huì) 收集到完整的拓?fù)湫畔ⅲǚQ為拓?fù)涫諗浚?。此時(shí)會(huì)進(jìn)入角色選舉階段，確定成 員為Master或者Slave。對于盒式交換機(jī)，IRF形成的虛擬設(shè)備相當(dāng)于一臺框式分布式交換機(jī)，IRF互聯(lián) 電纜模擬了

6、交換背板，IRF中的Master相當(dāng)于虛擬設(shè)備的主用主控板，Slave 設(shè)備相當(dāng)于備用主控板（同時(shí)擔(dān)任接口板的角色），如圖2.a所示。對于框式 分布式交換機(jī)，IRF形成的虛擬設(shè)備也相當(dāng)于一臺框式分布式設(shè)備，但該虛擬的 框式分布式設(shè)備擁有更多的備用主控板和接口板，IRF中的Master的主用主控 板相當(dāng)于虛擬設(shè)備的主用主控板，Master的備用主控板以及Slave的主用、備 用主控板均相當(dāng)于虛擬設(shè)備的備用主控板（同時(shí)擔(dān)任接口板的角色），如圖2.b 所示。圖2.交換機(jī)IRF虛擬化的原理基于IRF的跨設(shè)備鏈路聚合特性跨設(shè)備鏈路聚合：用戶可以將Fabric中不同Unit的多個(gè)端口進(jìn)行聚合，實(shí)現(xiàn) 了對F

7、abric內(nèi)統(tǒng)一的聚合管理。這不僅可以使聚合的設(shè)置更加方便，而且跨越 設(shè)備的鏈路聚合也有效地避免了單點(diǎn)故障的發(fā)生。IRF技術(shù)實(shí)現(xiàn)了以太幀分布式轉(zhuǎn)發(fā)，虛擬設(shè)備中的每個(gè)成員設(shè)備都具有完整的二 層轉(zhuǎn)發(fā)能力，當(dāng)某成員設(shè)備端口上收到待轉(zhuǎn)發(fā)以太幀時(shí)，可通過查詢該成員設(shè) 備的二層轉(zhuǎn)發(fā)表得到以太幀的出接口，并將其從正確的出接口送出。以太幀的 出接口既可以在該成員設(shè)備上，也可以在其它成員設(shè)備上。由于虛擬設(shè)備被當(dāng) 作一臺邏輯設(shè)備進(jìn)行管理，因此不同成員設(shè)備的物理端口可以被捆綁在一起， 作為一個(gè)邏輯端口使用，在配置與組網(wǎng)上與單臺交換機(jī)的端口聚合功能相同， 由此就實(shí)現(xiàn)了 “跨設(shè)備鏈路聚合”特性（如圖3所示）。圖3. I

8、RF跨設(shè)備鏈路聚合的原理通過IRF構(gòu)建無STP的數(shù)據(jù)中心二層網(wǎng)絡(luò)IRF虛擬化不僅使多臺物理設(shè)備簡化成一臺邏輯設(shè)備，同時(shí)網(wǎng)絡(luò)各層之間的多條 鏈路連接也將變成兩臺邏輯設(shè)備之間的直連，因此可以將多條物理鏈路進(jìn)行跨 設(shè)備的鏈路聚合，從而變成了一條邏輯鏈路，增加帶寬的同時(shí)也避免了由多條 物理鏈路引起的環(huán)路問題。如圖4.1所示，在采用全萬兆互聯(lián)的分層（接入、 匯聚、核心）物理拓?fù)渖?，需?gòu)建一個(gè)純二層網(wǎng)絡(luò)，如采用STP部署方案，當(dāng) 拓?fù)涫諗繒r(shí)，從接入全核心逐層收斂，對分帶寬只有10GE；如采用IRF部署方 案，如圖4.2所示，將接入、匯聚與核心交換機(jī)兩兩虛擬化，層與層之間采用 跨設(shè)備鏈路捆綁方式互聯(lián)，整網(wǎng)物

9、理拓?fù)錄]有變化，但邏輯拓?fù)渖献兂闪巳鐖D 4.3的樹狀結(jié)構(gòu)，以太幀延拓?fù)錁滢D(zhuǎn)發(fā)，不存在二層環(huán)路，且對分帶寬（bisection bandwidth）為 40GE。IRF虛擬化技術(shù)起到了橫向整合的作用，從邏輯上將全互聯(lián)的網(wǎng)狀拓?fù)湔蠟闊o 環(huán)路的樹狀拓?fù)?，整合后的虛擬化設(shè)備具備跨設(shè)備鏈路聚合功能，所有鏈路都 參與以太幀轉(zhuǎn)發(fā)，對分帶寬提高。莒齊枷理拓止遷禱各保IRFtft向肆招化夏由堆化后的建輯跖撲圖4基于IRF構(gòu)建無STP二層網(wǎng)絡(luò)三、TRILL實(shí)現(xiàn)二層多路徑轉(zhuǎn)發(fā)1.TRILL技術(shù)概述TRILL （Transparent Interconnection of Lots of Links，多鏈路透明互聯(lián)

10、） 是由IETF提出的“以太幀多路徑轉(zhuǎn)發(fā)”技術(shù)標(biāo)準(zhǔn)，目前該標(biāo)準(zhǔn)還處于草案階 段。TRILL提供了一種與傳統(tǒng)以太幀轉(zhuǎn)發(fā)方式完全不同的技術(shù)。“多路徑”概念 以往只用于IP轉(zhuǎn)發(fā)。當(dāng)兩臺路由器間存在多條等價(jià)轉(zhuǎn)發(fā)路徑（等價(jià)或非等價(jià)）， 路由器可根據(jù)路由協(xié)議的計(jì)算結(jié)果，將IP報(bào)文沿最短路徑、并按照路徑度量值， 基于流的方式進(jìn)行分擔(dān)轉(zhuǎn)發(fā)，由此可充分利用帶寬資源。TRILL技術(shù)將IP報(bào)文 轉(zhuǎn)發(fā)思路應(yīng)用于以太幀轉(zhuǎn)發(fā)，支持TRILL技術(shù)的以太網(wǎng)交換機(jī)被稱為“RBridge （Routing Bridge）”。路由器可通過鏈路狀態(tài)路由協(xié)議計(jì)算相互之間的最短路徑、等價(jià)多路徑/ECMP， 并在拓?fù)渥兓瘯r(shí)更新轉(zhuǎn)發(fā)路徑。R

11、Bridge間通過類似IS-IS路由協(xié)議的鏈路狀態(tài) 控制協(xié)議TRILL IS-IS實(shí)現(xiàn)相互間最短路徑和等價(jià)多路徑的計(jì)算。TRILL IS-IS 只計(jì)算RBridge間的拓?fù)?，而不關(guān)心網(wǎng)絡(luò)中兩臺主機(jī)間的拓?fù)洹Ｂ酚善骶邆洹翱蓪ぶ沸浴?，因此可通過鏈路狀態(tài)路由協(xié)議（OSPF、IS-IS）計(jì)算 整網(wǎng)拓?fù)?，并通過已獲得的拓?fù)溆?jì)算出相互間最短路徑和分擔(dān)策略。傳統(tǒng)以太 網(wǎng)交換機(jī)不具“可尋址性”（橋MAC只用在控制層協(xié)議/STP，不影響以太幀轉(zhuǎn) 發(fā)），以太幀頭只包含源端和目的端主機(jī)MAC，轉(zhuǎn)發(fā)路徑中的所有交換機(jī)對于源 端和目的端主機(jī)都是透明的。TRILL定義的以太幀轉(zhuǎn)發(fā)模型與IP報(bào)文在路由器 上轉(zhuǎn)發(fā)模型相似，因

12、此RBridge必須與路由器一樣成為可尋址設(shè)備。TRILL網(wǎng)絡(luò) 中的RBridge都被賦予不同的Nickname（2字節(jié)），其更能類似與IP地址，由 此RBridge變?yōu)榭蓪ぶ吩O(shè)備。Ouler VLANbSOOingre敦hkc血rm RBI以我利F即LoadiHQfgrffR8 I5AH lNeJi-hOp 呆EgrciTRILL| jrtrMTDAMftC=SaInn&r DAMW1-S2lirrw DA MAC r S2inw DA MAC be S3rrrSA.httC-SllmSAMAjC=r$1Ouler VLANbSOOingre敦hkc血rm RBI以我利F即LoadiHQfg

13、rffR8 I5AH lNeJi-hOp 呆EgrciTRILL| jrtrMTDAMftC=SaInn&r DAMW1-S2lirrw DA MAC r S2inw DA MAC be S3rrrSA.httC-SllmSAMAjC=r$1lm&r$AMAC =S1Inner SAVLAp4= IQInner H/LANalOImer VlAM-10Inner VLAN=1O以我博F州Load以我網(wǎng)戶臥rE蹶Out&rSAMAC - RB2Outr VLANsSOO圖5 RBridge對已知單播的轉(zhuǎn)發(fā)如圖5所示，當(dāng)單播以太幀通過位于TRILL網(wǎng)絡(luò)邊緣的Ingress RBridge進(jìn)入 TR

14、ILL網(wǎng)絡(luò)時(shí)，原始幀頭前被增加一個(gè)額外的“TRILL頭”（類似IP報(bào)文頭）， 其中包含 Ingress RBridge Nickname和 Egress RBridge Nickname，就像 IP 頭 中的源IP地址和目的IP地址TRILL頭”前還要添加“Next-Hop頭”（就 像IP報(bào)文前的MAC頭或PPP頭），由此完成TRILL幀封裝。此后，TRILL幀在 RBridge間的轉(zhuǎn)發(fā)過程就像IP報(bào)文在路由器間的轉(zhuǎn)發(fā)過程。RBridge根據(jù)TRILL 頭中的Egress Nickname進(jìn)行逐跳轉(zhuǎn)發(fā)，Next-hop頭在每一跳都要修改，而TRILL 頭中只有TTL值發(fā)生變化。RBridge間

15、對TRILL幀實(shí)現(xiàn)最短路徑轉(zhuǎn)發(fā)和等價(jià)路徑 分擔(dān)，避免了傳統(tǒng)二層網(wǎng)絡(luò)由于運(yùn)行STP造成的鏈路阻塞問題。TRILL幀最終在 TRILL網(wǎng)絡(luò)邊緣的Egress RBridge被還原成標(biāo)準(zhǔn)以太幀，并被送出TRILL網(wǎng)。 RBridge只需要知道到達(dá)下一跳RBridge的最優(yōu)路徑即可，無需知道如何到達(dá)目 的主機(jī)。因此，只有Ingress/Egress RBridge需要使能傳統(tǒng)的MAC地址學(xué)習(xí)（MAC 表中區(qū)分從本地端口學(xué)到的MAC地址，以及從遠(yuǎn)端Egress RBridge上學(xué)到的MAC 地址），而TRILL網(wǎng)絡(luò)上的核心RBridge無需維護(hù)與主機(jī)相關(guān)的MAC表。另外， RBridge之間可以采用傳統(tǒng)

16、以太交換機(jī)互聯(lián)，并且在BRridge與互聯(lián)交換機(jī)可運(yùn) 行STP協(xié)議，但RBridge會(huì)終結(jié)STP實(shí)例，不會(huì)將BPDU通過RBridge擴(kuò)散。TRIU 觸TRILL 蛟TRIU 觸TRILL 蛟圖6 RBridge對多目的幀的轉(zhuǎn)發(fā)如圖6所示，對于多目的以太幀(廣播、組播、未知單播)的處理，要求RBridge 通過TRILL IS-IS的計(jì)算結(jié)果生成出多棵具有不同樹根的分發(fā)樹。多目的幀進(jìn) 入TRILL網(wǎng)絡(luò)，由Ingress RBridge選擇一顆分發(fā)樹用于該幀在TRILL網(wǎng)的轉(zhuǎn) 發(fā)，并將樹根 RBridge Nickname 作為“TRILL 頭”中的 Egress RBridge Nicknam

17、eo 此后的處理過程其過程與IP組播報(bào)文在組播路由器間的轉(zhuǎn)發(fā)類似，每個(gè)RBridge 只根據(jù)樹根RBridge標(biāo)識的分發(fā)樹選擇TRILL的復(fù)制和轉(zhuǎn)發(fā)策略。需要說明一點(diǎn)，由于TRILL技術(shù)定義了新的幀格式，所以傳統(tǒng)的以太網(wǎng)交換機(jī) 不能通過升級軟件支持該特性，只有采用新款A(yù)SIC/NP芯片的以太網(wǎng)交換機(jī)才 能支持TRILL轉(zhuǎn)發(fā)。2.通過TRILL構(gòu)建無STP的數(shù)據(jù)中心二層網(wǎng)絡(luò)圖7是采用TRILL技術(shù)構(gòu)建的數(shù)據(jù)中心大二層網(wǎng)絡(luò)，網(wǎng)絡(luò)分為核心層、接入層。 接入層是TRILL網(wǎng)絡(luò)與傳統(tǒng)以太網(wǎng)的邊界，某些情況下可能需要運(yùn)行STP用于 連接傳統(tǒng)以太網(wǎng)。核心層RBridge不提供主機(jī)接入，只負(fù)責(zé)TRILL幀的高

18、速轉(zhuǎn) 發(fā)。每個(gè)接入層RBridge通過8個(gè)萬兆端口分別接入到8臺核心層RBridge上， 此時(shí)的網(wǎng)絡(luò)對分帶寬(bisection bandwidth)可達(dá)320G。假設(shè)每臺核心RBridge 通過160個(gè)萬兆端口與160臺接入層RBridge連接，則對分帶寬可達(dá)6400G，也 就是說整個(gè)數(shù)據(jù)中心可以構(gòu)建擁有12K臺服務(wù)器的大二層網(wǎng)絡(luò)。這種拓?fù)浣Y(jié)構(gòu) 通常應(yīng)用在“分布式IO集群計(jì)算”環(huán)境，以及“并行文件處理計(jì)算計(jì)算”環(huán)境。 前者的典型應(yīng)用是搜索引擎，后者的典型應(yīng)用是圖像/動(dòng)畫渲染。另外，這里的 核心層和接入層RBridge都應(yīng)采用具有端口大緩存能力的設(shè)備，以防范在轉(zhuǎn)發(fā) 路徑中可能出現(xiàn)“多條流同時(shí)向一個(gè)端口轉(zhuǎn)發(fā)”所造成的擁塞現(xiàn)象。TRILL岫墻核心層Core RBridQeFR11I同躊按ATRILL岫墻核心層Core RBridQeFR11I同躊按A層Ingress PFfrinEgress RlridQ圖7通過TRILL技術(shù)構(gòu)建大二層網(wǎng)絡(luò)四、 結(jié)束語IRF與TRILL的綜合對比IRFTRILL技術(shù)成熟度52配置管理簡易性53二層網(wǎng)絡(luò)規(guī)模（分值大代表規(guī)模大）35與傳統(tǒng)STP網(wǎng)絡(luò)的無縫連接能力54現(xiàn)網(wǎng)設(shè)備對該技術(shù)的支持能力40*注：滿分為5,分值越接近5,表示該項(xiàng)技術(shù)參數(shù)越優(yōu)良