數(shù)據(jù)中心拓?fù)淇偨Y(jié)

1、數(shù)據(jù)中心拓?fù)淇偨Y(jié)目目 錄錄1.1 數(shù)據(jù)中心網(wǎng)絡(luò)特性需求.11.2 現(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)?2傳統(tǒng)樹形結(jié)構(gòu).2Fat-Tree 拓?fù)浣Y(jié)構(gòu).3VL2 拓?fù)浣Y(jié)構(gòu).4DCell 拓?fù)浣Y(jié)構(gòu).6BCube 拓?fù)浣Y(jié)構(gòu) .8MDCube.9FiConn 拓?fù)浣Y(jié)構(gòu).12HCN 拓?fù)浣Y(jié)構(gòu).13BCN 拓?fù)浣Y(jié)構(gòu).15雪花結(jié)構(gòu).17Scafida.19基于 Kautz 圖的數(shù)據(jù)中心拓?fù)?20參考文獻(xiàn).I數(shù)據(jù)中心拓?fù)淇偨Y(jié)1數(shù)據(jù)中心拓?fù)淇偨Y(jié)數(shù)據(jù)中心拓?fù)淇偨Y(jié)1.1 數(shù)據(jù)中心網(wǎng)絡(luò)特性需求數(shù)據(jù)中心網(wǎng)絡(luò)特性需求隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，數(shù)據(jù)中心已經(jīng)成為提供 IT 網(wǎng)絡(luò)服務(wù)、分布式并行計(jì)算等的基礎(chǔ)架構(gòu)，為加速現(xiàn)代社會信息化建設(shè)、加快社會進(jìn)

2、步，發(fā)揮舉足輕重的作用。數(shù)據(jù)中心是當(dāng)代 IT 建設(shè)的重點(diǎn)項(xiàng)目，承載著企業(yè)的核心業(yè)務(wù)，致力為企業(yè)提供高效的服務(wù)，降低企業(yè)管理難度及運(yùn)營開銷。數(shù)據(jù)中心應(yīng)用范圍愈加廣泛，應(yīng)用需求不斷增加，業(yè)務(wù)數(shù)據(jù)量達(dá) T/P級以上；另外，如視頻、金融業(yè)務(wù)數(shù)據(jù)等對服務(wù)質(zhì)量、時(shí)延、帶寬都有嚴(yán)格要求，因此構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)時(shí)，對于數(shù)據(jù)中心網(wǎng)絡(luò)的性能要求很高，具體如下：1高度可擴(kuò)展性：隨著數(shù)據(jù)中心業(yè)務(wù)的拓展，數(shù)據(jù)中心的規(guī)模不斷擴(kuò)大，因此要求數(shù)據(jù)中心網(wǎng)絡(luò)能夠容納更多的服務(wù)器及交換機(jī)設(shè)備，以保證業(yè)務(wù)需求。設(shè)備的添加不會對現(xiàn)有網(wǎng)絡(luò)服務(wù)性能造成很大的影響，實(shí)現(xiàn)性能平穩(wěn)擴(kuò)展，不會引入過載等問題；2多路徑特性：由于數(shù)據(jù)中心規(guī)模巨大，鏈路

3、、節(jié)點(diǎn)及部分網(wǎng)絡(luò)出現(xiàn)故障是難以避免的。另外，當(dāng)源、目的節(jié)點(diǎn)對之間突發(fā)業(yè)務(wù)量較大時(shí)，單條鏈路難以保證帶寬傳輸需求。因此對于網(wǎng)絡(luò)拓?fù)涮岢龅囊蠹词潜ＷC不同節(jié)點(diǎn)之間有多條并行的路徑，使得： 在一定的網(wǎng)絡(luò)故障率范圍內(nèi)，網(wǎng)絡(luò)服務(wù)質(zhì)量能夠得到保障，網(wǎng)絡(luò)具有很好的容錯性能，實(shí)現(xiàn)網(wǎng)絡(luò)的高可靠性，保證服務(wù)質(zhì)量； 并行路徑能夠提供充裕帶寬，當(dāng)有過量突發(fā)業(yè)務(wù)需要傳輸服務(wù)時(shí)，網(wǎng)絡(luò)能動態(tài)實(shí)現(xiàn)分流，滿足數(shù)據(jù)傳輸需求；3低時(shí)延特性：數(shù)據(jù)中心在科研機(jī)構(gòu)、金融等部門發(fā)揮著無可取代的重要作用，為用戶提供視頻、在線商務(wù)、高性能計(jì)算等服務(wù)，不少業(yè)務(wù)對網(wǎng)絡(luò)時(shí)延比較敏感，對網(wǎng)絡(luò)實(shí)時(shí)性要求非常嚴(yán)格。因此設(shè)計(jì)網(wǎng)絡(luò)拓?fù)鋾r(shí)，需充分考慮網(wǎng)絡(luò)的低時(shí)

4、延特性要求，實(shí)現(xiàn)數(shù)據(jù)的高速率傳輸；4高帶寬傳輸：數(shù)據(jù)中心應(yīng)用業(yè)務(wù)如數(shù)據(jù)發(fā)掘、科學(xué)計(jì)算及業(yè)務(wù)遷移等，數(shù)據(jù)傳輸量巨大，達(dá)到 T（1012B ）或 P（1015B）級，有時(shí)甚至達(dá) Z（1021B）級，因此需要網(wǎng)絡(luò)拓?fù)渚哂泻芨叩膶Ψ謳?，滿足業(yè)務(wù)的高吞吐傳輸需求；5網(wǎng)絡(luò)互連開銷低：數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)模龐大，構(gòu)建相當(dāng)規(guī)模的數(shù)據(jù)中心，耗費(fèi)巨資。因此為降低構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)的成本，需從以下幾個方面著手： 使用價(jià)格低廉?dāng)?shù)據(jù)中心拓?fù)淇偨Y(jié)2的低端商用交換設(shè)備取代高端專用設(shè)備實(shí)現(xiàn)網(wǎng)絡(luò)互聯(lián)； 網(wǎng)絡(luò)規(guī)模的擴(kuò)展不是以新設(shè)備代替舊設(shè)備； 網(wǎng)絡(luò)拓?fù)湟?guī)整化，降低布線的復(fù)雜度，且易于管理、自動化配置及優(yōu)化升級。另外，在保證網(wǎng)絡(luò)性能的前

5、提下，應(yīng)盡可能地簡化網(wǎng)絡(luò)布線；6模塊化設(shè)計(jì)：充分利用模塊化設(shè)計(jì)的優(yōu)點(diǎn)，實(shí)施設(shè)備模塊化添加、維護(hù)、替換等，降低網(wǎng)絡(luò)布局和擴(kuò)展的復(fù)雜度。另外，充分考慮業(yè)務(wù)流量特點(diǎn)及服務(wù)要求，保證通信頻繁的設(shè)備處在同一模塊內(nèi)，降低模塊之間的通信量，便于優(yōu)化網(wǎng)絡(luò)性能，實(shí)現(xiàn)流量均衡等；7網(wǎng)絡(luò)扁平化：隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，計(jì)算、存儲與傳統(tǒng)以太網(wǎng)融合實(shí)現(xiàn)數(shù)據(jù)中心以太網(wǎng)已是數(shù)據(jù)中心發(fā)展趨勢，對于簡化網(wǎng)絡(luò)管理及優(yōu)化性能都具有明顯優(yōu)勢。隨著融合網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)扁平化已經(jīng)提上日程，要求構(gòu)建網(wǎng)絡(luò)的層數(shù)要盡可能低，以利于網(wǎng)絡(luò)流量均衡，避免過載，方便管理等；8綠色節(jié)能：因數(shù)據(jù)中心運(yùn)營能耗開銷甚大，而散熱能耗占數(shù)據(jù)中心總能耗的比重已超過 5

6、0%。合理的布局有利于數(shù)據(jù)中心散熱，實(shí)現(xiàn)降低能耗開銷、保護(hù)網(wǎng)絡(luò)設(shè)備的目的。因此設(shè)計(jì)網(wǎng)絡(luò)拓?fù)浼軜?gòu)時(shí)也要充分考慮網(wǎng)絡(luò)布局問題，實(shí)現(xiàn)綠色節(jié)能的目標(biāo)；1.2 現(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)洮F(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)洮F(xiàn)階段研究人員基于不同規(guī)則提出不少用于構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，致力于滿足上述網(wǎng)絡(luò)拓?fù)涞奶匦砸?。依?jù)網(wǎng)絡(luò)中負(fù)責(zé)轉(zhuǎn)發(fā)數(shù)據(jù)的設(shè)備不同，可以將拓?fù)錇?switch-only 拓?fù)洹erver-only 拓?fù)浼盎旌闲屯負(fù)?。下面主要從網(wǎng)絡(luò)拓?fù)涞臉?gòu)建原則、擴(kuò)展方式、擴(kuò)展能力、網(wǎng)絡(luò)性能參數(shù)及網(wǎng)絡(luò)拓?fù)涞膬?yōu)缺點(diǎn)等方面介紹各拓?fù)?。傳統(tǒng)樹形結(jié)構(gòu)傳統(tǒng)樹形結(jié)構(gòu)傳統(tǒng)樹形結(jié)構(gòu)（如圖 1 所示）是較早用于構(gòu)建數(shù)據(jù)中心的網(wǎng)絡(luò)拓?fù)?，該?/p>

7、撲是一種多根樹形結(jié)構(gòu)，屬于 switch-only 型拓?fù)洌讓硬捎蒙逃媒粨Q設(shè)備與服務(wù)器相連，高層則是采用高性能、高容量、高速率交換設(shè)備。傳統(tǒng)樹形結(jié)構(gòu)結(jié)構(gòu)簡單，易于實(shí)現(xiàn)，但存在一系列缺點(diǎn)： 傳統(tǒng)樹形結(jié)構(gòu)采用垂直擴(kuò)展（scale-up）方式實(shí)現(xiàn)擴(kuò)展，通過添加更高的層數(shù)及設(shè)備實(shí)現(xiàn)擴(kuò)展，其拓展規(guī)模受限于高層互連設(shè)備的端口數(shù)目，擴(kuò)展能力有限。對于二層的數(shù)據(jù)中心拓?fù)淇偨Y(jié)3樹形結(jié)構(gòu)，一般最多能夠容納 5000-8000 個服務(wù)器，三層最多容納數(shù)萬個節(jié)點(diǎn)，因此傳統(tǒng)樹形結(jié)構(gòu)難以滿足現(xiàn)代數(shù)據(jù)中心高可擴(kuò)展性要求； 網(wǎng)絡(luò)容錯性能較差，當(dāng)網(wǎng)絡(luò)節(jié)點(diǎn)或鏈路出現(xiàn)故障時(shí)，很容易導(dǎo)致網(wǎng)絡(luò)分離為相互獨(dú)立的子網(wǎng)，致使網(wǎng)絡(luò)癱瘓，性能

8、惡化； 流量分布不均勻，流量容易在核心根節(jié)點(diǎn)處匯集，致使核心節(jié)點(diǎn)容易成為網(wǎng)絡(luò)性能的瓶頸。另外，網(wǎng)絡(luò)存在嚴(yán)重的過載問題，底層數(shù)據(jù)傳輸難以充分利用邊緣層及聚合層網(wǎng)絡(luò)帶寬，為提高網(wǎng)絡(luò)性能，解決過載問題，高層采用高性能、高容量的交換設(shè)備，但這種方案只能在一定程度上緩解過載及熱點(diǎn)問題，難以從根本上解決； 通過采購高端口密度、高性能交換設(shè)備構(gòu)建數(shù)據(jù)中心，導(dǎo)致設(shè)備開銷巨大，不利于構(gòu)建大規(guī)模的數(shù)據(jù)中心；圖 1樹形結(jié)構(gòu)圖 2k=4 Fat-Tree 拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)中心拓?fù)淇偨Y(jié)4Fat-Tree 拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu)Fat-Tree 拓?fù)浣Y(jié)構(gòu)1是由 MIT 的 Al-Fares 等人在改進(jìn)傳統(tǒng)樹形結(jié)構(gòu)性能的基礎(chǔ)上提出的

9、，屬于 switch-only 型拓?fù)洹Ｕ麄€拓?fù)渚W(wǎng)絡(luò)分為三個層次（如圖 2 所示）：自下而上分別為邊緣層（Edge） 、匯聚層（Aggregate）及核心層（Core） ，其中匯聚層交換機(jī)與邊緣層交換機(jī)構(gòu)成一個 Pod，交換設(shè)備均是采用商用交換設(shè)備。Fat-Tree 構(gòu)建拓?fù)湟?guī)則如下：Fat-Tree 拓?fù)渲邪?Pod 數(shù)目為 k，每一 Pod 連接的 server 數(shù)目為(k/2)2，每一 Pod 內(nèi)的邊緣交換機(jī)及聚合交換機(jī)數(shù)量均為 k/2，核心交換機(jī)的數(shù)量為(k/2)2，網(wǎng)絡(luò)中每一交換機(jī)的端口數(shù)目為 k，網(wǎng)絡(luò)所能支持的服務(wù)器總數(shù)為 k3/4。Fat-Tree 結(jié)構(gòu)采用水平擴(kuò)展（scal

10、e-up）的方式，當(dāng)拓?fù)渲邪?Pod 數(shù)目增加，交換機(jī)的端口數(shù)目增加時(shí)，F(xiàn)at-Tree 拓?fù)淠軌蛑С指嗟姆?wù)器，滿足數(shù)據(jù)中心的擴(kuò)展需求，如 k=48 時(shí)，F(xiàn)at-Tree 能夠支持的服務(wù)器數(shù)目為27648；Fat-Tree 結(jié)構(gòu)通過在核心層多條鏈路實(shí)現(xiàn)負(fù)載的及時(shí)處理，避免網(wǎng)絡(luò)熱點(diǎn)；通過在pod 內(nèi)合理分流，避免過載問題。表 1Fat-Tree 拓?fù)湫阅軈?shù)表網(wǎng)絡(luò)直徑對分帶寬并行鏈路擴(kuò)展能力22log NN/2（k/2）2k3/4Fat-Tree 拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)性能參數(shù)如表 1 所示（對于 Pod 數(shù)目為 k 的拓?fù)洌?服務(wù)器數(shù)量為 N）：Fat-Tree 對分帶寬隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)展而增大

11、，因此能夠?yàn)閿?shù)據(jù)中心提供高吞吐傳輸服務(wù)；不同 Pod 之間的服務(wù)器間通信，源、目的節(jié)點(diǎn)對之間具有多條并行路徑，因此網(wǎng)絡(luò)的容錯性能良好，一般不會出現(xiàn)單點(diǎn)故障；采用商用設(shè)備取代高性能交換設(shè)備，大幅度降低網(wǎng)絡(luò)設(shè)備開銷；網(wǎng)絡(luò)直徑小，能夠保證視頻、在線會與等服務(wù)對網(wǎng)絡(luò)實(shí)時(shí)性的要求；拓?fù)浣Y(jié)構(gòu)規(guī)則、對稱，利于網(wǎng)絡(luò)布線及自動化配置、優(yōu)化升級等。Fat-Tree 結(jié)構(gòu)也存在一定的缺陷：Fat-Tree 結(jié)構(gòu)的擴(kuò)展規(guī)模在理論上受限于核心交換機(jī)的端口數(shù)目，不利于數(shù)據(jù)中心的長期發(fā)展要求；對于 Pod 內(nèi)部，F(xiàn)at-Tree 容錯性能差，對底層交換設(shè)備故障非常敏感，當(dāng)?shù)讓咏粨Q設(shè)備故障時(shí)，難以保證服務(wù)質(zhì)量；拓?fù)浣Y(jié)構(gòu)的特點(diǎn)

12、決定了網(wǎng)絡(luò)不能很好的支持one-to-all 及 all-to-all 網(wǎng)絡(luò)通信模式，不利于部署 MapReduce、Dryad 等現(xiàn)代高性能應(yīng)用；網(wǎng)絡(luò)中交換機(jī)與服務(wù)器的比值較大，在一定程度上使得網(wǎng)絡(luò)設(shè)備成本依然很高，不利于企業(yè)的經(jīng)濟(jì)發(fā)展。數(shù)據(jù)中心拓?fù)淇偨Y(jié)5VL2 拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu) VL2 拓?fù)?是微軟研究人員提出的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)，屬于 switch-only 型拓?fù)?。VL2是 Clos 網(wǎng)絡(luò)的一種具體表現(xiàn)，其網(wǎng)絡(luò)拓?fù)淙鐖D 3 所示。從物理上劃分，整個 VL2 拓?fù)浞譃槿龑?，每層交換機(jī)有其對應(yīng)的名稱。最底層通過 1Gbps 鏈路連接 20 個服務(wù)器的交換機(jī)稱為“ToR Switch”（機(jī)架頂

13、端交換機(jī)） 。ToR Switch 都分別通過兩條 10Gbps 的上行鏈路連接到“Aggregate Switch”（匯聚交換機(jī)） 。Aggregate Switch 再通過 10Gbps 的上行鏈路與每一個“Intermediate Switch”（中介交換機(jī)）相連。設(shè) Aggregate Switch 端口數(shù)量為NA，Intermediate Switch 端口數(shù)量設(shè)為 NI，則有如下數(shù)值關(guān)系：Aggregate Switch 上行鏈路端口和下行鏈路端口數(shù)量分別為 NA/2，ToR Switch 數(shù)量為 NI NA/4，Aggregate Switch 數(shù)量為 NA，Intermedia

14、te Switch 數(shù)量為 NA/2，網(wǎng)絡(luò)可支持的最大服務(wù)器數(shù)量為 20(NI NA/4)。從邏輯上劃分，整個 VL2 拓?fù)浞譃閮蓪樱@也是其名稱 Virtual Layer Two 的由來。第一層由ToR Switch 及與其相連的主機(jī)構(gòu)成一個服務(wù)器集群，第二層由 Aggregate Switch 和Intermediate Switch 構(gòu)成一個交換網(wǎng)絡(luò)。圖 3VL2 拓?fù)銿L2 網(wǎng)絡(luò)拓?fù)淇梢院苋菀椎貙?shí)現(xiàn)擴(kuò)展以支持大規(guī)模數(shù)量的服務(wù)器，同時(shí)保持端到端均勻的高帶寬。利用市場上成熟的網(wǎng)絡(luò)技術(shù)，采用低廉而高速的商用設(shè)備及廣泛使用的路由算法等，就可以實(shí)現(xiàn) VL2 型數(shù)據(jù)中心網(wǎng)絡(luò)。VL2 結(jié)構(gòu)特點(diǎn)如下

15、：與傳統(tǒng)的樹形拓?fù)湎啾?，VL2 結(jié)構(gòu)在 Aggregate Switch 和 Intermediate Switch 之間有著多條鏈路，因此具有明顯優(yōu)勢：一方面增加了網(wǎng)絡(luò)的容錯能力，另一方面也提高了網(wǎng)絡(luò)的對分帶寬。假設(shè)網(wǎng)絡(luò)中共有 n 個Intermediate Switch，如果其中一個交換機(jī)發(fā)生故障，由于鏈路的多樣性，可以避免故障給數(shù)據(jù)中心拓?fù)淇偨Y(jié)6網(wǎng)絡(luò)帶來災(zāi)難性的后果，同時(shí)也只會使總的對分帶寬減少 1/n，避免了傳統(tǒng)樹形拓?fù)渲杏捎诠收蠋淼木W(wǎng)絡(luò)對分帶寬的急劇減小；網(wǎng)絡(luò)直徑較小，最大跳數(shù)為六條，因此能夠保證數(shù)據(jù)傳輸時(shí)延較低，保證服務(wù)的實(shí)時(shí)性需求；采用商用交換設(shè)備，降低設(shè)備開銷。但是 VL2結(jié)

16、構(gòu)也存在一定缺陷，與 Fat-Tree 結(jié)構(gòu)類似，對底層交換設(shè)備故障非常敏感，容易導(dǎo)致子網(wǎng)癱瘓。此外，Aggregate Switch 和 Intermediate Switch 之間連線較為復(fù)雜，致使布線開銷較大。DCell 拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu)DCell 結(jié)構(gòu)3是由微軟研究人員提出的拓?fù)浣Y(jié)構(gòu)，該拓?fù)洳捎眠f歸方式以低端交換設(shè)備取代高性能設(shè)備實(shí)現(xiàn)數(shù)據(jù)中心互連。在 DCell 結(jié)構(gòu)中，交換機(jī)與服務(wù)器都具有數(shù)據(jù)轉(zhuǎn)發(fā)的功能，因此 DCell 拓?fù)鋵儆诨旌闲屯負(fù)?。DCell 拓?fù)渫ㄟ^低端口 mini-switch 與多端口服務(wù)器以遞歸方式構(gòu)建大規(guī)模網(wǎng)絡(luò)。在DCell 結(jié)構(gòu)中，存在兩種連線方式，即服務(wù)器與交

17、換機(jī)相連，服務(wù)器與服務(wù)器相連，不存在交換機(jī)與交換機(jī)相連的情況。DCell0結(jié)構(gòu)是構(gòu)建拓?fù)涞幕締卧?，n 代表 DCell0中交換機(jī)的端口數(shù)目，k 代表 DCell 結(jié)構(gòu)的層數(shù)，圖 4 所示即為 n=4，k=1 的 DCell1拓?fù)浠ミB結(jié)構(gòu)。若在 DCellk-1中包含 tk-1個服務(wù)器，則 DCellk將由 tk-1 + 1 個 DCellk-1構(gòu)成，這就意味著很小的 n，k 即可容納很多的服務(wù)器，且隨著節(jié)點(diǎn)度的增加，服務(wù)器的數(shù)目呈 e2增長。如n=4，k=3，則 DCell3可以容納 176820 個服務(wù)器，從而保證網(wǎng)絡(luò)的高度可擴(kuò)展性要求。DCell 結(jié)構(gòu)中每一層次以全連通方式互連，因此可以

18、提供高對分帶寬傳輸及良好的容錯性能。n 端口 mini-switch 與多端口 server 互連的 DCellk結(jié)構(gòu)具體參數(shù)如表 2 所示：表 2DCell 拓?fù)渚W(wǎng)絡(luò)參數(shù)網(wǎng)絡(luò)直徑（上限） 對分帶寬節(jié)點(diǎn)度服務(wù)器數(shù)量121k4logknktt1k 2211t1122kkknn從上表可知，DCell 結(jié)構(gòu)具有顯著特點(diǎn)：對于很小的 n、k，DCell 結(jié)構(gòu)能夠滿足數(shù)據(jù)中心網(wǎng)絡(luò)的高可擴(kuò)展性、高對分帶寬要求；DCell 結(jié)構(gòu)每一層是采用全連通方式，因此網(wǎng)絡(luò)數(shù)據(jù)中心拓?fù)淇偨Y(jié)7具有良好容錯特性；以 mini-switch 取代高性能互連設(shè)備，實(shí)現(xiàn)低成本互連；另外，DCell結(jié)構(gòu)能夠很好的支持 one-to-

19、all 及 all-to-all 通信服務(wù)模式。但 DCell 也因其結(jié)構(gòu)特點(diǎn)，導(dǎo)致拓?fù)浯嬖谝欢ㄈ毕荩好繉咏Y(jié)構(gòu)之間以全連通方式互連，網(wǎng)絡(luò)拓?fù)洳灰?guī)整，使得布線復(fù)雜度較高，不利于工程實(shí)施及自動化配置、管理等；當(dāng)網(wǎng)絡(luò)鏈路故障率超過一定門限時(shí)，網(wǎng)絡(luò)將會被分離成不同孤立的子網(wǎng)，導(dǎo)致網(wǎng)絡(luò)癱瘓；在 all-to-all 通信模式中，網(wǎng)絡(luò)流量分布不均勻，低層流量比較集中，容易導(dǎo)致網(wǎng)絡(luò)擁塞；以長鏈路取代高性能交換機(jī)，導(dǎo)致鏈路開銷增加；服務(wù)器節(jié)點(diǎn)度的增加，導(dǎo)致 NIC 數(shù)量顯著提高，網(wǎng)絡(luò)成本開銷進(jìn)一步提升。圖 4DCell1 網(wǎng)絡(luò)結(jié)構(gòu) n=4 包含 5 個 DCell0數(shù)據(jù)中心拓?fù)淇偨Y(jié)8圖 5四種不同連接規(guī)則的

20、Generalized DCell 拓?fù)浣Y(jié)構(gòu)，n=2，k=2基于 DCell 結(jié)構(gòu)的缺陷，研究人員在 DCell 結(jié)構(gòu)的基礎(chǔ)上，提出 Generalized DCell 拓?fù)?5，并指出 DCell 結(jié)構(gòu)只是這類拓?fù)渲械囊环N，與 DCell 結(jié)構(gòu)同屬一類的許多圖能夠滿足數(shù)據(jù)中心服務(wù)器互連的要求，這些圖既保證 DCell 結(jié)構(gòu)的優(yōu)點(diǎn)，同時(shí)又能克服 DCell結(jié)構(gòu)缺點(diǎn)的圖，實(shí)現(xiàn)拓?fù)淞髁烤鶆蚍植迹負(fù)浣Y(jié)構(gòu)更加規(guī)整化，利于布線及自動化配置等功能。根據(jù)不同的連接規(guī)則，研究人員提出以下四種連接規(guī)則，結(jié)構(gòu)如圖 5 所示。BCube 拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu)BCube 結(jié)構(gòu)6是微軟研究人員提出的一種新型拓?fù)浣Y(jié)構(gòu)，主要

21、是為模塊化的數(shù)據(jù)中心集裝箱互連而研究設(shè)計(jì)的。BCube 設(shè)計(jì)思想與 DCell 類似，均采用商用而非定制的 mini-switch與多端口的服務(wù)器，以遞歸方式構(gòu)建大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)。在 BCube 結(jié)構(gòu)中，服務(wù)器不僅是數(shù)據(jù)加工、存儲的場所，也發(fā)揮轉(zhuǎn)發(fā)數(shù)據(jù)的作用，因此 BCube 結(jié)構(gòu)屬于混合型拓?fù)?。BCube 的構(gòu)建思想如下：定義 k 為 BCube 網(wǎng)絡(luò)拓?fù)涞膶訑?shù)，n 為 mini-switch 的端口數(shù)目，BCube0是結(jié)構(gòu)的基本單元，BCube0是由 n 個服務(wù)器和一個 n 端口的 mini-switch 互連而成。BCube1是由 n 個 BCube0和 n 個 n 端口的 mini-

22、switch 組成，BCubek是由 n 個 BCubek-1和 nk個 n 端口的 mini-switch 互連。在 BCubek中的服務(wù)器具有 k+1 個端口，分別編號有 0 到 k 層。注意到 BCube 中的 switch 只與 server 互連，不存在 switch 與 switch 互連及 server 與 server互連的情況?；窘Y(jié)構(gòu)如下圖所示，其中圖 6 是由 n=4 端口的 mini-switch 與多端口的服務(wù)器互連的BCube1拓?fù)?，拓?fù)渲邪?4 個BCube0基本單元和 4 個 4 端口的 mini-switch；圖 7 所示為 BCubek由 n 個 BCub

23、ek-1及 nk個 n 端口的 mini-switch 互連。對于采用 n 端口的 mini-switch 與多端口服務(wù)器構(gòu)建的 k 層 BCube 結(jié)構(gòu)，網(wǎng)絡(luò)性能參數(shù)如數(shù)據(jù)中心拓?fù)淇偨Y(jié)9表 3 所示：表 3BCube 拓?fù)渚W(wǎng)絡(luò)參數(shù)節(jié)點(diǎn)度網(wǎng)絡(luò)直徑并行鏈路擴(kuò)展規(guī)模k + 12（k + 1）k + 1nk+1分析 BCube 結(jié)構(gòu)可知，BCube 具有許多良好的性質(zhì)： 可以保證數(shù)據(jù)高帶寬傳輸需求； 具有高度可擴(kuò)展性，能夠滿足數(shù)據(jù)中心發(fā)展需求，如 n=8、k=4，則 BCube 結(jié)構(gòu)可以容納 32768 個服務(wù)器； k 一般為很小的整數(shù)很小，因此 BCube 結(jié)構(gòu)具有很小的網(wǎng)絡(luò)直徑，可以保證業(yè)務(wù)網(wǎng)絡(luò)

24、實(shí)時(shí)性要求； 源目的節(jié)點(diǎn)之間存在多條并行鏈路，網(wǎng)絡(luò)具有很好的容錯性能，可以保證網(wǎng)絡(luò)服務(wù)質(zhì)量，對于網(wǎng)絡(luò)故障，BCube 可以保證網(wǎng)絡(luò)整體性能受到的影響不大，性能下降很緩和； BCube 結(jié)構(gòu)可以很好地支持 one-to-all、all-to-all 等通信服務(wù)模式，且能為 all-to-all 模式提供很好的網(wǎng)絡(luò)容量； 低端互連設(shè)備取代降低高端設(shè)備，能夠顯著降低設(shè)備成本； BCube 拓?fù)湟泊嬖谝欢ㄈ秉c(diǎn)：BCube 拓?fù)洳捎么罅康?mini-switch 實(shí)現(xiàn)互連，在一定程度上不利于企業(yè)構(gòu)建大規(guī)模的數(shù)據(jù)中心，設(shè)備開銷依然不菲；BCube 布線太多，因此不利于工程布線，線纜開銷太高。圖 6n=4

25、BCube1由 4 個 BCube0組成數(shù)據(jù)中心拓?fù)淇偨Y(jié)10圖 7BCubek是由 n 個 BCubek-1和 nk個 n 端口的 mini-switch 構(gòu)成MDCube拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu)MDCube 拓?fù)浣Y(jié)構(gòu)12主要用于模塊化數(shù)據(jù)中心，它是研究如何將基于 BCube 的集裝箱模塊化 Data Center 互連網(wǎng)絡(luò)擴(kuò)展為巨型的 Data Center 網(wǎng)絡(luò)。MDCube 主要思想是利用BCube 的 container 中商用交換機(jī)的高速上行鏈路實(shí)現(xiàn) container 之間的互連，從而大幅度減少線纜開銷及復(fù)雜度；MDCube 將 container 內(nèi)部和 container 之間的路由功

26、能下放到 server中，利用這些來處理流量均衡和容錯問題，這樣實(shí)現(xiàn)了利用商用而非高端的交換機(jī)實(shí)現(xiàn) Data Center 的擴(kuò)展。實(shí)現(xiàn) container 之間的互連，主要關(guān)注以下方面：1）如何滿足 container 之間對于高帶寬的要求，container 之間的聚合帶寬很容易達(dá) T/P 級以上；2）如何降低 container 互連結(jié)構(gòu)的開銷；3）如何滿足網(wǎng)絡(luò)發(fā)展的高度可擴(kuò)展性，實(shí)現(xiàn)互連更多的 container；4）隨著 container 數(shù)目增多，如何解決 container 之間的長連線問題，及排線的復(fù)雜度；基于上述要求，MDCube 結(jié)構(gòu)主要構(gòu)造思想如下：MDCube 充分合

27、理利用 BCube 結(jié)構(gòu)中未使用的高速端口，將每一個 container 視為一個虛擬節(jié)點(diǎn)，將 BCube 中交換機(jī)視作接口，實(shí)現(xiàn) container 互連。因此 MDCube 可以以低開銷實(shí)現(xiàn)所有 container 互連，而不必引入高端的交換或路由設(shè)備；另外，可以保證不同 container 之間具有多條并行鏈路，保證網(wǎng)數(shù)據(jù)中心拓?fù)淇偨Y(jié)11絡(luò)具有很好的容錯性能。MDCube 結(jié)構(gòu)中存在兩種連接，一是 container 內(nèi)部的 BCube 中服務(wù)器與交換機(jī)的連接，另一是 container 之間的交換機(jī)之間的連接，所以 MDCube 屬于混合型拓?fù)?。MDCube 結(jié)構(gòu)互連規(guī)則如下：將 BC

28、ube 結(jié)構(gòu)中的交換機(jī)高速端口視為虛擬節(jié)點(diǎn)的虛擬端口，如 4 個 10Gbps 的交換端口綁定為一個 40Gbps 的虛擬端口，將每一 container 看做為一虛擬節(jié)點(diǎn)，所有都需要多個虛擬接口。通過虛擬接口實(shí)現(xiàn)網(wǎng)絡(luò)的全相連。如假設(shè)需連接的 container 數(shù)目為 M，則每兩 container 之間均存在一條鏈路，因此每一 container 至少需要 M-1 個虛擬接口。當(dāng)網(wǎng)絡(luò)中需要連接的 container 數(shù)目較多時(shí)，可以通過增加拓?fù)涞木S數(shù)實(shí)現(xiàn)擴(kuò)展，而 BCube 中的交換設(shè)備則被分為不同的組，以實(shí)現(xiàn)連接不同的維度。下面舉例說明不同維數(shù)的 MDCube 連接規(guī)則，圖 8 所示為一

29、維的 MDCube 結(jié)構(gòu)，連接 5 個BCube1 container，其中 BCube 中 mini-switch 的低速端口數(shù)目為 n=2，該結(jié)構(gòu)即是虛擬的mesh 結(jié)構(gòu)；圖 9 所示為二維的 MDCube 結(jié)構(gòu)，該結(jié)構(gòu)中包含 9 個 BCube1，BCube 中 mini-switch 的低速端口數(shù)目為 n=2 是一種超立方結(jié)構(gòu)。MDCube 結(jié)構(gòu)可以實(shí)現(xiàn)任意維度互連，但一般二維即能滿足數(shù)據(jù)中心擴(kuò)展的需求，可以支持超過百萬服務(wù)器，如對于一維的 MDCube，實(shí)現(xiàn) n=48，k=1 的 BCube container 互連，每一 container 內(nèi)的服務(wù)器數(shù)量為 nk+1=2304，交

30、換機(jī)數(shù)量為 n*(k+1)=96,。因此對于對于一維的 MDCube 可以連接 n*(k+1)+1=97 個 container，即可支持 0.22M 服務(wù)器，對于二維的MDCube 則可連接n*(k+1)/2 +12=492=2401 個 container，可支持 5.5M 個服務(wù)器，因此可以極大的滿足數(shù)據(jù)中心高度可擴(kuò)展性要求。圖 81-D MDCube 拓?fù)浣Y(jié)構(gòu) 其中包含 5 個 BCube1 container 數(shù)據(jù)中心拓?fù)淇偨Y(jié)12圖 92-D MDCube 拓?fù)?，包?9 個 BCube1 containerMDCube 結(jié)構(gòu)具有明顯優(yōu)勢，適應(yīng)現(xiàn)階段數(shù)據(jù)中心集裝箱發(fā)展的趨勢，實(shí)現(xiàn)模塊

31、化集裝箱高對分帶寬互連，為網(wǎng)絡(luò)提供很好的容錯性能，具有很好的擴(kuò)展性，能夠滿足數(shù)據(jù)中心未來發(fā)展需求；充分利用 BCube 結(jié)構(gòu)中未使用的高速端口，在一定程度上降低設(shè)備開銷，提高設(shè)備利用率。但是 MDCube 結(jié)構(gòu)也不是很完善，存在一定問題：網(wǎng)絡(luò)中心容易出現(xiàn)熱點(diǎn)，流量分布不均衡；網(wǎng)絡(luò)直徑較大，不利于數(shù)據(jù)的實(shí)時(shí)性傳輸；網(wǎng)絡(luò)布線復(fù)雜，不利于網(wǎng)絡(luò)高效管理等。FiConn 拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu)FiConn 結(jié)構(gòu)89是由微軟人員提出，目的是為數(shù)據(jù)中心互連提供解決方案，使得網(wǎng)絡(luò)具有很好的特性，能夠滿足高帶寬、低時(shí)延、低開銷、易擴(kuò)展、良好容錯性能等要求。在 FiConn 結(jié)構(gòu)中，交換設(shè)備及服務(wù)器均具有數(shù)據(jù)轉(zhuǎn)發(fā)的功能

32、，屬于混合型拓?fù)?。FiConn 結(jié)構(gòu)構(gòu)建基本思想如下：現(xiàn)代的商用服務(wù)器設(shè)備中一般具有兩個以太網(wǎng)端口，其中一個用于網(wǎng)絡(luò)連接，而另一個則作為備用端口。FiConn 的構(gòu)建思想即是利用這些備用端口實(shí)現(xiàn)網(wǎng)絡(luò)互連，在保證網(wǎng)絡(luò)性能良好的情況下，取消高性能大規(guī)模的交換設(shè)備，實(shí)現(xiàn)降低互連成本的目的。FiConn 結(jié)構(gòu)互連規(guī)則：FiConn 結(jié)構(gòu)采用遞歸定義，高層次是 FiConn 結(jié)構(gòu)是由低層次的 FiConn 構(gòu)建。當(dāng)構(gòu)建高層次的 FiConn 時(shí)，低層次的 FiConn 使用一半的可用備用端口實(shí)數(shù)據(jù)中心拓?fù)淇偨Y(jié)13現(xiàn)互連，形成 mesh 結(jié)構(gòu)。這樣，F(xiàn)iConn 結(jié)構(gòu)中的 server 數(shù)目隨著 FiCo

33、nn 結(jié)構(gòu)的層數(shù)的增加呈 e2增長，可以保證網(wǎng)絡(luò)的高度可擴(kuò)展性。FiConn0是由 n 個 server 和一個 n 端口的switch 互連而成基本單元，將 server 與 switch 互連的端口稱為 level-0 端口，與 level-0 端口相連的鏈路稱為 level-0 鏈路。將 server 中未使用的備用端口稱為可用的備用端口（available backup port） 。所以在 FiConn0中有 n 個可用的備用端口。FiConnk 是由 FiConnk-1通過備用端口互連構(gòu)成的。若在 FiConnk-1中的備用端口數(shù)為 b，則 FiConnk中包含F(xiàn)iConnk-1的

34、數(shù)目為 b/2+1，這樣每一個 FiConnk-1中的 b/2 個備用端口分別用于和其他 b/2個 FiConnk-1中的備用端口互連。這樣用于連接的 server 稱作是 k 層 server，k 層 server 的可用備用端口稱作是 level-k 可用備用端口，用于與 level-k 可用備用端口互連的鏈路稱為level-k 來鏈路。假若把一個 FiConnk-1 看做一個虛擬的 server，則 FiConnk是一個 mesh 結(jié)構(gòu)，以 level-k 鏈路通過 FiConnk-1互連。如圖 10 所示為 n=4 的 FiConn2結(jié)構(gòu)，該拓?fù)渲邪?6 個 FiConn1單元，因

35、FiConn1單元中共有 6 個可用備用端口，因此 FiConn2中具有 6/2 +1 個 FiConn1單元。n 端口交換機(jī)與服務(wù)器構(gòu)建的 FiConnk結(jié)構(gòu)性能參數(shù)如表 4 所示：基于表中數(shù)據(jù)分析可知，F(xiàn)iConn 具有很好的性能，能夠支持高度擴(kuò)展，如n=48，k=2，則 FiConn 結(jié)構(gòu)最多可以支持 361200 個服務(wù)器；充分利用服務(wù)器備用端口，節(jié)約設(shè)備開銷；服務(wù)器節(jié)點(diǎn)度很低，利于網(wǎng)絡(luò)布線；一般網(wǎng)絡(luò)層數(shù)很小，即 k 值很小，所以網(wǎng)絡(luò)直徑很低，實(shí)現(xiàn)低時(shí)延互連；網(wǎng)絡(luò)中服務(wù)器數(shù)量 Nk很大，因此網(wǎng)絡(luò)對分帶寬很大，能夠滿足數(shù)據(jù)的高吞吐傳輸需求；網(wǎng)絡(luò)中不同服務(wù)器之間一般具有多條并行鏈路，因此容

36、錯性能很好，服務(wù)質(zhì)量可以得到很好的保證。表 4FiConn 拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)性能參數(shù)節(jié)點(diǎn)度直徑（上限）對分帶寬（下限）擴(kuò)展能力（Nk） （n 4）122k121k/(4*2 )kkNkk+222*(n/4)kN 數(shù)據(jù)中心拓?fù)淇偨Y(jié)14圖 10n=4 FiConn2拓?fù)浣Y(jié)構(gòu)HCN 拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu)HCN 拓?fù)浣Y(jié)構(gòu)10是基于層次混合圖提出的用于數(shù)據(jù)中心的拓?fù)浣Y(jié)構(gòu)，充分考慮數(shù)據(jù)中心有關(guān)高度可擴(kuò)展性的要求。拓?fù)渲蟹?wù)器僅采用兩個端口，實(shí)現(xiàn)低端口、高擴(kuò)展性互連。服務(wù)器不僅具有數(shù)據(jù)加工的功能，還具備路由轉(zhuǎn)發(fā)的作用，因此 HCN 及 BCN 屬于混合型拓?fù)?。HCN 是遞歸定義的拓?fù)浣Y(jié)構(gòu)，高層 HCN 由低層 HC

37、N 構(gòu)建，即 HCN(n,k)由 HCN(n,k-1)互連而層，其中 n 為 HCN0中服務(wù)器的數(shù)量。HCN 結(jié)構(gòu)定義用到混合圖的概念，即G、G1為兩種圖，G(G1)混合圖即是將 G1視為一個簇，將 G 圖中的原節(jié)點(diǎn)換成 G1，G 原先的鏈路連接用于連接 G1，保持其原連接順序不變，并且需要在每一個簇中的遠(yuǎn)處邊緣添加額外的鏈路用于實(shí)現(xiàn)簇間連接。對于 HCN 結(jié)構(gòu)來說，HCN(n,0)為拓?fù)涞幕締卧?，n 為基本單元中服務(wù)器的數(shù)量，每個服務(wù)器包含兩個端口，其中一個用于連接 mini-switch，另一個用于擴(kuò)展時(shí)連接另一擴(kuò)展模塊的服務(wù)器。對于 HCN(n,k)，是由 n 個 HCN(n,k-1)

38、通過連接各模塊的服務(wù)器備用端口互連而成，并且在 HCN(n,k)中有 n 個邊緣服務(wù)器還有可用備用端數(shù)據(jù)中心拓?fù)淇偨Y(jié)15口，保證進(jìn)一步擴(kuò)展需求。如圖 11 所示為 HCN(4,2)，它是由 4 個 HCN(4,1)構(gòu)成，包含 16個 HCN(4,0)基本單元，模塊內(nèi)的連接順序保持不變，在模塊邊緣的服務(wù)器通過添加額外的鏈路實(shí)現(xiàn)模塊互連，形成規(guī)模更大的網(wǎng)絡(luò)，并且在 HCN(4,2)中包含 4 個備用服務(wù)器端口(111、222、333、444)供大規(guī)模擴(kuò)展需求。圖 11HCN(4,2)拓?fù)浣Y(jié)構(gòu)HCN 結(jié)構(gòu)的特點(diǎn)即是采用兩端口的服務(wù)器與 mini-switch 即可是實(shí)現(xiàn)大規(guī)模網(wǎng)絡(luò)擴(kuò)展，拓?fù)渚哂泻芎玫?/p>

39、擴(kuò)展性；網(wǎng)絡(luò)中服務(wù)器節(jié)點(diǎn)度相同，都為 2，其中一個連接 mini-switch，一個用于擴(kuò)展；不同節(jié)點(diǎn)對之間具有多條鏈路，可以提供很好的擴(kuò)展性；網(wǎng)絡(luò)結(jié)構(gòu)對稱，利于網(wǎng)絡(luò)部署。HCN 的缺點(diǎn)也是顯而易見的：網(wǎng)絡(luò)直徑較大，不利于實(shí)時(shí)業(yè)務(wù)傳輸；網(wǎng)絡(luò)對分帶寬較低，不適宜部署需傳輸海量數(shù)據(jù)的應(yīng)用，如 GFS、MapReduce 等；網(wǎng)絡(luò)結(jié)構(gòu)決定它不能很好的保證 one-to-all、all-to-all 等通信模式；網(wǎng)絡(luò)分布不均衡，容易出現(xiàn)熱點(diǎn)現(xiàn)象。BCN 拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu)BCN 結(jié)構(gòu)11是在 HCN 的基礎(chǔ)上提出的，BCN 構(gòu)建思想與 HCN 有相通之處，都是基于層次混合圖提出的，充分考慮數(shù)據(jù)中心有關(guān)高

40、度可擴(kuò)展性的要求。拓?fù)渲蟹?wù)器僅采用兩個端口，實(shí)現(xiàn)低端口、高擴(kuò)展性互連。拓?fù)渲芯邆渎酚赊D(zhuǎn)發(fā)的作用，因此 BCN 屬于混數(shù)據(jù)中心拓?fù)淇偨Y(jié)16合型拓?fù)?。BCN 結(jié)構(gòu)定義如下：在第一維度，BCN 是一個非規(guī)則遞歸定義的多層的混合圖，在第二維是規(guī)則的混合圖。在每一維度上，高層 BCN 結(jié)構(gòu)都是由低層的 BCN 以全連通的方式互連，低層的 BCN 結(jié)構(gòu)被視為單元簇。BCN(,0)是構(gòu)建 BCN 的基本單元，其中，n 表示基本單元中包含的服務(wù)器數(shù)量，所有的服務(wù)器用第一端口連接 mini-nswitch，之后將服務(wù)器分為兩部分：主服務(wù)器及從服務(wù)器，、分別表示主、從服務(wù)器的數(shù)量，主、從服務(wù)器的第二端口即可用備

41、用用于實(shí)現(xiàn) BCN 拓?fù)湓诘谝?、二維上的擴(kuò)展。BCN(,k)第一維結(jié)構(gòu)是由 BCN(,k-1)所有主服務(wù)器在第一維上擴(kuò)展而成，它是一種非規(guī)則拓?fù)?，其中?gòu)建規(guī)則如 G(G1)，G 是包含個節(jié)點(diǎn)的全連通圖，G1是包含有個可用主服務(wù)器的 BCN(,k-1)。在 BCN(,k)中包含個主可用端口，用于實(shí)現(xiàn)進(jìn)一步擴(kuò)展，類似于 HCN(,k)；BCN(,k)第二維結(jié)構(gòu)定義如下：因在 BCN(,0)中包含個可用從服務(wù)器，在 BCN(,k)中包含從服務(wù)器，因此要充分利用這些可用k 從端口，在第二維結(jié)構(gòu)中，將 BCN(,k)作為一個基本單元簇，采用 BCN(,k)單元中的從可用服務(wù)器端口實(shí)現(xiàn)將個 BCN(,k)

42、以全連通方式互連，即為1k 。這樣，在第二維結(jié)構(gòu)以后即不可能實(shí)現(xiàn)再擴(kuò)展，因?yàn)榈诙S中已經(jīng)G BCN( , ,k)沒有可用從端口，但是 BCN 依然可以從第一維結(jié)構(gòu)實(shí)現(xiàn)擴(kuò)展。定義 BCN(,k)與之后，將定義二維層次 BCN，它是由 BCN(,k)與G BCN( , ,k)通過互連主從服務(wù)器構(gòu)建，采用表示二維層次 BCN。G BCN( , ,k)BCN( , ,k, ) 其中 k 表示第一維中 BCN 的層數(shù)，表示第二維中連接使用的 BCN 單元簇。當(dāng)時(shí)k即為，此時(shí)用于第二維擴(kuò)展的基本單元還沒有形成，第二BCN( , ,k, ) BCN( , )k 維還不能實(shí)現(xiàn)擴(kuò)展；當(dāng)時(shí)，第二維即可通過實(shí)現(xiàn)擴(kuò)展

43、，最終k=G BCN( , ,k)結(jié)構(gòu)中包含個，在每個中包含個BCN( , , , ) 1 BCN( , ) BCN( , ) 可用主服務(wù)器端口。如圖 12 即為=0，n=8 的拓?fù)浣Y(jié)構(gòu)， ，當(dāng)時(shí)，在k=+ k數(shù)據(jù)中心拓?fù)淇偨Y(jié)17中包含個，將編號，其取值范圍為1, BCN( , ,k) kBCN( , , ) BCN( , , ) 。只有編號為 1 的才能用于連接形成第一個。同kBCN( , , ) G BCN( , , ) 理，編號同為 i 的用于連接第 i 個。最終形成BCN( , , ) G BCN( , , ) 拓?fù)?。如圖 13 為的結(jié)構(gòu)互連圖BCN( , ,k, ) kBCN 結(jié)構(gòu)能

44、夠支持網(wǎng)絡(luò)的高度擴(kuò)展，如時(shí)，網(wǎng)絡(luò)最多支持個服務(wù)器，k()k當(dāng)時(shí)，網(wǎng)絡(luò)可以支持個服務(wù)器，假設(shè)k( + )(1)k =5，k=5，=10 時(shí)，BCN 即可支持 31250 個服務(wù)器，因此 BCN 能夠滿足數(shù)據(jù)中心= 擴(kuò)展需求；網(wǎng)絡(luò)中服務(wù)器之間存在多條并行鏈路，對于一定的鏈路、節(jié)點(diǎn)或部分網(wǎng)絡(luò)故障，網(wǎng)絡(luò)能夠提供很好的容錯性能；圖 12BCN(4,4,0) 拓?fù)浣Y(jié)構(gòu)BCN 網(wǎng)絡(luò)結(jié)構(gòu)缺點(diǎn)如下：當(dāng)時(shí)，網(wǎng)絡(luò)直徑不超過，當(dāng)時(shí)，網(wǎng)絡(luò)直kk+121k徑不超過為，但當(dāng) k，取一定值時(shí)，網(wǎng)絡(luò)直徑取值在一定范圍內(nèi)變化，幅k+1+1221度可能會很大，導(dǎo)致時(shí)延不定，影響服務(wù)質(zhì)量；另外，BCN 結(jié)構(gòu)不對稱，結(jié)構(gòu)復(fù)雜，不適宜網(wǎng)

45、絡(luò)布線；BCN 是基于 HCN 結(jié)構(gòu)的，所以該結(jié)構(gòu)難以避免 HCN 結(jié)構(gòu)的缺點(diǎn)，如流量不均衡，容易出現(xiàn)熱點(diǎn)等。數(shù)據(jù)中心拓?fù)淇偨Y(jié)18圖 13BCN(4,4,1,0) 拓?fù)浣Y(jié)構(gòu)雪花結(jié)構(gòu)雪花結(jié)構(gòu)雪花結(jié)構(gòu)13是中國科技大學(xué)研究人員在分析現(xiàn)有拓?fù)涮匦圆蛔愕幕A(chǔ)上，依據(jù)著名的科赫曲線，提出的一種新型拓?fù)?，該拓?fù)鋸姆?wù)器的角度出發(fā)，在保證拓?fù)淠軌蛉菁{更多服務(wù)器的前提下，降低交換機(jī)數(shù)目，實(shí)現(xiàn)節(jié)約交換機(jī)成本開銷，降低能耗的目的。在雪花結(jié)構(gòu)中，服務(wù)器不具有轉(zhuǎn)發(fā)數(shù)據(jù)的功能，屬于 switch-only 型拓?fù)?。雪花結(jié)構(gòu)構(gòu)建思想與 DCell 有相同之處，雪花結(jié)構(gòu)通過 mini-switch 與多端口服務(wù)器以遞歸方式

46、實(shí)現(xiàn)構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)。snow0是組成拓?fù)涞幕締卧?，?n 端口的 mini-switch及 n 端口的服務(wù)器互連而成，在 snowk-1的基礎(chǔ)上添加若干 snow0構(gòu)建 snowk。在 k 級結(jié)構(gòu)沒有完全擴(kuò)展的情況下，該結(jié)構(gòu)也可實(shí)現(xiàn) k+1 級結(jié)構(gòu)的擴(kuò)展。如 n=3 端口的 mini-switch 交換機(jī)連接 3 個服務(wù)器，構(gòu)成 snow0（如圖 14(a)所示） ，調(diào)整服務(wù)器的位置，在服務(wù)器之間添加兩兩互連的虛連接，如圖 14(b)所示，以方便拓?fù)涞臄U(kuò)展。在 snow0的基礎(chǔ)上，每斷開一個虛連接，則添加一個新的 snow0單元，如 snow1（如圖 15 所示） ，但是注意新添加的sno

47、w0單元比 0 級 snow0單元少一個虛連接，所以不是真正意義上的 0 級 snow0結(jié)構(gòu)，新添加的單元稱之為“Cell”。虛連接斷開后，重新構(gòu)建的連接相對于虛連接，稱之為實(shí)連接，強(qiáng)調(diào)從無到有的過程，因此所以 snow0中服務(wù)器與交換機(jī)連接不能稱之為實(shí)連接。一個虛連接斷開會形成兩個實(shí)連接。雪花結(jié)構(gòu)在擴(kuò)展的過程中，能夠保證服務(wù)器與交換機(jī)比例不變。該結(jié)構(gòu)的特點(diǎn)就是采用較少的交換機(jī)實(shí)現(xiàn)容納更多的服務(wù)器，保證網(wǎng)絡(luò)良好的擴(kuò)展性。數(shù)據(jù)中心拓?fù)淇偨Y(jié)19對于 n 端口 k 層的雪花結(jié)構(gòu)，其網(wǎng)絡(luò)性能參數(shù)如表 5 所示：表 5雪花結(jié)構(gòu)網(wǎng)絡(luò)性能參數(shù)網(wǎng)絡(luò)直徑(上限)擴(kuò)展能力并行鏈路2k+1n(n+1)k2 , 22

48、k從表 5 可知，雪花結(jié)構(gòu)具有很好的擴(kuò)展性能，如 n=3，k=8，則該結(jié)構(gòu)可以容納196608 臺服務(wù)器。但該結(jié)構(gòu)在初始構(gòu)建階段，擴(kuò)展速度很慢，只有當(dāng)構(gòu)建網(wǎng)絡(luò)的層數(shù)較多時(shí)，擴(kuò)展速度很快，能夠容納很多的服務(wù)器，滿足擴(kuò)展連接需求；服務(wù)器節(jié)點(diǎn)對之間具有多條鏈路，能夠提供一定的容錯性能；服務(wù)器與交換機(jī)的比例不隨網(wǎng)絡(luò)規(guī)模的擴(kuò)大而變化，該值不變，構(gòu)建同等規(guī)模的數(shù)據(jù)中心網(wǎng)絡(luò)時(shí)，雪花結(jié)構(gòu)比 BCube、Fat-Tree 等所需的交換機(jī)數(shù)量少很多，在一定程度上降低網(wǎng)絡(luò)開銷，節(jié)省能耗。雪花結(jié)構(gòu)存在的缺點(diǎn)如下：低層服務(wù)器容易堆積過多的流量，出現(xiàn)瓶頸，導(dǎo)致網(wǎng)絡(luò)性能降低；由于雪花結(jié)構(gòu)構(gòu)建的層數(shù)較低時(shí)，擴(kuò)展規(guī)模很有限，不

49、能滿足數(shù)據(jù)中心的互連要求，對于較高的層數(shù)，及 k 較大時(shí)，如 k5 時(shí)導(dǎo)致，網(wǎng)絡(luò)直徑很大，導(dǎo)致數(shù)據(jù)傳輸時(shí)延很大，對于視頻等時(shí)延敏感型業(yè)務(wù)，難以保證高質(zhì)量服務(wù)。圖 14n=3 snow0 結(jié)構(gòu)數(shù)據(jù)中心拓?fù)淇偨Y(jié)20圖 15n=3 snow1結(jié)構(gòu)Scafida現(xiàn)有網(wǎng)絡(luò)拓?fù)湟蚓哂袃蓚€特點(diǎn)：對稱性及同構(gòu)特性，對稱性致使網(wǎng)絡(luò)擴(kuò)展粒度過大，有時(shí)難以滿足構(gòu)建適宜規(guī)模網(wǎng)絡(luò)的要求；同構(gòu)性導(dǎo)致不同數(shù)據(jù)中心兼容性差?；诂F(xiàn)狀，研究人員提出一種基于 Scale-free 網(wǎng)絡(luò)思想的非對稱數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)銼cafida7。Scale-free 網(wǎng)絡(luò)具有以下特點(diǎn)：網(wǎng)絡(luò)直徑很小，時(shí)延很低；網(wǎng)絡(luò)容錯性能很好，可提供高質(zhì)量網(wǎng)絡(luò)傳

50、輸服務(wù)。Scafida 即是立足于 Scale-free 網(wǎng)絡(luò)，力求在保證數(shù)據(jù)中心網(wǎng)絡(luò)在節(jié)點(diǎn)度有限的前提下，實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)低時(shí)延、容錯性能良好、便于擴(kuò)展、高靈活性。圖 16Scale-Free 網(wǎng)絡(luò)結(jié)構(gòu)Scafida 是一種產(chǎn)生數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)算法，它是通過修改生成 Scale-free 網(wǎng)絡(luò)的Barabsi 、Albert 算法而獲得的。該算法循環(huán)執(zhí)行，每執(zhí)行一次，添加一個網(wǎng)絡(luò)節(jié)點(diǎn)，算法限制網(wǎng)絡(luò)節(jié)點(diǎn)的度，以便采用商用設(shè)備構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)。如圖 16(b)即為限制節(jié)點(diǎn)度的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，與(a)相比，雖然節(jié)點(diǎn)度受到限制，但是 Scale-free 網(wǎng)絡(luò)的特性依然能夠保數(shù)據(jù)中心拓?fù)淇偨Y(jié)21證

51、：不同節(jié)點(diǎn)對之間存在多條并行鏈路，提供高容錯性能；網(wǎng)絡(luò)時(shí)延能夠限制在一定范圍內(nèi)，實(shí)現(xiàn)低時(shí)延傳輸；網(wǎng)絡(luò)的靈活性及擴(kuò)展性可能很好的滿足。采用 Scafida 算法構(gòu)建數(shù)據(jù)中心網(wǎng)絡(luò)雖然在一定程度上實(shí)現(xiàn)網(wǎng)絡(luò)適度擴(kuò)展，保證容錯性能，但是生成的網(wǎng)絡(luò)結(jié)構(gòu)因其不具有對稱性，首先對于部署網(wǎng)絡(luò)就增加很大壓力，對于后續(xù)的網(wǎng)絡(luò)維護(hù)、升級等都提出挑戰(zhàn)，因此該方法有待考究。基于基于 Kautz 圖的數(shù)據(jù)中心拓?fù)鋱D的數(shù)據(jù)中心拓?fù)浠?Kautz 圖的拓?fù)浣Y(jié)構(gòu)13是國防科大的研究人員提出的拓?fù)浣Y(jié)構(gòu)，充分利用 Kautz圖的特性：Kautz 圖完全對稱，網(wǎng)絡(luò)直徑小，不同節(jié)點(diǎn)對之間具有多條路徑，易于擴(kuò)展、節(jié)點(diǎn)度低。利用這些特性實(shí)

52、現(xiàn)構(gòu)建容錯性能良好、易于擴(kuò)展、易于布線、經(jīng)濟(jì)節(jié)約的拓?fù)浣Y(jié)構(gòu)。Kautz 圖是 W.H.Kautz 提出的組合網(wǎng)絡(luò)結(jié)構(gòu)，因其良好的網(wǎng)絡(luò)特性，將很有可能用于未來網(wǎng)絡(luò)結(jié)構(gòu)互連的，其定義如下：對于給定整數(shù) d(d 2) 和 n(n 1),Kautz 有向圖記為 K(d,n)，K(d,n)是一個結(jié)點(diǎn)出度和入度都為 d，網(wǎng)絡(luò)直徑為 n 的有向圖。K(d,n)中每個結(jié)點(diǎn)的標(biāo)識都是 Kautz 空間KautzSpace(d,n)中的一個 Kautz 串。對 K(d,n)中每個標(biāo)識為 u1u2.uk 的結(jié)點(diǎn) U（記為U=u1u2.uk） ，U 都有 d 條出邊：即對任意 0,1,2,.,d 且 uk，結(jié)點(diǎn) U

53、都有一條到結(jié)點(diǎn)V=u2u3.uk 的出邊。如圖 17 所示為有向圖 K(2,3)圖 17有向圖 K(2,3)(Kautz 無向圖) Kautz 無向圖記為 UK(d,n)，是由有向圖 K(d,n)去掉所有邊的方向，然后去掉平行邊和環(huán)得到的無向圖。數(shù)據(jù)中心拓?fù)淇偨Y(jié)22基于層次 Kautz 圖的 HUK 拓?fù)浣Y(jié)構(gòu)，是一種以服務(wù)器為核心的數(shù)據(jù)中心拓?fù)?，服?wù)器與交換機(jī)都具有負(fù)責(zé)轉(zhuǎn)發(fā)數(shù)據(jù)的功能，屬于混合型拓?fù)?。HUK 網(wǎng)絡(luò)使用 Kautz 無向圖實(shí)現(xiàn)同一層次服務(wù)器的互連。HUK0可以是一臺服務(wù)器、一個機(jī)柜或是多個機(jī)柜的集合，這里 HUK0是由一臺交換機(jī)連接 n 臺服務(wù)器設(shè)備。HUK1是由 HUK0構(gòu)成的

54、以 n 為度數(shù)、2 為網(wǎng)絡(luò)直徑的 Kautz 無向圖 UK(n/2,2)。更一般地，HUKk是以 HUKk-1為單個邏輯結(jié)點(diǎn)，2 為網(wǎng)絡(luò)直徑的 Kautz 無向圖，結(jié)點(diǎn)度數(shù)由 HUKk-1的服務(wù)器數(shù)目確定。對于 k 層 HUK 網(wǎng)絡(luò) HUKk，每臺服務(wù)器需要k+1 塊網(wǎng)絡(luò)適配器，分別與第 0.k 層的結(jié)點(diǎn)連接。HUK0層服務(wù)器數(shù)目為 n 的 k 層 HUK 結(jié)構(gòu)可表示為 HUKk(n)，如圖 18 所示為 HUK1(4)結(jié)構(gòu)。圖 18HUK1(4)結(jié)構(gòu)HUKk的服務(wù)器數(shù)目表示為 S(k),顯然有 S(0)=n。根據(jù) HUK 的層次 Kautz 連接方式可知服務(wù)器規(guī)模的遞推式：HUKk每一層次采

55、用 UK(d,2)互連，因此同一層次服務(wù)器間共有 2d-1 條并行路徑，其中 2d 即為 HUKk-1中服務(wù)器的數(shù)量，因此 HUKk網(wǎng)絡(luò)具有良好的容錯性能，能夠滿足業(yè)務(wù)需求；HUK 容納的服務(wù)器數(shù)量不低于，因此拓?fù)淇梢詫?shí)現(xiàn)高度擴(kuò)展性的要求。k3n/4k232S(k-1)S(k-1)S(k-1)S(k-1)S(k)=+* S(k-1)= 2242數(shù)據(jù)中心拓?fù)淇偨Y(jié)23HUK 結(jié)構(gòu)與 DCell 結(jié)構(gòu)有相同之處，缺陷類似的缺陷： 網(wǎng)絡(luò)流量不均勻，底層網(wǎng)絡(luò)是網(wǎng)絡(luò)的瓶頸，導(dǎo)致?lián)砣?連線復(fù)雜，不利于優(yōu)化網(wǎng)絡(luò)及自動化管理等；數(shù)據(jù)中心拓?fù)淇偨Y(jié)I參考文獻(xiàn)參考文獻(xiàn)1Mohammad Al-Fares, Alex

56、ander Loukissas, Amin Vahdat; “A Scalable, Commodity Data Center Network Architecture”; In Proceedings of the ACM SIGCOMM 2008 Conference on Data Communication; 2008.2Greenberg, J. R. Hamilton, N. Jain, S. Kandula, C. Kim, P. Lahiri, D. A.Maltz, P. Patel, S. Sengupta; “VL2: A Scalable and Flexible Data Center Network.”; ACM SIGCOMM Computer Communica