數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策

千里之行，始于足下。第2頁/共2頁精品文檔推薦數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案及對策數(shù)據(jù)中心高可用網(wǎng)絡(luò)系統(tǒng)設(shè)計

數(shù)據(jù)中心作為承載企業(yè)業(yè)務(wù)的重要IT基礎(chǔ)設(shè)施，承擔(dān)著穩(wěn)定運(yùn)行和業(yè)務(wù)創(chuàng)新的重任。伴隨著數(shù)據(jù)的集中，企業(yè)數(shù)據(jù)中心的建設(shè)及運(yùn)維給信息部門帶來了巨大的壓力，“數(shù)據(jù)集中就意味著風(fēng)險集中、響應(yīng)集中、復(fù)雜度集中……”，數(shù)據(jù)中心浮現(xiàn)故障的事情幾乎別可幸免。所以，數(shù)據(jù)中心解決方案需要著重關(guān)注怎么盡可能減小數(shù)據(jù)中心浮現(xiàn)故障后對企業(yè)關(guān)鍵業(yè)務(wù)造成的妨礙。為了實(shí)現(xiàn)這一目標(biāo)，首先應(yīng)該要了解企業(yè)數(shù)據(jù)中心浮現(xiàn)故障的類型以及該類型故障產(chǎn)生的妨礙。妨礙數(shù)據(jù)中心的故障要緊分為如下幾類：

硬件故障

軟件故障

鏈路故障

電源/環(huán)境故障

資源利用咨詢題

網(wǎng)絡(luò)設(shè)計咨詢題

本文針對網(wǎng)絡(luò)的高可用設(shè)計做詳細(xì)的闡述。

高可用數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計思路

數(shù)據(jù)中心的故障類型眾多，但故障所導(dǎo)致的結(jié)果卻大同小異。即數(shù)據(jù)中心底的設(shè)備、鏈路或server發(fā)生故障，無法對外提供正常服務(wù)。緩解這些咨詢題最簡單的方式算是冗余設(shè)計，能夠經(jīng)過對設(shè)備、鏈路、Server提供備份，從而將故障對用戶業(yè)務(wù)的妨礙落低到最小。

然而，一味的增加冗余設(shè)計是否就能夠達(dá)到緩解故障妨礙的目的？有人也許會將網(wǎng)絡(luò)可用性與冗余性等同起來。其實(shí)，冗余性不過整個可用性架構(gòu)中的一具方面。一味的強(qiáng)調(diào)冗余性有也許會落低可用性，減小冗余所帶來的優(yōu)點(diǎn)，因?yàn)槿哂嘈栽趲砗锰幍牟⑶乙矔硪恍┤缦氯秉c(diǎn)：

網(wǎng)絡(luò)復(fù)雜度增加

網(wǎng)絡(luò)支撐負(fù)擔(dān)加重

配置和治理難度增加

所以，數(shù)據(jù)中心的高可用設(shè)計是一具綜合的概念。在選用高可靠設(shè)備組件、提高網(wǎng)絡(luò)的冗余性的并且，還需要加強(qiáng)網(wǎng)絡(luò)構(gòu)架及協(xié)議部署的優(yōu)化，從而實(shí)現(xiàn)真

正的高可用。設(shè)計一具高可用的數(shù)據(jù)中心網(wǎng)絡(luò)，可參考類似OSI七層模型，在各個層面保證高可用，最后實(shí)現(xiàn)數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)的高可用，如圖1所示。

圖1數(shù)據(jù)中心高可用系統(tǒng)設(shè)計層次模型

數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)高可用設(shè)計

企業(yè)在舉行數(shù)據(jù)中心架構(gòu)規(guī)劃設(shè)計時，普通需要按照模塊化、層次化原則舉行，幸免在后續(xù)規(guī)模越來越大的事情再舉行大規(guī)模的整改，造成時刻與投資白費(fèi)。

模塊化設(shè)計

模塊化設(shè)計是指在對一定范圍內(nèi)的別同功能或相同功能別同性能、別同規(guī)格的應(yīng)用舉行功能分析的基礎(chǔ)上，劃分并設(shè)計出一系列功能模塊，模塊之間松耦合，力求在滿腳業(yè)務(wù)應(yīng)用要求的基礎(chǔ)上使網(wǎng)絡(luò)穩(wěn)定可靠、易于擴(kuò)展、結(jié)構(gòu)簡單、易于維護(hù)。

別同企業(yè)的應(yīng)用系統(tǒng)也許有一定的差異。在網(wǎng)絡(luò)層面，依照應(yīng)用系統(tǒng)的重要性、流量特征和用戶特征的別同，可大致分為以下幾個區(qū)域，如圖2所示。

圖2企業(yè)數(shù)據(jù)中心典型模塊劃分

需注意幾下幾點(diǎn)：

1)企業(yè)園區(qū)網(wǎng)核心與數(shù)據(jù)中心核心分離，各司其職

園區(qū)網(wǎng)核心要緊承接縱向流量和用戶的接入操縱（DHCP、認(rèn)證等）；數(shù)據(jù)中心核心要緊承接服務(wù)器間的流量(橫向流量居多)。數(shù)據(jù)中心核心交換機(jī)上盡量少的部署策略和配置，保證其互連互通的高可靠、高性能，并且在擴(kuò)展新的模塊時力求達(dá)到核心設(shè)備配置的零更改，各模塊之間互通的松耦合，幸免某功能模塊的故障妨礙其它功能模塊，實(shí)現(xiàn)風(fēng)險分散、靈便擴(kuò)展；

2)分布式安全部署

與傳統(tǒng)的防火墻集中在核心旁掛的方式別一樣，在模塊化數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中，安全設(shè)備應(yīng)下移到各功能模塊的出口（匯聚層）位置，如圖2的紅群網(wǎng)格線所示。而別是旁掛部署在核心交換區(qū)，如此做的目的也是分散風(fēng)險，實(shí)現(xiàn)各模塊間的松耦合。數(shù)據(jù)中心核心交換區(qū)就像是連接各都市的高速公路，建設(shè)時應(yīng)充分保證其高可靠和高性能，而別部署紅綠燈調(diào)度；

3)內(nèi)部服務(wù)器區(qū)細(xì)分子區(qū)

4)Intranet服務(wù)器區(qū)是企業(yè)應(yīng)用系統(tǒng)的關(guān)鍵分區(qū)，此分區(qū)可依照應(yīng)用業(yè)務(wù)的關(guān)

鍵性、實(shí)時性等特征的別同，可思考再舉行子分區(qū)的劃分，普通而言可分為“關(guān)鍵業(yè)務(wù)區(qū)”、“通用業(yè)務(wù)區(qū)”、“財務(wù)應(yīng)用區(qū)”幾類，子分區(qū)能夠是物

理的，也能夠是邏輯的。假如是邏輯的，可為每個子分區(qū)分配一具虛擬防火墻來部署安全策略。在業(yè)務(wù)系統(tǒng)復(fù)雜，服務(wù)器數(shù)據(jù)較多的事情下（＞=200臺），建議采納物理子分區(qū)，每個子分區(qū)采納獨(dú)立的匯聚交換機(jī)和安全設(shè)備。

層次化設(shè)計

數(shù)據(jù)中心層次化設(shè)計包括網(wǎng)絡(luò)架構(gòu)分層和應(yīng)用系統(tǒng)分層兩個方面。在當(dāng)前網(wǎng)絡(luò)及安全設(shè)備虛擬化別斷完善的事情下，應(yīng)用系統(tǒng)分層可徹底經(jīng)過設(shè)備配置來實(shí)現(xiàn)邏輯分層，別妨礙網(wǎng)絡(luò)的物理拓?fù)?。關(guān)于網(wǎng)絡(luò)架構(gòu)層次化設(shè)計，挑選三層架構(gòu)依然二層架構(gòu)是很多企業(yè)舉行數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)時面臨的難題。

傳統(tǒng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)各層的職責(zé)大致定義如下：

核心層：要緊負(fù)責(zé)的是數(shù)據(jù)的交換與路由，別負(fù)責(zé)處理；

匯聚層：要緊負(fù)責(zé)的是數(shù)據(jù)的處理，挑選和過濾等操作；

接入層：要緊負(fù)責(zé)的是數(shù)據(jù)的同意與發(fā)送，負(fù)責(zé)端到端的鏈路建立和釋放。

從可靠性的角度來看，三層架構(gòu)和二層架構(gòu)均能夠?qū)崿F(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)的高可用。近年來隨著云計算的逐漸興起，二層扁平化網(wǎng)絡(luò)架構(gòu)更適合云計算網(wǎng)絡(luò)模型，能夠滿腳大規(guī)模服務(wù)器虛擬化集群、虛擬靈巧活遷移的部署。如表1所示為二層和三層架構(gòu)對照，可見，兩者之間沒有絕對的優(yōu)劣之分，企業(yè)用戶可依照自身的業(yè)務(wù)特點(diǎn)舉行挑選，也能夠先二層，后續(xù)針對某些特定的功能分區(qū)采納三層組網(wǎng)。

表1三層組網(wǎng)與二層組網(wǎng)對照

模塊化、層次化的架構(gòu)設(shè)計將數(shù)據(jù)中心網(wǎng)絡(luò)風(fēng)險舉行了分散，將浮現(xiàn)咨詢題后的妨礙落低到最小，并且模塊之間的松耦合可增強(qiáng)數(shù)據(jù)中心的擴(kuò)展，簡化網(wǎng)絡(luò)運(yùn)維，落低在擴(kuò)展的過程中治理員的人為故障，保證數(shù)據(jù)中心的可用性。

設(shè)備層高可用設(shè)計

設(shè)備可靠是系統(tǒng)可靠的最基本保證，數(shù)據(jù)中心核心交換區(qū)設(shè)備的可靠穩(wěn)定尤為重要。雖然能夠經(jīng)過架構(gòu)、策略、配置等的調(diào)整和優(yōu)化等多種手段落低核心設(shè)備的故障幾率以及妨礙范圍，但若要解決最全然的設(shè)備本身的軟硬件故障，則必須選用數(shù)據(jù)中心級的網(wǎng)絡(luò)設(shè)備。

對于數(shù)據(jù)中心級設(shè)備，業(yè)界還沒有標(biāo)準(zhǔn)的定義，但從目前主流網(wǎng)絡(luò)設(shè)備供應(yīng)商提供的數(shù)據(jù)中心解決方案產(chǎn)品能夠看出，數(shù)據(jù)中心級交換機(jī)應(yīng)具備以下特征：

1)操縱平面與轉(zhuǎn)發(fā)平面物理分離

傳統(tǒng)的園區(qū)網(wǎng)交換機(jī)普通采納“Crossbar+共享緩存”的交換架構(gòu)，引擎板繼承擔(dān)操縱平面的工作，并且也承擔(dān)數(shù)據(jù)轉(zhuǎn)發(fā)平面的工作，跨槽位的流量轉(zhuǎn)發(fā)報文需要經(jīng)背板到引擎板的Crossbar芯片舉行轉(zhuǎn)發(fā)。這種架構(gòu)限制了設(shè)備的可靠性和性能：

可靠性限制：引擎需要承接數(shù)據(jù)轉(zhuǎn)發(fā)平面的工作，所以在引擎浮現(xiàn)主備倒

換時必定會浮現(xiàn)丟包。此外引擎1＋1冗余，也使得Crossbar交換網(wǎng)只

能是1＋1的冗余，冗余能力無法做的更高。

性能限制：受制于業(yè)界當(dāng)前Crossbar芯片的工藝以及引擎PCB板卡布線

等創(chuàng)造工藝，將Crossbar交換網(wǎng)與CPU主控單元集中在一塊引擎板上的

結(jié)構(gòu)，普通單塊引擎的交換容量不會做的太高（普通約1TB左右）。

數(shù)據(jù)中心級交換機(jī)產(chǎn)品將操縱平面與轉(zhuǎn)發(fā)平面物理分離，普通有獨(dú)立的引擎板和交換網(wǎng)板，并且采納CLOS多級交換架構(gòu)，大大提高設(shè)備的可靠性及性能。

如表2所示為CLOS架構(gòu)與傳統(tǒng)的Crossbar+共享緩存交換架構(gòu)對照。

圖3Crossbar架構(gòu)也CLOS架構(gòu)邏輯實(shí)現(xiàn)

擔(dān)式無冗余

表2Crossbar與CLOS交換架構(gòu)對照

2)關(guān)鍵部件更強(qiáng)的冗余能力

除了引擎和交換網(wǎng)板的冗余外，此類設(shè)備的電源普通均能夠配置多塊，實(shí)現(xiàn)N+M的冗余，保證電源的可靠性更高；另外風(fēng)扇的冗余也由原來的風(fēng)扇級冗余，提高到了風(fēng)扇框冗余，每個獨(dú)立的風(fēng)扇框內(nèi)多個風(fēng)扇冗余。

3)虛擬化能力

數(shù)據(jù)中心的復(fù)雜度越來越高，需要治理的設(shè)備也越來越多，設(shè)備的虛擬化可將同一層面（核心、匯聚、接入）的多臺設(shè)備虛擬化為一臺，舉行設(shè)備的橫向整合，簡化設(shè)備的配置和治理。

4)突發(fā)大流量的緩沖能力

隨著業(yè)務(wù)整合、資源共享、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘及智能分析等業(yè)務(wù)的部署，數(shù)據(jù)中心內(nèi)部和業(yè)務(wù)服務(wù)器之間的橫向流量將會越來越多。流量模型的變化會導(dǎo)致多服務(wù)器群向一具服務(wù)器群的流量、多個應(yīng)用服務(wù)器向同一具數(shù)據(jù)庫服務(wù)器的流量越來越頻繁。這種多對一的流量模型是一種典型的擁塞模型，假如網(wǎng)絡(luò)設(shè)備的緩存能力別夠，將會導(dǎo)致丟包重傳，導(dǎo)致業(yè)務(wù)系統(tǒng)的響應(yīng)時刻變長或中斷。

基于CLOS架構(gòu)的數(shù)據(jù)中心級設(shè)備對端口的緩存容量舉行擴(kuò)容，并采納了新一代的分布式緩存機(jī)制，將原有的出方向緩存移至入方向，在同樣的端口緩存容量條件下，這種分布式的緩存機(jī)制能夠更好的緩存多對一的擁塞模型，可以更好的汲取數(shù)據(jù)中心的突發(fā)大流量。如圖4所示。

圖4分布式入端口報文緩存設(shè)計

5)綠群節(jié)能

數(shù)據(jù)中心是企業(yè)能耗的要緊部門，并且高的能耗將會帶來高的發(fā)熱量，妨礙設(shè)備的電子器件的穩(wěn)定性，將到據(jù)中心設(shè)備的穩(wěn)定運(yùn)行。選用低能耗設(shè)備落低發(fā)熱量是提高可靠性的一具方面，另一方面設(shè)備本身的散熱風(fēng)道設(shè)計的合理與否？能否更好的配合機(jī)房的空調(diào)循環(huán)？也妨礙著數(shù)據(jù)中心的可靠性。

為更好的配合機(jī)房冷熱風(fēng)道的布局，機(jī)柜中發(fā)熱量較大的設(shè)備最終是前后散熱的風(fēng)道設(shè)計。但一般的橫插槽設(shè)備普通是左右散熱的方式，所以應(yīng)優(yōu)先思考采納豎插槽的設(shè)備，實(shí)現(xiàn)前后散熱。

鏈路層(L2)高可用設(shè)計

在數(shù)據(jù)中心網(wǎng)絡(luò)部署中，在實(shí)現(xiàn)設(shè)備和鏈路冗余提高可靠性的并且，也會帶來環(huán)路和復(fù)雜度的增加。一旦鏈路成環(huán)路非常容易導(dǎo)致廣播風(fēng)暴，耗盡網(wǎng)絡(luò)鏈路及設(shè)備資源。

1)常見組網(wǎng)方式

關(guān)于傳統(tǒng)的數(shù)據(jù)中心服務(wù)器區(qū)接入～匯聚交換網(wǎng)絡(luò)，針對無環(huán)設(shè)計和有環(huán)設(shè)計有多種挑選方案。如圖5所示。能夠看出，三角形組網(wǎng)提供了更高的接入可用性以及更靈便的服務(wù)器擴(kuò)展能力，因此通常推舉此組網(wǎng)方式。

圖5數(shù)據(jù)中心服務(wù)器接入?yún)R聚常見組網(wǎng)

表3組網(wǎng)方式優(yōu)缺點(diǎn)對照

需要指出，接入交換機(jī)直截了當(dāng)雙上行與匯聚層設(shè)備相連，冗余連接并別是越多越好，最小的三角形環(huán)可以提供最快的收斂速度和最高的可用性。例如圖6中右側(cè)圖組網(wǎng)拓?fù)湓诮尤雽咏粨Q機(jī)和匯聚層交換機(jī)之間采納全交叉冗余，是一種過度冗余組網(wǎng)，反而增加交換機(jī)的生成樹計算的復(fù)雜性以及故障排錯的復(fù)雜性，因此別建議按這種方式部署。

圖6過度冗余與推舉組網(wǎng)

2)經(jīng)過虛擬化技術(shù)簡化網(wǎng)絡(luò)

盡管三角形組網(wǎng)差不多成為數(shù)據(jù)中心接入設(shè)計的最佳實(shí)踐，但從網(wǎng)絡(luò)的拓?fù)湓O(shè)計、環(huán)路規(guī)避、冗余備份等角度思考，設(shè)計過程是極其復(fù)雜的。如VLAN的規(guī)劃、生成樹實(shí)例的拓?fù)涠氯?、網(wǎng)關(guān)冗余挑選，包括相應(yīng)技術(shù)的參數(shù)挑選、配置，故障切換的預(yù)期推斷等，需要一套十分詳細(xì)的流程，而在后期網(wǎng)絡(luò)運(yùn)行維護(hù)過程中面臨的壓力和復(fù)雜度是顯而易見的。

所以，引入虛擬化設(shè)計方式簡化網(wǎng)絡(luò)則顯得尤為重要。經(jīng)過以H3CIRF2為代表的虛擬化技術(shù)，在別改變傳統(tǒng)設(shè)計的網(wǎng)絡(luò)物理拓?fù)?、保證現(xiàn)有布線方式的前提下，實(shí)現(xiàn)網(wǎng)絡(luò)各層的橫向整合，即將交換網(wǎng)絡(luò)每一層的兩臺、多臺物理設(shè)備形成一具統(tǒng)一的交換架構(gòu)，減少了邏輯的設(shè)備數(shù)量，并且實(shí)現(xiàn)跨設(shè)備的鏈路捆綁，消除環(huán)路的并且保證鏈路的高可用。對于IRF2技術(shù)與應(yīng)用的詳細(xì)介紹，請參考本刊“數(shù)據(jù)中心IRF2虛擬化網(wǎng)絡(luò)架構(gòu)與應(yīng)用”一文。

協(xié)議層(L3)高可用設(shè)計

數(shù)據(jù)中心網(wǎng)絡(luò)的協(xié)議層高可用設(shè)計能夠從以下三個方面思考：

1)路由協(xié)議部署

數(shù)據(jù)中心匯聚層到核心層間可采納OSPF等動態(tài)路由協(xié)議舉行路由層面高可用保障。常見連接方式有兩種，如圖7所示。拓?fù)?采納了三角形連接方式，從匯聚層到核心層具有全冗余鏈路和轉(zhuǎn)發(fā)路徑；拓?fù)?采納了四邊形連接方式，從匯聚層到核心層沒有冗余鏈路，當(dāng)主鏈路發(fā)生故障時，需要經(jīng)過路由協(xié)議計算獲得從匯聚到核心的冗余路徑。因此，三角形拓?fù)涞墓收鲜諗繒r刻較短，但要占用更多的設(shè)備端口。

圖7數(shù)據(jù)中心核心匯聚組網(wǎng)設(shè)計

在采納模塊化、層次化設(shè)計之后，數(shù)據(jù)中心內(nèi)部各分區(qū)與核心交換區(qū)的路由將會大大簡化，針對拓?fù)?的組網(wǎng)方式，可舉行IRF2橫向整合，對匯聚層、核心層的雙機(jī)設(shè)備舉行虛擬化，實(shí)現(xiàn)跨設(shè)備鏈路捆綁實(shí)現(xiàn)匯聚層上行到核心層的多鏈路負(fù)載分擔(dān)與備份，在此基礎(chǔ)之上，核心層與匯聚層僅需要一具VLAN三層接口互聯(lián)，直截了當(dāng)在此VLAN三層接口上部署靜態(tài)路由，簡化數(shù)據(jù)中心內(nèi)部的協(xié)議部署。此方式將簡化后續(xù)運(yùn)維的復(fù)雜度，但關(guān)于數(shù)據(jù)中心外聯(lián)模塊，由于外部路由相對較復(fù)雜，可部署OSPF動態(tài)路由，提高路由挑選的靈便性。數(shù)據(jù)中心總體路由結(jié)構(gòu)如圖8所示。

圖8數(shù)據(jù)中心總體路由結(jié)構(gòu)圖

2)快速檢測與切換

為了減小設(shè)備故障對數(shù)據(jù)中心業(yè)務(wù)的妨礙、提高網(wǎng)絡(luò)的可用性，設(shè)備需要可以盡快檢測到與相鄰設(shè)備間的通信故障，以便可以及時采取措施，從而保證業(yè)務(wù)接著舉行。通常事情下，路由協(xié)議中的Hello報文機(jī)制檢測到故障所需的時刻為秒級，在這時刻內(nèi)會導(dǎo)致數(shù)據(jù)中心內(nèi)部Gbps速率級高速數(shù)據(jù)傳輸?shù)拇罅繑?shù)據(jù)丟失。

BFD（BidirectionalForwa