公司數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)方案

1、公司數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)方案1.1總體網(wǎng)絡(luò)結(jié)構(gòu)本次XXX公司數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)將采用新一代的DCE技術(shù)，并使用DCE技術(shù)的代表廠商 Cisco公司的Nexus 系列產(chǎn)品。網(wǎng)絡(luò)結(jié)構(gòu)將采用大型數(shù)據(jù)中心典型的層次化、模 塊化組網(wǎng)結(jié)構(gòu)。層次化結(jié)構(gòu)的優(yōu)勢(shì)采用層次化結(jié)構(gòu)有如下好處：節(jié)約成本：園區(qū)網(wǎng)絡(luò)意味著巨大的業(yè)務(wù)投資正確設(shè)計(jì) 的園區(qū)網(wǎng)絡(luò)可以提高業(yè)務(wù)效率和降低運(yùn)營(yíng)成本。便于擴(kuò)展：一個(gè)模塊化的或者層次化的網(wǎng)絡(luò)由很多更加便于復(fù)制、改造和擴(kuò)展的模塊所構(gòu)成，在添加或者移除一個(gè)模塊時(shí)，并不需要重新設(shè)計(jì)整個(gè)網(wǎng)絡(luò)。每個(gè)模塊可以在不影響其他模塊或者網(wǎng)絡(luò)核心的情況下投 入使用或者停止使用 加強(qiáng)故障隔離能力：通過將網(wǎng)絡(luò)分為多個(gè)可

2、管理的小 型組件，企業(yè)可以大幅度簡(jiǎn)化故障定位和排障處理時(shí) 效。標(biāo)準(zhǔn)的網(wǎng)絡(luò)分層結(jié)構(gòu)層次化結(jié)構(gòu)包括三個(gè)功能部分，即接入層、分布層和核心層，各層次定位分別如下：核心層：是企業(yè)數(shù)據(jù)交換網(wǎng)絡(luò)的骨干，本層的設(shè)計(jì)目 的是實(shí)現(xiàn)快速的數(shù)據(jù)交換，并且提供高可靠性和快速 的路由收斂 分布層：也稱為匯聚層。主要匯聚來(lái)自接入層的流量和執(zhí)行策略，當(dāng)?shù)谌龑訁f(xié)議被用于這一層時(shí)可以獲得 路由負(fù)載均衡，快速收斂和可擴(kuò)展性等好處。分布層 還是網(wǎng)絡(luò)智能服務(wù)的實(shí)施點(diǎn)，包括安全控制、應(yīng)用優(yōu) 化等智能功能都在此實(shí)施。接入層：負(fù)責(zé)提供服務(wù)器、用戶終端、存儲(chǔ)設(shè)施等等的網(wǎng)絡(luò)第一級(jí)接入功能，另外網(wǎng)絡(luò)智能服務(wù)的初始分類，比如安全標(biāo)識(shí)、QoS分類將也

3、是這一層的基本功 能。1.1.3 XXX公司的網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)業(yè)界企業(yè)網(wǎng)絡(luò)最佳設(shè)計(jì)實(shí)踐參考，在邊緣節(jié)點(diǎn)端口較少的小型網(wǎng)絡(luò)中，可以考慮將核心層與分布層合并，小型 網(wǎng)絡(luò)的網(wǎng)絡(luò)規(guī)模主要由接入層交換機(jī)決定。但對(duì)于XXX公司而言，結(jié)合XXX公司的業(yè)務(wù)現(xiàn)狀及發(fā)展趨勢(shì)，我們可以 看到未來(lái)幾年內(nèi)業(yè)務(wù)處于一個(gè)高速成長(zhǎng)期，必須在本期網(wǎng)絡(luò)架構(gòu)中充分考慮未來(lái)的可擴(kuò)展性。所以XXX公司企業(yè)內(nèi)部 核心網(wǎng)絡(luò)層次結(jié)構(gòu)必須具有以上嚴(yán)格清晰的劃分，即具有清 晰的核心層、會(huì)聚分布層、接入層等分層結(jié)構(gòu)，才能保證網(wǎng)絡(luò)的穩(wěn)定性、健壯性和可擴(kuò)展性，以適應(yīng)業(yè)務(wù)的發(fā)展。XXX公司的業(yè)務(wù)應(yīng)用特點(diǎn)又決定了核心層將相對(duì)接入的網(wǎng)絡(luò)模塊較少，只有樓層匯聚接

4、入、數(shù)據(jù)中心匯聚接入、廣域網(wǎng)接入等三塊，如果采用單獨(dú)的大容量物理核心設(shè)備將 造成浪費(fèi)，而如果采用低端核心設(shè)備則會(huì)對(duì)業(yè)務(wù)相對(duì)繁忙的 數(shù)據(jù)中心匯聚形成瓶頸， 也影響網(wǎng)絡(luò)整體的穩(wěn)定性。 鑒于此， 我們采用超大規(guī)模核心層設(shè)備Cisco Nexus 7000 作為核心，但虛擬化為兩套交換機(jī)，一套用于全網(wǎng)核心，一套用于數(shù)據(jù) 中心匯聚。這樣做的優(yōu)勢(shì)如下：邏輯上仍然是清晰的兩套設(shè)備，完全保持了前述網(wǎng)絡(luò)分層結(jié)構(gòu)的優(yōu)勢(shì)。在性能上實(shí)現(xiàn)了網(wǎng)絡(luò)核心和數(shù)據(jù)中心匯聚交換機(jī)資源 的共享和復(fù)用，非常好的解決了核心層數(shù)據(jù)量和數(shù)據(jù) 中心數(shù)據(jù)量可能存在較大差異的問題以較低的投入升級(jí)了數(shù)據(jù)中心匯聚交換機(jī)的能力(相當(dāng)于可以與核心層復(fù)用

5、4Tbps以上的交換能力)，適 于下一階段要進(jìn)行的數(shù)據(jù)中心雙網(wǎng)融合的資源需求。減少了設(shè)備數(shù)量，降低了設(shè)備投入成本、功耗開銷和維護(hù)管理的復(fù)雜度。XXX公司新一代數(shù)據(jù)中心整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示:面向服芻的(SOBC)Siijiaije 三HackHack fM1X141/.1UILKajE tiHKMHWPnNexus 7010SBFViCPE 匚h 3iSEi KSurras隹f "t1.2全網(wǎng)核心層設(shè)計(jì)本次我們采用能擴(kuò)展到 15Tbps以上的Cisco Nexus7000系列大型DCE交換機(jī)，每臺(tái) Nexus7000劃分為兩個(gè)VDC （虛擬交換機(jī)），一個(gè)虛擬交換機(jī)作為 XXX公司全網(wǎng)

6、 核心，另一個(gè)虛擬交換機(jī)作為數(shù)據(jù)中心的分布匯聚層交換 機(jī)。我們選擇的是10插槽Nexus7010，以雙機(jī)雙冗余方式 部署在網(wǎng)絡(luò)核心。每臺(tái)當(dāng)前支持的最大交換容量為4Tbps，最大萬(wàn)兆端口容量為 256個(gè)，每插槽交換能力為 230Gbps（未來(lái)可擴(kuò)展到 500Gbps以上），可以在未來(lái)擴(kuò)展40G/100G 以太網(wǎng)。本次每臺(tái)N7010實(shí)配32個(gè)萬(wàn)兆端口， 48個(gè)千兆端口， 這些端口都可在物理上劃分為屬于全網(wǎng)核心的虛擬交換機(jī) 和屬于數(shù)據(jù)中心匯聚的虛擬交換機(jī)，每個(gè)虛擬交換機(jī)從軟件 進(jìn)程到配置界面都各自獨(dú)立，但可以共享和復(fù)用總的交換機(jī) 資源Port-Channel ),即可以實(shí)現(xiàn)跨交換機(jī)的端口捆綁，這樣在

7、 下級(jí)交換機(jī)上連屬于不同機(jī)箱的虛擬交換機(jī)時(shí)，可以把分別 連向不同機(jī)箱的萬(wàn)兆鏈路用與IEEE 802.3ad兼容的技術(shù)實(shí)現(xiàn)以太網(wǎng)鏈路捆綁，提高冗余能力和鏈路互連帶寬的同時(shí)， 大大簡(jiǎn)化網(wǎng)絡(luò)維護(hù)。核心層虛擬交換機(jī)與其它設(shè)備互連都采用路由端口和三層交換方式，因此采用vPC進(jìn)行鏈路捆綁時(shí)使用三層端口 鏈路捆綁技術(shù)。如圖所示：1.3數(shù)據(jù)中心分布層設(shè)計(jì) 數(shù)據(jù)中心分布層虛擬交換機(jī)數(shù)據(jù)中心的分布匯聚層交換機(jī)是采用上述Nexus 7010內(nèi)單獨(dú)劃分處理的虛擬交換機(jī)實(shí)現(xiàn)。虛擬交換機(jī)之間通過外 部互連，并同樣采用vPC的三層端口鏈路捆綁技術(shù)。 分布匯 聚層虛擬交換機(jī)與下面的接入層采用二層端口的vPC跨機(jī)箱捆綁技術(shù)互連

8、，如下圖所示。數(shù)據(jù)中心分布層智能服務(wù)機(jī)箱數(shù)據(jù)中心的網(wǎng)絡(luò)智能服務(wù)由設(shè)計(jì)在分布層的智能服務(wù)機(jī)箱提供(Multi-Services Chassis )。單獨(dú)的服務(wù)機(jī)箱可以不破壞高性能的一體化交換架構(gòu)形成的數(shù)據(jù)中心主干，有選擇的對(duì)三網(wǎng)合一的數(shù)據(jù)中心流量提供按需的網(wǎng)絡(luò)智能服務(wù)。比如本地存儲(chǔ)流量沒有必要在傳輸過程中經(jīng)過數(shù)據(jù)應(yīng)用類 防火墻的檢查（存儲(chǔ)網(wǎng)內(nèi)有自己的安全訪問控制機(jī)制），這 樣的設(shè)計(jì)比較容易實(shí)現(xiàn)類似的FCoE流量的無(wú)干擾直達(dá)。智能服務(wù)機(jī)箱采用 Cisco Catalyst 6500 交換機(jī)，配置720G引擎和18個(gè)萬(wàn)兆端口，內(nèi)置防火墻模塊（ FWSM ）、 應(yīng)用控制模塊（ACE），提供應(yīng)用級(jí)安全訪

9、問控制和應(yīng)用 優(yōu)化、負(fù)載均衡功能。智能服務(wù)機(jī)箱采用雙機(jī)冗余結(jié)構(gòu)，利用Catalyst 6500的VSS虛擬交換機(jī)功能，兩個(gè)獨(dú)立的機(jī)箱完全可以看成為 一個(gè)邏輯機(jī)箱，再通過共4個(gè)萬(wàn)兆上連至2個(gè)N7000上的分布匯聚層虛擬交換機(jī)上。VSS技術(shù)形成了一個(gè)具有1.44Tbps能力的智能服務(wù)機(jī)箱，再通過N7000的vPC技術(shù)， 則形成了智能服務(wù)機(jī)箱和 N7000之間全雙工高達(dá)80Gbps 的互連帶寬。由于N7000和6500VSS上都預(yù)留了足夠的萬(wàn) 兆端口，這個(gè)捆綁帶寬值根據(jù)未來(lái)智能服務(wù)處理性能的需要還可以成倍的平滑升級(jí)。物理和邏輯的連接示意圖如下面所 示。物理結(jié)構(gòu)圖輯結(jié)構(gòu)圖 在一期實(shí)施中，智能服務(wù)機(jī)箱內(nèi)

10、智能服務(wù)器硬件模塊的部署密度不高每個(gè)機(jī)箱內(nèi)防火墻模塊、負(fù)載均衡模塊各 一塊，這樣每個(gè)機(jī)箱內(nèi)使用引擎加速技術(shù)的防火墻模塊最大 迸發(fā)吞吐量32Gbps，負(fù)載均衡模塊最大四層吞吐能力 16Gbps （而且不是所有都需要負(fù)載均衡），完全滿足當(dāng)前 業(yè)務(wù)需求，因此可以在實(shí)施中簡(jiǎn)化配置，改雙機(jī)箱VSS結(jié)構(gòu)為一主一備機(jī)箱方式，在以后隨業(yè)務(wù)需求上漲，業(yè)務(wù)模塊 增多，再完善為雙機(jī)箱負(fù)載均衡的VSS模式。由于服務(wù)機(jī)箱內(nèi)的防火墻模塊和應(yīng)用控制優(yōu)化模塊都支持虛擬化技術(shù)，因此還可以利用智能服務(wù)虛擬化實(shí)現(xiàn)基于 每個(gè)數(shù)據(jù)中心業(yè)務(wù)組的定制服務(wù)策略和功能，使每個(gè)業(yè)務(wù)應(yīng) 用使用所需資源時(shí)不必過度關(guān)注其物理存在方式，從而實(shí)現(xiàn) 與物理

11、無(wú)關(guān)的跨平臺(tái)智能服務(wù)調(diào)用（SODC的交互服務(wù)調(diào)用），極大的提高資源利用效率，減少了物理設(shè)施維護(hù)的復(fù) 雜度。這部分將在后面智能服務(wù)的詳細(xì)設(shè)計(jì)中加以闡明。1.4數(shù)據(jù)中心接入層設(shè)計(jì)使用Cisco Nexus 5000 和2000系列DCE接入交換機(jī)， 可以實(shí)現(xiàn)數(shù)據(jù)中心接入層的分級(jí)設(shè)計(jì)。本次建議XXX公司使用的是具有將近1.2Tbps交換能力、初始配置有40個(gè)萬(wàn)兆以太網(wǎng)端口的 Nexus 5020交換機(jī)， 以及具備48個(gè)10/100/1000M 以太網(wǎng)端口、4個(gè)萬(wàn)兆上連端 口的Nexus 2148T。Nexus 2000 是5000系列的交換矩陣 延展器，通過部署在柜頂(Top of the Rack，ToR)的2148T， 可以將本地接入的高密度服務(wù)器上連到5020，4個(gè)上連萬(wàn)兆端口可