企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)總體設(shè)計(jì)

1、 企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)總體設(shè)計(jì)目 錄 TOC o 1-2 h z u HYPERLINK l _Toc46865916 第一部分 項(xiàng)目背景 PAGEREF _Toc46865916 h 3 HYPERLINK l _Toc46865917 1.1 項(xiàng)目概述 PAGEREF _Toc46865917 h 3 HYPERLINK l _Toc46865918 1.2 設(shè)計(jì)依據(jù) PAGEREF _Toc46865918 h 3 HYPERLINK l _Toc46865919 1.3 設(shè)計(jì)原則 PAGEREF _Toc46865919 h 4 HYPERLINK l _Toc46865920 第二部

2、分 整體需求分析 PAGEREF _Toc46865920 h 7 HYPERLINK l _Toc46865921 2.1 需求分析 PAGEREF _Toc46865921 h 7 HYPERLINK l _Toc46865922 2.2 拓?fù)湟?guī)劃 PAGEREF _Toc46865922 h 8 HYPERLINK l _Toc46865923 2.3 設(shè)計(jì)思想 PAGEREF _Toc46865923 h 8 HYPERLINK l _Toc46865924 第三部分 數(shù)據(jù)中心設(shè)計(jì) PAGEREF _Toc46865924 h 10 HYPERLINK l _Toc46865925 3

3、.1 傳統(tǒng)架構(gòu)存在的問題 PAGEREF _Toc46865925 h 10 HYPERLINK l _Toc46865926 3.2 數(shù)據(jù)中心目標(biāo)架構(gòu) PAGEREF _Toc46865926 h 11 HYPERLINK l _Toc46865927 3.3 數(shù)據(jù)中心設(shè)計(jì)目標(biāo) PAGEREF _Toc46865927 h 13 HYPERLINK l _Toc46865928 3.4 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì) PAGEREF _Toc46865928 h 15 HYPERLINK l _Toc46865929 3.5 數(shù)據(jù)中心核心層設(shè)計(jì) PAGEREF _Toc46865929 h 21 HYPE

4、RLINK l _Toc46865930 3.1 數(shù)據(jù)中心接入層設(shè)計(jì) PAGEREF _Toc46865930 h 23 HYPERLINK l _Toc46865931 3.2 數(shù)據(jù)中心地址路由設(shè)計(jì) PAGEREF _Toc46865931 h 26項(xiàng)目背景項(xiàng)目概述公司成立于1983年，是一家在全球范圍內(nèi)提供顯示解決方案和快速服務(wù)支持的創(chuàng)新型科技企業(yè)。公司制造基地分布在深圳、上海、成都、武漢等全國(guó)各地，同時(shí)，在美國(guó)、德國(guó)、韓國(guó)、臺(tái)灣、香港等主要發(fā)達(dá)國(guó)家與地區(qū)設(shè)有全球營(yíng)銷網(wǎng)絡(luò)和技術(shù)服務(wù)支持平臺(tái)。而目前建設(shè)中的廈門天馬項(xiàng)目是廈門高新區(qū)著力打造千億元光電產(chǎn)業(yè)集群、強(qiáng)化全國(guó)的光電顯示產(chǎn)業(yè)集群試點(diǎn)基地

5、的又一力作。針對(duì)其生產(chǎn)要求，結(jié)合我公司對(duì)于網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)的理念和多年來(lái)在網(wǎng)絡(luò)工程建設(shè)中的經(jīng)驗(yàn)，以實(shí)現(xiàn)高可靠、高性能、可擴(kuò)充為前提，遵循開放、標(biāo)準(zhǔn)、安全和實(shí)用的原則，追求網(wǎng)絡(luò)性能的最佳化、合理化、節(jié)省費(fèi)用，技術(shù)上的先進(jìn)性與成熟性、實(shí)用性相結(jié)合，為廈門G6網(wǎng)絡(luò)系統(tǒng)提供合理有效的解決方案，滿足其辦公需求，保證在未來(lái)的信息化建設(shè)中高效穩(wěn)定運(yùn)行。設(shè)計(jì)依據(jù)數(shù)據(jù)中心由于其特殊性，需嚴(yán)格遵循國(guó)家GB標(biāo)準(zhǔn)所定義的電子信息系統(tǒng)機(jī)房設(shè)計(jì)等相關(guān)規(guī)范數(shù)據(jù)中心設(shè)計(jì)規(guī)范GB/T50174-2014電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范GB50174-2008智能建筑設(shè)計(jì)標(biāo)準(zhǔn)GB/T50314-2006民用建筑設(shè)計(jì)通則GB50352-200

6、5電力裝置的繼電保護(hù)和自動(dòng)裝置設(shè)計(jì)規(guī)范GB50062-92高層民用建筑設(shè)計(jì)防火規(guī)范GB50045-95民用建筑電氣設(shè)計(jì)規(guī)范JGJ/T16-92建筑與建筑群綜合布線工程設(shè)計(jì)規(guī)范GB/T50311-2000弱電系統(tǒng)技術(shù)要求GA/T367-2001(2005年版)公共安全工程技術(shù)規(guī)范GB50348-2004電子計(jì)算機(jī)房設(shè)計(jì)規(guī)范GB50174-93建筑物防雷設(shè)計(jì)規(guī)范GB50057-94建筑物電子信息系統(tǒng)防雷技術(shù)規(guī)范GB50343-2004工業(yè)與民用電力裝置的接地設(shè)計(jì)規(guī)范GBJ65-83工業(yè)企業(yè)通信接地設(shè)計(jì)規(guī)范GBJ79-85通信管道工程施工及驗(yàn)收規(guī)范GB50374-2006設(shè)計(jì)原則以安全、實(shí)用、冗余、

7、先進(jìn)、適應(yīng)發(fā)展為總建設(shè)原則。1、實(shí)用性原則：以現(xiàn)行需求為基礎(chǔ)，充分考慮發(fā)展的需要來(lái)確定規(guī)模。2、冗余性原則：特別注重網(wǎng)絡(luò)硬件系統(tǒng)自身在突發(fā)事件時(shí)的可用性，以冗余備份的設(shè)計(jì)方式加以保障。在核心位置提供設(shè)備級(jí)冗余，在主干設(shè)備與匯聚設(shè)備之間提供可靠的線路及模塊冗余，當(dāng)其中一個(gè)部件因故障停止工作時(shí)，另一部件自動(dòng)接替其工作，并且不引起其他節(jié)點(diǎn)的路由表重新計(jì)算，從而提高網(wǎng)絡(luò)的穩(wěn)定性和可靠性。3、安全性原則：安全性是信息化建設(shè)的基礎(chǔ)保障。出于安全及保密因素，現(xiàn)在信息化建設(shè)工程對(duì)安全性有很高的要求。設(shè)計(jì)的過程中必須依據(jù)國(guó)家各種有關(guān)安全法規(guī)政策，對(duì)硬件支撐平臺(tái)的訪問控制、在線監(jiān)視、信息加密等方面進(jìn)行完善考慮，在

8、網(wǎng)絡(luò)建構(gòu)上根據(jù)功能劃分相應(yīng)的區(qū)域，使用如防火墻、入侵檢測(cè)、信息過濾等手段，防止非法用戶、非法信息及病毒的入侵和泄密事件的發(fā)生。同時(shí)還要在企業(yè)內(nèi)部建立健全各種相關(guān)安全管理制度，確保全網(wǎng)的安全。4、先進(jìn)性原則：系統(tǒng)采用國(guó)際上先進(jìn)的前沿網(wǎng)絡(luò)技術(shù)，滿足今后一段時(shí)期的需要。5、可靠性原則：要保證系統(tǒng)運(yùn)行可靠，極高的平均無(wú)故障時(shí)間和極短的設(shè)備修復(fù)時(shí)間。網(wǎng)絡(luò)的運(yùn)行必須保證相當(dāng)高的可靠性，以滿足工作及信息的安全與穩(wěn)定。防止局部故障引起整個(gè)網(wǎng)絡(luò)系統(tǒng)的癱瘓，避免網(wǎng)絡(luò)出現(xiàn)單點(diǎn)故障。6、易維護(hù)原則：系統(tǒng)要易于管理、易于維護(hù)。網(wǎng)絡(luò)需要很高的可管理性，特別是在數(shù)據(jù)、視頻等多業(yè)務(wù)的網(wǎng)絡(luò)系統(tǒng)里，要使用可管理的網(wǎng)絡(luò)設(shè)備，可以識(shí)

9、別關(guān)鍵資源，根據(jù)流量狀況以及網(wǎng)絡(luò)性能配置閾值并為不同的應(yīng)用提供不同的帶寬，使所有的服務(wù)能夠順利完成。隨著系統(tǒng)的投入運(yùn)行和系統(tǒng)資源的不斷增加，網(wǎng)絡(luò)系統(tǒng)應(yīng)具有很好的易維護(hù)性，使管理人員易于維護(hù)，減少不必要的額外勞動(dòng)，提高工作效率。7、易擴(kuò)展原則：設(shè)計(jì)過程中應(yīng)當(dāng)保證在用戶業(yè)務(wù)量和業(yè)務(wù)類型的變化增長(zhǎng)的情況下，硬件支撐平臺(tái)能夠方便的升級(jí)并擴(kuò)展，網(wǎng)絡(luò)可以自如地?cái)U(kuò)充容量，支持更多的用戶及應(yīng)用。網(wǎng)絡(luò)平臺(tái)設(shè)計(jì)時(shí)必須按照各種國(guó)際通用標(biāo)準(zhǔn)進(jìn)行，以保證各種設(shè)備、網(wǎng)絡(luò)的兼容通用，將來(lái)網(wǎng)絡(luò)在實(shí)現(xiàn)擴(kuò)容、升級(jí)時(shí)不會(huì)受到某些廠家專有標(biāo)準(zhǔn)的限制。網(wǎng)絡(luò)結(jié)構(gòu)與網(wǎng)絡(luò)技術(shù)的選擇，要具有相當(dāng)?shù)那罢靶?，以確保隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)能夠

10、平滑地過渡到更先進(jìn)的技術(shù)和設(shè)備，充分保障用戶現(xiàn)有的投資和利益。整體需求分析需求分析根據(jù)前期和客戶溝通匯總的需求，本次項(xiàng)目規(guī)劃涉及網(wǎng)絡(luò)包括：園區(qū)有線網(wǎng)絡(luò)、園區(qū)無(wú)線網(wǎng)絡(luò)、數(shù)據(jù)中心網(wǎng)絡(luò)、管理控制網(wǎng)絡(luò)、外聯(lián)網(wǎng)絡(luò)、互聯(lián)網(wǎng)絡(luò)等網(wǎng)絡(luò)。按照模塊化、層次化、區(qū)域化、可擴(kuò)展的規(guī)劃原則，廈門G6總體網(wǎng)絡(luò)可進(jìn)行以下模塊化劃分：園區(qū)網(wǎng)核心交換區(qū)域：VSS系統(tǒng)架構(gòu)，高可靠性和提升網(wǎng)絡(luò)性能;部署冗余無(wú)線控制器，實(shí)現(xiàn)無(wú)線快速切換園區(qū)網(wǎng)絡(luò)接入?yún)^(qū)域：萬(wàn)兆光纖主干，通過VSS實(shí)現(xiàn)鏈路的捆綁，提高鏈路利用率，包括有線和無(wú)線接入方式.數(shù)據(jù)中心核心交換區(qū)域：VPC+系統(tǒng)架構(gòu)，高性能高擴(kuò)展性數(shù)據(jù)中心主機(jī)接入?yún)^(qū)域：公司辦公業(yè)務(wù)系統(tǒng)的各種服務(wù)

11、器外聯(lián)區(qū)域：雙機(jī)SSL VPN終結(jié)設(shè)備，提供外聯(lián)及接入的高可靠架構(gòu)員工上網(wǎng)區(qū)域：鏈路負(fù)載均衡、防火墻設(shè)備整合應(yīng)用。管理控制區(qū)域：管理控制區(qū)域，主要都由各種服務(wù)器系統(tǒng)組成，是整個(gè)網(wǎng)絡(luò)運(yùn)維管理的核心區(qū)域，網(wǎng)絡(luò)管理系統(tǒng)、網(wǎng)絡(luò)安全審計(jì)及授權(quán)系統(tǒng)、無(wú)線覆蓋的管理系統(tǒng)、移動(dòng)終端的認(rèn)證管理系統(tǒng)等網(wǎng)絡(luò)運(yùn)維的管理系統(tǒng)均部署于該區(qū)域拓?fù)湟?guī)劃設(shè)計(jì)思想園區(qū)有線采用兩種方案： 方案一：針對(duì)M3區(qū)采用兩層架構(gòu)，核心采用Cat6807交換機(jī)，接入層采用Cat6800ia交換機(jī),實(shí)現(xiàn)即時(shí)接入。該接入交換機(jī)可提供48端口接入且最大24端口802.3at 30W供電能力。通過VSS+IA技術(shù)實(shí)現(xiàn)園區(qū)簡(jiǎn)化架構(gòu)、提高轉(zhuǎn)發(fā)效率的要求。

12、 方案二：針對(duì)M4廠區(qū)由于受限于光纖等資源情況，需在M4樓部署匯聚設(shè)備；即采用傳統(tǒng)三層架構(gòu)方式園區(qū)無(wú)線采用CT5520作為無(wú)線控制器，接入層AP采用支持802.11ac的1700/2700系列。無(wú)線AP2702E可實(shí)現(xiàn)高密度無(wú)線接入。方案中采用FlaxConnect集中認(rèn)證、本地轉(zhuǎn)發(fā)模式。管理控制層使用Cisco ISE作為整網(wǎng)管理控制平臺(tái)，Cisco ISE支持有線無(wú)線準(zhǔn)入控制一體化。將無(wú)線訪客網(wǎng)絡(luò)通過Cat6807的VRF特性進(jìn)行流量隔離，并指定網(wǎng)關(guān)至深信服AC。深信服AC上對(duì)此網(wǎng)段進(jìn)行Portal認(rèn)證，實(shí)現(xiàn)對(duì)無(wú)線訪客的Portal認(rèn)證。數(shù)據(jù)中心設(shè)計(jì)傳統(tǒng)架構(gòu)存在的問題 以往傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)

13、采用以太網(wǎng)技術(shù)構(gòu)建，隨著各類業(yè)務(wù)應(yīng)用對(duì)IT需求的深入發(fā)展，業(yè)務(wù)部門對(duì)資源的需求正以幾何級(jí)數(shù)增長(zhǎng)，傳統(tǒng)的IT基礎(chǔ)架構(gòu)方式給管理員和未來(lái)業(yè)務(wù)的擴(kuò)展帶來(lái)巨大挑戰(zhàn)。具體而言存在如下問題： 維護(hù)管理難：在傳統(tǒng)構(gòu)架的網(wǎng)絡(luò)中進(jìn)行業(yè)務(wù)擴(kuò)容、遷移或增加新的服務(wù)功能越來(lái)越困難，每一次變更都將牽涉相互關(guān)聯(lián)的、不同時(shí)期按不同初衷建設(shè)的多種物理設(shè)施，涉及多個(gè)不同領(lǐng)域、不同服務(wù)方向，工作繁瑣、維護(hù)困難，而且容易出現(xiàn)漏洞和差錯(cuò)。比如數(shù)據(jù)中心新增加一個(gè)業(yè)務(wù)類型，需要調(diào)整新的應(yīng)用訪問控制需求，此時(shí)管理員不僅要了解新業(yè)務(wù)的邏輯訪問策略，還要精通物理的防火墻實(shí)體的部署、連接、安裝，要考慮是增加新的防火墻端口、還是需要添置新的防火墻

14、設(shè)備，要考慮如何以及何處接入，有沒有相應(yīng)的接口，如何跳線，以及隨之而來(lái)的VLAN、路由等等，如果網(wǎng)絡(luò)中還有諸如地址轉(zhuǎn)換、7層交換等等服務(wù)與之相關(guān)聯(lián)，那將是非常繁雜的任務(wù)。當(dāng)這樣的IT資源需求在短期內(nèi)累積，將極易在使得系統(tǒng)維護(hù)的質(zhì)量和穩(wěn)定性下降，同時(shí)反過來(lái)減慢新業(yè)務(wù)的部署，進(jìn)而阻礙公司業(yè)務(wù)的推進(jìn)和發(fā)展。資源利用率低：傳統(tǒng)架構(gòu)方式對(duì)底層資源的投入與在上層業(yè)務(wù)所收到的效果很難得到同比發(fā)展，最普遍的現(xiàn)象就是忙的設(shè)備不堪重負(fù)，閑的設(shè)備資源儲(chǔ)備過多，二者相互之間又無(wú)法借用和共用。這是由于對(duì)底層網(wǎng)絡(luò)建設(shè)是以功能單元為中心進(jìn)行建設(shè)的，并不考慮上層業(yè)務(wù)對(duì)底層資源調(diào)用的優(yōu)化，這使得對(duì)網(wǎng)絡(luò)的投入往往無(wú)法取得同樣的業(yè)

15、務(wù)應(yīng)用效果的改善，反而浪費(fèi)了較多的資源和維護(hù)成本。服務(wù)策略不一致：傳統(tǒng)架構(gòu)最嚴(yán)重的問題是這種以孤立的設(shè)備功能為中心的設(shè)計(jì)思路無(wú)法真正從整個(gè)系統(tǒng)角度制訂統(tǒng)一的服務(wù)策略，比如安全策略、高可用性策略、業(yè)務(wù)優(yōu)化策略等等，造成跨平臺(tái)策略的不一致性，從而難以將所投入的產(chǎn)品能力形成合力為上層業(yè)務(wù)提供強(qiáng)大的服務(wù)支撐。因此，按傳統(tǒng)底層基礎(chǔ)設(shè)施所提供的服務(wù)能力已無(wú)法適應(yīng)當(dāng)前業(yè)務(wù)急劇擴(kuò)展所需的資源要求，本次數(shù)據(jù)中心建設(shè)必須從根本上改變傳統(tǒng)思路，遵照一種嶄新的體系結(jié)構(gòu)思路來(lái)構(gòu)造新的數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)。數(shù)據(jù)中心目標(biāo)架構(gòu) 面向服務(wù)的設(shè)計(jì)思想已經(jīng)成為Web2.0下解決來(lái)自業(yè)務(wù)變更、業(yè)務(wù)急劇發(fā)展所帶來(lái)的資源和成本壓力的最佳

16、途徑。于是業(yè)界就提出了摒棄傳統(tǒng)的“面向組件（Component）”的開發(fā)方式，而轉(zhuǎn)向“面向服務(wù)”的開發(fā)方式，即應(yīng)用軟件應(yīng)當(dāng)看起來(lái)是由相互獨(dú)立、松耦合的服務(wù)構(gòu)成，而不是對(duì)接口要求嚴(yán)格、變更復(fù)雜、復(fù)用性差的緊耦合組件構(gòu)成，這樣可以以最小的變動(dòng)、最佳的需求溝通方式來(lái)適應(yīng)不斷變化的業(yè)務(wù)需求增長(zhǎng)。鑒于此，數(shù)據(jù)中心業(yè)務(wù)應(yīng)用正在朝“面向服務(wù)的架構(gòu)Service Oriented Architecture（SOA）”轉(zhuǎn)型。與業(yè)務(wù)的SOA相適應(yīng)，提出支撐業(yè)務(wù)運(yùn)行的底層基礎(chǔ)設(shè)施也應(yīng)當(dāng)向“面向服務(wù)”的設(shè)計(jì)思想轉(zhuǎn)變，構(gòu)造“面向服務(wù)的數(shù)據(jù)中心”（Service Oriented Data Center，SODC）。 傳

17、統(tǒng)組網(wǎng)觀念是根據(jù)功能需求的變化實(shí)現(xiàn)對(duì)應(yīng)的硬件功能盒子堆砌而構(gòu)建企業(yè)網(wǎng)絡(luò)的，這非常類似于傳統(tǒng)軟件開發(fā)的組件堆砌，被已經(jīng)證明為是一種較低效率的資源調(diào)用方式，而如果能夠?qū)⒄麄€(gè)網(wǎng)絡(luò)的構(gòu)建看成是由封裝完好、相互耦合松散、但能夠被標(biāo)準(zhǔn)化和統(tǒng)一調(diào)度的“服務(wù)”組成，那么業(yè)務(wù)層面的變更、物理資源的復(fù)用都將是輕而易舉的事情。SODC就是要求當(dāng)SOA架構(gòu)下業(yè)務(wù)的變更，導(dǎo)致軟件部分的服務(wù)模塊的組合變化時(shí)，松耦合的網(wǎng)絡(luò)服務(wù)也能根據(jù)應(yīng)用的變化自動(dòng)實(shí)現(xiàn)重組以適配業(yè)務(wù)變更所帶來(lái)的資源要求的變化，而盡可能少的減少?gòu)?fù)雜硬件的相關(guān)性，從運(yùn)行維護(hù)、資源復(fù)用效率和策略一致性上徹底解決傳統(tǒng)設(shè)計(jì)帶來(lái)的頑疾。具體而言SODC應(yīng)形成這樣的資源

18、調(diào)用方式：底層資源對(duì)于上層應(yīng)用就象由服務(wù)構(gòu)成的“資源池”，需要什么服務(wù)就自動(dòng)的會(huì)由網(wǎng)絡(luò)調(diào)用相關(guān)物理資源來(lái)實(shí)現(xiàn)，管理員和業(yè)務(wù)用戶不需要或幾乎可以看不見物理設(shè)備的相互架構(gòu)關(guān)系以及具體存在方式。SODC的框架原型應(yīng)如下所示： 交互服務(wù)層實(shí)現(xiàn)了向上提供服務(wù)、向下屏蔽復(fù)雜的物理結(jié)構(gòu)的作用，使得網(wǎng)絡(luò)使用者看到的網(wǎng)絡(luò)不是由復(fù)雜的基礎(chǔ)物理功能實(shí)體構(gòu)成的，而是一個(gè)個(gè)智能服務(wù)安全服務(wù)、移動(dòng)服務(wù)、計(jì)算服務(wù)、存儲(chǔ)服務(wù)等等，至于這些服務(wù)是由哪些實(shí)際存在的物理資源所提供，管理員和上層業(yè)務(wù)都無(wú)需關(guān)心，交互服務(wù)層解決了一切資源的調(diào)度和高效復(fù)用問題。 SODC和SOA構(gòu)成的數(shù)據(jù)中心IT架構(gòu)必將是整個(gè)數(shù)據(jù)中心未來(lái)發(fā)展的趨勢(shì)，雖然

19、實(shí)現(xiàn)真正理想的SODC和SOA融合的架構(gòu)將是一個(gè)長(zhǎng)期的歷程，但在向該融合框架邁進(jìn)的每一步實(shí)際上都將會(huì)形成對(duì)網(wǎng)絡(luò)靈活性、網(wǎng)絡(luò)維護(hù)、資源利用效率、投資效益等等方面的巨大改善。因此本次數(shù)據(jù)中心的網(wǎng)絡(luò)建設(shè)，要求盡可能的遵循如上所述的新一代面向服務(wù)的數(shù)據(jù)中心設(shè)計(jì)框架。數(shù)據(jù)中心設(shè)計(jì)目標(biāo) SODC架構(gòu)是一種資源調(diào)度的全新方式，資源被調(diào)用方式是面向服務(wù)而非象以前一樣面向復(fù)雜的物理底層設(shè)施進(jìn)行設(shè)計(jì)的，而其中交互服務(wù)層是基于服務(wù)調(diào)用的關(guān)鍵環(huán)節(jié)。交互服務(wù)層的形成是由網(wǎng)絡(luò)智能化進(jìn)一步發(fā)展而實(shí)現(xiàn)的，它是底層的物理網(wǎng)絡(luò)通過其內(nèi)在的智能服務(wù)功能，使得其上的業(yè)務(wù)層面看不到底層復(fù)雜的結(jié)構(gòu)，不用關(guān)心資源的物理調(diào)度，從而最大化的實(shí)

20、現(xiàn)資源的共享和復(fù)用。要形成SODC要求的交互服務(wù)層，必須對(duì)網(wǎng)絡(luò)提出以下要求：整合能力 SODC要求將數(shù)據(jù)中心所需的各種資源實(shí)現(xiàn)基于網(wǎng)絡(luò)的整合，這是后續(xù)上層業(yè)務(wù)能看到底層網(wǎng)絡(luò)提供各類SODC服務(wù)的基礎(chǔ)。整合的概念不是簡(jiǎn)單的功能增多，雖然整合化的一個(gè)體現(xiàn)是很多獨(dú)立設(shè)備的功能被以特殊硬件的方式整合到網(wǎng)絡(luò)設(shè)備中，但其真正的核心思想是將資源盡可能集中化以便于跨平臺(tái)的調(diào)用，而物理存在方式則可自由的根據(jù)需要而定。數(shù)據(jù)中心網(wǎng)絡(luò)所必須提供的資源包括：智能業(yè)務(wù)網(wǎng)絡(luò)所必須的智能功能，比如服務(wù)質(zhì)量保證、安全訪問控制、設(shè)備智能管理等等；數(shù)據(jù)中心的三大資源網(wǎng)絡(luò)：高性能計(jì)算網(wǎng)絡(luò)；存儲(chǔ)交換網(wǎng)絡(luò)；數(shù)據(jù)應(yīng)用網(wǎng)絡(luò)。這兩類資源的整合

21、將是檢驗(yàn)新一代數(shù)據(jù)中心網(wǎng)絡(luò)SODC能力的重要標(biāo)準(zhǔn)。虛擬化能力虛擬化其實(shí)就是把已整合的資源以一種與物理位置、物理存在、物理狀態(tài)等無(wú)關(guān)的方式進(jìn)行調(diào)用，是從物理資源到服務(wù)形態(tài)的質(zhì)變過程。虛擬化是實(shí)現(xiàn)物理資源復(fù)用、降低管理維護(hù)復(fù)雜度、提高設(shè)備利用率的關(guān)鍵，同時(shí)也是為未來(lái)自動(dòng)實(shí)現(xiàn)資源協(xié)調(diào)和配置打下基礎(chǔ)。新一代數(shù)據(jù)中心網(wǎng)絡(luò)要求能夠提供多種方式的虛擬化能力，不僅僅是傳統(tǒng)的網(wǎng)絡(luò)虛擬化（比如VLAN、VPN等），還必須做到：交換虛擬化智能服務(wù)虛擬化服務(wù)器虛擬化自動(dòng)化能力自動(dòng)化是SODC架構(gòu)中上層自動(dòng)優(yōu)化的實(shí)現(xiàn)服務(wù)調(diào)用必須條件。在高度整合化和虛擬化的基礎(chǔ)上，服務(wù)的部署完全不需要物理上的動(dòng)作，資源在虛擬化平臺(tái)上可以

22、與物理設(shè)施無(wú)關(guān)的進(jìn)行分配和整合，這樣我們只需要將一定的業(yè)務(wù)策略輸入給智能網(wǎng)絡(luò)的策略服務(wù)器，一切的工作都可以按系統(tǒng)自身最優(yōu)化的方式進(jìn)行計(jì)算、評(píng)估、決策和調(diào)配實(shí)現(xiàn)。這部分需要做到兩方面的自動(dòng)化：網(wǎng)絡(luò)管理的自動(dòng)化業(yè)務(wù)部署的自動(dòng)化數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)總體網(wǎng)絡(luò)結(jié)構(gòu)本次數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)將采用新一代的DCE技術(shù)，并使用DCE技術(shù)的代表廠商Cisco公司的Nexus系列產(chǎn)品。網(wǎng)絡(luò)結(jié)構(gòu)將采用大型數(shù)據(jù)中心典型的層次化、模塊化組網(wǎng)結(jié)構(gòu)。層次化結(jié)構(gòu)的優(yōu)勢(shì)采用層次化結(jié)構(gòu)有如下好處：節(jié)約成本：園區(qū)網(wǎng)絡(luò)意味著巨大的業(yè)務(wù)投資正確設(shè)計(jì)的園區(qū)網(wǎng)絡(luò)可以提高業(yè)務(wù)效率和降低運(yùn)營(yíng)成本。便于擴(kuò)展：一個(gè)模塊化的或者層次化的網(wǎng)絡(luò)由很多更加便于復(fù)

23、制、改造和擴(kuò)展的模塊所構(gòu)成，在添加或者移除一個(gè)模塊時(shí)，并不需要重新設(shè)計(jì)整個(gè)網(wǎng)絡(luò)。每個(gè)模塊可以在不影響其他模塊或者網(wǎng)絡(luò)核心的情況下投入使用或者停止使用。加強(qiáng)故障隔離能力：通過將網(wǎng)絡(luò)分為多個(gè)可管理的小型組件，企業(yè)可以大幅度簡(jiǎn)化故障定位和排障處理時(shí)效。標(biāo)準(zhǔn)的網(wǎng)絡(luò)分層結(jié)構(gòu)層次化結(jié)構(gòu)包括三個(gè)功能部分，即接入層、分布層和核心層，各層次定位分別如下：核心層：是企業(yè)數(shù)據(jù)交換網(wǎng)絡(luò)的骨干，本層的設(shè)計(jì)目的是實(shí)現(xiàn)快速的數(shù)據(jù)交換，并且提供高可靠性和快速的路由收斂。分布層：也稱為匯聚層。主要匯聚來(lái)自接入層的流量和執(zhí)行策略，當(dāng)?shù)谌龑訁f(xié)議被用于這一層時(shí)可以獲得路由負(fù)載均衡，快速收斂和可擴(kuò)展性等好處。分布層還是網(wǎng)絡(luò)智能服務(wù)的實(shí)

24、施點(diǎn)，包括安全控制、應(yīng)用優(yōu)化等智能功能都在此實(shí)施。接入層：負(fù)責(zé)提供服務(wù)器、用戶終端、存儲(chǔ)設(shè)施等等的網(wǎng)絡(luò)第一級(jí)接入功能，另外網(wǎng)絡(luò)智能服務(wù)的初始分類，比如安全標(biāo)識(shí)、QoS分類將也是這一層的基本功能。數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì) 結(jié)合的業(yè)務(wù)現(xiàn)狀及發(fā)展趨勢(shì)，我們可以看到未來(lái)幾年內(nèi)業(yè)務(wù)處于一個(gè)高速成長(zhǎng)期，必須在本期網(wǎng)絡(luò)架構(gòu)中充分考慮未來(lái)的可擴(kuò)展性。因此，在本次數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)劃中，整個(gè)網(wǎng)絡(luò)劃分為兩層結(jié)構(gòu)，萬(wàn)兆接入，核心間40G線路（兩條萬(wàn)兆用于控制層面的同步，一條鏈路作為檢測(cè)線纜），接入層單臺(tái)上聯(lián)40G，并且數(shù)據(jù)中心與園區(qū)網(wǎng)絡(luò)獨(dú)立設(shè)計(jì)，以保證網(wǎng)絡(luò)的穩(wěn)定性、健壯性和可擴(kuò)展性，適應(yīng)未來(lái)業(yè)務(wù)的發(fā)展。 數(shù)據(jù)中心網(wǎng)絡(luò)按高可靠、

25、高穩(wěn)定、可擴(kuò)展、易管理的原則進(jìn)行設(shè)計(jì)。服務(wù)器區(qū)的匯聚交換機(jī)與核心層交換機(jī)互聯(lián)建議采用上述Cisco N9504 vPC技術(shù)實(shí)現(xiàn)。核心兩臺(tái)采用 vPC技術(shù)（Virtual Port-Channel）技術(shù)，即可以實(shí)現(xiàn)跨交換機(jī)的端口捆綁，這樣在下級(jí)交換機(jī)上連屬于不同機(jī)箱的虛擬交換機(jī)時(shí)，可以把分別連向不同機(jī)箱的萬(wàn)兆鏈路用與IEEE 802.3ad兼容的技術(shù)實(shí)現(xiàn)以太網(wǎng)鏈路捆綁，提高冗余能力和鏈路互連帶寬的同時(shí)，大大簡(jiǎn)化網(wǎng)絡(luò)維護(hù)。如下圖所示。 在核心層采用了“二合一”的虛擬化技術(shù)后，對(duì)于每一臺(tái)接入層交換機(jī)來(lái)說(shuō)，就可以實(shí)現(xiàn)跨機(jī)箱的鏈路捆綁，不再存在生成樹問題，可以充分利用上行鏈路帶寬。 VPC（Virtua

26、l port-channel）是新近發(fā)展的用于避免環(huán)路和有效使用鏈路資源的二層網(wǎng)絡(luò)技術(shù)，它是Port-channel技術(shù)的進(jìn)一步發(fā)展，VPC可以實(shí)現(xiàn)跨機(jī)箱多鏈路捆綁，它一方面采用負(fù)載均衡的方法充分使用網(wǎng)絡(luò)鏈路，另一方面利用port channel方式避免二層環(huán)路的產(chǎn)生，消除Spanning-Tree的阻塞接口，在冗余鏈路中弱化對(duì)Spanning-Tree的依賴，在鏈路或設(shè)備失效的情況下提供快速收斂。 使用vPC技術(shù)方面優(yōu)勢(shì)如下：可靠性：每臺(tái)設(shè)備還是運(yùn)行獨(dú)自的控制平面，網(wǎng)絡(luò)中的設(shè)備控制平面工作狀態(tài)為Active-Active模式，單點(diǎn)設(shè)備故障時(shí)，其他設(shè)備并不受影響；穩(wěn)定性：控制平面各自獨(dú)立，只需

27、進(jìn)行鏈路捆綁信息交互；可擴(kuò)展性：設(shè)備各自引擎分別運(yùn)行控制平面，處理能力相互獨(dú)立；故障倒換時(shí)間：設(shè)備故障僅影響本地，其余設(shè)備控制平面不受影響，數(shù)據(jù)平面流量倒換快 。如下圖： 網(wǎng)絡(luò)虛擬化技術(shù)對(duì)比集群/堆疊技術(shù)（VSS/IRF/CSS）跨機(jī)箱鏈路捆綁技術(shù)（VPC）方案描述廠家通過私有協(xié)議實(shí)現(xiàn)設(shè)備集群/堆疊，原有兩臺(tái)設(shè)備的控制平面整合在一臺(tái)設(shè)備上，體現(xiàn)為設(shè)備多合一。二層網(wǎng)絡(luò)設(shè)備間所有鏈路共同轉(zhuǎn)發(fā)流量，解決二層環(huán)路問題在原有的鏈路捆綁技術(shù)基礎(chǔ)上進(jìn)行擴(kuò)展，實(shí)現(xiàn)跨機(jī)箱。只是二層轉(zhuǎn)發(fā)平面進(jìn)行整合，設(shè)備的控制平面彼此獨(dú)立，所有鏈路均可轉(zhuǎn)發(fā)流量，解決二層環(huán)路問題可靠性差控制平面合一，控制引擎被集中在主機(jī)箱上，備機(jī)

28、箱雖配有控制引擎，但正常狀態(tài)不工作，只在主用機(jī)箱出現(xiàn)故障時(shí)，才起作用，實(shí)際上控制平面為Active-Standby的工作模式高每臺(tái)設(shè)備還是運(yùn)行獨(dú)自的控制平面，網(wǎng)絡(luò)中的設(shè)備控制平面工作狀態(tài)為Active-Active模式，單點(diǎn)設(shè)備故障時(shí)，其他設(shè)備并不受影響穩(wěn)定性差集群設(shè)備內(nèi)部需要同步大量的控制信息高控制平面各自獨(dú)立，只需進(jìn)行鏈路捆綁信息交互可擴(kuò)展性差將原有的控制平面合一，所有的設(shè)備的處理能力被集中在一臺(tái)設(shè)備控制引擎上，整個(gè)集群處理能力為單引擎能力，性能差。高設(shè)備各自引擎分別運(yùn)行控制平面，處理能力相互獨(dú)立故障倒換時(shí)間差主用機(jī)箱故障時(shí)，集群需要將主用引擎信息切換到備用機(jī)箱控制平面，完成切換后才能轉(zhuǎn)發(fā)

29、流量，數(shù)據(jù)平面故障倒換時(shí)間長(zhǎng)高設(shè)備故障僅影響本地，其余設(shè)備控制平面不受影響，數(shù)據(jù)平面流量倒換快Cisco VSS、H3C IRF和Huawei CSS是同一類技術(shù)。它們通過私有信令將兩臺(tái)設(shè)備的控制平面合二為一，虛擬為一臺(tái)設(shè)備。Cisco vPC是對(duì)標(biāo)準(zhǔn)鏈路捆綁（LACP）協(xié)議的擴(kuò)展，兩臺(tái)vPC設(shè)備獨(dú)立運(yùn)作。通過標(biāo)準(zhǔn)LACP協(xié)議連接下游設(shè)備。VSS/IRF/CSS在穩(wěn)定性、擴(kuò)展性等方面弱于vPC，因此主要使用在園區(qū)網(wǎng)絡(luò)中。vPC適合數(shù)據(jù)中心和園區(qū)網(wǎng)絡(luò)使用。 綜上所述，在本次核心交換機(jī)采用思科數(shù)據(jù)中心交換機(jī)N9504,利用思科的VPC技術(shù)實(shí)現(xiàn)核心層的高可靠性。 對(duì)于接入層面 X86機(jī)架服務(wù)服務(wù)器接

30、入層通過Nexus 9000使用FEX技術(shù)鏈接其遠(yuǎn)程擴(kuò)展板卡Nexus 2000來(lái)實(shí)現(xiàn)。Nexus 2000作為柜頂交換機(jī)使用，但是該交換機(jī)的配置、管理、維護(hù)都是通過Nexus 9000實(shí)現(xiàn)的，因此既簡(jiǎn)化了布線，也減少了管理節(jié)點(diǎn)，同時(shí)還使得VLAN在不同機(jī)架之間擴(kuò)展更容易。數(shù)據(jù)中心核心層設(shè)計(jì)目前數(shù)據(jù)中心服務(wù)器及端口統(tǒng)計(jì)數(shù)量：應(yīng)用數(shù)量端口總計(jì)虛擬化服務(wù)器（桌面承載）3個(gè)刀片庫(kù)3*16個(gè)萬(wàn)兆48虛擬化服務(wù)器（功能）5臺(tái)（冗余2臺(tái)）5*2個(gè)萬(wàn)兆10圖形化服務(wù)器2臺(tái)2*4 個(gè)萬(wàn)兆8郵件4臺(tái)4*4個(gè)萬(wàn)兆16備用文件服務(wù)器2臺(tái)2*2個(gè)萬(wàn)兆4基礎(chǔ)應(yīng)用宿主機(jī)2臺(tái)2*4個(gè)萬(wàn)兆8域控1臺(tái)1*2個(gè)萬(wàn)兆2存儲(chǔ)服務(wù)器2

31、臺(tái)2*8個(gè)萬(wàn)兆16端口合計(jì):112經(jīng)過對(duì)數(shù)據(jù)中心整體規(guī)模的需求收集，以及隨著發(fā)展未來(lái)發(fā)展趨勢(shì)我們采用能擴(kuò)展到30Tbps以上的Cisco Nexus 9000系列大型DCE交換機(jī)。并且能平滑過渡到未來(lái)SDN 網(wǎng)絡(luò)。 Cisco Nexus 9500 系列是模塊化交換機(jī)系列，旨在提供行業(yè)領(lǐng)先的高性能、高密度和低延遲 1 千兆、10 千兆、40 千兆以太網(wǎng)連接，乃至未來(lái)的 100 千兆以太網(wǎng)連接。Nexus 9500 系列交換機(jī)既可以在以應(yīng)用為中心的基礎(chǔ)設(shè)施 (ACI) 模式下運(yùn)行，又可以在傳統(tǒng) NX-OS 模式下運(yùn)行。在 ACI 模式下運(yùn)行時(shí)，Nexus 9500 系列交換機(jī)可作為過渡ACI 架

32、構(gòu)的基礎(chǔ)，從而實(shí)現(xiàn)由應(yīng)用網(wǎng)絡(luò)配置文件驅(qū)動(dòng)的完全集成的自動(dòng)化網(wǎng)絡(luò)交換矩陣解決方案。而在傳統(tǒng) NX-OS模式下運(yùn)行時(shí)，Nexus 9500 系列交換機(jī)是同類產(chǎn)品中第一款適用于可高度擴(kuò)展的高性能數(shù)據(jù)中心接入層和匯聚層，并具有增強(qiáng)的自動(dòng)化和可編程性功能的交換機(jī)。Nexus 9500 系列交換機(jī)還可以提供適合 1G SFP/1GBase-T 和 10G SFP+/10GBaseT 連接的高端口密度。憑借各種機(jī)箱外形、不同線卡類型和靈活的前面板端口速度，Cisco Nexus 9500 系列可以為所有規(guī)模的任務(wù)關(guān)鍵型數(shù)據(jù)中心提供出色的網(wǎng)絡(luò)解決方案。Cisco Nexus 9504 交換機(jī)Cisco Nex

33、us 9504 交換機(jī)是一款 7 RU 交換機(jī)，支持 960 Gbps 帶寬，576 個(gè)固定 10 Gbps 增強(qiáng)型小型封裝熱插拔 (SFP+) 端口和 144 個(gè)固定 40 Gbps QSFP+ 端口。上行鏈路模塊提供 40-Gbps 端口，用戶可對(duì)其進(jìn)行維修和更換。提供的這款產(chǎn)品具有以下特點(diǎn)和優(yōu)勢(shì)：1 至 2 微秒的延遲以及高達(dá) 1.28 Tbps 的帶寬使客戶能夠建立一個(gè)強(qiáng)大的交換矩陣，規(guī)模從少達(dá) 200 個(gè) 10-Gbps 服務(wù)器端口到多達(dá) 20 萬(wàn)個(gè) 10-Gbps 服務(wù)器端口。集成共享緩存空間總計(jì)為 50 MB，可以更好地管理接入端口和上行鏈路端口之間的速度不匹配為聚合交換機(jī)或主干

34、交換機(jī)的上行鏈路提供 40 GbE 連接；高級(jí) QSFP+ 光纖通過現(xiàn)有 10 GbE 光纖即可建立連接提供由所有端口共享的額外的 40 MB 數(shù)據(jù)包緩存空間，以增強(qiáng)運(yùn)營(yíng)彈性熱插拔、冗余電源和風(fēng)扇托架提高可用性支持自前而后氣流和自后而前氣流配置80 Plus 鉑金級(jí)電源，能以 20% 利用率實(shí)現(xiàn)不低于 90% 的效率數(shù)據(jù)中心接入層設(shè)計(jì) 本次項(xiàng)目中我們使用Cisco Nexus 3000作為刀片服務(wù)器的匯聚，機(jī)架服務(wù)器通過N2000系列DCE接入交換機(jī)，以實(shí)現(xiàn)數(shù)據(jù)中心接入層的分級(jí)設(shè)計(jì)。Cisco Nexus 3548 交換機(jī) Cisco Nexus 3548 交換機(jī)為 Cisco Nexus 3

35、500 平臺(tái)的第一個(gè)成員，是緊湊的單機(jī)架單元 (1RU) 封裝 10 Gb 以太網(wǎng)交換機(jī)，以超低的延遲提供線速第 2 層和第 3 層交換。此交換機(jī)運(yùn)行業(yè)內(nèi)領(lǐng)先的 Cisco NX-OS 軟件操作系統(tǒng)，可為客戶提供在全球廣泛部署的全面特性和功能。Cisco Nexus 3548 不包含物理層 (PHY) 芯片，允許低延遲和低功耗。此交換機(jī)支持前進(jìn)和后退氣流方案以及交流和直流功率輸入。Cisco Nexus 3548 具有以下硬件配置： 48 個(gè)固定增強(qiáng)型小型封裝可插拔 (SFP+) 端口（1 Gbps 或 10 Gbps） 兩個(gè)冗余、熱插拔電源 四個(gè)獨(dú)立、冗余的熱插拔風(fēng)扇 一個(gè) 1-PPS 定時(shí)端口，包含 RF1.0/2.3 快速連接連接器類型 兩個(gè) 10/100/1000 管理端口 一個(gè) RS-232 串行控制臺(tái)端口 一個(gè) USB 端口 Locator LED 支持前進(jìn)（端口側(cè)排氣扇）和后退（端口側(cè)引入）空氣流方案。每個(gè)電扇上的彩色手柄或電源清楚地表示空氣流方向。Cisco Nexus