數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案

數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案文檔可自由編輯1/2文檔可自由編輯文檔可自由編輯數(shù)據(jù)中心高可用網(wǎng)絡系統(tǒng)設計數(shù)據(jù)中心作為承載企業(yè)業(yè)務的重要IT基礎設施，承擔著穩(wěn)定運行和業(yè)務創(chuàng)新的重任。伴隨著數(shù)據(jù)的集中，企業(yè)數(shù)據(jù)中心的建設及運維給信息部門帶來了巨大的壓力，“數(shù)據(jù)集中就意味著風險集中、響應集中、復雜度集中……”，數(shù)據(jù)中心出現(xiàn)故障的情況幾乎不可避免。因此，數(shù)據(jù)中心解決方案需要著重關注如何盡量減小數(shù)據(jù)中心出現(xiàn)故障后對企業(yè)關鍵業(yè)務造成的影響。為了實現(xiàn)這一目標，首先應該要了解企業(yè)數(shù)據(jù)中心出現(xiàn)故障的類型以及該類型故障產(chǎn)生的影響。影響數(shù)據(jù)中心的故障主要分為如下幾類：硬件故障軟件故障鏈路故障電源/環(huán)境故障資源利用問題網(wǎng)絡設計問題本文針對網(wǎng)絡的高可用設計做詳細的闡述。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第1頁。高可用數(shù)據(jù)中心網(wǎng)絡設計思路數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第1頁。數(shù)據(jù)中心的故障類型眾多，但故障所導致的結果卻大同小異。即數(shù)據(jù)中心中的設備、鏈路或server發(fā)生故障，無法對外提供正常服務。緩解這些問題最簡單的方式就是冗余設計，可以通過對設備、鏈路、Server提供備份，從而將故障對用戶業(yè)務的影響降低到最小。但是，一味的增加冗余設計是否就可以達到緩解故障影響的目的？有人可能會將網(wǎng)絡可用性與冗余性等同起來。事實上，冗余性只是整個可用性架構中的一個方面。一味的強調(diào)冗余性有可能會降低可用性，減小冗余所帶來的優(yōu)點，因為冗余性在帶來好處的同時也會帶來一些如下缺點：網(wǎng)絡復雜度增加網(wǎng)絡支撐負擔加重配置和管理難度增加數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第2頁。因此，數(shù)據(jù)中心的高可用設計是一個綜合的概念。在選用高可靠設備組件、提高網(wǎng)絡的冗余性的同時，還需要加強網(wǎng)絡構架及協(xié)議部署的優(yōu)化，從而實現(xiàn)真正的高可用。設計一個高可用的數(shù)據(jù)中心網(wǎng)絡，可參考類似OSI七層模型，在各個層面保證高可用，最終實現(xiàn)數(shù)據(jù)中心基礎網(wǎng)絡系統(tǒng)的高可用，如圖1數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第2頁。圖1數(shù)據(jù)中心高可用系統(tǒng)設計層次模型數(shù)據(jù)中心網(wǎng)絡架構高可用設計企業(yè)在進行數(shù)據(jù)中心架構規(guī)劃設計時，一般需要按照模塊化、層次化原則進行，避免在后續(xù)規(guī)模越來越大的情況再進行大規(guī)模的整改，造成時間與投資浪費。模塊化設計模塊化設計是指在對一定范圍內(nèi)的不同功能或相同功能不同性能、不同規(guī)格的應用進行功能分析的基礎上，劃分并設計出一系列功能模塊，模塊之間松耦合，力求在滿足業(yè)務應用要求的基礎上使網(wǎng)絡穩(wěn)定可靠、易于擴展、結構簡單、易于維護。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第3頁。不同企業(yè)的應用系統(tǒng)可能有一定的差異。在網(wǎng)絡層面，根據(jù)應用系統(tǒng)的重要性、流量特征和用戶特征的不同，可大致分為以下幾個區(qū)域，如圖2數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第3頁。圖2企業(yè)數(shù)據(jù)中心典型模塊劃分需注意幾下幾點：1)企業(yè)園區(qū)網(wǎng)核心與數(shù)據(jù)中心核心分離，各司其職園區(qū)網(wǎng)核心主要承接縱向流量和用戶的接入控制（DHCP、認證等）；數(shù)據(jù)中心核心主要承接服務器間的流量(橫向流量居多)。數(shù)據(jù)中心核心交換機上盡可能少的部署策略和配置，保證其互連互通的高可靠、高性能，同時在擴展新的模塊時力求達到核心設備配置的零更改，各模塊之間互通的松耦合，避免某功能模塊的故障影響其它功能模塊，實現(xiàn)風險分散、靈活擴展；數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第4頁。2)數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第4頁。與傳統(tǒng)的防火墻集中在核心旁掛的方式不一樣，在模塊化數(shù)據(jù)中心網(wǎng)絡架構中，安全設備應下移到各功能模塊的出口（匯聚層）位置，如圖2的紅色網(wǎng)格線所示。而不是旁掛部署在核心交換區(qū)，這樣做的目的也是分散風險，實現(xiàn)各模塊間的松耦合。數(shù)據(jù)中心核心交換區(qū)就像是連接各城市的高速公路，建設時應充分保證其高可靠和高性能，而不部署紅綠燈調(diào)度；3)內(nèi)部服務器區(qū)細分子區(qū)4)Intranet服務器區(qū)是企業(yè)應用系統(tǒng)的關鍵分區(qū)，此分區(qū)可根據(jù)應用業(yè)務的關鍵性、實時性等特征的不同，可考慮再進行子分區(qū)的劃分，一般而言可分為“關鍵業(yè)務區(qū)”、“通用業(yè)務區(qū)”、“財務應用區(qū)”幾類，子分區(qū)可以是物理的，也可以是邏輯的。如果是邏輯的，可為每個子分區(qū)分配一個虛擬防火墻來部署安全策略。在業(yè)務系統(tǒng)復雜，服務器數(shù)據(jù)較多的情況下（＞=200臺），建議采用物理子分區(qū)，每個子分區(qū)采用獨立的匯聚交換機和安全設備。層次化設計數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第5頁。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第5頁。傳統(tǒng)網(wǎng)絡中，網(wǎng)絡各層的職責大致定義如下：核心層：主要負責的是數(shù)據(jù)的交換與路由，不負責處理；匯聚層：主要負責的是數(shù)據(jù)的處理，選擇和過濾等操作；接入層：主要負責的是數(shù)據(jù)的接受與發(fā)送，負責端到端的鏈路建立和釋放。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第6頁。從可靠性的角度來看，三層架構和二層架構均可以實現(xiàn)數(shù)據(jù)中心網(wǎng)絡的高可用。近年來隨著云計算的逐漸興起，二層扁平化網(wǎng)絡架構更適合云計算網(wǎng)絡模型，可以滿足大規(guī)模服務器虛擬化集群、虛擬機靈活遷移的部署。如表1所示為二層和三層架構對比，可見，兩者之間沒有絕對的優(yōu)劣之分，企業(yè)用戶可根據(jù)自身的業(yè)務特點進行選擇，也可以先二層，后續(xù)數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第6頁。三層架構二層架構可靠性增加了一層網(wǎng)絡設備，意味著故障點增加網(wǎng)絡故障點相對較少，但同時故障點也相對集中安全性網(wǎng)關和安全策略皆部署在匯聚層，方便部署安全策略部署在接入層，相對比較分散，部署工作量大服務器接入數(shù)量較多較少擴展性同一功能分區(qū)內(nèi)服務器數(shù)量擴展多，可靈活實現(xiàn)物理分區(qū)內(nèi)的子邏輯分區(qū)同一功能分區(qū)內(nèi)服務器數(shù)量擴展受限運維管理設備和管理點較多設備少，管理點較少成本匯聚和接入設備可靈活選擇配合，達到最佳的成本控制接入設備要求較高，選型受限適合場景服務器數(shù)量多，安全策略控制嚴格的場合服務器集群、虛擬機遷移應用較多，服務器搬遷移動頻繁場合表1三層組網(wǎng)與二層組網(wǎng)對比模塊化、層次化的架構設計將數(shù)據(jù)中心網(wǎng)絡風險進行了分散，將出現(xiàn)問題后的影響降低到最小，同時模塊之間的松耦合可增強數(shù)據(jù)中心的擴展，簡化網(wǎng)絡運維，降低在擴展的過程中管理員的人為故障，保證數(shù)據(jù)中心的可用性。設備層高可用設計數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第7頁。設備可靠是系統(tǒng)可靠的最基本保證，數(shù)據(jù)中心核心交換區(qū)設備的可靠穩(wěn)定尤為重要。盡管可以通過架構、策略、配置等的調(diào)整和優(yōu)化等多種手段降低核心設備的數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第7頁。關于數(shù)據(jù)中心級設備，業(yè)界還沒有標準的定義，但從目前主流網(wǎng)絡設備供應商提供的數(shù)據(jù)中心解決方案產(chǎn)品可以看出，數(shù)據(jù)中心級交換機應具備以下特征：1)控制平面與轉發(fā)平面物理分離傳統(tǒng)的園區(qū)網(wǎng)交換機一般采用“Crossbar+共享緩存”的交換架構，引擎板繼承擔控制平面的工作，同時也承擔數(shù)據(jù)轉發(fā)平面的工作，跨槽位的流量轉發(fā)報文需要經(jīng)背板到引擎板的Crossbar芯片進行轉發(fā)。這種架構限制了設備的可靠性和性能：可靠性限制：引擎需要承接數(shù)據(jù)轉發(fā)平面的工作，因此在引擎出現(xiàn)主備倒換時必然會出現(xiàn)丟包。此外引擎1＋1冗余，也使得Crossbar交換網(wǎng)只能是1＋1的冗余，冗余能力無法做的更高。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第8頁。性能限制：受制于業(yè)界當前Crossbar芯片的工藝以及引擎PCB板卡布線等制造工藝，將Crossbar交換網(wǎng)與CPU主控單元集中在一塊引擎板上的結構，一般單塊引擎的交換容量不可能做的太高（一般約1TB數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第8頁。數(shù)據(jù)中心級交換機產(chǎn)品將控制平面與轉發(fā)平面物理分離，一般有獨立的引擎板和交換網(wǎng)板，同時采用CLOS多級交換架構，大大提高設備的可靠性及性能。如表2所示為CLOS架構與傳統(tǒng)的Crossbar+共享緩存交換架構對比。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第9頁。圖3Crossbar架構也CLOS數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第9頁。Crossbar+共享緩存CLOS多級交換結構1，單平面交換；2，交換矩陣和控制統(tǒng)一，即引擎承擔了交換和控制雙重功能；1，多塊交換網(wǎng)板共同完成流量交換2，控制和交換硬件分離轉發(fā)能力受限于交換網(wǎng)片的交換能力和PCB單板制造工藝，單引擎達到1TB以上就很難提升。多塊交換網(wǎng)板同時分擔業(yè)務流量，相當于N倍于單級交換的能力，可實現(xiàn)5～10TB交換容量可靠性引擎倒換會丟包控制平面與轉發(fā)平面硬件物理分離，引擎切換時不影響轉發(fā)，可實現(xiàn)零丟包冗余能力引擎1＋1冗余，雙引擎負載分擔式無冗余引擎1＋1冗余，交換網(wǎng)板N+1冗余表2Crossbar與CLOS交換架構對比2)關鍵部件更強的冗余能力除了引擎和交換網(wǎng)板的冗余外，此類設備的電源一般均可以配置多塊，實現(xiàn)N+M的冗余，保證電源的可靠性更高；另外風扇的冗余也由原來的風扇級冗余，提高到了風扇框冗余，每個獨立的風扇框內(nèi)多個風扇冗余。3)虛擬化能力數(shù)據(jù)中心的復雜度越來越高，需要管理的設備也越來越多，設備的虛擬化可將同一層面（核心、匯聚、接入）的多臺設備虛擬化為一臺，進行設備的橫向整合，簡化設備的配置和管理。4)突發(fā)大流量的緩沖能力數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第10頁。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第10頁?；贑LOS架構的數(shù)據(jù)中心級設備對端口的緩存容量進行擴容，并采用了新一代的分布式緩存機制，將原有的出方向緩存移至入方向，在同樣的端口緩存容量條件下，這種分布式的緩存機制可以更好的緩存多對一的擁塞模型，能夠更好的吸收數(shù)據(jù)中心的突發(fā)大流量。如圖4所示。圖4分布式入端口報文緩存設計5)綠色節(jié)能數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第11頁。數(shù)據(jù)中心是企業(yè)能耗的主要部門，同時高的能耗將會帶來高的發(fā)熱量，影響設備的電子器件的穩(wěn)定性，將到據(jù)中心設備的穩(wěn)定運行。選用低能耗設備降低發(fā)熱量是提高可靠性的一個方面，另一方面設備本身的散熱風道設計的合理與否？能否更好的配合機房的空調(diào)循環(huán)數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第11頁。為更好的配合機房冷熱風道的布局，機柜中發(fā)熱量較大的設備最后是前后散熱的風道設計。但普通的橫插槽設備一般是左右散熱的方式，因此應優(yōu)先考慮采用豎插槽的設備，實現(xiàn)前后散熱。鏈路層(L2)高可用設計在數(shù)據(jù)中心網(wǎng)絡部署中，在實現(xiàn)設備和鏈路冗余提高可靠性的同時，也會帶來環(huán)路和復雜度的增加。一旦鏈路成環(huán)路很容易導致廣播風暴，耗盡網(wǎng)絡鏈路及設備資源。1)常見組網(wǎng)方式數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第12頁。對于傳統(tǒng)的數(shù)據(jù)中心服務器區(qū)接入～匯聚交換網(wǎng)絡，針對無環(huán)設計和有環(huán)設計有多種選擇方案。如圖5所示?？梢钥闯?，三角形組網(wǎng)提供數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第12頁。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第13頁。圖5數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第13頁。拓撲優(yōu)點缺點1倒U型不啟用STP，好管理VLAN可以跨匯聚層交換機，服務器部署靈活必須通過鏈路聚合保證高可用性匯聚交換機故障時，服務器無法感知，無法實現(xiàn)高可用接入2正U型不啟用STP，好管理雙active鏈路，接入交換機密度高不能使VLAN跨匯聚層，服務器部署不靈活接入交換機間鏈路故障，VRRP心跳報文無法傳遞，整機做VRRP主備切換，故障收斂時間長。3三角形鏈路冗余，路徑冗余，故障收斂時間最短VLAN可以跨匯聚層交換機，服務器部署靈活存在環(huán)路，需要啟動STP協(xié)議4矩形雙active鏈路，接入交換機密度高VLAN可以跨匯聚層交換機有一半的接入層流量要通過匯聚交換機之間的鏈路。當接入交換機上行鏈路故障時，所有流量將從一側的交換機上行。收斂比變小，網(wǎng)絡易擁塞，降低網(wǎng)絡高可用性。存在環(huán)路，需要啟動STP協(xié)議表3組網(wǎng)方式優(yōu)缺點對比數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第14頁。需要指出，接入交換機直接雙上行與匯聚層設備相連，冗余連接并不是越多越好，最小的三角形環(huán)能夠提供最快的收斂速度和最高的可用性。例如圖6數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第14頁。圖6過度冗余與推薦組網(wǎng)2)通過虛擬化技術簡化網(wǎng)絡雖然三角形組網(wǎng)已經(jīng)成為數(shù)據(jù)中心接入設計的最佳實踐，但從網(wǎng)絡的拓撲設計、環(huán)路規(guī)避、冗余備份等角度考慮，設計過程是極其復雜的。如VLAN的規(guī)劃、生成樹實例的拓撲阻塞、網(wǎng)關冗余選擇，包括相應技術的參數(shù)選擇、配置，故障切換的預期判斷等，需要一套十分詳細的流程，而在后期網(wǎng)絡運行維護過程中面臨的壓力和復雜度是顯而易見的。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第15頁。因此，引入虛擬化設計方式簡化網(wǎng)絡則顯得尤為重要。通過以H3CIRF2為代表的虛擬化技術，在不改變傳統(tǒng)設計的網(wǎng)絡物理拓撲、保證現(xiàn)有布線方式的前提下，實現(xiàn)網(wǎng)絡各層的橫向整合，即將交換網(wǎng)絡每一層的兩臺、多臺物理設備形成一個統(tǒng)一的交換架構，減少了邏輯的設備數(shù)量，同時實現(xiàn)跨設備的鏈路捆綁，消除環(huán)路的同時保證鏈路的高可用。關于IRF2技術與應用的詳細介紹，請參考本刊“數(shù)據(jù)中心IRF2虛擬化網(wǎng)絡架構與應用”一文。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第15頁。協(xié)議層(L3)高可用設計數(shù)據(jù)中心網(wǎng)絡的協(xié)議層高可用設計可以從以下三個方面考慮：1)路由協(xié)議部署數(shù)據(jù)中心匯聚層到核心層間可采用OSPF等動態(tài)路由協(xié)議進行路由層面高可用保障。常見連接方式有兩種，如圖7所示。拓撲1采用了三角形連接方式，從匯聚層到核心層具有全冗余鏈路和轉發(fā)路徑；拓撲2采用了四邊形連接方式，從匯聚層到核心層沒有冗余鏈路，當主鏈路發(fā)生故障時，需要通過路由協(xié)議計算獲得從匯聚到核心的冗余路徑。所以，三角形拓撲的故障收斂時間較短，但要占用更多的設備端口。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第16頁。圖7數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第16頁。在采用模塊化、層次化設計之后，數(shù)據(jù)中心內(nèi)部各分區(qū)與核心交換區(qū)的路由將會大大簡化，針對拓撲1的組網(wǎng)方式，可進行IRF2橫向整合，對匯聚層、核心層的雙機設備進行虛擬化，實現(xiàn)跨設備鏈路捆綁實現(xiàn)匯聚層上行到核心層的多鏈路負載分擔與備份，在此基礎之上，核心層與匯聚層僅需要一個VLAN三層接口互聯(lián)，直接在此VLAN三層接口上部署靜態(tài)路由，簡化數(shù)據(jù)中心內(nèi)部的協(xié)議部署。此方式將簡化后續(xù)運維的復雜度，但對于數(shù)據(jù)中心外聯(lián)模塊，由于外部路由相對較復雜，可部署OSPF動態(tài)路由，提高路由選擇的靈活性。數(shù)據(jù)中心總體路由結構如圖8所示。圖8數(shù)據(jù)中心總體路由結構圖2)快速檢測與切換數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第17頁。為了減小設備故障對數(shù)據(jù)中心業(yè)務的影響、提高網(wǎng)絡的可用性，設備需要能夠盡快檢測到與相鄰設備間的通信故障，以便能夠及時采取措施，從而保證業(yè)務繼續(xù)進行。通常情況下，路由協(xié)議中的Hello報文機制檢測到故障所需的時間為秒級，在這時間內(nèi)會導致數(shù)據(jù)中心內(nèi)部Gbps數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第17頁。BFD（BidirectionalForwardingDetection，雙向轉發(fā)檢測）在此背景之下產(chǎn)生。它是一套全網(wǎng)統(tǒng)一的檢測機制，用于快速檢測、監(jiān)控網(wǎng)絡中鏈路或者IP路由的轉發(fā)連通狀況，保證鄰居之間能夠快速檢測到通信故障，50ms內(nèi)建立起備用通道恢復通信。BFD檢測可部署在廣域/域城出口模塊，如圖9所示。數(shù)據(jù)中心核心層與外聯(lián)模塊（廣域區(qū)、城域區(qū)）之前運行OSPF動態(tài)路由協(xié)議，并在核心層交換機上配置BFD與OSPF路由聯(lián)動。廣域、城域路由設備或鏈路出現(xiàn)故障時，核心交換機快速感知，并通告OSPF進行快速收斂，縮短數(shù)據(jù)中心外聯(lián)數(shù)據(jù)故障恢復時間。圖9數(shù)據(jù)中心BFD部署數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第18頁。OSPF使用BFD進行快速故障檢測時，OSPF可以通過Hello報文動態(tài)發(fā)現(xiàn)鄰居，OSPF將鄰居地址通知BFD就開始建立會話。BFD會話建立前處于down狀態(tài)，此時BFD控制報文以不小于1數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第18頁。BFD還可以部署在IRF2虛擬組內(nèi)，快速檢測出IRF分裂，提高IRF虛擬化部署的可用性。3)不間斷轉發(fā)在部署了動態(tài)路由協(xié)議的數(shù)據(jù)中心網(wǎng)絡中，若設備進行主備切換時，將會導致它與鄰居關系出現(xiàn)震蕩。這種鄰居關系的震蕩將最終導致路由協(xié)議的震蕩與重新計算收斂，使得主備切換路由器在一段時間內(nèi)出現(xiàn)路由黑洞或者導致鄰居將數(shù)據(jù)業(yè)務進行旁路，進而會導致業(yè)務出現(xiàn)暫時中斷。為了實現(xiàn)不間斷轉發(fā)，設備本身需要支持數(shù)據(jù)轉發(fā)與控制分離，支持雙主控設計；同時需要部分保存協(xié)議的狀態(tài)（控制平面），并借助鄰居設備的幫助，實現(xiàn)發(fā)生主備切換時控制平面的會話連接不重置、轉發(fā)不中斷的目的。其相應的技術為路由協(xié)議的GracefulRestart（平滑重啟）擴展，簡稱GR。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第19頁。GR機制的核心在于：當某設備的路由協(xié)議重啟時，能夠通知周邊設備在一定時間內(nèi)將到該設備的鄰居關系和路由保持穩(wěn)定。該設備路由協(xié)議重啟完畢后，周邊設備協(xié)助其進行路由信息同步，使其各種路由信息在盡量短的時間內(nèi)恢復到重啟前的狀態(tài)。在整個協(xié)議重啟過程中，網(wǎng)絡路由和轉發(fā)保持高度穩(wěn)定，報文轉發(fā)路徑也沒有任何改變，整個系統(tǒng)可以不間斷地轉發(fā)IP數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第19頁。在數(shù)據(jù)中心OSPF動態(tài)路由部署的區(qū)域（廣域、外聯(lián)、園區(qū)、互聯(lián)網(wǎng)等）中，一般按照如圖10所示的組網(wǎng)結構部署GR。圖10數(shù)據(jù)中心GR部署使用GR保證網(wǎng)絡中的核心層節(jié)點和廣域出口節(jié)點在出現(xiàn)協(xié)議重啟時的轉發(fā)業(yè)務不中斷，避免出現(xiàn)不必要的路由振蕩。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第20頁。核心層節(jié)點和廣域出口節(jié)點作為GRRestarter（同時缺省也作為GRHelper），分支節(jié)點作為GRHelper。這樣當廣域出口節(jié)點發(fā)生主備切換或重啟OSPF進程時，核心節(jié)點可以作為GRHelper協(xié)助其進行LSDB重同步，并且保持轉發(fā)不中斷；當核心層節(jié)點發(fā)生主備切換或重啟OSPF進程時，廣域出口節(jié)點和分支節(jié)點都可以作為GRHelper協(xié)助其進行LSDB數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第20頁。應用層(L4～L7)高可用設計在數(shù)據(jù)中心網(wǎng)絡層面實現(xiàn)L4～L7層的高可用，可采用負載均衡的方案。L4～L7層負載均衡一方面可以提高服務器的響應能力和鏈路的帶寬利用率，另一方面可以保證單臺服務器或單條鏈路出現(xiàn)故障后，業(yè)務數(shù)據(jù)無縫分攤到其它服務器和鏈路，從而實現(xiàn)數(shù)據(jù)中心的高可用。1)鏈路負載均衡（LLB）鏈路負載均衡常部署在數(shù)據(jù)中心的廣域接入?yún)^(qū)和互聯(lián)網(wǎng)接入?yún)^(qū)，通過靜態(tài)表項匹配及動態(tài)鏈路檢測，對多條鏈路狀態(tài)進行實時的探測和監(jiān)控,確保流量以最合理及快速的方式分發(fā)到不同鏈路上，實現(xiàn)業(yè)務的高效傳輸。對于數(shù)據(jù)中心廣域接入?yún)^(qū)，由于廣域網(wǎng)出口流量仍然是企業(yè)內(nèi)網(wǎng)數(shù)據(jù)流，在L4層一般可通過IP報文的五元組特征區(qū)分出不同的業(yè)務流，因此可直接在路由器上通過分層CAR、跨端口的流量轉發(fā)實現(xiàn)負載分擔、關鍵業(yè)務帶寬保證、廣域鏈路捆綁。無需專門的LB設備。如圖11所示。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第21頁。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第21頁?；緲I(yè)務分流：生產(chǎn)業(yè)務走主鏈路，辦公和視頻業(yè)務走備用鏈路。超負荷流量調(diào)度：無論主備鏈路，超負荷流量走對方鏈路；備用鏈路視頻業(yè)務不要進行超負荷流量分擔；縱向出口進行多業(yè)務QoS調(diào)度。設計實現(xiàn)基本業(yè)務分流：通過OSPFCOST設計，生產(chǎn)業(yè)務默認走主鏈路轉發(fā)，對辦公和視頻業(yè)務采用策略路由走備鏈路。超負荷流量調(diào)度：以備鏈路為例，需要在數(shù)據(jù)中心廣域網(wǎng)的入口進行流量監(jiān)管CAR，超過10M的流量結合策略路由調(diào)度到左側路由器。為保證視頻流量不會被調(diào)度到左側路由器，必須采用分層CAR實現(xiàn)。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第22頁。圖11路由器分層數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第22頁。對于Internet出口鏈路負載均衡，由于內(nèi)網(wǎng)用戶訪問的數(shù)據(jù)流不固定，特征復雜，很難在L4層區(qū)分出不同的業(yè)務流，因此需要部署專門的負載均衡設備實現(xiàn)多運營商出口的鏈路負載均衡。并啟用Inbound和Outbound兩個方向的負載均衡，一方面滿足企業(yè)內(nèi)網(wǎng)用戶或服務器訪問外部Internet站點的流量分擔；另一方面滿足外網(wǎng)用戶通過Internet訪問企業(yè)公共服務（如網(wǎng)站、FTP等）的流量分擔。如圖12所示圖12Outbound鏈路負載均衡用戶將訪問外網(wǎng)的報文發(fā)送到LB負載均衡設備后，負載均衡設備根據(jù)就近性算法和調(diào)度策略，將內(nèi)網(wǎng)訪問外網(wǎng)的業(yè)務流量分別分發(fā)給相應的鏈路。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第23頁。數(shù)據(jù)中心網(wǎng)絡系統(tǒng)設計方案全文共26頁，當前為第23頁。圖13Inbound鏈路負載均衡負載均衡設備作為權威名稱服務器記錄域名與內(nèi)網(wǎng)服務器IP地址的映射關系。一個域名可以映射為多個IP地址，其中每個IP地址對應一條物理鏈路。外網(wǎng)用戶通過域名方式訪問內(nèi)網(wǎng)服務器時，本地DNS服務器將域名解析請求轉發(fā)給權威DNS服務器——LLB負載均衡設備，負載均衡設備依次根據(jù)持續(xù)性功能、ACL策略、就近性算法選擇最佳的物理鏈路，并將通過該鏈路與外網(wǎng)連接的接口IP地址作為DNS域名解析結果反饋給外網(wǎng)用戶，外網(wǎng)用戶通過該鏈路訪問內(nèi)網(wǎng)服務器。2)服務器負載均衡（SLB）目前大多數(shù)應用系統(tǒng)都