CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案-運營維護設計指南（專業(yè)完整版）

1、目錄CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 設計指南（運營維護） TOC o 1-5 h z 1數(shù)據(jù)中心網(wǎng)絡運維概述1 HYPERLINK l bookmark0 o Current Document h 1.1數(shù)據(jù)中心網(wǎng)絡智能運維背景與挑戰(zhàn)1 HYPERLINK l bookmark6 o Current Document h 1.2數(shù)據(jù)中心SDN網(wǎng)絡運維需求與目標3 HYPERLINK l bookmark8 o Current Document h SDN數(shù)據(jù)中心Underlay網(wǎng)絡可靠性4 HYPERLINK l bookmark10 o Current Document h 1.

2、2.2服務器批量上線效率5 HYPERLINK l bookmark12 o Current Document h 1.2.3業(yè)務變更網(wǎng)絡布放效果預測5 HYPERLINK l bookmark14 o Current Document h 1.2.4既有業(yè)務網(wǎng)絡可達性校驗5 HYPERLINK l bookmark16 o Current Document h 1.2.5故障快速發(fā)現(xiàn)定位及恢復5 HYPERLINK l bookmark18 o Current Document h 1.3數(shù)據(jù)中心網(wǎng)絡運維設計原則6DAY-0規(guī)格化設計-SDN數(shù)據(jù)中心Underlay網(wǎng)絡設計7 HYPERLI

3、NK l bookmark24 o Current Document h 2.1整體拓撲設計7 HYPERLINK l bookmark30 o Current Document h 2.2路由協(xié)議設計10 HYPERLINK l bookmark38 o Current Document h 2.3擴展性設計14 HYPERLINK l bookmark44 o Current Document h 2.4可靠性設計15 HYPERLINK l bookmark46 o Current Document h 2.4.1可靠性設計一般原則15Border Leaf 節(jié)點可靠性16Spine 節(jié)

4、點可靠性16Leaf節(jié)點可靠性18NGFW 節(jié)點可靠性24vSwitch 節(jié)點可靠性（受限商用）28 HYPERLINK l bookmark74 o Current Document h DAY-0網(wǎng)絡初始化-ZTP開局31 HYPERLINK l bookmark76 o Current Document h DAY-0意圖驗證-Underlay網(wǎng)絡校驗32 HYPERLINK l bookmark88 o Current Document h DAY-1業(yè)務方案&變更-SDN網(wǎng)絡業(yè)務發(fā)放前校驗方案36 HYPERLINK l bookmark92 o Current Document h

5、 5.1網(wǎng)絡業(yè)務編排（設計態(tài)）37 HYPERLINK l bookmark94 o Current Document h 5.2網(wǎng)絡資源仿真校驗38 HYPERLINK l bookmark96 o Current Document h 5.3網(wǎng)絡連通性校驗385.4設備配置變更內(nèi)容預覽39DAY-2.例行維護40 HYPERLINK l bookmark98 o Current Document h 6.1單路徑探測40 HYPERLINK l bookmark136 o Current Document h 6.2多路徑探測51 HYPERLINK l bookmark170 o Cur

6、rent Document h DAY-2 CloudFabric 智能運維59 HYPERLINK l bookmark172 o Current Document h CloudFabric 智能運維方案總體架構(gòu)59 HYPERLINK l bookmark174 o Current Document h iMaster NCE-Fabric 控制器架構(gòu)60 HYPERLINK l bookmark220 o Current Document h iMaster NCE-Fabriclnsight 架構(gòu)63 HYPERLINK l bookmark178 o Current Documen

7、t h SDN數(shù)據(jù)中心網(wǎng)絡故障智能運維方案及功能介紹65 HYPERLINK l bookmark180 o Current Document h 7.2.1網(wǎng)絡故障智能運維能力全景65 HYPERLINK l bookmark182 o Current Document h 7.2.2網(wǎng)關故障智能運維處理流程介紹74 HYPERLINK l bookmark192 o Current Document h 7.2.3網(wǎng)絡故障智能運維之網(wǎng)絡監(jiān)控能力80 HYPERLINK l bookmark194 o Current Document h 7.2.4網(wǎng)絡故障智能運維之故障發(fā)現(xiàn)82 HYPER

8、LINK l bookmark196 o Current Document h 7.2.5網(wǎng)絡故障智能運維之問題定位定界83 HYPERLINK l bookmark202 o Current Document h 7.2.6網(wǎng)絡故障智能運維之故障恢復/隔離86 HYPERLINK l bookmark208 o Current Document h 7.2.7數(shù)據(jù)中心典型故障智能運維case示例87 HYPERLINK l bookmark210 o Current Document h Casel：交換機FIB表項跳變導致會話異常87 HYPERLINK l bookmark212 o C

9、urrent Document h Case2：光模塊故障導致鏈路頻繁閃斷88 HYPERLINK l bookmark214 o Current Document h Case3： ARP 攻擊89 HYPERLINK l bookmark216 o Current Document h 使用 Fabriclnsight進行網(wǎng)絡例行巡檢89 HYPERLINK l bookmark218 o Current Document h 7.4數(shù)據(jù)中心iMaster NCE-Fabriclnsight智能運維網(wǎng)絡部署90iMaster NCE-Fabriclnsight 和控制器的資源要求90 HY

10、PERLINK l bookmark222 o Current Document h 7.6方案約束（本節(jié)對外發(fā)布時不展示）91 HYPERLINK l bookmark224 o Current Document h 7.6.1設備的能力約束92DAY-2配置回滾93&全網(wǎng)回滾93 HYPERLINK l bookmark232 o Current Document h 8.2租戶回滾95 HYPERLINK l bookmark238 o Current Document h DAY-N網(wǎng)絡擴容-SDN數(shù)據(jù)中心服務器自動化批量上線98 HYPERLINK l bookmark252 o C

11、urrent Document h DAY-N網(wǎng)絡擴容-交換機擴容102 HYPERLINK l bookmark254 o Current Document h DAY-N設備更換-替換交換機105 HYPERLINK l bookmark256 o Current Document h 11.1替換設備（非ZTP設備）105 HYPERLINK l bookmark288 o Current Document h 11.2替換設備（ZTP設備）116 HYPERLINK l bookmark310 o Current Document h DAY-N設備更換-替換端口124 HYPERLI

12、NK l bookmark318 o Current Document h A參考圖片1271數(shù)據(jù)中心網(wǎng)絡運維概述1數(shù)據(jù)中心網(wǎng)絡運維概述數(shù)據(jù)中心作為信息與信息系統(tǒng)的物理載體，主要用于與IT相關的主機、網(wǎng)絡、存儲等 設備和資源的存放、運營及管理，只有運維好一個數(shù)據(jù)中心，才能發(fā)揮數(shù)據(jù)中心的作 用，使之能更好的為業(yè)務部門提供強大的支撐能力。本文檔主要針對數(shù)據(jù)中心的網(wǎng)絡運維進行了闡述，其出發(fā)點在于使用戶能對SDN時代 的數(shù)據(jù)中心網(wǎng)絡實現(xiàn)精確管控維護，使SDN網(wǎng)絡的管理水平和服務質(zhì)量得到持續(xù)提 升，此外對傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡的建設有具有參考價值。1.1數(shù)據(jù)中心網(wǎng)絡智能運維背景與挑戰(zhàn)1.2數(shù)據(jù)中心SDN網(wǎng)絡運

13、維需求與目標1.3數(shù)據(jù)中心網(wǎng)絡運維設計原則1.1數(shù)據(jù)中心網(wǎng)絡智能運維背景與挑戰(zhàn)本節(jié)主要介紹數(shù)據(jù)中心業(yè)務連續(xù)性及容災標準。近來年，無論是金融、電信、互聯(lián)網(wǎng)等行業(yè)的大型企業(yè)，還是全國各個科技園區(qū)、各 級政府都在如火如荼地進行數(shù)據(jù)中心建立，數(shù)據(jù)中心的穩(wěn)定運行關系著國家信息安全 和社會穩(wěn)定，為了防范災難和風險，保障業(yè)務連續(xù)性，國內(nèi)外監(jiān)管部門頒布了一系列 業(yè)務連續(xù)性及容災的標準。國內(nèi)外數(shù)據(jù)中心規(guī)范對業(yè)務連續(xù)性要求ANSI/TIA-942-B 2017數(shù)據(jù)中心電信基礎設施標準主要是根據(jù)數(shù)據(jù)中心基礎設施 的“可用性(Availability ) ”、穩(wěn)定性(Stability )” 和安全性(Securit

14、y )”分 為四個等級：Tier I, Tier II, Tier III, Tier IV。該標準所說的數(shù)據(jù)中心可以是政府或企 業(yè)自有產(chǎn)權(quán)的自有數(shù)據(jù)中心，也可以是運營商用于租賃服務的公用數(shù)據(jù)中心。該標準 描述了各類數(shù)據(jù)中心或計算機房中，對通信基礎設施的起碼的、最低的要求。ANSI/TIA -942-B 標 準定義可信要求可用性指標/每年允許宕機時 間TierlBasic基本系統(tǒng)沒有冗余的基本的數(shù)據(jù)中心可用性99.671%、年平均故 障時間28.8小時Tier IIRedundant Component 冗余系統(tǒng)組件級冗余基礎設施可用性99.741%、年平均故 障時間22.7小時Tier II

15、IConcurrentlyMaintainable并行維護可并行維護級機房基礎設施，電 源等主用1+備用1,多上行可用性99.982%、年平均故 障時間1.6小時Tier IVFault Tolerant 容錯 系統(tǒng)容錯級機房基礎設施，所有設施 支持容錯（上行鏈路、存儲、制 冷、電源等1+1主用）可用性99.995%、年平均故 障時間0.4小時ANSI/TIA-942-B突出對數(shù)據(jù)中心可用性/故障中斷時間提出了要求：其中，Tier III可 用性99.982%、年平均故障時間1.6小時;Tier IV可用性99.995%、年平均故障時間 0.4小時。國內(nèi)標準數(shù)據(jù)中心設計規(guī)范（GB50174）在

16、滿足中國數(shù)據(jù)中心行業(yè)發(fā)展的前提 下，吸取國外數(shù)據(jù)中心設計的優(yōu)點，結(jié)合中國數(shù)據(jù)中心行業(yè)的具體情況，增加補充具 有數(shù)據(jù)中心行業(yè)特點的相關條文規(guī)定。主要圍繞數(shù)據(jù)中心的可靠性、可用性、安全、 節(jié)能環(huán)保等方面提出進一步明確要求。數(shù)據(jù)中心設計規(guī)范根據(jù)數(shù)據(jù)中心的使用性 質(zhì)、數(shù)據(jù)丟失或網(wǎng)絡中斷在經(jīng)濟或社會上造成的損失或影響程度確定所屬級別，將數(shù) 據(jù)中心劃分為分為A （容錯型）、B （冗余型）、C （基本型）三個級別。GB50174級別可信要求可用 性行業(yè)遵從與 TIA-942-B 級 別對應關系A級容錯 系統(tǒng)應在一次意外事故后或單系統(tǒng)設備維 護或檢修時仍能保證電子信息系統(tǒng)正 常運行當兩個或兩個以上地處不同區(qū)域

17、、同 城或者異地同時數(shù)據(jù)中心建設，要求 互為備份，主要適用于云計算數(shù)據(jù)中 心、互聯(lián)網(wǎng)數(shù)據(jù)中心等最高 等級金融行業(yè)、軍 事部門、交 通、電信、國 家信息中心Tier IVTier IIIB級冗余 系統(tǒng)基礎設施在冗余能力范圍內(nèi)，不應因設 備故障而導致電子信息系統(tǒng)運行中斷居中科研院所、高 校、政府辦公 樓Tier IIC級基本 系統(tǒng)在基礎設施正常運行情況下，應保證電 子信息系統(tǒng)運行最低-Tierl行業(yè)數(shù)據(jù)中心規(guī)范對業(yè)務連續(xù)性要求 金融行業(yè)金融數(shù)據(jù)中心一般都有本地的數(shù)據(jù)冗余保護或容災建設，最主流的災備技術(shù)是兩 地三中心建設，確保業(yè)務可靠可用性高，遵從數(shù)據(jù)中心設計規(guī)范A級標準。中國銀監(jiān)會發(fā)布商業(yè)銀行業(yè)務

18、連續(xù)性監(jiān)管指引【2011】（104號），標志著國家 和行業(yè)監(jiān)管部門對業(yè)務連續(xù)性的重視程度已經(jīng)提升到了一個新的高度。表1-1商業(yè)銀行業(yè)務連續(xù)性監(jiān)管指引對運營中斷事件等級定義事故等級定級定級標準監(jiān)管處置I級事故特別重大運營中斷 事件單機構(gòu)單省中斷6小時單機構(gòu)多省中斷3小時多機構(gòu)多省中斷3小時上報國務院II級事故重大運營中斷事件單機構(gòu)單省中斷3小時單機構(gòu)多省中斷半小時多機構(gòu)多省中斷半小時上報銀監(jiān)會III級事 故較大運營中斷事件單機構(gòu)單省中斷半小時上報銀監(jiān)會電信行業(yè)運營商遵從數(shù)據(jù)中心設計規(guī)范A級標準，業(yè)務可用性99.995% （年平均故障 時間0.4小時），處于國際標準Tier4范圍。互聯(lián)網(wǎng)行業(yè)YD/

19、T 2441-2013互聯(lián)網(wǎng)數(shù)據(jù)中心技術(shù)及分級分類標準規(guī)定了互聯(lián)網(wǎng)數(shù)據(jù)中心 IDC在可靠性、綠色節(jié)能和安全性等三個方面的分級分類的技術(shù)要求，明確定義 T IDC可靠性方面的等級為R1R3,其中R1為最低等級，R3為最高等級：R3 業(yè)務可用性299.95%, R2業(yè)務可用性299.9%, R1業(yè)務可用性299.5%。OTT可用性要求：OTT業(yè)務可用性基本要求99.95%（年平均故障時間4.38小 時），可靠性為R3級別，介于國際標準Tier II和Tierlll之間。BAT可用性要求：百度業(yè)務可用性要求99.99% （年平均故障時間0.88小時）， 阿里99.99% （年平均故障時間0.88小時

20、），可靠性為R3級別，介于國際標準 Tier3和Tier4之間；騰訊99.9% （年平均故障時間8.76小時），可靠性為R2級 別，介于國際標準Tier2和Tier3之間。1.2數(shù)據(jù)中心SDN網(wǎng)絡運維需求與目標在數(shù)據(jù)中心云化背景下，為了提示數(shù)據(jù)中心業(yè)務上線效率，數(shù)據(jù)中心網(wǎng)絡業(yè)務發(fā)放也 趨于采用SDN解決方案，隨之而來的對網(wǎng)絡運維效率也要求向智能化、自動化方向轉(zhuǎn) 變，以適應數(shù)據(jù)中心業(yè)務高效、復雜多變的業(yè)務需求。在此背景及目標的驅(qū)動下，華為CloudFabric為數(shù)據(jù)中心SDN網(wǎng)絡提供了智能化的運 維解決方案。華為CloudFabric運維解決方案的愿景：建設自動化、可視化、智能化的數(shù)據(jù)中心，并

21、最終實現(xiàn)無人值守。圖1-1 CloudFabric運維解決方案的愿景AS-IS：傳統(tǒng)運維TO-BE:趙值守網(wǎng)絡健康監(jiān)控系統(tǒng)(U ndertay&Overtay)網(wǎng)絡KPI信息主動上報 業(yè)務質(zhì)*分析Q Q統(tǒng)一南向采集接口修復隔離策略基于AI的故障走位引擎基于AI的故障修復引擎根據(jù)國內(nèi)外數(shù)據(jù)中心設計標準業(yè)務可用性要求，結(jié)合客戶對業(yè)務SLA等級越來越高的 要求，華為CloudFabric運維解決方案制定了 SDN場景下的運維目標：1分鐘故障發(fā) 現(xiàn)，3分鐘故障定位，5分鐘故障恢復。版本如下：V100R019C10：支持75+故障場景，實現(xiàn)1分鐘自動發(fā)現(xiàn)、3分鐘故障定位、5分 鐘故障修復。V100R02

22、0C00：管控析融合統(tǒng)一 3個入口：業(yè)務發(fā)放入口、統(tǒng)一監(jiān)控入口、故障 處理入口。業(yè)務發(fā)放入口：包括Underlay/Overlay業(yè)務自動化部署、意圖驗證引擎實現(xiàn)配 置變更無人值守。統(tǒng)一監(jiān)控入口：包括物理網(wǎng)絡、邏輯網(wǎng)絡、應用網(wǎng)絡資源分布情況、健康度 狀態(tài)。故障處理入口：以故障快速恢復為主線，對故障處理生命周期全過程實現(xiàn)連 貫性處理。1.2.1 SDN數(shù)據(jù)中心Underlay網(wǎng)絡可靠性隨著數(shù)據(jù)中心業(yè)務云化的開展，用戶對數(shù)據(jù)中心網(wǎng)絡的可靠性等有了更高的要求，業(yè) 務云化也帶來了資源池化的需求，相應的要求網(wǎng)絡能夠滿足在更大范圍上的資源池化 部署，同時，在互聯(lián)網(wǎng)+的大形勢下用戶要求能夠?qū)崿F(xiàn)業(yè)務的快速部署

23、，從傳統(tǒng)的周、 月部署周期，提升到天、小時級的部署周期，甚至讓業(yè)務實現(xiàn)分鐘級上線，但這些高 效提升的前提是要求數(shù)據(jù)中心Underlay網(wǎng)絡能夠適應SDN業(yè)務的發(fā)放特點，提供穩(wěn)定 可靠的網(wǎng)絡保障性，因此在進行SDN網(wǎng)絡設計時，針對Underlay網(wǎng)絡的可靠性需要從 網(wǎng)絡的接入側(cè)、網(wǎng)絡側(cè)、轉(zhuǎn)發(fā)設備、VAS設備、網(wǎng)絡出口等多個層面來綜合考慮、全 面設計，打造端到端的數(shù)據(jù)中心可靠網(wǎng)絡。1.2.2服務器批量上線效率在數(shù)據(jù)中心的日常維護中，服務器擴容是一個經(jīng)常性且關鍵的工作，通常情況下管理 員需要事先規(guī)劃好服務器網(wǎng)卡與交換機的連接關系，包括管理網(wǎng)、存儲網(wǎng)、業(yè)務網(wǎng)等 多個網(wǎng)絡平面。傳統(tǒng)的運維模式下通過人工按

24、規(guī)劃設計對交換機進行配置，完成服務 器的接入上線。但在云化數(shù)據(jù)中心場景下，對業(yè)務的上線效率要求越來越高，采用人 工配置完成大批量服務器上線的速度越來越跟不上業(yè)務節(jié)奏的要求。尤其是在SDN組 網(wǎng)場景下，也需要考慮采用自動化、智能化的方案實現(xiàn)服務器的批量快速上線。1.2.3業(yè)務變更網(wǎng)絡布放效果預測在SDN組網(wǎng)場景下，業(yè)務的邏輯網(wǎng)絡是由管理員在0層編排完成的，但下發(fā)到網(wǎng)絡設 備上的具體配置是由SDN控制器自動轉(zhuǎn)換后下發(fā)的，相對于傳統(tǒng)的網(wǎng)絡配置方法，采 用SDN后管理員對于SDN控制器下發(fā)的何種具體配置將無從知曉。但在某些場景 下，女口：管理員正在經(jīng)歷傳統(tǒng)手工配置向SDN自動發(fā)放過度，或者某些重要業(yè)務

25、管理 員希望能在業(yè)務網(wǎng)絡布放前校驗SDN下發(fā)的配置是否正確，這就要求SDN方案能具 備業(yè)務網(wǎng)絡布放前提供預先校驗的能力，包括配置校驗、資源校驗、業(yè)務可達性校驗 等多個方面效果預測。1.2.4既有業(yè)務網(wǎng)絡可達性校驗Underlay網(wǎng)絡初始化部署完成后，為了能驗證網(wǎng)絡設備上線后的連通性及路由轉(zhuǎn)發(fā)實 現(xiàn)是否符合預期，用戶一般會用ping, trace等常規(guī)測試方法進行驗證，但這種驗證手 段效率較低，且驗證效果并不全面，所以就需要一種更高效的方案來替代傳統(tǒng)方式， SDN組網(wǎng)場景下用戶也希望能采用一種自動化方式來達到此種目的。1.2.5故障快速發(fā)現(xiàn)定位及恢復在數(shù)據(jù)中心網(wǎng)絡的日常維護中，非常重要的一項工作

26、就是網(wǎng)絡中故障的快速發(fā)現(xiàn)定位 并能及時排除，按照傳統(tǒng)維護經(jīng)驗，網(wǎng)絡中的故障發(fā)現(xiàn)主要通過兩種途徑：網(wǎng)管系統(tǒng)收集的告警、日志及設備上報的統(tǒng)計數(shù)據(jù)等通過網(wǎng)管系統(tǒng)告警進行故障發(fā)現(xiàn)有幾個顯而易見的問題：1是時效性比較差，網(wǎng)管收集設備數(shù)據(jù)本身有一定的時延，管理員在網(wǎng)管系統(tǒng)上發(fā) 現(xiàn)告警等故障數(shù)據(jù)又會有一定的周期，甚至有些故障初期顯現(xiàn)的苗頭數(shù)據(jù)不一定 會得到管理員的關注和處理；2是復雜故障的發(fā)現(xiàn)需要依靠管理員的經(jīng)驗，通過對多種網(wǎng)管數(shù)據(jù)、指標的綜合分 析才能最終斷定。3是由于設備算法或底層芯片故障導致的流轉(zhuǎn)發(fā)類異常的，管理員目前并有效的發(fā) 現(xiàn)和定位手段，往往需要廠商技術(shù)支持人員現(xiàn)場排查才能準確判斷；業(yè)務報障有很

27、多網(wǎng)絡中產(chǎn)生的故障，通過網(wǎng)管系統(tǒng)收集的日志或統(tǒng)計數(shù)據(jù)是無法及時發(fā)現(xiàn) 的，比如設備上的配置錯誤、轉(zhuǎn)發(fā)表項異常抑或是業(yè)務遭受了攻擊導致的異常等 等，在傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡運維模式下，這些網(wǎng)絡問題往往業(yè)務上報故障時間會早 于網(wǎng)絡管理員主動發(fā)現(xiàn)問題的時間。而且這類問題的排除定位通常也會費時費 力。在SDN組網(wǎng)場景下，為了能跟上業(yè)務發(fā)放、變更的高效節(jié)奏，網(wǎng)絡故障也需要具備快 速發(fā)現(xiàn)、定位以及恢復的能力。這就需要網(wǎng)管運維系統(tǒng)除了收集傳統(tǒng)的日志告警類信 息外，還需要收集更多的指標類、資源類、表項類甚至是會話交互數(shù)據(jù)，同時還要具 備海量數(shù)據(jù)的分析處理能力，并能從中找出故障間的關聯(lián)線索實現(xiàn)快速準確的故障定 位，對于

28、其中可以通過配置實現(xiàn)故障恢復或隔離的，還要具備恢復預案的自動生成能 力，必要時這些預案可實現(xiàn)一鍵式下發(fā)從而實現(xiàn)對故障的快速恢復或隔離。1.3數(shù)據(jù)中心網(wǎng)絡運維設計原則華為CloudFabric V1R19C10提供了數(shù)據(jù)中心SDN網(wǎng)絡DAYO-DAYn全生命周期的設計 指導原則及方案實現(xiàn)指南，本篇文章針對數(shù)據(jù)中心網(wǎng)絡在生命周期每個階段的重點運 維設計工作將進行展開介紹。DAY-0規(guī)格化設計-SDN數(shù)據(jù)中心Underlay網(wǎng)絡設計在華為CloudFabric解決方案中,Underlay網(wǎng)絡從Fabric骨干組網(wǎng)結(jié)構(gòu)、Server Leaf接 入、Border Leaf接入、網(wǎng)絡出口以及Underl

29、ay網(wǎng)絡路由等多個方面進行了全新的考量 和設計，力求滿足數(shù)據(jù)中心云化場景要求，提升SDN Overlay場景下的網(wǎng)絡可靠性， 靈活性及可彈性擴縮等方面的能力。2.1整體拓撲設計2.2路由協(xié)議設計2.3擴展性設計2.4可靠性設計2.1整體拓撲設計物理網(wǎng)絡架構(gòu)概覽根據(jù)華為CloudFabric解決方案對數(shù)據(jù)中心組網(wǎng)的先進設計理念，一個典型的數(shù)據(jù)中心 內(nèi)部的物理組網(wǎng)架構(gòu)，應遵循Spine-Leaf架構(gòu)。華為推薦的物理組網(wǎng)如下圖所示。圖2-1推薦的物理組網(wǎng)方式其中對上圖CloudFabric解決方案的物理組網(wǎng)中各類角色的定義參見下表。表2-1物理組網(wǎng)中各類角色的功能說明物理組網(wǎng)角色含義和功能說明Fab

30、ric一個SDN控制器管理的網(wǎng)絡故障域，可以包含一個或多個Spine- Leaf網(wǎng)絡結(jié)構(gòu)。Spine骨干節(jié)點，VXLAN Fabric網(wǎng)絡核心節(jié)點，提供高速IP轉(zhuǎn)發(fā)功能， 通過高速接口連接各個功能Leaf節(jié)點。Leaf葉子節(jié)點，VXLANFabric網(wǎng)絡功能接入節(jié)點，提供各種網(wǎng)絡設備 接入VXLAN網(wǎng)絡功能。Service LeafLeaf功能節(jié)點,提供Firewall和LoadBalance等L4L7增值服務接 入VXLAN Fabric網(wǎng)絡的功能。Server LeafLeaf功能節(jié)點，提供虛擬化服務器、非虛擬化服務器等計算資源接 入VXLAN Fabric網(wǎng)絡的功能。Border Lea

31、fLeaf功能節(jié)點，提供數(shù)據(jù)中心外部流量接入數(shù)據(jù)中心VXLAN Fabric網(wǎng)絡的功能，用于連接外部路由器或者傳輸設備。DCI Leaf (FabricLeaf功能節(jié)點，提供跨Fabric三段式轉(zhuǎn)發(fā)時，VXLAN Mapping的 網(wǎng)絡功能，具體使用情況見MultiFabric設計指南。物理組網(wǎng)角色含義和功能說明Gateway)華為CloudFabric解決方案，要求一個典型的數(shù)據(jù)中心組網(wǎng)中Fabric網(wǎng)絡結(jié)構(gòu)具有以下 幾個特點：包含了一個或多個Spine-Leaf結(jié)構(gòu)；具有高帶寬、大容量能力；接入節(jié)點間無差異性；采用扁平結(jié)構(gòu)，由于當前數(shù)據(jù)中心內(nèi)部東西流量較大，因此采用扁平化設計可使 流量路徑

32、盡可能短，轉(zhuǎn)發(fā)效率高；靈活組網(wǎng)、彈性擴縮：當服務器數(shù)量增加時，可相應增加Leaf數(shù)量；當Spine轉(zhuǎn) 發(fā)帶寬不足時，可相應增加Spine節(jié)點個數(shù)，擴容靈活。對于Spine-Leaf架構(gòu)的組網(wǎng)，推薦以下組網(wǎng)形態(tài)：推薦采用由CE大容量物理交換機組網(wǎng)；推薦米用L3網(wǎng)絡、部署IGP路由協(xié)議：Leaf和Spine之間米用三層互聯(lián)；推薦采用ECMP實現(xiàn)等價多路徑負載均衡和鏈路備份：從Leaf通過多條等價路徑 轉(zhuǎn)發(fā)數(shù)據(jù)流量到Spine,在保證可靠性的同時也能提升網(wǎng)絡的帶寬。Fabric提供的服務原則上要求網(wǎng)絡接入節(jié)點間可提供無差異互訪能力。物理網(wǎng)絡設計基本原則一個數(shù)據(jù)中心網(wǎng)絡內(nèi)部推薦采用由CE系列交換機組成

33、的Spine-Leaf結(jié)構(gòu)，并根據(jù)網(wǎng)絡 規(guī)模來靈活配置Spine和Leaf的節(jié)點數(shù)量。圖2-2 Fabric中ECMP示意圖 L3 interfaceSpine設計在Spine-Leaf網(wǎng)絡架構(gòu)中，Spine的數(shù)量由Leaf到Spine的收斂比（Leaf的下行總 帶寬和Leaf的上行總帶寬的比值，不同的行業(yè)及不同的客戶有各自的要求）來決 定。Spine節(jié)點與Leaf節(jié)點之間使用以太網(wǎng)口互聯(lián)，并且配置成三層路由接口模式， 從而構(gòu)建全IP Fabric網(wǎng)絡。Leaf設計Leaf可使用多種靈活組網(wǎng)方式，如M-LAG （推薦）和堆疊。每一個Leaf節(jié)點與所有Spine節(jié)點相連，構(gòu)建全連接拓撲形態(tài)。Le

34、af節(jié)點的TOR設備數(shù)量較多，建議通過ZTP的方式來部署TOR設備，降 低部署復雜度。匚口說明ZTP - Zero Touch Provisioning是指新出廠或空配置設備上電啟動時采用的一種自動加載版本文 件，包括系統(tǒng)軟件、配置文件、補丁文件的功能。轉(zhuǎn)發(fā)設計Underlay路由建議選擇OSPF動態(tài)路由協(xié)議，Spine-Leaf間可以形成IPECMP 等價路徑。Leaf設備到Spine設備的流量形成ECMP負載分擔，無阻塞轉(zhuǎn)發(fā)，故障快速 收斂。ECMP鏈路須選擇基于L4 Port的負載分擔算法，由于VXLAN使用的是UDP 封裝，因此VXLAN報文的目的端口號是4789不變，而VXLAN報文

35、頭部的 源端口號可變，基于此來進行負載分擔。2.2路由協(xié)議設計Underlay層面的路由協(xié)議，建議選用OSPF （推薦）或EBGP。Underlay路由選用OSPF當TOR規(guī)模小于100臺時，推薦Underlay路由選用OSPF,此時路由規(guī)劃如下：單Fabric內(nèi)部，Spine和Leaf節(jié)點的物理交換機上全部部署OSPF,并都在AreaO 中，使用三層路由口地址建立OSPF鄰居，打通Underlay路由，network類型建議 為P2P,如圖2-3所示。多Fabric之間互聯(lián)設備部署在OSPF AreaO,打通Underlay路由，如圖2-4所示。 單Fabric內(nèi)部OSPF路由規(guī)劃推薦圖2-

36、3單Fabric部署OSPF路由規(guī)劃推薦圖2-3單Fabric部署OSPF路由規(guī)劃推薦P2PP2PP2PP2PP2POSPF1 Area 0C)疊）c)Sc)Spine2Leafl Leaf2Leaf3 Leaf4Leaf5Leaf6圖2-4多Fabric部署OSPF路由規(guī)劃推薦當Underlay的路由選用OSPF時的優(yōu)缺點對比參見下表。表2-2 Umierby路由為OSPF時的優(yōu)缺點對比說明項目說明優(yōu)點OSPF路由協(xié)議部署簡單OSPF路由收斂速度快Underlay中的OSPF路由協(xié)議報文與Overlay中的BGP協(xié)議報文不同隊 列，VRF和路由表項都相互隔離，從而實現(xiàn)underlay和ove

37、rlay路由協(xié)議 故障上互相隔離項目說明缺點 OSPF路由域規(guī)模受限故障域較大Underlay路由選用EBGP當TOR規(guī)模大于200臺時，推薦Underlay路由選用EBGP,該場景路由規(guī)劃如下：單Fabric內(nèi)部，Spine節(jié)點劃分一個AS,每個Leaf節(jié)點分別劃分一個AS, Leaf 節(jié)點和所有Spine節(jié)點之間部署EBGP鄰居（IPv4地址族），如圖2-5所示。多Fabric之間通過互聯(lián)設備部署EBGP鄰居，打通Underlay路由，如圖2-6所zj O圖2-5單Fabric內(nèi)部EBGP路由規(guī)劃推薦AS 63500Spine2AS 65501(&)Leafl Leaf2Leaf3 Lea

38、f4Leaf5 Leaf6圖2-6多Fabric之間EBGP路由規(guī)劃推薦圖2-6多Fabric之間EBGP路由規(guī)劃推薦POD2SpineSpineLEAF倉）（） AS 65501、AS 65522 ；1 AS 655021_5_521Super SpinePOD1LEAFAS 61500當Underlay的路由選用EBGP時的優(yōu)缺點對比參見下表。表2-3 UiKterlay路由為EBGP時的優(yōu)缺點對比說明項目說明優(yōu)點每個分區(qū)路由域獨立，故障域可控路由控制靈活，可靈活擴展規(guī)模適合大規(guī)模組網(wǎng)缺點配置復雜Underlay路由協(xié)議選擇對比不同的Underlay路由協(xié)議之間的對比參見下表。表2-4不同

39、的Underlay路由協(xié)議之間的對比說明項 目優(yōu)點缺點適用場景OSPFOSPF路由協(xié)議部署簡單OSPF路由收斂快速Underlay中的OSPF路由協(xié)議報文與 Overlay中的BGP協(xié)議報文不同隊 OSPF路由域規(guī)模受限故障域較大中小型網(wǎng)絡單Area,大型網(wǎng)絡 三層架構(gòu)多Area；建議鄰居數(shù)200項 目優(yōu)點缺點適用場景列，VRF和路由表項都相互隔離， 實現(xiàn)故障的隔離建議多POD規(guī)劃，避免單 POD鄰居數(shù)100,避免路由域 過大影響網(wǎng)絡性能EBGP每個分區(qū)路由域獨立，故障域可控路由控制靈活，可靈活擴展規(guī)模適合大規(guī)模組網(wǎng)配置復雜中大型網(wǎng)絡建議鄰居數(shù)500建議多POD規(guī)劃，避免單POD鄰居數(shù)100,

40、避免路由域 過大影響網(wǎng)絡性能2.3擴展性設計數(shù)據(jù)中心內(nèi)Fabric網(wǎng)絡的擴展模型主要有兩種類型：小POD模式和大POD模式。小POD模式擴展在原先Fabric基礎上進行擴展，小POD模式是指擴展成的新Fabric實際上是將原 Fabric復制成多份后組成，它們之間使用高速的傳統(tǒng)網(wǎng)絡互連起來，如下圖所示。圖2-7小POD模式擴展示意圖Fabric 1小POD模式擴展的特點是：按需擴容，模塊化擴展適用于大規(guī)模數(shù)據(jù)中心POD接入規(guī)模超過2000臺服務器時推薦此方式典型場景：金融行業(yè)數(shù)據(jù)中心大POD模式擴展當原網(wǎng)絡中業(yè)務需要擴容時，增加Fabric網(wǎng)絡中Leaf的數(shù)量來達到擴容目的。在增加 Serve

41、r Leaf的同時也可以增加Border Leaf,如下圖所示。圖2-8大POD模式擴展示意圖Fabric 1Fabric 1大POD模式擴展的特點是：按需擴容，擴展Leaf節(jié)點適用于中小規(guī)模數(shù)據(jù)中心POD接入規(guī)模不超過2000臺服務器推薦典型場景：企業(yè)數(shù)據(jù)中心2.4可靠性設計2.4.1可靠性設計一般原則以三層架構(gòu)組網(wǎng)為例，通過設備冗余備份來提升網(wǎng)絡的可靠性。服務器鏈路故障：服務器雙歸接入，網(wǎng)卡負載分擔/主備，當服務器一條鏈路故障 時，業(yè)務倒換到冗余/備份鏈路。Server Leaf/Border Leaf 設備故障：Server Leaf/Border Leaf 配置 M-LAG 工作組，

42、當一臺 Server Leaf/Border Leaf 故障時,業(yè)務倒換到另外一臺 Server Leaf/Border Leaf上繼續(xù)轉(zhuǎn)發(fā)。Leaf上行鏈路故障：Leaf和Spine間通過多條鏈路實現(xiàn)ECMP,當一條上行鏈路 故障后，業(yè)務哈希到其他鏈路繼續(xù)轉(zhuǎn)發(fā)。Spine設備故障：一臺Spine故障后，流量從另外一臺Spine設備轉(zhuǎn)發(fā)。FW故障：FW配置主備鏡像，配置和會話表實時同步，當主FW故障后，流量切 換到備份FW設備。Peer-link故障：當M-LAG組中互聯(lián)的Peer-link故障時,通過雙主檢測，觸發(fā)狀 態(tài)為備的設備上除管理網(wǎng)口、Peer-link接口以外的接口處于Error-

43、Down狀態(tài)，避 免網(wǎng)絡出現(xiàn)雙主，提高可靠性。PE與Border Leaf之間鏈路故障：當某一臺Border Leaf設備與外部網(wǎng)絡連接故障 時，通過路由收斂后，自動啟用到外部網(wǎng)絡的備份路徑繼續(xù)轉(zhuǎn)發(fā)，SDN控制平面 不感知故障。當使用框式設備組網(wǎng)時，框式設備的上下行鏈路以及堆疊、Peer-link鏈路建議跨 板連接，實現(xiàn)單板級可靠性。Border Leaf節(jié)點可靠性兩個Border Leaf組成雙活網(wǎng)關（部分部署組播的場景需要開啟M-Lag特性）。這兩臺 Border Leaf需配置唯一的虛擬VTEP IP和Server Leaf建立VxLAN隧道。Border Leaf和PE之間交叉或口字型

44、組網(wǎng)。Border Leaf和PE通過E-trunk對接。FW可旁掛或直掛組網(wǎng)，一般是旁掛。兩臺FW主備備份。單臺FW通過trunk接口雙 歸到兩個 Border Leaf。Border Leaf 通過 E-trunk 口和 FW 連接。Border Leaf與外部PE 口字型組網(wǎng)可靠性正常情況下，兩臺Border Leaf設備分別將指向外部網(wǎng)絡的靜態(tài)或動態(tài)私網(wǎng)路 由引入三層逃生鏈路并發(fā)布，以便Border Leaf建立到外部網(wǎng)絡的備份路徑。當某一臺Border Leaf設備與外部網(wǎng)絡連接故障時，通過路由收斂后，自動啟 用到外部網(wǎng)絡的備份路徑繼續(xù)轉(zhuǎn)發(fā)，SDN控制平面不感知故障，支持鏈路失 效告

45、警。網(wǎng)絡側(cè)內(nèi)部鏈路故障時，路由收斂依賴于IGP動態(tài)路由的能力，SDN控制平 面不感知故障，支持鏈路失效告警。當某一臺Border Leaf設備故障時，網(wǎng)絡通過路由收斂完成轉(zhuǎn)發(fā)路徑切換， SDN控制平面不感知故障，支持設備失效告警。Border Leaf與外部PE交叉型組網(wǎng)可靠性正常情況下，兩臺Border leaf使用4個L3接口與PE對接，物理組網(wǎng)交叉連 線，分別建立私網(wǎng)eBGP會話或者靜態(tài)路由傳遞路由信息。兩臺Border leaf在交叉組網(wǎng)下可以不需要部署L3逃生路徑。只有當Border Leaf與PE間的物理鏈路都故障時才會走到逃生路徑。當某一臺Border Leaf設備與外部網(wǎng)絡連接

46、故障時，通過路由收斂后，自動啟 用到外部網(wǎng)絡的備份路徑繼續(xù)轉(zhuǎn)發(fā)，SDN控制平面不感知故障，支持鏈路失 效告警。網(wǎng)絡側(cè)內(nèi)部鏈路故障時，路由收斂依賴于IGP動態(tài)路由的能力，SDN控制平 面不感知故障，支持鏈路失效告警。當某一臺Border Leaf設備故障時，網(wǎng)絡通過路由收斂完成轉(zhuǎn)發(fā)路徑切換， SDN控制平面不感知故障，支持設備失效告警。243 Spine節(jié)點可靠性數(shù)據(jù)中心網(wǎng)絡Spine-Leaf架構(gòu)下，單純的Spine設備角色本身彼此無需物理連線連接， 各設備獨立運行在Underlay路由網(wǎng)絡。Spine上連Border Leaf設備，下連ServerLeaf 設備，均使用三層路由口互聯(lián)。某臺S

47、pine設備的鏈路或者整機故障時，上下層設備通過動態(tài)路由協(xié)議，例如OSPF或者EBGP,收斂Underlay路由，將流量引導到正常的 Spine鏈路或者設備承載。由于Spine間可靠性耦合較小，因此Spine設備自身的可靠性是主要的考慮因素，在 CloudFabric基線中，建議使用框式設念作為Spine節(jié)點：CE12800系列、CE12800S系列或者12800E系列（海外不體現(xiàn)）框式交換機CE16800系列框式交換機CE16800系列框式交換機CE16800系列框式設備采用多種冗余技術(shù)提高設備的可靠性，如圖2-9所示，包括主 控單元的冗余備份，監(jiān)控單元冗余備份，交換單元的冗余備份，電源模塊

48、的冗余備 份，風扇冗余備份等。并且當上述冗余的模塊發(fā)生故障時，可以通過熱插拔方式替 換，保證整機持續(xù)處于高可靠狀態(tài)。另外，接口板也可以通過配置多塊單板，多鏈路跨板接入方式保證鏈路側(cè)可靠性，接 口板同樣支持熱插拔替換。圖2-9 CE16800系列框式交換機可靠性示意圖電源N+M熱備份監(jiān)控1+1熱備份系統(tǒng)級 熱備份PEM輸入N+N備份交換網(wǎng)N+M熱備份 風扇框/風扇熱備份主控1十1熱備份CE12800系列框式交換機CE12800系列框式設備采用多種冗余技術(shù)提高設備的可靠性，如圖2-10所示，包括主 控單元的冗余備份，監(jiān)控單元冗余備份，交換單元的冗余備份，電源模塊的冗余備 份，風扇冗余備份等。并且當

49、上述冗余的模塊發(fā)生故障時，可以通過熱插拔方式替 換，保證整機持續(xù)處于高可靠狀態(tài)。另外，接口板也可以通過配置多塊單板，多鏈路跨板接入方式保證鏈路側(cè)可靠性，接 口板同樣支持熱插拔替換。圖2-11服務器接入VXLAN的兩種方案圖2-10 CE12800系列框式交換機可靠性示意圖監(jiān)控W熱備份一*主控1十1熱備份-電源N十M熱備份熱備份交換網(wǎng)N+M熱備份風扇框內(nèi)雙風扇 W熱備份-1+1風扇框級熱備份系統(tǒng)內(nèi)熱備份電源era e31主用備用1雌雌Sx 網(wǎng)板外設.3s im ri阿i両i網(wǎng)板n雙CAN監(jiān)控總線雙GE管理總線多LINK高速數(shù)據(jù)總線CE12800系列的可靠性還包括設備本身對故障的檢測、分析和預警處

50、理能力。這些技 術(shù)包括設備CPU防攻擊能力、完善故障監(jiān)控和全面的告警功能。CE12800系列交換機 采用控制平面和管理平面分離的同時，還增加監(jiān)控平面。這三個平面完全獨立，保證 整個系統(tǒng)的可靠性以及業(yè)務連續(xù)性。匚口說明監(jiān)控單元是一個完全獨立的帶外管理單元，遵循數(shù)據(jù)中心DCMI1.0管理規(guī)范和IPMI2.0管理規(guī) 范。監(jiān)控單元可以實現(xiàn)遠程單板的上電、固件升級、資產(chǎn)管理、故障診斷和溫度、電壓、功率的 監(jiān)控等功能，從而實現(xiàn)設備的遠程管理和遠程維護。2.4.4 Leaf節(jié)點可靠性服務器接入方式簡介服務器接入Server Leaf的方式推薦為M-LAG,如圖2-11所示。（推薦）服務器Eth-Tnmk接入

51、Leaf M-LAG I作組，如下圖中“1”所示。服務器主備接入Leaf單機，如下圖中“2”所示。上述幾種部署方式的比較參見下表。表2-5兩種服務器接入方式的對比部署方式特點管理復 雜度可靠性接入成本（推薦）服務 器 Eth-Trunk 接入LeafM- LAG工作組兩臺Leaf設備通過peer-link互聯(lián)并建立DFS Group,對外表現(xiàn)為一臺邏輯設備，但又各自有獨 立的控制面，服務器以負載分擔方式接入兩臺 Leaf設備升級維護簡單，運行可靠性高。下行口 配置M-LAG特性雙歸接入服務器，服務器雙網(wǎng)卡 運行在主備/負載分擔模式。因設備有獨立控制 面，故部署配置相對復雜。高高中服務器主備接

52、入Leaf單機Leaf獨立部署，服務器雙網(wǎng)卡綁定以主備模式接 入兩臺Leaf設備，同一時間只有一個網(wǎng)卡收發(fā)報 文，帶寬利用率低。主備網(wǎng)卡切換時接收流量的 VTEP IP變化，依賴于發(fā)生切換的服務器發(fā)送免 費ARP報文重新引流。中高中綜上所述，推薦M-LAG來組建Leaf工作組。當兩臺設備之間配置了 DFS Group和Peerl-link后，兩臺設備通過Peer-link鏈路進行 DFS Group配對，并協(xié)商設備的主、備狀態(tài)和M-LAG成員口的主備。正常工作后，兩 臺設備之間會通過Peer-link鏈路發(fā)送M-LAG同步報文實時同步對端的信息，M-LAG 同步報文中包括MAC表項、ARP表項

53、以及STP、VRRP協(xié)議報文信息等，并發(fā)送M- LAG成員端口的狀態(tài)，這樣任意一臺設備故障都不會影響流量的轉(zhuǎn)發(fā)，保證正常的業(yè) 務不會中斷。M-LAG上行鏈路故障時的可靠性保證如下圖所示，M-LAG I作組的雙主檢測鏈路通過連接到Spine的業(yè)務網(wǎng)絡互通。配置 Monitor-Link,將一臺設備的所有上行鏈路加入Uplink,對應服務器的下行鏈路加入 Downlinko當這臺設備的所有上行鏈路故障時，聯(lián)動下行鏈路down,觸發(fā)服務器側(cè)流 量只通過另一條上行鏈路轉(zhuǎn)發(fā)。此時場景變?yōu)閱螝w接入。M-LAG下行鏈路故障時的可靠性保證如下圖所示，當下行M-LAG成員口故障時，DFS Group主備狀態(tài)不會

54、變化，但如果故 障M-LAG成員口狀態(tài)為主，則備M-LAG成員口狀態(tài)由備升主，流量切換到該鏈路上 進行轉(zhuǎn)發(fā)。發(fā)生故障的M-LAG成員口所在的鏈路狀態(tài)變?yōu)镈own,雙歸場景變?yōu)閱螝w 場景。故障M-LAG成員口的MAC地址指向peer-link接口。在故障M-LAG成員口恢 復后，M-LAG成員口狀態(tài)不再回切，由備升主的M-LAG成員口狀態(tài)仍為主，原主M- LAG成員口在故障恢復后狀態(tài)為備?？梢詧?zhí)行display dfs-group dfs-group-id node node-idm-lag命令來查看成員接口當前狀態(tài)。圖2-13下行鏈路故障時可靠性示意圖圖2-14 M-LAG主設備故障時可靠性示

55、意圖圖2-14 M-LAG主設備故障時可靠性示意圖NetworkNetworkDAD linkBackupDAD linkPeer-linkPeer-link:kup下行鏈路故障對于組播源在網(wǎng)絡側(cè)，組播成員在接入側(cè)的組播流量，當M-LAG主設備的M-LAG成 員口故障時，通過M-LAG同步報文通知對端設備進行組播表項刷新，M-LAG主備設 備不再按照組播地址奇偶進行負載分擔，而是所有組播流量都由端口狀態(tài)Up的M- LAG備設備進行轉(zhuǎn)發(fā)，反之亦然。M-LAG主設備故障時的可靠性保證如下圖所示，當M-LAG主設備故障，則M-LAG備設備將升級為主，其設備側(cè)Eth- Trunk鏈路狀態(tài)仍為Up,流量

56、轉(zhuǎn)發(fā)狀態(tài)不變，繼續(xù)轉(zhuǎn)發(fā)流量。M-LAG主設備側(cè)Eth- Trunk鏈路狀態(tài)變?yōu)镈own,雙歸場景變?yōu)閱螝w場景。如果是M-LAG備設備發(fā)生故障，M-LAG的主備狀態(tài)不會發(fā)生變化，M-LAG備設備 側(cè)Eth-Trunk鏈路狀態(tài)變?yōu)镈own。M-LAG主設備側(cè)Eth-Trunk鏈路狀態(tài)仍為Up,流 量轉(zhuǎn)發(fā)狀態(tài)不變，繼續(xù)轉(zhuǎn)發(fā)流量，雙歸場景變?yōu)閱螝w場景。M-LAG主設備 故障DAD link BackupNetworlDAD linkasterPeer4inkifi*BAckupM-LAG的Peer-Link鏈路故障時的可靠性保證如下圖所示，當M-LAG應用于普通以太網(wǎng)絡、VXLAN網(wǎng)絡或IP網(wǎng)絡的雙歸

57、接入 時，peer-link故障但雙主檢測心跳狀態(tài)正常會觸發(fā)備設備上除管理網(wǎng)口、peer-link接口 和堆疊口以外的接口處于Error-Down狀態(tài)。一旦peer-link故障恢復，處于ERROR DOWN狀態(tài)的M-LAG接口默認將在2分鐘后自動恢復為Up狀態(tài)，處于ERROR DOWN狀態(tài)的其它接口將立即自動恢復為Up狀態(tài)。圖2-15 M-LAG的Peer-Link鏈路故障時可靠性示意圖圖2-15 M-LAG的Peer-Link鏈路故障時可靠性示意圖Peer-UnkJJf 障BickupPeer-link /ckupDAD linkMasti fX y Peer-link1x故障鏈路Erro

58、r-Down 接口但在實際組網(wǎng)應用中，當某些上行端口運行路由協(xié)議或者是雙主檢測心跳口時是不希 望被Error-Down的。此時，可以根據(jù)實際情況選擇配置下列功能。在peer-link故障但 雙主檢測正常時，配置下列功能，設備接口 Error-Down情況參見下表。表2-6設備在peer-link故障但雙主檢測正常時接口 Error-Down情況設備配置情況M-LAG接入普通以太網(wǎng)絡、VXLAN網(wǎng)絡或IP網(wǎng)絡設備缺省情況除管理網(wǎng)口、peer-link接口和堆疊口以外的接口處于 ERROR DOWN 狀態(tài)。設備僅配置suspend功能僅M-LAG成員口以及配置該功能的接口處于ERROR DOWN狀

59、態(tài)。設備僅配置reserved功能除配置該功能的接口、管理網(wǎng)口、peer-link接口和堆疊 口以外的接口處于ERROR DOWN狀態(tài)。設備同時配置suspend功 能和reserved功能僅M-LAG成員口以及配置suspend功能的接口處于 ERROR DOWN 狀態(tài)。部署注意事項 關于VTEP IP的規(guī)劃計算節(jié)點通常雙歸接入到M-LAG工作組中的兩臺不同的TOR設備，且這兩臺 TOR需配置相同的、全網(wǎng)唯一的VTEPIP地址和相同的NVE1的MAC地址。使 用M-LAG技術(shù)可以在兩臺物理TOR上配置相同的VTEPIP,但兩臺設備依然彼 此獨立，可獨立升級部署，進一步提高接入可靠性。 關于P

60、eer-Link鏈路帶寬的選擇如下圖所示：網(wǎng)絡正常時，流量不經(jīng)過Peer-link鏈路橫穿，無論上行流量經(jīng)過哪個DFS成 員設備，下行流量Hash到其他成員時，其他成員具備本地優(yōu)先轉(zhuǎn)發(fā)能力。當DFS1的全部上行鏈路中斷時，服務器發(fā)出的流量要通過Peer-link鏈路橫 穿到其他DFS成員設備進行轉(zhuǎn)發(fā)，如下圖中綠色虛線所示。因此Peer-link鏈 路帶寬應不小于DFS單設備上行帶寬。當DFS1的全部下行鏈路中斷時，網(wǎng)絡側(cè)下行的流量要通過Peer-link鏈路橫 穿到其他DFS成員設備進行轉(zhuǎn)發(fā)，如下圖中紅色虛線所示。因此Peer-link鏈 路帶寬應不小于DFS單設備上行帶寬。圖2-16成員設備