CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案-Multi-Site設(shè)計指南

1、 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計指南（Multi-Site） DOCPROPERTY Product&Project NameCloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計指南（Multi-Site） STYLEREF Contents 目 錄文檔版本 DOCPROPERTY Documen

2、tVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE ii DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE xxxv DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCP

3、ROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司 STYLEREF 1 多數(shù)據(jù)中心業(yè)務(wù)訴求和場景文檔版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE 12多數(shù)據(jù)中心業(yè)務(wù)訴求和場景本章節(jié)說明多DC場景的客戶訴求和業(yè)務(wù)場景。 HYPERLINK l _ZH-CN_TOPIC_01

4、92838220 o 1.1 多數(shù)據(jù)中心的發(fā)展趨勢 HYPERLINK l _ZH-CN_TOPIC_0192838267 o 1.2 多數(shù)據(jù)中心業(yè)務(wù)場景分析 HYPERLINK l _ZH-CN_TOPIC_0192838292 o 1.3 多數(shù)據(jù)中心互聯(lián)需求分析和技術(shù)介紹 HYPERLINK l _ZH-CN_TOPIC_0192838288 o 1.4 多數(shù)據(jù)中心SDN網(wǎng)絡(luò)需求分析 HYPERLINK l _ZH-CN_TOPIC_0192838222 o 1.5 華為Multi-DC Fabric方案整體架構(gòu)和場景分類多數(shù)據(jù)中心的發(fā)展趨勢隨著業(yè)務(wù)的發(fā)展，越來越多的應(yīng)用部署在數(shù)據(jù)中心，單

5、個數(shù)據(jù)中心的規(guī)模有限，不可能無限擴容，業(yè)務(wù)規(guī)模的不斷增長使得單個數(shù)據(jù)中心的資源很難滿足業(yè)務(wù)增長的需求，需要多個數(shù)據(jù)中心來部署業(yè)務(wù)；同時，數(shù)據(jù)安全、業(yè)務(wù)的可靠性和連續(xù)性也越來越被重視，備份和容災(zāi)逐漸成為了普遍需求，需要通過建設(shè)多個數(shù)據(jù)中心來解決容災(zāi)備份問題，“兩地三中心”是這一階段的代表方案。伴隨著互聯(lián)網(wǎng)+，云計算，大數(shù)據(jù)的發(fā)展，虛擬化和資源池化成為主流需求，需要整合跨地域、跨DC資源，形成統(tǒng)一資源池，同時，業(yè)務(wù)系統(tǒng)多DC分布式部署，形成多活，就近提供服務(wù)，提高用戶體驗，“分布式多數(shù)據(jù)中心”成為當(dāng)前的主流方案。多數(shù)據(jù)中心業(yè)務(wù)場景分析目前，多DC的業(yè)務(wù)場景主要分為：業(yè)務(wù)跨DC部署、業(yè)務(wù)雙活、網(wǎng)絡(luò)容

6、災(zāi)、分布式云化。下面分別介紹這幾種業(yè)務(wù)場景。業(yè)務(wù)跨DC部署通常一個應(yīng)用內(nèi)部是需要多個子系統(tǒng)一起協(xié)助的，有的可能需要上百個子系統(tǒng)一起協(xié)助。部署上，主要存在以下兩種情況。一種情況是：可能由于單個數(shù)據(jù)中心的規(guī)模有限，一個數(shù)據(jù)中心不能容納所有的子系統(tǒng)，應(yīng)用的不同子系統(tǒng)分別部署在不同的DC中，整體上看這個應(yīng)用是跨多個DC部署。另一種情況是：由于不同子系統(tǒng)的功能不同，有的需要分布式部署在多個數(shù)據(jù)中心，有的需要集中式部署，整個業(yè)務(wù)系統(tǒng)是跨數(shù)據(jù)中心部署。例如下面這樣一種場景，web子系統(tǒng)部署在DC1，APP子系統(tǒng)部署在DC2，DB子系統(tǒng)部署在 DC3，WEB調(diào)用APP，APP調(diào)用DB，不同子系統(tǒng)需要跨DC互通

7、，保證應(yīng)用的正常運行。業(yè)務(wù)跨DC部署場景如REF _fig1424011165144 r h圖1-1所示。業(yè)務(wù)跨DC部署示意圖兩地三中心一般所講的兩地三中心是指在同城雙活的主數(shù)據(jù)中心基礎(chǔ)上，增加一個異地災(zāi)備數(shù)據(jù)中心，與同城雙活實現(xiàn)數(shù)據(jù)同步。同城雙活的兩個數(shù)據(jù)中心是指：相同的兩套業(yè)務(wù)系統(tǒng)部署在同城兩個DC，在應(yīng)用處理層面上實現(xiàn)了完全冗余，通過負載均衡將流量路由到不同數(shù)據(jù)中心的應(yīng)用服務(wù)器，兩套業(yè)務(wù)系統(tǒng)同時在同城的兩個數(shù)據(jù)中心運行，同時為用戶提供服務(wù)。服務(wù)能力是雙倍的，并且互相實時災(zāi)備接管，當(dāng)某個數(shù)據(jù)中心的業(yè)務(wù)系統(tǒng)出現(xiàn)問題時，另一個數(shù)據(jù)中心的業(yè)務(wù)系統(tǒng)仍持續(xù)提供服務(wù)，業(yè)務(wù)連續(xù)性和可靠性性得到了大大的提

8、高，對用戶來說故障無需感知。不同數(shù)據(jù)中心的子系統(tǒng)間需要跨DC互通，相同子系統(tǒng)的安全策略需要一致，對外提供相同服務(wù)，形成雙活。異地的災(zāi)備中心是同城雙活的兩個主數(shù)據(jù)中心的備份中心，用于備份主數(shù)據(jù)中心的數(shù)據(jù)、配置、業(yè)務(wù)等。當(dāng)主用雙中心出現(xiàn)自然災(zāi)害等原因發(fā)生故障時，異地災(zāi)備中心可以快速恢復(fù)數(shù)據(jù)和應(yīng)用，保證業(yè)務(wù)正常運行，從而減輕因災(zāi)難給用戶帶來的損失，如REF _fig17413158144414 r h圖1-2所示。兩地三中心網(wǎng)絡(luò)級容災(zāi)當(dāng)前有很多應(yīng)用是通過集群軟件提供服務(wù)的，集群軟件將網(wǎng)絡(luò)上的多臺服務(wù)器關(guān)聯(lián)在一起，對外表現(xiàn)為一臺邏輯服務(wù)器，提供一致的服務(wù)。通過集群，利用多臺服務(wù)器負載分擔(dān)提升集群整體業(yè)

9、務(wù)處理能力，并且多臺服務(wù)器間互為備份，提升系統(tǒng)的可靠性。如果將集群中的服務(wù)器部署于不同數(shù)據(jù)中心，當(dāng)某個數(shù)據(jù)中心發(fā)生故障時，集群內(nèi)其他數(shù)據(jù)中心的服務(wù)器仍可提供服務(wù)，可實現(xiàn)跨數(shù)據(jù)中心的應(yīng)用系統(tǒng)容災(zāi)。多數(shù)廠商的集群軟件需要各服務(wù)器間采用二層網(wǎng)絡(luò)互連，因此，服務(wù)器集群跨數(shù)據(jù)中心部署需要網(wǎng)絡(luò)提供跨DC的大二層能力。同時，集群對外提供服務(wù)的地址是一個虛IP，該地址將通過數(shù)據(jù)中心前端網(wǎng)絡(luò)向外發(fā)布，因此，集群跨數(shù)據(jù)中心部署需要網(wǎng)絡(luò)給集群的虛IP提供跨DC的網(wǎng)關(guān)，跨DC的網(wǎng)關(guān)可以是主備或者雙活。主備網(wǎng)關(guān)是對外發(fā)布主備路由，正常情況下南北向流量根據(jù)主路由走主數(shù)據(jù)中心的主網(wǎng)關(guān)。當(dāng)主用數(shù)據(jù)中心故障，切換到備份路由，流

10、量走備數(shù)據(jù)中心的備網(wǎng)關(guān)。雙活網(wǎng)關(guān)是對外發(fā)布等價路由，正常情況下南北向流量根據(jù)等價路由分擔(dān)到兩個數(shù)據(jù)中心。當(dāng)一個數(shù)據(jù)中心故障，流量切換到其他數(shù)據(jù)中心的網(wǎng)關(guān)。對于集群的南北向流量通常需要防火墻提供安全防護，防火墻部署也可以是主備或者雙活，如REF _fig1497319184483 r h圖1-3所示。網(wǎng)絡(luò)級容災(zāi)分布式云化場景分布式云化是指業(yè)務(wù)分布式部署在多個數(shù)據(jù)中心，每個數(shù)據(jù)中心都可以實時承擔(dān)流量，同時提供服務(wù)，多個數(shù)據(jù)中心通過DCI骨干網(wǎng)互聯(lián)，形成統(tǒng)一的資源池，可以實時同步數(shù)據(jù)，任何一點出問題，都可以直接切換，由其他站點直接接管，站點間形成多活，并且邊緣DC就近提供服務(wù)，時延小，用戶體驗好。中

11、心DC為主要數(shù)據(jù)源，通過骨干網(wǎng)將內(nèi)容發(fā)送給邊緣DC，邊緣DC再將內(nèi)容發(fā)送給最終客戶，在這個過程中，多個DC之間需要進行L2/L3互通。如REF _fig27561352121712 r h圖1-4所示。分布式云化場景多數(shù)據(jù)中心互聯(lián)需求分析和技術(shù)介紹互聯(lián)需求分析從業(yè)務(wù)場景介紹我們可以看出，多個數(shù)據(jù)中心之間并不是孤立的，不同的層面有不同互通需求，多個數(shù)據(jù)中心之間互聯(lián)要解決以下幾個問題：數(shù)據(jù)同步和數(shù)據(jù)備份，需要存儲互聯(lián)；跨數(shù)據(jù)中心部署HA集群內(nèi)部的心跳，或者虛機遷移，需要大二層互通；業(yè)務(wù)間的互訪需要，跨數(shù)據(jù)中心三層互通；不同數(shù)據(jù)中心前端網(wǎng)絡(luò)，即數(shù)據(jù)中心的外聯(lián)出口，通過IP技術(shù)實現(xiàn)互聯(lián)。跨數(shù)據(jù)中心互聯(lián)

12、示意不同應(yīng)用的互通方案建議參見下表。技術(shù)方案WebAppDBSAN波分/裸光纖-跨DC二層互聯(lián)-跨DC三層互聯(lián)-互聯(lián)技術(shù)介紹存儲互聯(lián)，一般通過波分或者裸光纖：波分或者裸光纖（DWDM或者Dark Fiber）是物理鏈路直連，此互聯(lián)的方式的優(yōu)點是獨享式通道（僅用于數(shù)據(jù)中心之間的流量交互），可充分滿足數(shù)據(jù)中心之間流量交互的高帶寬和低延時需求，而且可以承載多種協(xié)議的數(shù)據(jù)傳輸，提供靈活的SAN/IP業(yè)務(wù)接入，不論是IP SAN還是FC SAN都可以承載，既支持二層網(wǎng)絡(luò)互聯(lián)也支持三層網(wǎng)絡(luò)互聯(lián)，滿足多業(yè)務(wù)傳輸需要，不足之處就是需要新建或租用光纖資源，增加數(shù)據(jù)中心的投入成本。應(yīng)用集群或者跨DC的虛機遷移需要

13、跨DC的大二層網(wǎng)絡(luò)，大二層技術(shù)包括：裸光纖/DWDM：成本高，主要應(yīng)用于同城站點之間，難于擴展。VPLS，VPLS是一種基于MPLS和以太網(wǎng)技術(shù)的二層VPN技術(shù)。VPLS的主要目的就是通過公網(wǎng)連接多個以太網(wǎng)，使它們像一個LAN那樣工作。在已有的公網(wǎng)/專網(wǎng)資源上封裝二層VPN通道，用以承載數(shù)據(jù)中心之間的數(shù)據(jù)交互和容業(yè)務(wù)持續(xù)和恢復(fù)份，主要應(yīng)用于云計算數(shù)據(jù)中心的互聯(lián)場景，此互聯(lián)方式的優(yōu)點是無需新建互聯(lián)平面，只需要在當(dāng)前的網(wǎng)絡(luò)通道上疊加一層VPN通道以隔離于網(wǎng)絡(luò)中現(xiàn)有的數(shù)據(jù)流量，不足就是部署實施較為復(fù)雜，而且要有MPLS網(wǎng)絡(luò)的支持，需要租用運營商的MPLS網(wǎng)絡(luò)或者有自建的MPLS網(wǎng)絡(luò)。VXLAN，是一

14、種先進的“MAC in IP” 的Overlay技術(shù)，允許承載在IP網(wǎng)絡(luò)上，通過VXLAN遂道在IP核心網(wǎng)提供L2VPN服務(wù)。它可以基于現(xiàn)有的運營商各種專線網(wǎng)絡(luò)或者因特網(wǎng)，為分散的物理站點提供二層互聯(lián)功能。成本低，距離遠，易于擴展，而且VXLAN支持水平分割防環(huán)機制，以及廣播風(fēng)暴抑制功能，優(yōu)點是不依賴于光纖資源或MPLS網(wǎng)絡(luò)資源，只要求兩端三層IP可達即可，方案靈活，擴展性極強，成本較低，并且部署運維更簡單，不足之處是網(wǎng)絡(luò)的質(zhì)量受限于IP網(wǎng)絡(luò)，而且由于采用Overlay技術(shù)帶寬利用率較低。DC間三層互聯(lián)：傳統(tǒng)IP三層互聯(lián)，是指通過IGP/ BGP路由傳遞，使不同數(shù)據(jù)中心的業(yè)務(wù)網(wǎng)段能夠三層互通。

15、MPLS L3 VPN，是構(gòu)建在MPLS網(wǎng)絡(luò)之上的虛擬L3專用網(wǎng)絡(luò)，通過MPLS L3 VPN可以使不同數(shù)據(jù)中心的業(yè)務(wù)網(wǎng)段能夠三層互通；用以承載IDC之間的數(shù)據(jù)交互和容業(yè)務(wù)持續(xù)和恢復(fù)份，此互聯(lián)方式主要應(yīng)用于傳統(tǒng)業(yè)務(wù)數(shù)據(jù)中心的互聯(lián)場景，優(yōu)點同VPLS，不足也與VPLS一樣。VXLAN，是構(gòu)建在IP網(wǎng)絡(luò)之上的VXLAN隧道，也可以提供L3 VPN服務(wù)。數(shù)據(jù)中心的外聯(lián)出口：數(shù)據(jù)中心出口設(shè)備接入運營商的各種專線網(wǎng)絡(luò)或者因特網(wǎng)，通過動態(tài)路由或靜態(tài)路由等IP技術(shù)實現(xiàn)互聯(lián)。多數(shù)據(jù)中心SDN網(wǎng)絡(luò)需求分析在云化數(shù)據(jù)中心，網(wǎng)絡(luò)資源通過虛擬化技術(shù)形成資源池，實現(xiàn)業(yè)務(wù)與物理網(wǎng)絡(luò)解耦，通過SDN技術(shù)實現(xiàn)業(yè)務(wù)網(wǎng)絡(luò)的按需自

16、助與自動化部署，支持多租戶、彈性擴縮、以及快速部署。在多數(shù)據(jù)中心場景下，還需要解決業(yè)務(wù)跨數(shù)據(jù)中心部署、不同業(yè)務(wù)系統(tǒng)之間的跨數(shù)據(jù)中心互通、跨數(shù)據(jù)中心互通的自動化部署、跨數(shù)據(jù)中心的業(yè)務(wù)容災(zāi)和多活問題。多數(shù)據(jù)中心的主要訴求如下表：業(yè)務(wù)訴求需求分析方案業(yè)務(wù)跨DC部署大VPC通過跨DC L2/L3互通，整體體現(xiàn)為大VPC安全隔離路由隔離FW隔離業(yè)務(wù)之間的互通VPC互通VPC間跨DC L3互通通過SDN實現(xiàn)自動化部署多DC的資源管理iMaster NCE-Fabric+網(wǎng)絡(luò)虛擬化編排器+業(yè)務(wù)編排業(yè)務(wù)編排業(yè)務(wù)容災(zāi)/多活應(yīng)用級容災(zāi)GSLB網(wǎng)絡(luò)級容災(zāi)（IP地址不變跨DC容災(zāi)）跨DC大二層主備/雙活出口這4個訴求

17、具體描述如下：業(yè)務(wù)跨VPC部署：客戶某些業(yè)務(wù)可能是跨DC部署的，比如客戶可能會針對某大型網(wǎng)站劃一個獨立的VPC，這個VPC可能會跨多個Fabric，所以在這個VPC內(nèi)部流量就有跨Fabric互通的需求，同時路由和防火墻需要進行隔離。業(yè)務(wù)之間的互通：客戶針對不同的業(yè)務(wù)會劃分不同的VPC，不同VPC可能會部署在不同的Fabric中，業(yè)務(wù)之間如果有互通的需求，就要求VPC之間能跨Fabric進行L3互通（VPC之間互通一般為L3互通，如果需要L2互通則建議將互通的VM劃分到同一個VPC中）。通過SDN實現(xiàn)自動化部署：客戶部署了SDN網(wǎng)絡(luò)自然是希望實現(xiàn)自動化部署，自動化部署主要分為兩步，首先，需要將跨

18、DC的虛擬化網(wǎng)絡(luò)編排出來；其次，編排出虛擬化網(wǎng)絡(luò)后，需要在各DC中進行實例化。針對跨DC的業(yè)務(wù)，編排器統(tǒng)一編排，單DC內(nèi)的網(wǎng)絡(luò)則由iMaster NCE-Fabric進行編排。業(yè)務(wù)容災(zāi)/多活：業(yè)務(wù)容災(zāi)和多活主要分為兩種方式，首先針對比較新的業(yè)務(wù)系統(tǒng)，客戶自己可以通過GSLB的方式進行容災(zāi)和多活，具體方式是兩個DC同時部署相同的業(yè)務(wù)，業(yè)務(wù)相同同時IP地址不同，這樣兩套系統(tǒng)可以進行容災(zāi)處理，這種方式對網(wǎng)絡(luò)沒有什么特別的訴求。但是針對比較舊的一些系統(tǒng)，會要求遷移到容災(zāi)中心后，IP地址不能變化。這種情況下，就需要支持跨Fabric的二層互通，同時，需要提供網(wǎng)關(guān)供業(yè)務(wù)訪問外部網(wǎng)絡(luò)，網(wǎng)關(guān)需要支持主備和雙活

19、兩種方式。華為Multi-DC Fabric方案整體架構(gòu)和場景分類方案整體架構(gòu)華為CloudFabric解決方案的Multi-DC方案主要聚焦于跨數(shù)據(jù)中心網(wǎng)絡(luò)部分，通過虛擬化和SDN技術(shù)，解決跨數(shù)據(jù)中心互通的自動化部署和跨數(shù)據(jù)中心的業(yè)務(wù)容災(zāi)多活的問題。華為CloudFabric Multi-DC解決方案的整體架構(gòu)如REF _fig3191256371 r h圖1-6所示。Multi-DC整體架構(gòu)圖華為Multi-DC Fabric方案的整體架構(gòu)主要分為：業(yè)務(wù)控制層、基礎(chǔ)設(shè)施層和轉(zhuǎn)發(fā)實現(xiàn)層。業(yè)務(wù)控制層，主要是SDN控制器，負責(zé)控制某個數(shù)據(jù)中心的網(wǎng)絡(luò)，以及打通跨數(shù)據(jù)中心的網(wǎng)絡(luò)，SDN控制器還對接業(yè)

20、務(wù)編排器和VMM（Virtual Machine Manager虛擬機管理器），完成計算與網(wǎng)絡(luò)聯(lián)動以及跨數(shù)據(jù)中心的互通。業(yè)務(wù)編排器負責(zé)跨數(shù)據(jù)中心的業(yè)務(wù)編排，VMM負責(zé)虛擬機的生命周期管理?；A(chǔ)設(shè)施層，主要是物理網(wǎng)絡(luò)和邏輯網(wǎng)絡(luò)，數(shù)據(jù)中心內(nèi)的物理網(wǎng)絡(luò)是Spine-Leaf架構(gòu)的組網(wǎng)，多個數(shù)據(jù)中心通過DCI骨干網(wǎng)連接；邏輯網(wǎng)絡(luò)是通過網(wǎng)絡(luò)虛擬化和VXLAN技術(shù)、基于業(yè)務(wù)按需構(gòu)建的連接虛擬機的虛擬網(wǎng)絡(luò)。轉(zhuǎn)發(fā)實現(xiàn)層，主要是通過VXLAN網(wǎng)絡(luò)連接數(shù)據(jù)中心內(nèi)的虛擬機，以及連接數(shù)據(jù)中心間的虛擬機，BGP-EVPN作為VXLAN的控制面。對于使用者來說，主要看到業(yè)務(wù)控制層，根據(jù)業(yè)務(wù)的需要，將業(yè)務(wù)網(wǎng)絡(luò)劃分成多個VP

21、C，通過編排器編排VPC，通過控制器在不同數(shù)據(jù)中心發(fā)放VPC的邏輯網(wǎng)絡(luò)。這個過程里，編排器主要是針對跨Fabric的網(wǎng)絡(luò)進行編排。編排完成后，會根據(jù)編排的結(jié)果，將任務(wù)下發(fā)給對應(yīng)的控制器，由控制器將配置下發(fā)到物理設(shè)備上。Multi-DC Fabric編排示意圖場景分類CloudFabric多DC場景主要分為Multi-Site場景和Multi-PoD場景。POD強調(diào)的是一組相對獨立的物理資源；Multi-PoD是指一套iMaster NCE-Fabric管理的多個PoD，是一個端到端VXLAN隧道構(gòu)成的VXLAN域，POD之間距離不會太遠，通常是同城近距。一個Site是指一個iMaster NC

22、E-Fabric管理的資源池，是一個或多個PoD，是一個端到端VXLAN隧道構(gòu)成的VXLAN域；Multi-Site是指多個iMaster NCE-Fabric管理域之間的互通，即多個Multi-PoD之間的互通，是多個VXLAN域，對距離不敏感，可異地部署。Multi-Site場景Multi-Site子方案適用于異地多DC方案，即兩個或者多個位于不同地域，或者物理距離太遠而無法被同一套iMaster NCE-Fabric納管的多個DC之間互聯(lián)互通方案。Multi-Site場景對應(yīng)比較大的網(wǎng)絡(luò)，需要一個編排器拉通多個iMaster NCE-Fabric，將多個iMaster NCE-Fabri

23、c管理的網(wǎng)絡(luò)統(tǒng)一納管。所有業(yè)務(wù)由編排器進行統(tǒng)一編排，再下發(fā)到各控制器上由控制器將具體配置下發(fā)給對應(yīng)的物理網(wǎng)絡(luò)。Multi-Site場景方案如REF _fig6875735173811 r h圖1-8所示。Multi-Site場景示意圖Multi-PoD場景Multi-POD方案適用于地域上距離較近，可以被同一套iMaster NCE-Fabric納管的DC或者資源Module。在網(wǎng)絡(luò)規(guī)模不大的情況下，只需要一套iMaster NCE-Fabric進行多個DC的管理，不需要多DC協(xié)同編排器這個角色。這種場景我們叫做Multi-Pod場景，這種場景下，DC內(nèi)和DC間的網(wǎng)絡(luò)配置均在iMaster N

24、CE-Fabric上進行配置。這種場景下，我們可以提供多DC之間的容災(zāi)和主備出口等能力。Multi-PoD場景方案如REF _fig52707118402 r h圖1-9所示。Multi-PoD場景示意圖場景對比Multi-Site方案和Multi-PoD分別適用于不同的場景，Multi-Site方案是多個iMaster NCE-Fabric管理域，Multi-Pod方案是單個iMaster NCE-Fabric管理域，兩種場景具體對比參見下表。對比項Multi-SiteMulti-PoD管理域多個管理域（iMaster NCE-Fabric）單一管理域（iMaster NCE-Fabric）

25、業(yè)務(wù)編排編排器統(tǒng)一編排iMaster NCE-Fabric界面編排，或單個OpenStack編排網(wǎng)絡(luò)規(guī)模物理網(wǎng)絡(luò)規(guī)模大（Leaf多，F(xiàn)abric多，DC多）物理網(wǎng)絡(luò)規(guī)模?。↙eaf總數(shù)約束在一個iMaster NCE-Fabric的規(guī)格范圍內(nèi)）服務(wù)器規(guī)模服務(wù)器數(shù)量多服務(wù)器數(shù)量少，受限于物理網(wǎng)路規(guī)模故障域DC間故障域解耦DC間故障域強耦合距離遠距離，延時不敏感近距離，受單iMaster NCE-Fabric拉遠管理時延限制大二層大二層在一個VXLAN域內(nèi)，整體看大二層不跨DC大二層在一個VXLAN域內(nèi)，大二層跨DC遷移L2不跨Site，不需要虛機跨Site遷移虛機跨POD遷移，云主機高可用容災(zāi)應(yīng)

26、用級多活I(lǐng)P地址不變，跨DC網(wǎng)絡(luò)容災(zāi)轉(zhuǎn)發(fā)面每個DC是獨立的VXLAN域，DC間是分段的VXLAN一個VXLAN域，DC間是E2E VXLAN，適用場景要求DC間解耦遠距離大規(guī)模要求網(wǎng)絡(luò)提供容災(zāi)近距離小規(guī)模層次化Multi-DC Fabric層次化Multi-DC顧名思義，就是將Multi-Site和Mult-PoD場景組合在一起，即Multi-Site場景下，單個iMaster NCE-Fabric集群內(nèi)使用Multi-PoD方案管理多個PoD。層次化Multi-DC組網(wǎng)如REF _fig656131311419 r h圖1-10所示。層次化Multi-DC示意圖 DOCPROPERTY Pr

27、oduct&Project NameCloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計指南（Multi-Site） STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 多數(shù)據(jù)中心業(yè)務(wù)訴求和場景文檔版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE 33Multi-Sit

28、e場景和設(shè)計本章節(jié)將著重介紹Multi-Site場景的詳細設(shè)計。 HYPERLINK l _ZH-CN_TOPIC_0192838279 o 2.1 Multi-Site方案應(yīng)用場景 HYPERLINK l _ZH-CN_TOPIC_0192838238 o 2.2 Multi-Site方案設(shè)計 HYPERLINK l _ZH-CN_TOPIC_0192838241 o 2.3 Multi-Site部署方案推薦Multi-Site方案應(yīng)用場景在虛擬化場景下，通常一個業(yè)務(wù)系統(tǒng)給分配一個VPC（Virtual Private Cloud，虛擬私有云），通過VPC將不同的用戶或業(yè)務(wù)系統(tǒng)進行隔離，使得

29、不同的用戶或業(yè)務(wù)系統(tǒng)之間不相互影響。隨著業(yè)務(wù)的發(fā)展，業(yè)務(wù)系統(tǒng)需要的計算資源也在不斷的增長，當(dāng)超過一個DC的容量時，就需要多個DC來部署這個業(yè)務(wù)系統(tǒng)，這時，該業(yè)務(wù)系統(tǒng)對應(yīng)的VPC就需要跨DC部署。例如：有的用戶在劃分VPC的時候是基于業(yè)務(wù)安全等級的，比如劃分成內(nèi)網(wǎng)和DMZ兩個安全等級，將DMZ區(qū)的業(yè)務(wù)放在一個VPC 1，內(nèi)網(wǎng)業(yè)務(wù)放在一個VPC 2，在多個數(shù)據(jù)中心多活容災(zāi)的場景下，這些VPC都會分布到多個數(shù)據(jù)中心里，這樣就形成了跨DC的大VPC，這就是大VPC的場景。此外，同一租戶的不同業(yè)務(wù)系統(tǒng)之間一般都存在互通的需求，例如：上面提到的內(nèi)網(wǎng)和DMZ兩個VPC，流量進入數(shù)據(jù)中心先到DMZ再到內(nèi)網(wǎng)，D

30、MZ和內(nèi)網(wǎng)兩個VPC之間需要互通，由于這兩個VPC都是跨DC部署的。因此，跨DC的VPC之間還需要網(wǎng)絡(luò)打通，這就是VPC互通場景。大VPC在多數(shù)據(jù)中心場景下，業(yè)務(wù)VPC需要跨DC部署，如REF _fir h圖2-1所示。業(yè)務(wù)VPC跨DC部署示意圖在數(shù)據(jù)中心的規(guī)模較大的情況下，由于每套iMaster NCE-Fabric的管理范圍是有限的，所以多個數(shù)據(jù)中心需要部署多套iMaster NCE-Fabric，甚至一個數(shù)據(jù)中心就有多套iMaster NCE-Fabric。在這種情況下，這個大VPC就不是某一套iMaster NCE-Fabric可以下發(fā)的了，這時就需要一個編排

31、器來協(xié)同多個數(shù)據(jù)中心的iMaster NCE-Fabric，編排跨數(shù)據(jù)中心的VPC，如REF _fig451824441812 r h圖2-2所示，Multi-Site方案的主要應(yīng)用之一就是大VPC跨DC部署。大VPC跨DC部署邏輯示意圖通過一個編排器統(tǒng)一對兩個DC內(nèi)部和DC間的網(wǎng)絡(luò)進行編排，編排完成后，將指令下發(fā)給對應(yīng)的iMaster NCE-Fabric進行VPC實例和DC間互通實例的發(fā)放，作為一個整體，對外體現(xiàn)為一個大VPC。網(wǎng)絡(luò)方案上，每個DC內(nèi)部都部署獨立的VXLAN域，分別由一套的iMaster NCE-Fabric單獨管理，DC之間通過三段式VXLAN進行互通，也可以通過Unde

32、rlay方式互通。部署兩套獨立的iMaster NCE-Fabric以及轉(zhuǎn)發(fā)面的VXLAN域，可以使兩個DC故障域隔離，同時也方便客戶分批建設(shè)或模塊化部署數(shù)據(jù)中心。VPC互通不同的業(yè)務(wù)之間存在著互通的需求，跨DC的場景下也要解決互通的問題。VPC互通業(yè)務(wù)如REF _fig112113465193 r h圖2-3所示。不同業(yè)務(wù)跨DC互通示意圖業(yè)務(wù)按VPC部署，業(yè)務(wù)間的互通就體現(xiàn)為VPC互通。Multi-Site場景下，多個控制器之間需要協(xié)同，可以通過編排器編排VPC互通，協(xié)同多套控制器配置各自的網(wǎng)絡(luò)設(shè)備，打通VPC之間的邏輯網(wǎng)絡(luò)。VPC互通方案如REF _fig16440122313202 r

33、h圖2-4所示。VPC之間跨DC互通邏輯示意圖Multi-Site方案設(shè)計Multi-Site場景業(yè)務(wù)部署過程Multi-Site場景業(yè)務(wù)部署過程如REF _fig41434512195 r h圖2-5所示。Multi-Site場景概念模型與部署過程業(yè)務(wù)層和資源層：業(yè)務(wù)層即客戶業(yè)務(wù)視角看到的東西，實際上從方案上來說，就是編排器上進行的業(yè)務(wù)編排，編排后將對應(yīng)的配置通知到對應(yīng)的iMaster NCE-Fabric進行業(yè)務(wù)下發(fā)。資源層即我們的物理網(wǎng)絡(luò)，是一個個POD，一臺臺交換機。但是為了將這些物理設(shè)備能和業(yè)務(wù)編排對應(yīng)起來，我們需要給他們加一些標(biāo)識，這就是我們下面要說的物理網(wǎng)絡(luò)資源、邏輯網(wǎng)絡(luò)資源和業(yè)

34、務(wù)資源。物理視圖的資源：物理網(wǎng)絡(luò)資源很好理解，就是交換機、防火墻等等物理設(shè)備的集合，組成的物理網(wǎng)絡(luò)。邏輯網(wǎng)絡(luò)資源：在iMaster NCE-Fabric上，我們?yōu)榱藢⑽锢砭W(wǎng)絡(luò)虛擬化，將物理網(wǎng)絡(luò)虛擬成了Domain、Fabric。具體來說，一套iMaster NCE-Fabric管理的物理網(wǎng)絡(luò)的集合我們稱之為一個Domain，而一個Domain里有多個Fabric。而iMaster NCE-Fabric的一個主要任務(wù)，就是將Domain和Fabric以及Fabric里的各種組件對應(yīng)到一臺臺具體的物理設(shè)備，最終將配置下發(fā)。業(yè)務(wù)資源：在Muiti-Site場景下，有個編排器的角色，這個角色的主要作用

35、是將客戶的業(yè)務(wù)邏輯化。而為了讓客戶的業(yè)務(wù)發(fā)放的時候范圍可控，同時也為了編排器的邏輯和iMaster NCE-Fabric的邏輯對應(yīng)起來，編排器也定義了一些概念。首先是Region，Region可以簡單理解為控制客戶業(yè)務(wù)VPC的發(fā)放范圍，一個業(yè)務(wù)VPC范圍控制在一個Region內(nèi)部。其次是AZ，AZ可以簡單理解為控制客戶業(yè)務(wù)VPC中subnet（即logicswitch）的發(fā)放范圍，一個subnet控制在一個AZ內(nèi)。有了Region和AZ后，舉個例子，發(fā)放業(yè)務(wù)VPC時，就可以設(shè)定這個業(yè)務(wù)VPC發(fā)放到Region1中，其中包含2個subnet分別對應(yīng)AZ1和AZ2。這時，我們再將Region、AZ

36、和iMaster NCE-Fabric對應(yīng)的Domain、Fabric以及Fabric里包含的LogicRouter以及LogicSwitch對應(yīng)起來。編排器就可以將客戶的業(yè)務(wù)轉(zhuǎn)化為對iMaster NCE-Fabric的命令發(fā)放給iMaster NCE-Fabric，再通過iMaster NCE-Fabric下發(fā)配置給物理網(wǎng)絡(luò)。VMM對接設(shè)計數(shù)據(jù)中心的邏輯網(wǎng)絡(luò)是為虛擬機服務(wù)的，通過SDN控制器實現(xiàn)計算和網(wǎng)絡(luò)聯(lián)動，在華為CloudFabric解決方案里，iMaster NCE-Fabric可以和多種VMM對接。在Multi-Site方案里，一個Site是一個Fabric，由一套iMaster

37、NCE-Fabric管理，一套iMaster NCE-Fabric可以對接多個VMM，每個VMM只管理本Site的虛擬機，并且只與本Site的iMaster NCE-Fabric對接。VMM對接方案如REF _fig354324132219 r h圖2-6所示。iMaster NCE-Fabric對接VMM示意圖部署方案設(shè)計上面說了Multi-Site場景的概念模型和業(yè)務(wù)模型，本章說明一下DC間的L2/L3互通是如何實現(xiàn)的。DCI部署方案設(shè)計如REF _fig1258662942417 r h圖2-7所示，DC1和DC2獨立部署，每個DC部署獨立網(wǎng)絡(luò)資源池。如果兩個DC有三層互通需求時，可以通

38、過部署DCI三層互聯(lián)實現(xiàn)互通。Fabric間L2/L3互通示意圖在每個DC內(nèi)部標(biāo)準Spine-Leaf組網(wǎng)，需要設(shè)置Fabric Gateway設(shè)備，用于DCI互聯(lián)。DCI物理網(wǎng)絡(luò)互聯(lián)有三種方案：Optioin1：同城匯聚，通過DCI核心交換機互聯(lián)，適用于同城站點較多的場景Optioin2：裸光纖/DWDM直連，兩DC Fabric-GW直連，適用于站點較少的場景Optioin3：異地，通過WAN網(wǎng)互聯(lián)，適用于異地站點較多的場景DCI邏輯網(wǎng)絡(luò)互聯(lián)有三種方式實現(xiàn)：第一種是通過Segment（三段式）VXLAN實現(xiàn)，即通過在Fabric-GW上配置BGP EVPN協(xié)議創(chuàng)建VXLAN隧道，將從一側(cè)數(shù)

39、據(jù)中心收到的VXLAN報文先解封裝、然后再重新封裝后發(fā)送到另一側(cè)數(shù)據(jù)中心，實現(xiàn)對跨數(shù)據(jù)中心的報文端到端的VXLAN報文承載。所以，DCI互聯(lián)物理網(wǎng)絡(luò)僅需打通Fabric-GW之間的Underlay路由。三段式VXLAN方式可以支持跨數(shù)據(jù)中心L2互通和L3互通，L2互通時，不同的二層通過不同的VNI進行區(qū)分，L3互通時，不同VPC通過VNI進行隔離，保證跨數(shù)據(jù)中心VM之間的通信和隔離。第二種是通過Underlay方式三層互通，即：Fabric-GW之間VRF背靠背部署IGP/BGP，F(xiàn)abric-GW作為Fabric內(nèi)VXLAN端點，F(xiàn)abric之間Underlay方式三層互通，通過IGP或者B

40、GP打通業(yè)務(wù)網(wǎng)段的路由，在Fabric Gateway上直接解封裝VXLAN報文，走Underlay根據(jù)IGP/BGP路由轉(zhuǎn)發(fā)。所以，DCI互聯(lián)物理網(wǎng)絡(luò)需傳遞業(yè)務(wù)的私網(wǎng)路由。這種方案要求IP地址嚴格規(guī)劃好，所有DC內(nèi)的IP對應(yīng)的路由都可以在互聯(lián)網(wǎng)絡(luò)中打通。這種方案適用于構(gòu)建企業(yè)內(nèi)部多DC之間互通，要求整體規(guī)劃比較嚴格。第三種是VLAN hand-off方式實現(xiàn)數(shù)據(jù)中心互聯(lián)，這種方案需要各數(shù)據(jù)中心再增加支持VXLAN的設(shè)備作為DCI-GW，如REF _fig1798624652515 r h圖2-8所示，各數(shù)據(jù)中心DCI-GW之間部署B(yǎng)GP EVPN建立VXLAN隧道，F(xiàn)abric內(nèi)部署B(yǎng)GP

41、EVPN，F(xiàn)abric-GW作為Fabric內(nèi)VXLAN端點，F(xiàn)abric-GW與DCI-GW之間普通VLAN對接，F(xiàn)abric-GW與DCI-GW上分別配置VLAN接入VXLAN功能?？鐢?shù)據(jù)中心的報文在Fabric-GW解VXLAN封裝，變成普通以太報文，DCI-GW收到后再進行新的VXLAN封裝進入DCI的VXLAN隧道發(fā)送到對端數(shù)據(jù)中心。所以，DCI互聯(lián)物理網(wǎng)絡(luò)僅需打通Fabric-GW之間的Underlay路由。VLAN hand-off方式可以支持跨數(shù)據(jù)中心L2互通和L3互通。L2互通時，打通不同數(shù)據(jù)中心之間的二層廣播域，不同的二層通過不同的VLAN再映射不同的DCI VNI進行區(qū)分

42、。L3互通時，各數(shù)據(jù)中心Fabric-GW上、需要三層互通的VPC的LogicalRouter之間通過DCI的VXLAN隧道打通直連二層，并建立eBGP IPv4私網(wǎng)鄰居，用于跨DC傳遞VPC私網(wǎng)路由，不同的直連二層通過不同的VLAN再映射不同的DCI VNI進行隔離，保證跨數(shù)據(jù)中心VM之間的通信和隔離。VLAN hand-off方式示意圖三種邏輯網(wǎng)絡(luò)互聯(lián)部署方案的對比對比項Segment VXLANL3 UnderlayVLAN Handoff管理域多套獨立iMaster NCE-Fabric，解耦，故障或升級范圍都可控多套獨立iMaster NCE-Fabric，解耦，故障或升級范圍都可控

43、多套獨立iMaster NCE-Fabric，解耦，故障或升級范圍都可控DC物理網(wǎng)絡(luò)規(guī)模規(guī)模大（PoD多，DC多）規(guī)模大（PoD多，DC多）規(guī)模大（PoD多，DC多）服務(wù)器數(shù)量多需要多套VMM多套VMM多套VMM二層互通支持不支持支持（ DC間二層互通依賴廣播，規(guī)模受限）三層互通支持支持支持DC間耦合度DC間解耦，如果開啟二層互通則耦合度增加DC間解耦DC間解耦，如果開啟二層互通則耦合度增加DC建設(shè)全新建和傳統(tǒng)PoD共存，多DC間的互通要兼容現(xiàn)有網(wǎng)絡(luò)和傳統(tǒng)PoD共存，多DC間的互通兼容現(xiàn)有網(wǎng)絡(luò)設(shè)備要求Fabric-GW需支持三段VXLANFabric-GW僅需支持普通VXLAN需增加DCI-G

44、W設(shè)備DCIDCI網(wǎng)絡(luò)僅傳遞Fabric-GW的Underlay路由DCI網(wǎng)絡(luò)感知業(yè)務(wù)，傳遞業(yè)務(wù)路由，增加減少業(yè)務(wù)三層互通需DCI網(wǎng)絡(luò)變更配置DCI網(wǎng)絡(luò)僅傳遞DCI-GW的Underlay路由但Fabric-GW與DCI-GW之間需感知業(yè)務(wù)，二層廣播，互通規(guī)格受4k VLAN限制多租戶大VPC數(shù)量多大VPC數(shù)量少大VPC數(shù)量少Multi-Site方案里，不推薦大規(guī)模部署跨Site的L2互通，理由主要有三點：跨Site的L2互通會存在跨Site的廣播；跨Site的L2互通會導(dǎo)致跨Site學(xué)習(xí)或同步MAC和主機路由，會降低整網(wǎng)規(guī)模；跨Site的L2互通相當(dāng)于一個子網(wǎng)跨Site部署，這個子網(wǎng)的網(wǎng)關(guān)如

45、何跨Site配置？以及這個子網(wǎng)的路由如何對外發(fā)布？這兩個問題不好解決。所以，跨Site的L2互通建議僅在業(yè)務(wù)搬遷的時候臨時開啟，在搬遷完畢后關(guān)閉L2互通，不建議把L2互通作為一種常態(tài)部署。針對DCI物理網(wǎng)絡(luò)互聯(lián)Option3是通過MPLS骨干網(wǎng)互聯(lián)的說明DC間物理網(wǎng)絡(luò)互聯(lián)的Option3是通過廣域網(wǎng)互聯(lián)，對于骨干網(wǎng)是MPLS VPN的場景，有如下3種情況。Optioin1：對應(yīng)Segment VXLAN互通方案，各數(shù)據(jù)中心Fabric-GW之間需要通過BGP-EVPN建立VXLAN隧道，在骨干網(wǎng)傳輸時，實際上是VXLAN over MPLS，這時，F(xiàn)abric-GW作為CE，骨干網(wǎng)邊緣設(shè)備作為

46、PE，MPLS VPN僅需打通Fabric-GW之間的Underlay路由。Optioin2：對應(yīng)Underlay方式三層互通方案，從Fabric-GW發(fā)到DCI的報文是業(yè)務(wù)原始IP報文，沒有經(jīng)過封裝，在骨干網(wǎng)傳輸時，實際上是IP over MPLS。這時，F(xiàn)abric-GW作為MCE，骨干網(wǎng)邊緣設(shè)備作為PE，通過MPLS L3VPN打通業(yè)務(wù)的私網(wǎng)路由，如REF _fig1097445216284 r h圖2-9所示。Underlay方式三層互通方案Optioin3：對應(yīng)VLAN hand-off方式的互通方案，各數(shù)據(jù)中心DCI-GW之間需要通過BGP-EVPN建立VXLAN隧道，在骨干網(wǎng)傳輸

47、時，實際上是VXLAN over MPLS，這時，DCI-GW作為CE，骨干網(wǎng)邊緣設(shè)備作為PE，MPLS VPN僅需打通DCI-GW之間的Underlay路由，如REF _fig76533289293 r h圖2-10所示。VLAN hand-off方式互通方案轉(zhuǎn)發(fā)面方案設(shè)計在上一節(jié)介紹了邏輯網(wǎng)絡(luò)互聯(lián)有三種方式實現(xiàn)，其中Option2是通過Underlay方式三層互通，Option3是VLAN hand-off方式互通，這兩種方案的轉(zhuǎn)發(fā)面本質(zhì)上都是解掉VXLAN封裝，變成普通以太報文轉(zhuǎn)發(fā)，DC間互聯(lián)都是靠VLAN拼接，F(xiàn)abric-GW和DCI-GW都僅僅是做VXLAN封裝和解封裝，這里不再贅

48、述。而Option1是通過Segment（三段式）VXLAN方式轉(zhuǎn)發(fā)，本節(jié)詳細介紹一下。通過Segment VXLAN實現(xiàn)DC間L3互通Segment VXLAN實現(xiàn)L3互通方案如REF _fig996012319394 r h圖2-11所示。Segment VXLAN實現(xiàn)L3互通示意圖控制平面：Leaf4將學(xué)習(xí)到數(shù)據(jù)中心B中的VMb2的主機IP地址，并將其保存在L3VPN實例路由表中，然后向Leaf3發(fā)送BGP EVPN路由。如下圖所示，Leaf3收到Leaf4發(fā)送的BGP EVPN路由后，獲取該路由中的主機IP路由，按照VXLAN隧道建立的流程建立到Leaf4的VXLAN隧道，將路由下一跳

49、修改為Leaf3的VTEP地址，然后重新封裝，封裝上L3VPN實例的三層VNI，源MAC地址為Leaf3的MAC地址，并將重新封裝后的BGP EVPN路由信息發(fā)送給Leaf2。控制平面示意圖Leaf2收到Leaf3發(fā)送的BGP EVPN路由后，獲取該路由中的主機IP路由，建立到Leaf3之間的VXLAN隧道，將路由下一跳修改為Leaf2的VTEP地址，然后重新封裝，封裝上L3VPN實例的三層VNI，源MAC地址為Leaf2的MAC地址，并將重新封裝后的BGP EVPN路由信息發(fā)送給Leaf1。Leaf1收到Leaf2發(fā)送的BGP EVPN路由后，建立到Leaf2的VXLAN隧道。數(shù)據(jù)平面Lea

50、f1收到VMa1訪問VMb2的二層報文，檢測到目的MAC都是網(wǎng)關(guān)接口MAC，終結(jié)二層報文，通過VMa1接入BD的BDIF接口找到對應(yīng)的L3VPN實例，并在L3VPN實例的路由表中查找VMb2主機路由，進入Leaf1到Leaf2的VXLAN隧道，封裝成VXLAN報文通過VXLAN隧道發(fā)送到Leaf2。如下圖所示，Leaf2收到VXLAN報文后，解析VXLAN報文，通過三層VNI找到對應(yīng)的L3VPN實例，并在L3VPN實例的路由表中查找VMb2主機路由，進入Leaf2到Leaf3的VXLAN隧道，重新封裝VXLAN報文（三層VNI是Leaf3發(fā)送的VMb2主機路由中攜帶的三層VNI、外層目的MAC

51、是Leaf2發(fā)送的VMb2主機路由中攜帶的MAC）發(fā)送給Leaf3。數(shù)據(jù)平面示意圖如上圖所示，Leaf3收到VXLAN報文后，解析VXLAN報文，通過三層VNI找到對應(yīng)的L3VPN實例，并在L3VPN實例的路由表中查找VMb2主機路由，進入Leaf3到Leaf4的VXLAN隧道，重新封裝VXLAN報文（三層VNI是Leaf4發(fā)送的VMb2主機路由中攜帶的三層VNI、外層目的MAC是Leaf4發(fā)送的VMb2主機路由中攜帶的MAC）發(fā)送給Leaf4。Leaf4收到VXLAN報文后，解析VXLAN報文，通過三層VNI找到對應(yīng)的L3VPN實例，并在L3VPN實例的路由表中查找VMb2主機路由，根據(jù)路由

52、信息轉(zhuǎn)發(fā)給VMb2。通過Segment VXLAN實現(xiàn)DC間L2互通如REF _fig1024010441546 r h圖2-14所示，在數(shù)據(jù)中心A和數(shù)據(jù)中心B內(nèi)部分別創(chuàng)建VXLAN隧道，在數(shù)據(jù)中心的邊緣設(shè)備（Transit Leaf）之間也創(chuàng)建VXLAN隧道。當(dāng)VM1和VM2之間需要通信時，需要實現(xiàn)數(shù)據(jù)中心A和數(shù)據(jù)中心B之間的二層互通。Segment VXLAN實現(xiàn)DC間L2互通示意圖如果數(shù)據(jù)中心A和數(shù)據(jù)中心B內(nèi)部的VXLAN隧道都采用相同的VNI，則Transit Leaf1和Transit Leaf2之間只需采用同一VNI建立VXLAN隧道即可。但是，在實際應(yīng)用中，不同的數(shù)據(jù)中心都有各自

53、獨立的VNI空間，因此數(shù)據(jù)中心A和數(shù)據(jù)中心B內(nèi)部的VXLAN隧道很可能采用了不同的VNI。此時，在Transit Leaf1和Transit Leaf2上建立到達對端的VXLAN隧道時，需要進行一次VNI的轉(zhuǎn)換，具體描述如下?？刂破矫婵刂破矫嬖硎疽鈭DServer Leaf1在學(xué)習(xí)到VM1的MAC地址后，生成BGP EVPN路由發(fā)送給Transit Leaf1。其中，BGP EVPN路由包含以下信息：Type2路由：EVPN實例RD值、VM1的MAC地址、Server Leaf1本地VNI。下一跳：Server Leaf1的VTEP IP地址。擴展團體屬性：封裝隧道類型（VXLAN）。ERT：

54、EVPN實例出方向RT值。Transit Leaf1收到BGP EVPN路由后，先交叉到本地EVPN實例中，并在EVPN實例綁定的BD中生成VM1的MAC表項，其出接口需根據(jù)下一跳和封裝隧道類型進行隧道迭代，最終，出接口的迭代結(jié)果是指向Server Leaf1的VXLAN隧道。其中，VXLAN隧道封裝信息中的VNI為自己本地VNI。Transit Leaf1進行BGP EVPN路由重生成。其中，在修改VNI信息時，需要根據(jù)BD ID和本地VNI查詢映射表，找到對應(yīng)的映射VNI，然后將重生成路由中的VNI修改為映射VNI。因此，重生成的BGP EVPN路由包含以下信息：Type2路由：EVPN實

55、例RD值、VM1的MAC地址、本地VNI對應(yīng)的映射VNI。下一跳：Transit Leaf1的VTEP IP地址。擴展團體屬性：封裝隧道類型（VXLAN）。ERT：EVPN實例出方向RT值。Transit Leaf2收到BGP EVPN路由后，先交叉到本地EVPN實例中，并在EVPN實例綁定的BD中生成VM1的MAC表項，其出接口需根據(jù)下一跳和封裝隧道類型進行隧道迭代，最終，出接口的迭代結(jié)果是指向Transit Leaf1的VXLAN隧道。其中，該VXLAN隧道封裝信息中的VNI為映射VNI。Transit Leaf2進行BGP EVPN路由重生成。其中，在修改VNI信息時，需要根據(jù)BD ID

56、和映射VNI查詢映射表，找到對應(yīng)的本地VNI，然后將重生成路由中的修改為本地VNI。因此，重生成的BGP EVPN路由包含以下信息：Type2路由：EVPN實例RD值、VM1的MAC地址、映射VNI對應(yīng)的本地VNI。下一跳：Transit Leaf2的VTEP IP地址。擴展團體屬性：封裝隧道類型（VXLAN）。ERT：EVPN實例出方向RT值。Server Leaf2收到BGP EVPN路由后，先交叉到本地EVPN實例中，并在EVPN實例綁定的BD中生成VM1的MAC表項，其出接口需根據(jù)下一跳和封裝隧道類型進行隧道迭代，最終，出接口的迭代結(jié)果是指向Transit Leaf2的VXLAN隧道。

57、其中，VXLAN隧道封裝信息中的VNI為自己本地VNI。轉(zhuǎn)發(fā)平面轉(zhuǎn)發(fā)平面原理示意圖Server Leaf2通過BD二層子接口收到VM2發(fā)來的二層報文，根據(jù)目的MAC查找BD中的MAC表，找到VXLAN隧道出接口，獲取VXLAN隧道的封裝信息（本地VNI、目的VTEP IP地址、源VTEP IP地址），并對報文進行VXLAN封裝，然后發(fā)送給Transit Leaf2。Transit Leaf2對收到的VXLAN報文進行解封裝，根據(jù)報文中的VNI找到對應(yīng)的BD，根據(jù)目的MAC查找BD中的MAC表，找到VXLAN隧道出接口，獲取VXLAN隧道的封裝信息：（映射VNI、目的VTEP IP地址、源VTE

58、P IP地址），并對報文進行VXLAN封裝，然后發(fā)送給Transit Leaf1。Transit Leaf1對收到的VXLAN報文進行解封裝，根據(jù)報文中的映射VNI查找映射表，找到對應(yīng)的BD，根據(jù)目的MAC查找BD中的MAC表，找到VXLAN隧道出接口，獲取VXLAN隧道的封裝信息（本地VNI、目的VTEP IP地址、源VTEP IP地址），并對報文進行VXLAN封裝，然后發(fā)送給Server Leaf1。Server Leaf1對收到的VXLAN報文進行解封裝后進行相應(yīng)的二層轉(zhuǎn)發(fā)，最后發(fā)送給VM1。外部網(wǎng)絡(luò)多活Multi-Site方案的多個數(shù)據(jù)中能夠同時對外提供服務(wù)，可以同時承擔(dān)相同業(yè)務(wù)，提高

59、數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率。多個數(shù)據(jù)中心互為備份，當(dāng)單數(shù)據(jù)中心故障時，業(yè)務(wù)能自動切換到其他數(shù)據(jù)中心，業(yè)務(wù)不中斷。雙活數(shù)據(jù)中心均部署相同的業(yè)務(wù)應(yīng)用，二者IP網(wǎng)段并不相同，因此DC間采用三層互聯(lián)即可。業(yè)務(wù)應(yīng)用采用域名訪問，因此在應(yīng)用系統(tǒng)前部署全局負載均衡器(GSLB)，通過動態(tài)或靜態(tài)負載均衡策略對來訪請求解析不同的站點IP，如REF _fig55614403314 r h圖2-17所示。全局負載均衡示意圖GSLB會通過健康狀態(tài)檢測，或與SLB聯(lián)動檢測應(yīng)用系統(tǒng)狀態(tài)。當(dāng)一個中心內(nèi)應(yīng)用服務(wù)器局部故障時，盡量將流量切換至同一中心SLB集群內(nèi)的其他服務(wù)器，將故障限制在本中心；當(dāng)一個中心內(nèi)應(yīng)用服務(wù)器全部故障時，才將流量切換至另一中心。這種場景稱為業(yè)務(wù)級雙活，是一個重要而且常見的場景，且技術(shù)最為成熟，非常廣泛的應(yīng)用于金