CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案-Multi-Site設(shè)計(jì)指南

1、 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計(jì)指南（Multi-Site） DOCPROPERTY Product&Project NameCloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計(jì)指南（Multi-Site） STYLEREF Contents 目 錄文檔版本 DOCPROPERTY Documen

2、tVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE ii DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE xxxv DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCP

3、ROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司 STYLEREF 1 多數(shù)據(jù)中心業(yè)務(wù)訴求和場景文檔版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE 12多數(shù)據(jù)中心業(yè)務(wù)訴求和場景本章節(jié)說明多DC場景的客戶訴求和業(yè)務(wù)場景。 HYPERLINK l _ZH-CN_TOPIC_01

4、92838220 o 1.1 多數(shù)據(jù)中心的發(fā)展趨勢 HYPERLINK l _ZH-CN_TOPIC_0192838267 o 1.2 多數(shù)據(jù)中心業(yè)務(wù)場景分析 HYPERLINK l _ZH-CN_TOPIC_0192838292 o 1.3 多數(shù)據(jù)中心互聯(lián)需求分析和技術(shù)介紹 HYPERLINK l _ZH-CN_TOPIC_0192838288 o 1.4 多數(shù)據(jù)中心SDN網(wǎng)絡(luò)需求分析 HYPERLINK l _ZH-CN_TOPIC_0192838222 o 1.5 華為Multi-DC Fabric方案整體架構(gòu)和場景分類多數(shù)據(jù)中心的發(fā)展趨勢隨著業(yè)務(wù)的發(fā)展，越來越多的應(yīng)用部署在數(shù)據(jù)中心，單

5、個(gè)數(shù)據(jù)中心的規(guī)模有限，不可能無限擴(kuò)容，業(yè)務(wù)規(guī)模的不斷增長使得單個(gè)數(shù)據(jù)中心的資源很難滿足業(yè)務(wù)增長的需求，需要多個(gè)數(shù)據(jù)中心來部署業(yè)務(wù)；同時(shí)，數(shù)據(jù)安全、業(yè)務(wù)的可靠性和連續(xù)性也越來越被重視，備份和容災(zāi)逐漸成為了普遍需求，需要通過建設(shè)多個(gè)數(shù)據(jù)中心來解決容災(zāi)備份問題，“兩地三中心”是這一階段的代表方案。伴隨著互聯(lián)網(wǎng)+，云計(jì)算，大數(shù)據(jù)的發(fā)展，虛擬化和資源池化成為主流需求，需要整合跨地域、跨DC資源，形成統(tǒng)一資源池，同時(shí)，業(yè)務(wù)系統(tǒng)多DC分布式部署，形成多活，就近提供服務(wù)，提高用戶體驗(yàn)，“分布式多數(shù)據(jù)中心”成為當(dāng)前的主流方案。多數(shù)據(jù)中心業(yè)務(wù)場景分析目前，多DC的業(yè)務(wù)場景主要分為：業(yè)務(wù)跨DC部署、業(yè)務(wù)雙活、網(wǎng)絡(luò)容

6、災(zāi)、分布式云化。下面分別介紹這幾種業(yè)務(wù)場景。業(yè)務(wù)跨DC部署通常一個(gè)應(yīng)用內(nèi)部是需要多個(gè)子系統(tǒng)一起協(xié)助的，有的可能需要上百個(gè)子系統(tǒng)一起協(xié)助。部署上，主要存在以下兩種情況。一種情況是：可能由于單個(gè)數(shù)據(jù)中心的規(guī)模有限，一個(gè)數(shù)據(jù)中心不能容納所有的子系統(tǒng)，應(yīng)用的不同子系統(tǒng)分別部署在不同的DC中，整體上看這個(gè)應(yīng)用是跨多個(gè)DC部署。另一種情況是：由于不同子系統(tǒng)的功能不同，有的需要分布式部署在多個(gè)數(shù)據(jù)中心，有的需要集中式部署，整個(gè)業(yè)務(wù)系統(tǒng)是跨數(shù)據(jù)中心部署。例如下面這樣一種場景，web子系統(tǒng)部署在DC1，APP子系統(tǒng)部署在DC2，DB子系統(tǒng)部署在 DC3，WEB調(diào)用APP，APP調(diào)用DB，不同子系統(tǒng)需要跨DC互通

7、，保證應(yīng)用的正常運(yùn)行。業(yè)務(wù)跨DC部署場景如REF _fig1424011165144 r h圖1-1所示。業(yè)務(wù)跨DC部署示意圖兩地三中心一般所講的兩地三中心是指在同城雙活的主數(shù)據(jù)中心基礎(chǔ)上，增加一個(gè)異地災(zāi)備數(shù)據(jù)中心，與同城雙活實(shí)現(xiàn)數(shù)據(jù)同步。同城雙活的兩個(gè)數(shù)據(jù)中心是指：相同的兩套業(yè)務(wù)系統(tǒng)部署在同城兩個(gè)DC，在應(yīng)用處理層面上實(shí)現(xiàn)了完全冗余，通過負(fù)載均衡將流量路由到不同數(shù)據(jù)中心的應(yīng)用服務(wù)器，兩套業(yè)務(wù)系統(tǒng)同時(shí)在同城的兩個(gè)數(shù)據(jù)中心運(yùn)行，同時(shí)為用戶提供服務(wù)。服務(wù)能力是雙倍的，并且互相實(shí)時(shí)災(zāi)備接管，當(dāng)某個(gè)數(shù)據(jù)中心的業(yè)務(wù)系統(tǒng)出現(xiàn)問題時(shí)，另一個(gè)數(shù)據(jù)中心的業(yè)務(wù)系統(tǒng)仍持續(xù)提供服務(wù)，業(yè)務(wù)連續(xù)性和可靠性性得到了大大的提

8、高，對(duì)用戶來說故障無需感知。不同數(shù)據(jù)中心的子系統(tǒng)間需要跨DC互通，相同子系統(tǒng)的安全策略需要一致，對(duì)外提供相同服務(wù)，形成雙活。異地的災(zāi)備中心是同城雙活的兩個(gè)主數(shù)據(jù)中心的備份中心，用于備份主數(shù)據(jù)中心的數(shù)據(jù)、配置、業(yè)務(wù)等。當(dāng)主用雙中心出現(xiàn)自然災(zāi)害等原因發(fā)生故障時(shí)，異地災(zāi)備中心可以快速恢復(fù)數(shù)據(jù)和應(yīng)用，保證業(yè)務(wù)正常運(yùn)行，從而減輕因?yàn)?zāi)難給用戶帶來的損失，如REF _fig17413158144414 r h圖1-2所示。兩地三中心網(wǎng)絡(luò)級(jí)容災(zāi)當(dāng)前有很多應(yīng)用是通過集群軟件提供服務(wù)的，集群軟件將網(wǎng)絡(luò)上的多臺(tái)服務(wù)器關(guān)聯(lián)在一起，對(duì)外表現(xiàn)為一臺(tái)邏輯服務(wù)器，提供一致的服務(wù)。通過集群，利用多臺(tái)服務(wù)器負(fù)載分擔(dān)提升集群整體業(yè)

9、務(wù)處理能力，并且多臺(tái)服務(wù)器間互為備份，提升系統(tǒng)的可靠性。如果將集群中的服務(wù)器部署于不同數(shù)據(jù)中心，當(dāng)某個(gè)數(shù)據(jù)中心發(fā)生故障時(shí)，集群內(nèi)其他數(shù)據(jù)中心的服務(wù)器仍可提供服務(wù)，可實(shí)現(xiàn)跨數(shù)據(jù)中心的應(yīng)用系統(tǒng)容災(zāi)。多數(shù)廠商的集群軟件需要各服務(wù)器間采用二層網(wǎng)絡(luò)互連，因此，服務(wù)器集群跨數(shù)據(jù)中心部署需要網(wǎng)絡(luò)提供跨DC的大二層能力。同時(shí)，集群對(duì)外提供服務(wù)的地址是一個(gè)虛IP，該地址將通過數(shù)據(jù)中心前端網(wǎng)絡(luò)向外發(fā)布，因此，集群跨數(shù)據(jù)中心部署需要網(wǎng)絡(luò)給集群的虛IP提供跨DC的網(wǎng)關(guān)，跨DC的網(wǎng)關(guān)可以是主備或者雙活。主備網(wǎng)關(guān)是對(duì)外發(fā)布主備路由，正常情況下南北向流量根據(jù)主路由走主數(shù)據(jù)中心的主網(wǎng)關(guān)。當(dāng)主用數(shù)據(jù)中心故障，切換到備份路由，流

10、量走備數(shù)據(jù)中心的備網(wǎng)關(guān)。雙活網(wǎng)關(guān)是對(duì)外發(fā)布等價(jià)路由，正常情況下南北向流量根據(jù)等價(jià)路由分擔(dān)到兩個(gè)數(shù)據(jù)中心。當(dāng)一個(gè)數(shù)據(jù)中心故障，流量切換到其他數(shù)據(jù)中心的網(wǎng)關(guān)。對(duì)于集群的南北向流量通常需要防火墻提供安全防護(hù)，防火墻部署也可以是主備或者雙活，如REF _fig1497319184483 r h圖1-3所示。網(wǎng)絡(luò)級(jí)容災(zāi)分布式云化場景分布式云化是指業(yè)務(wù)分布式部署在多個(gè)數(shù)據(jù)中心，每個(gè)數(shù)據(jù)中心都可以實(shí)時(shí)承擔(dān)流量，同時(shí)提供服務(wù)，多個(gè)數(shù)據(jù)中心通過DCI骨干網(wǎng)互聯(lián)，形成統(tǒng)一的資源池，可以實(shí)時(shí)同步數(shù)據(jù)，任何一點(diǎn)出問題，都可以直接切換，由其他站點(diǎn)直接接管，站點(diǎn)間形成多活，并且邊緣DC就近提供服務(wù)，時(shí)延小，用戶體驗(yàn)好。中

11、心DC為主要數(shù)據(jù)源，通過骨干網(wǎng)將內(nèi)容發(fā)送給邊緣DC，邊緣DC再將內(nèi)容發(fā)送給最終客戶，在這個(gè)過程中，多個(gè)DC之間需要進(jìn)行L2/L3互通。如REF _fig27561352121712 r h圖1-4所示。分布式云化場景多數(shù)據(jù)中心互聯(lián)需求分析和技術(shù)介紹互聯(lián)需求分析從業(yè)務(wù)場景介紹我們可以看出，多個(gè)數(shù)據(jù)中心之間并不是孤立的，不同的層面有不同互通需求，多個(gè)數(shù)據(jù)中心之間互聯(lián)要解決以下幾個(gè)問題：數(shù)據(jù)同步和數(shù)據(jù)備份，需要存儲(chǔ)互聯(lián)；跨數(shù)據(jù)中心部署HA集群內(nèi)部的心跳，或者虛機(jī)遷移，需要大二層互通；業(yè)務(wù)間的互訪需要，跨數(shù)據(jù)中心三層互通；不同數(shù)據(jù)中心前端網(wǎng)絡(luò)，即數(shù)據(jù)中心的外聯(lián)出口，通過IP技術(shù)實(shí)現(xiàn)互聯(lián)。跨數(shù)據(jù)中心互聯(lián)

12、示意不同應(yīng)用的互通方案建議參見下表。技術(shù)方案WebAppDBSAN波分/裸光纖-跨DC二層互聯(lián)-跨DC三層互聯(lián)-互聯(lián)技術(shù)介紹存儲(chǔ)互聯(lián)，一般通過波分或者裸光纖：波分或者裸光纖（DWDM或者Dark Fiber）是物理鏈路直連，此互聯(lián)的方式的優(yōu)點(diǎn)是獨(dú)享式通道（僅用于數(shù)據(jù)中心之間的流量交互），可充分滿足數(shù)據(jù)中心之間流量交互的高帶寬和低延時(shí)需求，而且可以承載多種協(xié)議的數(shù)據(jù)傳輸，提供靈活的SAN/IP業(yè)務(wù)接入，不論是IP SAN還是FC SAN都可以承載，既支持二層網(wǎng)絡(luò)互聯(lián)也支持三層網(wǎng)絡(luò)互聯(lián)，滿足多業(yè)務(wù)傳輸需要，不足之處就是需要新建或租用光纖資源，增加數(shù)據(jù)中心的投入成本。應(yīng)用集群或者跨DC的虛機(jī)遷移需要

13、跨DC的大二層網(wǎng)絡(luò)，大二層技術(shù)包括：裸光纖/DWDM：成本高，主要應(yīng)用于同城站點(diǎn)之間，難于擴(kuò)展。VPLS，VPLS是一種基于MPLS和以太網(wǎng)技術(shù)的二層VPN技術(shù)。VPLS的主要目的就是通過公網(wǎng)連接多個(gè)以太網(wǎng)，使它們像一個(gè)LAN那樣工作。在已有的公網(wǎng)/專網(wǎng)資源上封裝二層VPN通道，用以承載數(shù)據(jù)中心之間的數(shù)據(jù)交互和容業(yè)務(wù)持續(xù)和恢復(fù)份，主要應(yīng)用于云計(jì)算數(shù)據(jù)中心的互聯(lián)場景，此互聯(lián)方式的優(yōu)點(diǎn)是無需新建互聯(lián)平面，只需要在當(dāng)前的網(wǎng)絡(luò)通道上疊加一層VPN通道以隔離于網(wǎng)絡(luò)中現(xiàn)有的數(shù)據(jù)流量，不足就是部署實(shí)施較為復(fù)雜，而且要有MPLS網(wǎng)絡(luò)的支持，需要租用運(yùn)營商的MPLS網(wǎng)絡(luò)或者有自建的MPLS網(wǎng)絡(luò)。VXLAN，是一

14、種先進(jìn)的“MAC in IP” 的Overlay技術(shù)，允許承載在IP網(wǎng)絡(luò)上，通過VXLAN遂道在IP核心網(wǎng)提供L2VPN服務(wù)。它可以基于現(xiàn)有的運(yùn)營商各種專線網(wǎng)絡(luò)或者因特網(wǎng)，為分散的物理站點(diǎn)提供二層互聯(lián)功能。成本低，距離遠(yuǎn)，易于擴(kuò)展，而且VXLAN支持水平分割防環(huán)機(jī)制，以及廣播風(fēng)暴抑制功能，優(yōu)點(diǎn)是不依賴于光纖資源或MPLS網(wǎng)絡(luò)資源，只要求兩端三層IP可達(dá)即可，方案靈活，擴(kuò)展性極強(qiáng)，成本較低，并且部署運(yùn)維更簡單，不足之處是網(wǎng)絡(luò)的質(zhì)量受限于IP網(wǎng)絡(luò)，而且由于采用Overlay技術(shù)帶寬利用率較低。DC間三層互聯(lián)：傳統(tǒng)IP三層互聯(lián)，是指通過IGP/ BGP路由傳遞，使不同數(shù)據(jù)中心的業(yè)務(wù)網(wǎng)段能夠三層互通。

15、MPLS L3 VPN，是構(gòu)建在MPLS網(wǎng)絡(luò)之上的虛擬L3專用網(wǎng)絡(luò)，通過MPLS L3 VPN可以使不同數(shù)據(jù)中心的業(yè)務(wù)網(wǎng)段能夠三層互通；用以承載IDC之間的數(shù)據(jù)交互和容業(yè)務(wù)持續(xù)和恢復(fù)份，此互聯(lián)方式主要應(yīng)用于傳統(tǒng)業(yè)務(wù)數(shù)據(jù)中心的互聯(lián)場景，優(yōu)點(diǎn)同VPLS，不足也與VPLS一樣。VXLAN，是構(gòu)建在IP網(wǎng)絡(luò)之上的VXLAN隧道，也可以提供L3 VPN服務(wù)。數(shù)據(jù)中心的外聯(lián)出口：數(shù)據(jù)中心出口設(shè)備接入運(yùn)營商的各種專線網(wǎng)絡(luò)或者因特網(wǎng)，通過動(dòng)態(tài)路由或靜態(tài)路由等IP技術(shù)實(shí)現(xiàn)互聯(lián)。多數(shù)據(jù)中心SDN網(wǎng)絡(luò)需求分析在云化數(shù)據(jù)中心，網(wǎng)絡(luò)資源通過虛擬化技術(shù)形成資源池，實(shí)現(xiàn)業(yè)務(wù)與物理網(wǎng)絡(luò)解耦，通過SDN技術(shù)實(shí)現(xiàn)業(yè)務(wù)網(wǎng)絡(luò)的按需自

16、助與自動(dòng)化部署，支持多租戶、彈性擴(kuò)縮、以及快速部署。在多數(shù)據(jù)中心場景下，還需要解決業(yè)務(wù)跨數(shù)據(jù)中心部署、不同業(yè)務(wù)系統(tǒng)之間的跨數(shù)據(jù)中心互通、跨數(shù)據(jù)中心互通的自動(dòng)化部署、跨數(shù)據(jù)中心的業(yè)務(wù)容災(zāi)和多活問題。多數(shù)據(jù)中心的主要訴求如下表：業(yè)務(wù)訴求需求分析方案業(yè)務(wù)跨DC部署大VPC通過跨DC L2/L3互通，整體體現(xiàn)為大VPC安全隔離路由隔離FW隔離業(yè)務(wù)之間的互通VPC互通VPC間跨DC L3互通通過SDN實(shí)現(xiàn)自動(dòng)化部署多DC的資源管理iMaster NCE-Fabric+網(wǎng)絡(luò)虛擬化編排器+業(yè)務(wù)編排業(yè)務(wù)編排業(yè)務(wù)容災(zāi)/多活應(yīng)用級(jí)容災(zāi)GSLB網(wǎng)絡(luò)級(jí)容災(zāi)（IP地址不變跨DC容災(zāi)）跨DC大二層主備/雙活出口這4個(gè)訴求

17、具體描述如下：業(yè)務(wù)跨VPC部署：客戶某些業(yè)務(wù)可能是跨DC部署的，比如客戶可能會(huì)針對(duì)某大型網(wǎng)站劃一個(gè)獨(dú)立的VPC，這個(gè)VPC可能會(huì)跨多個(gè)Fabric，所以在這個(gè)VPC內(nèi)部流量就有跨Fabric互通的需求，同時(shí)路由和防火墻需要進(jìn)行隔離。業(yè)務(wù)之間的互通：客戶針對(duì)不同的業(yè)務(wù)會(huì)劃分不同的VPC，不同VPC可能會(huì)部署在不同的Fabric中，業(yè)務(wù)之間如果有互通的需求，就要求VPC之間能跨Fabric進(jìn)行L3互通（VPC之間互通一般為L3互通，如果需要L2互通則建議將互通的VM劃分到同一個(gè)VPC中）。通過SDN實(shí)現(xiàn)自動(dòng)化部署：客戶部署了SDN網(wǎng)絡(luò)自然是希望實(shí)現(xiàn)自動(dòng)化部署，自動(dòng)化部署主要分為兩步，首先，需要將跨

18、DC的虛擬化網(wǎng)絡(luò)編排出來；其次，編排出虛擬化網(wǎng)絡(luò)后，需要在各DC中進(jìn)行實(shí)例化。針對(duì)跨DC的業(yè)務(wù)，編排器統(tǒng)一編排，單DC內(nèi)的網(wǎng)絡(luò)則由iMaster NCE-Fabric進(jìn)行編排。業(yè)務(wù)容災(zāi)/多活：業(yè)務(wù)容災(zāi)和多活主要分為兩種方式，首先針對(duì)比較新的業(yè)務(wù)系統(tǒng)，客戶自己可以通過GSLB的方式進(jìn)行容災(zāi)和多活，具體方式是兩個(gè)DC同時(shí)部署相同的業(yè)務(wù)，業(yè)務(wù)相同同時(shí)IP地址不同，這樣兩套系統(tǒng)可以進(jìn)行容災(zāi)處理，這種方式對(duì)網(wǎng)絡(luò)沒有什么特別的訴求。但是針對(duì)比較舊的一些系統(tǒng)，會(huì)要求遷移到容災(zāi)中心后，IP地址不能變化。這種情況下，就需要支持跨Fabric的二層互通，同時(shí)，需要提供網(wǎng)關(guān)供業(yè)務(wù)訪問外部網(wǎng)絡(luò)，網(wǎng)關(guān)需要支持主備和雙活

19、兩種方式。華為Multi-DC Fabric方案整體架構(gòu)和場景分類方案整體架構(gòu)華為CloudFabric解決方案的Multi-DC方案主要聚焦于跨數(shù)據(jù)中心網(wǎng)絡(luò)部分，通過虛擬化和SDN技術(shù)，解決跨數(shù)據(jù)中心互通的自動(dòng)化部署和跨數(shù)據(jù)中心的業(yè)務(wù)容災(zāi)多活的問題。華為CloudFabric Multi-DC解決方案的整體架構(gòu)如REF _fig3191256371 r h圖1-6所示。Multi-DC整體架構(gòu)圖華為Multi-DC Fabric方案的整體架構(gòu)主要分為：業(yè)務(wù)控制層、基礎(chǔ)設(shè)施層和轉(zhuǎn)發(fā)實(shí)現(xiàn)層。業(yè)務(wù)控制層，主要是SDN控制器，負(fù)責(zé)控制某個(gè)數(shù)據(jù)中心的網(wǎng)絡(luò)，以及打通跨數(shù)據(jù)中心的網(wǎng)絡(luò)，SDN控制器還對(duì)接業(yè)

20、務(wù)編排器和VMM（Virtual Machine Manager虛擬機(jī)管理器），完成計(jì)算與網(wǎng)絡(luò)聯(lián)動(dòng)以及跨數(shù)據(jù)中心的互通。業(yè)務(wù)編排器負(fù)責(zé)跨數(shù)據(jù)中心的業(yè)務(wù)編排，VMM負(fù)責(zé)虛擬機(jī)的生命周期管理?；A(chǔ)設(shè)施層，主要是物理網(wǎng)絡(luò)和邏輯網(wǎng)絡(luò)，數(shù)據(jù)中心內(nèi)的物理網(wǎng)絡(luò)是Spine-Leaf架構(gòu)的組網(wǎng)，多個(gè)數(shù)據(jù)中心通過DCI骨干網(wǎng)連接；邏輯網(wǎng)絡(luò)是通過網(wǎng)絡(luò)虛擬化和VXLAN技術(shù)、基于業(yè)務(wù)按需構(gòu)建的連接虛擬機(jī)的虛擬網(wǎng)絡(luò)。轉(zhuǎn)發(fā)實(shí)現(xiàn)層，主要是通過VXLAN網(wǎng)絡(luò)連接數(shù)據(jù)中心內(nèi)的虛擬機(jī)，以及連接數(shù)據(jù)中心間的虛擬機(jī)，BGP-EVPN作為VXLAN的控制面。對(duì)于使用者來說，主要看到業(yè)務(wù)控制層，根據(jù)業(yè)務(wù)的需要，將業(yè)務(wù)網(wǎng)絡(luò)劃分成多個(gè)VP

21、C，通過編排器編排VPC，通過控制器在不同數(shù)據(jù)中心發(fā)放VPC的邏輯網(wǎng)絡(luò)。這個(gè)過程里，編排器主要是針對(duì)跨Fabric的網(wǎng)絡(luò)進(jìn)行編排。編排完成后，會(huì)根據(jù)編排的結(jié)果，將任務(wù)下發(fā)給對(duì)應(yīng)的控制器，由控制器將配置下發(fā)到物理設(shè)備上。Multi-DC Fabric編排示意圖場景分類CloudFabric多DC場景主要分為Multi-Site場景和Multi-PoD場景。POD強(qiáng)調(diào)的是一組相對(duì)獨(dú)立的物理資源；Multi-PoD是指一套iMaster NCE-Fabric管理的多個(gè)PoD，是一個(gè)端到端VXLAN隧道構(gòu)成的VXLAN域，POD之間距離不會(huì)太遠(yuǎn)，通常是同城近距。一個(gè)Site是指一個(gè)iMaster NC

22、E-Fabric管理的資源池，是一個(gè)或多個(gè)PoD，是一個(gè)端到端VXLAN隧道構(gòu)成的VXLAN域；Multi-Site是指多個(gè)iMaster NCE-Fabric管理域之間的互通，即多個(gè)Multi-PoD之間的互通，是多個(gè)VXLAN域，對(duì)距離不敏感，可異地部署。Multi-Site場景Multi-Site子方案適用于異地多DC方案，即兩個(gè)或者多個(gè)位于不同地域，或者物理距離太遠(yuǎn)而無法被同一套iMaster NCE-Fabric納管的多個(gè)DC之間互聯(lián)互通方案。Multi-Site場景對(duì)應(yīng)比較大的網(wǎng)絡(luò)，需要一個(gè)編排器拉通多個(gè)iMaster NCE-Fabric，將多個(gè)iMaster NCE-Fabri

23、c管理的網(wǎng)絡(luò)統(tǒng)一納管。所有業(yè)務(wù)由編排器進(jìn)行統(tǒng)一編排，再下發(fā)到各控制器上由控制器將具體配置下發(fā)給對(duì)應(yīng)的物理網(wǎng)絡(luò)。Multi-Site場景方案如REF _fig6875735173811 r h圖1-8所示。Multi-Site場景示意圖Multi-PoD場景Multi-POD方案適用于地域上距離較近，可以被同一套iMaster NCE-Fabric納管的DC或者資源Module。在網(wǎng)絡(luò)規(guī)模不大的情況下，只需要一套iMaster NCE-Fabric進(jìn)行多個(gè)DC的管理，不需要多DC協(xié)同編排器這個(gè)角色。這種場景我們叫做Multi-Pod場景，這種場景下，DC內(nèi)和DC間的網(wǎng)絡(luò)配置均在iMaster N

24、CE-Fabric上進(jìn)行配置。這種場景下，我們可以提供多DC之間的容災(zāi)和主備出口等能力。Multi-PoD場景方案如REF _fig52707118402 r h圖1-9所示。Multi-PoD場景示意圖場景對(duì)比Multi-Site方案和Multi-PoD分別適用于不同的場景，Multi-Site方案是多個(gè)iMaster NCE-Fabric管理域，Multi-Pod方案是單個(gè)iMaster NCE-Fabric管理域，兩種場景具體對(duì)比參見下表。對(duì)比項(xiàng)Multi-SiteMulti-PoD管理域多個(gè)管理域（iMaster NCE-Fabric）單一管理域（iMaster NCE-Fabric）

25、業(yè)務(wù)編排編排器統(tǒng)一編排iMaster NCE-Fabric界面編排，或單個(gè)OpenStack編排網(wǎng)絡(luò)規(guī)模物理網(wǎng)絡(luò)規(guī)模大（Leaf多，F(xiàn)abric多，DC多）物理網(wǎng)絡(luò)規(guī)模小（Leaf總數(shù)約束在一個(gè)iMaster NCE-Fabric的規(guī)格范圍內(nèi)）服務(wù)器規(guī)模服務(wù)器數(shù)量多服務(wù)器數(shù)量少，受限于物理網(wǎng)路規(guī)模故障域DC間故障域解耦DC間故障域強(qiáng)耦合距離遠(yuǎn)距離，延時(shí)不敏感近距離，受單iMaster NCE-Fabric拉遠(yuǎn)管理時(shí)延限制大二層大二層在一個(gè)VXLAN域內(nèi)，整體看大二層不跨DC大二層在一個(gè)VXLAN域內(nèi)，大二層跨DC遷移L2不跨Site，不需要虛機(jī)跨Site遷移虛機(jī)跨POD遷移，云主機(jī)高可用容災(zāi)應(yīng)

26、用級(jí)多活I(lǐng)P地址不變，跨DC網(wǎng)絡(luò)容災(zāi)轉(zhuǎn)發(fā)面每個(gè)DC是獨(dú)立的VXLAN域，DC間是分段的VXLAN一個(gè)VXLAN域，DC間是E2E VXLAN，適用場景要求DC間解耦遠(yuǎn)距離大規(guī)模要求網(wǎng)絡(luò)提供容災(zāi)近距離小規(guī)模層次化Multi-DC Fabric層次化Multi-DC顧名思義，就是將Multi-Site和Mult-PoD場景組合在一起，即Multi-Site場景下，單個(gè)iMaster NCE-Fabric集群內(nèi)使用Multi-PoD方案管理多個(gè)PoD。層次化Multi-DC組網(wǎng)如REF _fig656131311419 r h圖1-10所示。層次化Multi-DC示意圖 DOCPROPERTY Pr

27、oduct&Project NameCloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 DOCPROPERTY DocumentName 設(shè)計(jì)指南（Multi-Site） STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 多數(shù)據(jù)中心業(yè)務(wù)訴求和場景文檔版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版權(quán)所有 華為技術(shù)有限公司PAGE 33Multi-Sit

28、e場景和設(shè)計(jì)本章節(jié)將著重介紹Multi-Site場景的詳細(xì)設(shè)計(jì)。 HYPERLINK l _ZH-CN_TOPIC_0192838279 o 2.1 Multi-Site方案應(yīng)用場景 HYPERLINK l _ZH-CN_TOPIC_0192838238 o 2.2 Multi-Site方案設(shè)計(jì) HYPERLINK l _ZH-CN_TOPIC_0192838241 o 2.3 Multi-Site部署方案推薦Multi-Site方案應(yīng)用場景在虛擬化場景下，通常一個(gè)業(yè)務(wù)系統(tǒng)給分配一個(gè)VPC（Virtual Private Cloud，虛擬私有云），通過VPC將不同的用戶或業(yè)務(wù)系統(tǒng)進(jìn)行隔離，使得

29、不同的用戶或業(yè)務(wù)系統(tǒng)之間不相互影響。隨著業(yè)務(wù)的發(fā)展，業(yè)務(wù)系統(tǒng)需要的計(jì)算資源也在不斷的增長，當(dāng)超過一個(gè)DC的容量時(shí)，就需要多個(gè)DC來部署這個(gè)業(yè)務(wù)系統(tǒng)，這時(shí)，該業(yè)務(wù)系統(tǒng)對(duì)應(yīng)的VPC就需要跨DC部署。例如：有的用戶在劃分VPC的時(shí)候是基于業(yè)務(wù)安全等級(jí)的，比如劃分成內(nèi)網(wǎng)和DMZ兩個(gè)安全等級(jí)，將DMZ區(qū)的業(yè)務(wù)放在一個(gè)VPC 1，內(nèi)網(wǎng)業(yè)務(wù)放在一個(gè)VPC 2，在多個(gè)數(shù)據(jù)中心多活容災(zāi)的場景下，這些VPC都會(huì)分布到多個(gè)數(shù)據(jù)中心里，這樣就形成了跨DC的大VPC，這就是大VPC的場景。此外，同一租戶的不同業(yè)務(wù)系統(tǒng)之間一般都存在互通的需求，例如：上面提到的內(nèi)網(wǎng)和DMZ兩個(gè)VPC，流量進(jìn)入數(shù)據(jù)中心先到DMZ再到內(nèi)網(wǎng)，D

30、MZ和內(nèi)網(wǎng)兩個(gè)VPC之間需要互通，由于這兩個(gè)VPC都是跨DC部署的。因此，跨DC的VPC之間還需要網(wǎng)絡(luò)打通，這就是VPC互通場景。大VPC在多數(shù)據(jù)中心場景下，業(yè)務(wù)VPC需要跨DC部署，如REF _fir h圖2-1所示。業(yè)務(wù)VPC跨DC部署示意圖在數(shù)據(jù)中心的規(guī)模較大的情況下，由于每套iMaster NCE-Fabric的管理范圍是有限的，所以多個(gè)數(shù)據(jù)中心需要部署多套iMaster NCE-Fabric，甚至一個(gè)數(shù)據(jù)中心就有多套iMaster NCE-Fabric。在這種情況下，這個(gè)大VPC就不是某一套iMaster NCE-Fabric可以下發(fā)的了，這時(shí)就需要一個(gè)編排

31、器來協(xié)同多個(gè)數(shù)據(jù)中心的iMaster NCE-Fabric，編排跨數(shù)據(jù)中心的VPC，如REF _fig451824441812 r h圖2-2所示，Multi-Site方案的主要應(yīng)用之一就是大VPC跨DC部署。大VPC跨DC部署邏輯示意圖通過一個(gè)編排器統(tǒng)一對(duì)兩個(gè)DC內(nèi)部和DC間的網(wǎng)絡(luò)進(jìn)行編排，編排完成后，將指令下發(fā)給對(duì)應(yīng)的iMaster NCE-Fabric進(jìn)行VPC實(shí)例和DC間互通實(shí)例的發(fā)放，作為一個(gè)整體，對(duì)外體現(xiàn)為一個(gè)大VPC。網(wǎng)絡(luò)方案上，每個(gè)DC內(nèi)部都部署獨(dú)立的VXLAN域，分別由一套的iMaster NCE-Fabric單獨(dú)管理，DC之間通過三段式VXLAN進(jìn)行互通，也可以通過Unde

32、rlay方式互通。部署兩套獨(dú)立的iMaster NCE-Fabric以及轉(zhuǎn)發(fā)面的VXLAN域，可以使兩個(gè)DC故障域隔離，同時(shí)也方便客戶分批建設(shè)或模塊化部署數(shù)據(jù)中心。VPC互通不同的業(yè)務(wù)之間存在著互通的需求，跨DC的場景下也要解決互通的問題。VPC互通業(yè)務(wù)如REF _fig112113465193 r h圖2-3所示。不同業(yè)務(wù)跨DC互通示意圖業(yè)務(wù)按VPC部署，業(yè)務(wù)間的互通就體現(xiàn)為VPC互通。Multi-Site場景下，多個(gè)控制器之間需要協(xié)同，可以通過編排器編排VPC互通，協(xié)同多套控制器配置各自的網(wǎng)絡(luò)設(shè)備，打通VPC之間的邏輯網(wǎng)絡(luò)。VPC互通方案如REF _fig16440122313202 r

33、h圖2-4所示。VPC之間跨DC互通邏輯示意圖Multi-Site方案設(shè)計(jì)Multi-Site場景業(yè)務(wù)部署過程Multi-Site場景業(yè)務(wù)部署過程如REF _fig41434512195 r h圖2-5所示。Multi-Site場景概念模型與部署過程業(yè)務(wù)層和資源層：業(yè)務(wù)層即客戶業(yè)務(wù)視角看到的東西，實(shí)際上從方案上來說，就是編排器上進(jìn)行的業(yè)務(wù)編排，編排后將對(duì)應(yīng)的配置通知到對(duì)應(yīng)的iMaster NCE-Fabric進(jìn)行業(yè)務(wù)下發(fā)。資源層即我們的物理網(wǎng)絡(luò)，是一個(gè)個(gè)POD，一臺(tái)臺(tái)交換機(jī)。但是為了將這些物理設(shè)備能和業(yè)務(wù)編排對(duì)應(yīng)起來，我們需要給他們加一些標(biāo)識(shí)，這就是我們下面要說的物理網(wǎng)絡(luò)資源、邏輯網(wǎng)絡(luò)資源和業(yè)

34、務(wù)資源。物理視圖的資源：物理網(wǎng)絡(luò)資源很好理解，就是交換機(jī)、防火墻等等物理設(shè)備的集合，組成的物理網(wǎng)絡(luò)。邏輯網(wǎng)絡(luò)資源：在iMaster NCE-Fabric上，我們?yōu)榱藢⑽锢砭W(wǎng)絡(luò)虛擬化，將物理網(wǎng)絡(luò)虛擬成了Domain、Fabric。具體來說，一套iMaster NCE-Fabric管理的物理網(wǎng)絡(luò)的集合我們稱之為一個(gè)Domain，而一個(gè)Domain里有多個(gè)Fabric。而iMaster NCE-Fabric的一個(gè)主要任務(wù)，就是將Domain和Fabric以及Fabric里的各種組件對(duì)應(yīng)到一臺(tái)臺(tái)具體的物理設(shè)備，最終將配置下發(fā)。業(yè)務(wù)資源：在Muiti-Site場景下，有個(gè)編排器的角色，這個(gè)角色的主要作用

35、是將客戶的業(yè)務(wù)邏輯化。而為了讓客戶的業(yè)務(wù)發(fā)放的時(shí)候范圍可控，同時(shí)也為了編排器的邏輯和iMaster NCE-Fabric的邏輯對(duì)應(yīng)起來，編排器也定義了一些概念。首先是Region，Region可以簡單理解為控制客戶業(yè)務(wù)VPC的發(fā)放范圍，一個(gè)業(yè)務(wù)VPC范圍控制在一個(gè)Region內(nèi)部。其次是AZ，AZ可以簡單理解為控制客戶業(yè)務(wù)VPC中subnet（即logicswitch）的發(fā)放范圍，一個(gè)subnet控制在一個(gè)AZ內(nèi)。有了Region和AZ后，舉個(gè)例子，發(fā)放業(yè)務(wù)VPC時(shí)，就可以設(shè)定這個(gè)業(yè)務(wù)VPC發(fā)放到Region1中，其中包含2個(gè)subnet分別對(duì)應(yīng)AZ1和AZ2。這時(shí)，我們再將Region、AZ

36、和iMaster NCE-Fabric對(duì)應(yīng)的Domain、Fabric以及Fabric里包含的LogicRouter以及LogicSwitch對(duì)應(yīng)起來。編排器就可以將客戶的業(yè)務(wù)轉(zhuǎn)化為對(duì)iMaster NCE-Fabric的命令發(fā)放給iMaster NCE-Fabric，再通過iMaster NCE-Fabric下發(fā)配置給物理網(wǎng)絡(luò)。VMM對(duì)接設(shè)計(jì)數(shù)據(jù)中心的邏輯網(wǎng)絡(luò)是為虛擬機(jī)服務(wù)的，通過SDN控制器實(shí)現(xiàn)計(jì)算和網(wǎng)絡(luò)聯(lián)動(dòng)，在華為CloudFabric解決方案里，iMaster NCE-Fabric可以和多種VMM對(duì)接。在Multi-Site方案里，一個(gè)Site是一個(gè)Fabric，由一套iMaster

37、NCE-Fabric管理，一套iMaster NCE-Fabric可以對(duì)接多個(gè)VMM，每個(gè)VMM只管理本Site的虛擬機(jī)，并且只與本Site的iMaster NCE-Fabric對(duì)接。VMM對(duì)接方案如REF _fig354324132219 r h圖2-6所示。iMaster NCE-Fabric對(duì)接VMM示意圖部署方案設(shè)計(jì)上面說了Multi-Site場景的概念模型和業(yè)務(wù)模型，本章說明一下DC間的L2/L3互通是如何實(shí)現(xiàn)的。DCI部署方案設(shè)計(jì)如REF _fig1258662942417 r h圖2-7所示，DC1和DC2獨(dú)立部署，每個(gè)DC部署獨(dú)立網(wǎng)絡(luò)資源池。如果兩個(gè)DC有三層互通需求時(shí)，可以通

38、過部署DCI三層互聯(lián)實(shí)現(xiàn)互通。Fabric間L2/L3互通示意圖在每個(gè)DC內(nèi)部標(biāo)準(zhǔn)Spine-Leaf組網(wǎng)，需要設(shè)置Fabric Gateway設(shè)備，用于DCI互聯(lián)。DCI物理網(wǎng)絡(luò)互聯(lián)有三種方案：Optioin1：同城匯聚，通過DCI核心交換機(jī)互聯(lián)，適用于同城站點(diǎn)較多的場景Optioin2：裸光纖/DWDM直連，兩DC Fabric-GW直連，適用于站點(diǎn)較少的場景Optioin3：異地，通過WAN網(wǎng)互聯(lián)，適用于異地站點(diǎn)較多的場景DCI邏輯網(wǎng)絡(luò)互聯(lián)有三種方式實(shí)現(xiàn)：第一種是通過Segment（三段式）VXLAN實(shí)現(xiàn)，即通過在Fabric-GW上配置BGP EVPN協(xié)議創(chuàng)建VXLAN隧道，將從一側(cè)數(shù)

39、據(jù)中心收到的VXLAN報(bào)文先解封裝、然后再重新封裝后發(fā)送到另一側(cè)數(shù)據(jù)中心，實(shí)現(xiàn)對(duì)跨數(shù)據(jù)中心的報(bào)文端到端的VXLAN報(bào)文承載。所以，DCI互聯(lián)物理網(wǎng)絡(luò)僅需打通Fabric-GW之間的Underlay路由。三段式VXLAN方式可以支持跨數(shù)據(jù)中心L2互通和L3互通，L2互通時(shí)，不同的二層通過不同的VNI進(jìn)行區(qū)分，L3互通時(shí)，不同VPC通過VNI進(jìn)行隔離，保證跨數(shù)據(jù)中心VM之間的通信和隔離。第二種是通過Underlay方式三層互通，即：Fabric-GW之間VRF背靠背部署IGP/BGP，F(xiàn)abric-GW作為Fabric內(nèi)VXLAN端點(diǎn)，F(xiàn)abric之間Underlay方式三層互通，通過IGP或者B

40、GP打通業(yè)務(wù)網(wǎng)段的路由，在Fabric Gateway上直接解封裝VXLAN報(bào)文，走Underlay根據(jù)IGP/BGP路由轉(zhuǎn)發(fā)。所以，DCI互聯(lián)物理網(wǎng)絡(luò)需傳遞業(yè)務(wù)的私網(wǎng)路由。這種方案要求IP地址嚴(yán)格規(guī)劃好，所有DC內(nèi)的IP對(duì)應(yīng)的路由都可以在互聯(lián)網(wǎng)絡(luò)中打通。這種方案適用于構(gòu)建企業(yè)內(nèi)部多DC之間互通，要求整體規(guī)劃比較嚴(yán)格。第三種是VLAN hand-off方式實(shí)現(xiàn)數(shù)據(jù)中心互聯(lián)，這種方案需要各數(shù)據(jù)中心再增加支持VXLAN的設(shè)備作為DCI-GW，如REF _fig1798624652515 r h圖2-8所示，各數(shù)據(jù)中心DCI-GW之間部署B(yǎng)GP EVPN建立VXLAN隧道，F(xiàn)abric內(nèi)部署B(yǎng)GP

41、EVPN，F(xiàn)abric-GW作為Fabric內(nèi)VXLAN端點(diǎn)，F(xiàn)abric-GW與DCI-GW之間普通VLAN對(duì)接，F(xiàn)abric-GW與DCI-GW上分別配置VLAN接入VXLAN功能?？鐢?shù)據(jù)中心的報(bào)文在Fabric-GW解VXLAN封裝，變成普通以太報(bào)文，DCI-GW收到后再進(jìn)行新的VXLAN封裝進(jìn)入DCI的VXLAN隧道發(fā)送到對(duì)端數(shù)據(jù)中心。所以，DCI互聯(lián)物理網(wǎng)絡(luò)僅需打通Fabric-GW之間的Underlay路由。VLAN hand-off方式可以支持跨數(shù)據(jù)中心L2互通和L3互通。L2互通時(shí)，打通不同數(shù)據(jù)中心之間的二層廣播域，不同的二層通過不同的VLAN再映射不同的DCI VNI進(jìn)行區(qū)分

42、。L3互通時(shí)，各數(shù)據(jù)中心Fabric-GW上、需要三層互通的VPC的LogicalRouter之間通過DCI的VXLAN隧道打通直連二層，并建立eBGP IPv4私網(wǎng)鄰居，用于跨DC傳遞VPC私網(wǎng)路由，不同的直連二層通過不同的VLAN再映射不同的DCI VNI進(jìn)行隔離，保證跨數(shù)據(jù)中心VM之間的通信和隔離。VLAN hand-off方式示意圖三種邏輯網(wǎng)絡(luò)互聯(lián)部署方案的對(duì)比對(duì)比項(xiàng)Segment VXLANL3 UnderlayVLAN Handoff管理域多套獨(dú)立iMaster NCE-Fabric，解耦，故障或升級(jí)范圍都可控多套獨(dú)立iMaster NCE-Fabric，解耦，故障或升級(jí)范圍都可控

43、多套獨(dú)立iMaster NCE-Fabric，解耦，故障或升級(jí)范圍都可控DC物理網(wǎng)絡(luò)規(guī)模規(guī)模大（PoD多，DC多）規(guī)模大（PoD多，DC多）規(guī)模大（PoD多，DC多）服務(wù)器數(shù)量多需要多套VMM多套VMM多套VMM二層互通支持不支持支持（ DC間二層互通依賴廣播，規(guī)模受限）三層互通支持支持支持DC間耦合度DC間解耦，如果開啟二層互通則耦合度增加DC間解耦DC間解耦，如果開啟二層互通則耦合度增加DC建設(shè)全新建和傳統(tǒng)PoD共存，多DC間的互通要兼容現(xiàn)有網(wǎng)絡(luò)和傳統(tǒng)PoD共存，多DC間的互通兼容現(xiàn)有網(wǎng)絡(luò)設(shè)備要求Fabric-GW需支持三段VXLANFabric-GW僅需支持普通VXLAN需增加DCI-G

44、W設(shè)備DCIDCI網(wǎng)絡(luò)僅傳遞Fabric-GW的Underlay路由DCI網(wǎng)絡(luò)感知業(yè)務(wù)，傳遞業(yè)務(wù)路由，增加減少業(yè)務(wù)三層互通需DCI網(wǎng)絡(luò)變更配置DCI網(wǎng)絡(luò)僅傳遞DCI-GW的Underlay路由但Fabric-GW與DCI-GW之間需感知業(yè)務(wù)，二層廣播，互通規(guī)格受4k VLAN限制多租戶大VPC數(shù)量多大VPC數(shù)量少大VPC數(shù)量少M(fèi)ulti-Site方案里，不推薦大規(guī)模部署跨Site的L2互通，理由主要有三點(diǎn)：跨Site的L2互通會(huì)存在跨Site的廣播；跨Site的L2互通會(huì)導(dǎo)致跨Site學(xué)習(xí)或同步MAC和主機(jī)路由，會(huì)降低整網(wǎng)規(guī)模；跨Site的L2互通相當(dāng)于一個(gè)子網(wǎng)跨Site部署，這個(gè)子網(wǎng)的網(wǎng)關(guān)如

45、何跨Site配置？以及這個(gè)子網(wǎng)的路由如何對(duì)外發(fā)布？這兩個(gè)問題不好解決。所以，跨Site的L2互通建議僅在業(yè)務(wù)搬遷的時(shí)候臨時(shí)開啟，在搬遷完畢后關(guān)閉L2互通，不建議把L2互通作為一種常態(tài)部署。針對(duì)DCI物理網(wǎng)絡(luò)互聯(lián)Option3是通過MPLS骨干網(wǎng)互聯(lián)的說明DC間物理網(wǎng)絡(luò)互聯(lián)的Option3是通過廣域網(wǎng)互聯(lián)，對(duì)于骨干網(wǎng)是MPLS VPN的場景，有如下3種情況。Optioin1：對(duì)應(yīng)Segment VXLAN互通方案，各數(shù)據(jù)中心Fabric-GW之間需要通過BGP-EVPN建立VXLAN隧道，在骨干網(wǎng)傳輸時(shí)，實(shí)際上是VXLAN over MPLS，這時(shí)，F(xiàn)abric-GW作為CE，骨干網(wǎng)邊緣設(shè)備作為

46、PE，MPLS VPN僅需打通Fabric-GW之間的Underlay路由。Optioin2：對(duì)應(yīng)Underlay方式三層互通方案，從Fabric-GW發(fā)到DCI的報(bào)文是業(yè)務(wù)原始IP報(bào)文，沒有經(jīng)過封裝，在骨干網(wǎng)傳輸時(shí)，實(shí)際上是IP over MPLS。這時(shí)，F(xiàn)abric-GW作為MCE，骨干網(wǎng)邊緣設(shè)備作為PE，通過MPLS L3VPN打通業(yè)務(wù)的私網(wǎng)路由，如REF _fig1097445216284 r h圖2-9所示。Underlay方式三層互通方案Optioin3：對(duì)應(yīng)VLAN hand-off方式的互通方案，各數(shù)據(jù)中心DCI-GW之間需要通過BGP-EVPN建立VXLAN隧道，在骨干網(wǎng)傳輸

47、時(shí)，實(shí)際上是VXLAN over MPLS，這時(shí)，DCI-GW作為CE，骨干網(wǎng)邊緣設(shè)備作為PE，MPLS VPN僅需打通DCI-GW之間的Underlay路由，如REF _fig76533289293 r h圖2-10所示。VLAN hand-off方式互通方案轉(zhuǎn)發(fā)面方案設(shè)計(jì)在上一節(jié)介紹了邏輯網(wǎng)絡(luò)互聯(lián)有三種方式實(shí)現(xiàn)，其中Option2是通過Underlay方式三層互通，Option3是VLAN hand-off方式互通，這兩種方案的轉(zhuǎn)發(fā)面本質(zhì)上都是解掉VXLAN封裝，變成普通以太報(bào)文轉(zhuǎn)發(fā)，DC間互聯(lián)都是靠VLAN拼接，F(xiàn)abric-GW和DCI-GW都僅僅是做VXLAN封裝和解封裝，這里不再贅

48、述。而Option1是通過Segment（三段式）VXLAN方式轉(zhuǎn)發(fā)，本節(jié)詳細(xì)介紹一下。通過Segment VXLAN實(shí)現(xiàn)DC間L3互通Segment VXLAN實(shí)現(xiàn)L3互通方案如REF _fig996012319394 r h圖2-11所示。Segment VXLAN實(shí)現(xiàn)L3互通示意圖控制平面：Leaf4將學(xué)習(xí)到數(shù)據(jù)中心B中的VMb2的主機(jī)IP地址，并將其保存在L3VPN實(shí)例路由表中，然后向Leaf3發(fā)送BGP EVPN路由。如下圖所示，Leaf3收到Leaf4發(fā)送的BGP EVPN路由后，獲取該路由中的主機(jī)IP路由，按照VXLAN隧道建立的流程建立到Leaf4的VXLAN隧道，將路由下一跳

49、修改為Leaf3的VTEP地址，然后重新封裝，封裝上L3VPN實(shí)例的三層VNI，源MAC地址為Leaf3的MAC地址，并將重新封裝后的BGP EVPN路由信息發(fā)送給Leaf2?？刂破矫媸疽鈭DLeaf2收到Leaf3發(fā)送的BGP EVPN路由后，獲取該路由中的主機(jī)IP路由，建立到Leaf3之間的VXLAN隧道，將路由下一跳修改為Leaf2的VTEP地址，然后重新封裝，封裝上L3VPN實(shí)例的三層VNI，源MAC地址為Leaf2的MAC地址，并將重新封裝后的BGP EVPN路由信息發(fā)送給Leaf1。Leaf1收到Leaf2發(fā)送的BGP EVPN路由后，建立到Leaf2的VXLAN隧道。數(shù)據(jù)平面Lea

50、f1收到VMa1訪問VMb2的二層報(bào)文，檢測到目的MAC都是網(wǎng)關(guān)接口MAC，終結(jié)二層報(bào)文，通過VMa1接入BD的BDIF接口找到對(duì)應(yīng)的L3VPN實(shí)例，并在L3VPN實(shí)例的路由表中查找VMb2主機(jī)路由，進(jìn)入Leaf1到Leaf2的VXLAN隧道，封裝成VXLAN報(bào)文通過VXLAN隧道發(fā)送到Leaf2。如下圖所示，Leaf2收到VXLAN報(bào)文后，解析VXLAN報(bào)文，通過三層VNI找到對(duì)應(yīng)的L3VPN實(shí)例，并在L3VPN實(shí)例的路由表中查找VMb2主機(jī)路由，進(jìn)入Leaf2到Leaf3的VXLAN隧道，重新封裝VXLAN報(bào)文（三層VNI是Leaf3發(fā)送的VMb2主機(jī)路由中攜帶的三層VNI、外層目的MAC

51、是Leaf2發(fā)送的VMb2主機(jī)路由中攜帶的MAC）發(fā)送給Leaf3。數(shù)據(jù)平面示意圖如上圖所示，Leaf3收到VXLAN報(bào)文后，解析VXLAN報(bào)文，通過三層VNI找到對(duì)應(yīng)的L3VPN實(shí)例，并在L3VPN實(shí)例的路由表中查找VMb2主機(jī)路由，進(jìn)入Leaf3到Leaf4的VXLAN隧道，重新封裝VXLAN報(bào)文（三層VNI是Leaf4發(fā)送的VMb2主機(jī)路由中攜帶的三層VNI、外層目的MAC是Leaf4發(fā)送的VMb2主機(jī)路由中攜帶的MAC）發(fā)送給Leaf4。Leaf4收到VXLAN報(bào)文后，解析VXLAN報(bào)文，通過三層VNI找到對(duì)應(yīng)的L3VPN實(shí)例，并在L3VPN實(shí)例的路由表中查找VMb2主機(jī)路由，根據(jù)路由

52、信息轉(zhuǎn)發(fā)給VMb2。通過Segment VXLAN實(shí)現(xiàn)DC間L2互通如REF _fig1024010441546 r h圖2-14所示，在數(shù)據(jù)中心A和數(shù)據(jù)中心B內(nèi)部分別創(chuàng)建VXLAN隧道，在數(shù)據(jù)中心的邊緣設(shè)備（Transit Leaf）之間也創(chuàng)建VXLAN隧道。當(dāng)VM1和VM2之間需要通信時(shí)，需要實(shí)現(xiàn)數(shù)據(jù)中心A和數(shù)據(jù)中心B之間的二層互通。Segment VXLAN實(shí)現(xiàn)DC間L2互通示意圖如果數(shù)據(jù)中心A和數(shù)據(jù)中心B內(nèi)部的VXLAN隧道都采用相同的VNI，則Transit Leaf1和Transit Leaf2之間只需采用同一VNI建立VXLAN隧道即可。但是，在實(shí)際應(yīng)用中，不同的數(shù)據(jù)中心都有各自

53、獨(dú)立的VNI空間，因此數(shù)據(jù)中心A和數(shù)據(jù)中心B內(nèi)部的VXLAN隧道很可能采用了不同的VNI。此時(shí)，在Transit Leaf1和Transit Leaf2上建立到達(dá)對(duì)端的VXLAN隧道時(shí)，需要進(jìn)行一次VNI的轉(zhuǎn)換，具體描述如下。控制平面控制平面原理示意圖Server Leaf1在學(xué)習(xí)到VM1的MAC地址后，生成BGP EVPN路由發(fā)送給Transit Leaf1。其中，BGP EVPN路由包含以下信息：Type2路由：EVPN實(shí)例RD值、VM1的MAC地址、Server Leaf1本地VNI。下一跳：Server Leaf1的VTEP IP地址。擴(kuò)展團(tuán)體屬性：封裝隧道類型（VXLAN）。ERT：

54、EVPN實(shí)例出方向RT值。Transit Leaf1收到BGP EVPN路由后，先交叉到本地EVPN實(shí)例中，并在EVPN實(shí)例綁定的BD中生成VM1的MAC表項(xiàng)，其出接口需根據(jù)下一跳和封裝隧道類型進(jìn)行隧道迭代，最終，出接口的迭代結(jié)果是指向Server Leaf1的VXLAN隧道。其中，VXLAN隧道封裝信息中的VNI為自己本地VNI。Transit Leaf1進(jìn)行BGP EVPN路由重生成。其中，在修改VNI信息時(shí)，需要根據(jù)BD ID和本地VNI查詢映射表，找到對(duì)應(yīng)的映射VNI，然后將重生成路由中的VNI修改為映射VNI。因此，重生成的BGP EVPN路由包含以下信息：Type2路由：EVPN實(shí)

55、例RD值、VM1的MAC地址、本地VNI對(duì)應(yīng)的映射VNI。下一跳：Transit Leaf1的VTEP IP地址。擴(kuò)展團(tuán)體屬性：封裝隧道類型（VXLAN）。ERT：EVPN實(shí)例出方向RT值。Transit Leaf2收到BGP EVPN路由后，先交叉到本地EVPN實(shí)例中，并在EVPN實(shí)例綁定的BD中生成VM1的MAC表項(xiàng)，其出接口需根據(jù)下一跳和封裝隧道類型進(jìn)行隧道迭代，最終，出接口的迭代結(jié)果是指向Transit Leaf1的VXLAN隧道。其中，該VXLAN隧道封裝信息中的VNI為映射VNI。Transit Leaf2進(jìn)行BGP EVPN路由重生成。其中，在修改VNI信息時(shí)，需要根據(jù)BD ID

56、和映射VNI查詢映射表，找到對(duì)應(yīng)的本地VNI，然后將重生成路由中的修改為本地VNI。因此，重生成的BGP EVPN路由包含以下信息：Type2路由：EVPN實(shí)例RD值、VM1的MAC地址、映射VNI對(duì)應(yīng)的本地VNI。下一跳：Transit Leaf2的VTEP IP地址。擴(kuò)展團(tuán)體屬性：封裝隧道類型（VXLAN）。ERT：EVPN實(shí)例出方向RT值。Server Leaf2收到BGP EVPN路由后，先交叉到本地EVPN實(shí)例中，并在EVPN實(shí)例綁定的BD中生成VM1的MAC表項(xiàng)，其出接口需根據(jù)下一跳和封裝隧道類型進(jìn)行隧道迭代，最終，出接口的迭代結(jié)果是指向Transit Leaf2的VXLAN隧道。

57、其中，VXLAN隧道封裝信息中的VNI為自己本地VNI。轉(zhuǎn)發(fā)平面轉(zhuǎn)發(fā)平面原理示意圖Server Leaf2通過BD二層子接口收到VM2發(fā)來的二層報(bào)文，根據(jù)目的MAC查找BD中的MAC表，找到VXLAN隧道出接口，獲取VXLAN隧道的封裝信息（本地VNI、目的VTEP IP地址、源VTEP IP地址），并對(duì)報(bào)文進(jìn)行VXLAN封裝，然后發(fā)送給Transit Leaf2。Transit Leaf2對(duì)收到的VXLAN報(bào)文進(jìn)行解封裝，根據(jù)報(bào)文中的VNI找到對(duì)應(yīng)的BD，根據(jù)目的MAC查找BD中的MAC表，找到VXLAN隧道出接口，獲取VXLAN隧道的封裝信息：（映射VNI、目的VTEP IP地址、源VTE

58、P IP地址），并對(duì)報(bào)文進(jìn)行VXLAN封裝，然后發(fā)送給Transit Leaf1。Transit Leaf1對(duì)收到的VXLAN報(bào)文進(jìn)行解封裝，根據(jù)報(bào)文中的映射VNI查找映射表，找到對(duì)應(yīng)的BD，根據(jù)目的MAC查找BD中的MAC表，找到VXLAN隧道出接口，獲取VXLAN隧道的封裝信息（本地VNI、目的VTEP IP地址、源VTEP IP地址），并對(duì)報(bào)文進(jìn)行VXLAN封裝，然后發(fā)送給Server Leaf1。Server Leaf1對(duì)收到的VXLAN報(bào)文進(jìn)行解封裝后進(jìn)行相應(yīng)的二層轉(zhuǎn)發(fā)，最后發(fā)送給VM1。外部網(wǎng)絡(luò)多活Multi-Site方案的多個(gè)數(shù)據(jù)中能夠同時(shí)對(duì)外提供服務(wù)，可以同時(shí)承擔(dān)相同業(yè)務(wù)，提高

59、數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率。多個(gè)數(shù)據(jù)中心互為備份，當(dāng)單數(shù)據(jù)中心故障時(shí)，業(yè)務(wù)能自動(dòng)切換到其他數(shù)據(jù)中心，業(yè)務(wù)不中斷。雙活數(shù)據(jù)中心均部署相同的業(yè)務(wù)應(yīng)用，二者IP網(wǎng)段并不相同，因此DC間采用三層互聯(lián)即可。業(yè)務(wù)應(yīng)用采用域名訪問，因此在應(yīng)用系統(tǒng)前部署全局負(fù)載均衡器(GSLB)，通過動(dòng)態(tài)或靜態(tài)負(fù)載均衡策略對(duì)來訪請(qǐng)求解析不同的站點(diǎn)IP，如REF _fig55614403314 r h圖2-17所示。全局負(fù)載均衡示意圖GSLB會(huì)通過健康狀態(tài)檢測，或與SLB聯(lián)動(dòng)檢測應(yīng)用系統(tǒng)狀態(tài)。當(dāng)一個(gè)中心內(nèi)應(yīng)用服務(wù)器局部故障時(shí)，盡量將流量切換至同一中心SLB集群內(nèi)的其他服務(wù)器，將故障限制在本中心；當(dāng)一個(gè)中心內(nèi)應(yīng)用服務(wù)器全部故障時(shí)，才將流量切換至另一中心。這種場景稱為業(yè)務(wù)級(jí)雙活，是一個(gè)重要而且常見的場景，且技術(shù)最為成熟，非常廣泛的應(yīng)用于金