CloudFabric云數(shù)據(jù)中心網解決方案-云網一體化設計指南

DOCPROPERTYPartNumberDOCPROPERTY"Product&ProjectName"CloudFabric云數(shù)據(jù)中心網解決方案DOCPROPERTYDocumentName設計指南（云網一體化）目錄TOC\h\z\t"標題1,1,標題2,2,標題3,3,標題4,4,標題5,5,標題7,1,標題8,2,標題9,3,Heading1NoNumber,1,Appendixheading1,1,Appendixheading2,2,Appendixheading3,3,Appendixheading4,4,Appendixheading5,5,Heading1,1,Heading2,2,Heading3,3,Heading4,4,Heading5,5,Heading7,1,Heading8,2,Heading9,3"1云網一體化場景概述 11.1云網一體化的由來 11.2云網一體化簡介 21.3Overlay網絡類型和對比 52設計云網一體化類型的數(shù)據(jù)數(shù)據(jù)中心 102.1業(yè)務模型與概念 102.1.1常見概念解釋 102.1.2FusionSphere和開源OpenStack業(yè)務模型簡介 132.1.3控制器業(yè)務模型簡介 152.2業(yè)務規(guī)劃設計流程和原則 162.3云網一體化方案說明 202.3.1云網一體化方案架構 202.3.2云網出口業(yè)務 22FusionCloud多出口業(yè)務 22OpenStack外部網絡業(yè)務 252.3.3云網DHCP業(yè)務 262.3.4云網VAS業(yè)務 29FWaaS業(yè)務 29VPNaaS業(yè)務 31LBaaS業(yè)務 332.3.5云網裸機業(yè)務 352.4業(yè)務發(fā)放流程 382.5業(yè)務下發(fā)時的自動化交互過程 403附：OpenStack入門 423.1什么是OpenStack 423.2OpenStack的主要模型 423.3OpenStack中的Neutron 443.4FusionSphere 46A參考圖片 48云網一體化場景概述\o""1.1云網一體化的由來\o""1.2云網一體化簡介\o""1.3Overlay網絡類型和對比云網一體化的由來傳統(tǒng)數(shù)據(jù)中心的挑戰(zhàn)傳統(tǒng)數(shù)據(jù)中心遇到了以下幾個困境：困境一：業(yè)務部署效率低。新業(yè)務上線時，需要大量規(guī)劃、配置、測試、老業(yè)務影響評估等，部署時長無法滿足新業(yè)務要求。困境二：資源利用率低。很多系統(tǒng)獨立占用資源池，形成煙囪式資源利用形態(tài)，當一個系統(tǒng)資源使用率低時，其他系統(tǒng)無法使用此資源池中多余的資源。困境三：運維管理復雜。數(shù)據(jù)中心中多樣化業(yè)務疊加運行，當某一業(yè)務故障時，很難快速發(fā)現(xiàn)并隔離故障。SDN和云計算可以來解決傳統(tǒng)數(shù)據(jù)中心的上述困境。云化數(shù)據(jù)中心具有業(yè)務自動化、彈性資源池、精細化運維三個典型特征。SDN是用來支撐ICT實現(xiàn)云計算的關鍵技術。目前軟件定義計算（虛擬服務器）、軟件定義存儲（分布式存儲）已經具備，因此呼喚網絡層面也必須實現(xiàn)軟件定義網絡，從而實現(xiàn)敏捷網絡的目標。云計算的分類云主要分為私有云、公有云、混合云三類：私有云是單個企業(yè)的一種專用云基礎架構，其基礎設施的定制化程度較高，突顯了企業(yè)自身的業(yè)務特點。很多中小型企業(yè)無法自己建設具有一定規(guī)模的云，因此轉而向云服務提供商租用相關的基礎設施和資源，從而迅速構建自己的虛擬數(shù)據(jù)中心，這就是公有云。企業(yè)的一部分基礎設施在公有云上，另一部分在私有云上，這兩種云通過某種形式互通，實現(xiàn)應用可移植、數(shù)據(jù)可遷移等，這就是混合云。REF_table1715225310109\r\h表1-1中總結了公有云和私有云之間的區(qū)別。云分類關鍵區(qū)別安全/合規(guī)資源使用基礎設施服務器規(guī)模使用者私有云企業(yè)自建自用嚴格較粗放、以不計費居多靈活、可定制100~3K大型企業(yè)公有云服務于公眾較弱按使用量計費標準化一般大于10K中小型企業(yè)云數(shù)據(jù)中心的行業(yè)訴求當企業(yè)的網絡部門和IT部門已經有機結合，并具備一定技術實力，則可以考慮部署云網一體化方式的云化數(shù)據(jù)中心。REF_table39631393169\r\h表1-2中總結了三個典型行業(yè)對云數(shù)據(jù)中心的訴求和業(yè)務場景。項目政企/金融運營商互聯(lián)網業(yè)務場景IT計算池化、EDC云化機架出租、IDC云化、NFVI電信云物理機/虛擬機/VPC出租、提供IaaS/PaaS業(yè)務網絡核心訴求1.提升新業(yè)務TTM2.部署復雜業(yè)務，降低CAPEX3.業(yè)務可靠性保障，多活數(shù)據(jù)中心部署1.利用率：多數(shù)據(jù)中心網絡資源整合2.標準化：多廠商Fabric互通、多廠商VAS兼容3.網絡質量：跨廣域質量保證1.大規(guī)模服務器部署（10萬+）2.SLA服務：租戶級粒度、實時網絡質量感知、主動運維3.新業(yè)務快速部署、網絡支持業(yè)務彈性擴展云網一體化簡介華為CloudFabric云數(shù)據(jù)中心網解決方案中的云網一體化方案，其邏輯分層架構如下圖所示。邏輯分層層次說明業(yè)務呈現(xiàn)/協(xié)同層支持對接社區(qū)或第三方商業(yè)OpenStack云平臺+第三方云管理平臺。支持對接華為FusionSphere云平臺+華為ManageOne云管理平臺。用戶的操作界面一般在云管理平臺上。網絡控制層控制器北向與OpenStackNeutron對接，實現(xiàn)云平臺業(yè)務模型參數(shù)向控制器的下發(fā)?？刂破髂舷蛑С諳penFlow/OVSDB/Netconf/SNMP等接口，統(tǒng)一管理控制物理和虛擬網絡，完成網絡配置的自動化下發(fā)。SecoManager納管華為防火墻，提供L4~L7策略業(yè)務發(fā)放。FabricInsight提供流量數(shù)據(jù)采集、網絡故障分析功能。網絡服務層由物理設備組成的Spine-Leaf基礎物理組網（常見的有華為CloudEngine系列交換機、NGFW、vNGFW、LB等），用以承載VXLANOverlay網絡，并由物理或虛擬設備提供VAS服務。計算接入層虛擬化服務器：虛擬機的上線信息由云平臺通知給控制器。物理服務器：通過L2BR接入到VXLAN網絡，通過控制器界面來發(fā)放接入配置，云平臺不感知。裸金屬服務器：一般形成一個裸金屬服務器池；由云平臺觸發(fā)裸金屬服務器的端到端上線過程。交互接口圖中序號接口兩端接口說明1控制器<->云平臺控制器提供插件部署在云平臺上，從而完成云平臺與控制器提的對接?？刂破魈嵬ㄟ^RESTful（控制器北向開放的接口）和RESTConf接口（控制器調用的接口）與云平臺對接，接收云平臺下發(fā)的網絡業(yè)務指令。2云平臺<->VMM云平臺與VMM間接口，控制流不經過控制器提傳遞。3SecoManager<->防火墻SNMP：用于SecoManager發(fā)現(xiàn)和獲取防火墻的信息。NETCONF：用于SecoManager向防火墻下發(fā)配置。4FabricInsight<->物理交換機SNMP：用于FabricInsight發(fā)現(xiàn)和獲取物理交換機的信息。NETCONF：用于FabricInsight與物理交換機進行流鏡像同步。gRPC：FabricInsight獲取交換機CPU、RAM利用率。Netstream：交換機通過Netstream上送指定流分析結果。5控制器提<->物理交換機SNMP：用于控制器提發(fā)現(xiàn)和獲取物理交換機的信息。NETCONF：用于控制器提向物理交換機下發(fā)配置。OpenFlow：主要在運維層面提供路徑探測等功能。7LB<->云平臺LB提供補丁部署在云平臺上，同時本身部署相應的插件，兩者通過RESTFul接口對接，從而使云平臺納管LB設備，并向LB設備下發(fā)配置?？刂破魈嵩谠破脚_上的插件和LB在云平臺上的插件會交互信息，由控制器提告訴LB流量應該攜帶哪一個VLAN標簽進入到Fabric網絡中。Overlay網絡類型和對比在VXLAN網絡中，根據(jù)承擔Overlay邊緣設備（VXLANNVE）屬性的不同，又可以分為NetworkOverlay、HostOverlay、HybridOverlay三種網絡類型。CloudFabric解決方案推薦使用NetworkOverlay類型的VXLAN網絡。NetworkOverlay：所有NVE全部由物理交換機承擔。HostOverlay：所有NVE全部由vSwitch承擔。HybridOverlay：NVE一部分部署在物理交換機上，另一部分部署在vSwitch上。NetworkOverlayNetworkOverlay的特點是VXLAN隧道的兩個端點全部是物理交換機。其中，NetworkOverlay有分為集中式和分布式兩類，如REF_fig8698510132617\r\h圖1-2所示。集中式NetworkOverlay中，Leaf作為VXLAN的L2網關、Spine或BorderLeaf作為VXLAN的L3網關。分布式NetworkOverlay中，Leaf同時作為VXLAN的L2和L3網關，Spine僅作為IP流量高速轉發(fā)節(jié)點，不處理VXLAN報文。HostOverlayHostOverlay的特點是VXLAN隧道的兩個端點全部是虛擬交換機，而虛擬交換機部署在服務器上，如REF_fig235116393285\r\h圖1-3所示。數(shù)據(jù)中心內部的東西向流量在虛擬交換機之間通過VXLAN隧道轉發(fā)；南北向流量在虛擬交換機與虛擬路由器之間轉發(fā)，作為Leaf和Spine的物理交換機僅作IP報文的高速轉發(fā)，不處理VXLAN報文。HybridOverlayHybridOverlay的特點是VXLAN隧道的端點既可以是虛擬交換機也可以是物理交換機，因此也稱為混合Overlay，如REF_fig15493114712388\r\h圖1-4所示，混合Overlay常見的是分布式的。數(shù)據(jù)中心內部的東西向流量在虛擬交換機和物理Leaf交換機之間通過VXLAN隧道轉發(fā)；南北向流量在虛擬交換機/Leaf物理交換機與Spine/Edge之間通過VXLAN隧道轉發(fā)。網絡類型對比REF_table1630754271220\r\h表1-3中對NetworkOverlay、HostOverlay和HybridOverlay三種類型的網絡特點進行了對比。對比項NetworkOverlayHostOverlayHybridOverlayNVE硬件交換機vSwitch硬件交換機vSwitchVXLANL3GW硬件交換機（分布式部署，根據(jù)VM上線位置相應的部署）vSwitch（分布式部署，根據(jù)VM上線位置相應的部署）硬件交換機和vSwitch（分布式部署，根據(jù)VM上線位置相應的部署）接入服務器類型虛擬化服務器、物理服務器虛擬化服務器虛擬化服務器、物理服務器接入L4~L7類型硬件L4~L7軟件L4~L7（X86物理服務器）軟件L4~L7（SRIOV接入）軟件L4~L7（vSwitch接入）硬件L4~L7X86物理服務器軟件L4~L7SRIOV虛擬化軟件L4~L7軟件L4~L7（vSwitch接入）控制面設備L2/L3自學習設備間L2通過頭端復制廣播自學習可支持控制面上收控制器（特指ARP/ND及路由。當前未合入主線，可POC測試）可支持設備間通過BGP-EVPN同步vSwitch通過openflow將ARP/ND上報控制器，控制器L2/L3學習vSwitch間通過控制器下發(fā)流表同步硬件設備L2/L3本地自學習，硬件設備間通過BGP-EVPN同步vSwitch通過OpenFlow將ARP/ND上報控制器，控制器L2/L3學習，vSwitch間通過控制器下發(fā)流表同步硬件NVE和vSwitchNVE之間通過控制器的BGP-EVPN同步轉發(fā)性能不占用服務器CPU資源，硬件設備轉發(fā)性能高VXLAN處理占用服務器CPU資源，性能受CPU影響大硬件部分不占用服務器CPU資源，軟件部分VXLAN處理占用服務器資源虛擬機規(guī)格VPC數(shù)量受限于TORVRF和路由規(guī)格同一VPC虛機數(shù)量受限于TOR表項規(guī)格僅受限于控制器的能力海量VPC，海量虛機海量VPC，海量虛機同一VPC虛機數(shù)量受限于TOR表項規(guī)格適用場景適用于對轉發(fā)性能、運維、安全等有很高要求的私有云用戶適用于虛擬化服務器/物理服務器同時接入SDN網絡與傳統(tǒng)網絡互聯(lián)互通適用于僅虛擬化服務器接入適用于租戶規(guī)模超大的用戶網絡內有多個廠商網絡設備，需要VXLAN與硬件網絡設備解耦適用于虛擬化服務器/物理服務器同時接入SDN網絡與傳統(tǒng)網絡互聯(lián)互通對硬件成本敏感，強調網絡利舊，需要VXLAN與硬件網絡設備解耦設計云網一體化類型的數(shù)據(jù)數(shù)據(jù)中心\o""2.1業(yè)務模型與概念\o""2.2業(yè)務規(guī)劃設計流程和原則\o""2.3云網一體化方案說明\o""2.4業(yè)務發(fā)放流程\o""2.5業(yè)務下發(fā)時的自動化交互過程業(yè)務模型與概念常見概念解釋DC、POD和AZDC：DataCenter，數(shù)據(jù)中心。DC是物理概念，是指在一個物理空間（比如機房）內實現(xiàn)信息的集中處理、存儲、傳輸、交換和管理。服務器、存儲和網絡設備是DC的關鍵設備，供電、制冷、消防、監(jiān)控等基礎設施是DC的關鍵配套。POD：PointofDelivery，分發(fā)點。為了便于DC的資源池化操作，可將一個DC劃分為一或多個物理分區(qū)，每個物理分區(qū)就稱為一個POD，如REF_fig1613653163115\r\h圖2-1所示。由此可見，POD也是物理概念，是DC的基本部署單元，一臺物理設備只能屬于一個POD。AZ：AvailabilityZone，可用區(qū)域。AZ是一個計算側的邏輯概念，代表了一個故障隔離區(qū)域。比如一些主機共用了一套電源和網絡設施，當這套設施出現(xiàn)故障時，這部分資源就全部不可用了。在規(guī)劃時，AZ與DC可按實際部署情況靈活映射。例如在大規(guī)模公有云中，一個AZ可包含多個DC；在中小規(guī)模私有云中，一個DC內可設置多套獨立的AZ；也可將一個DC規(guī)劃為一個AZ，這時DC與AZ是等同的。VDC和TenantVDC：VirtualDataCenter，虛擬數(shù)據(jù)中心。VDC是一個組織可使用資源的集合，一般包括計算、存儲和網絡資源。Tenant：租戶，由系統(tǒng)管理員創(chuàng)建和分配。租戶是一個VDC的實際擁有者和管理者，不同VDC對應不同的租戶，如REF_fig13103105818379\r\h圖2-2所示。在公有云場景，系統(tǒng)管理員可以定義VDC并為VDC分配管理員，只有該VDC的管理員才可管理該VDC下的資源。在私有云場景，VDC可以靈活定義，分配給一個業(yè)務/應用/部門。系統(tǒng)管理員可以通過VDC對企業(yè)內的不同業(yè)務/應用/部門進行不同等級的資源配額管理。VPCVPC：VirtualPrivateCloud，虛擬私有云。基于物理網絡中抽象出來的邏輯網元，并根據(jù)業(yè)務的實際情況，編排這些邏輯網元，從而形成一個虛擬的網絡。不同VPC之間是邏輯上隔離的，但是都共用一套物理網絡，從而實現(xiàn)了物理網絡資源資源池化以后的共享問題。可以將VPC理解為一種“容器”，VPC中提供了vRouter、Subnet、vFW、vLB等邏輯元素，租戶可以根據(jù)自己的需要，在一定的規(guī)則下靈活組合這些元素，例如需要幾個網段，每個網段中接入多少臺VM，VM流量需要配置什么樣的安全策略和負載策略等，典型部署方式如REF_fig102649805318\r\h圖2-3所示。VPC有以下特點：VPC使用VDC中的資源，一個VPC只能屬于一個VDC，而一個VDC可包含多個VPC。每個VPC為一個安全域，對應于一個業(yè)務/應用/部門。VPC提供隔離的虛擬機和網絡環(huán)境，滿足不同業(yè)務/部門的網絡隔離要求。每個VPC可提供豐富的獨立業(yè)務，例如vFW、vLB、安全組、EIP、IPsecVPN、NAT等。VPC可提供直聯(lián)網絡、路由網絡和內部網絡等多種組網模式。VPC中常見的元素有以下幾種：vRouter：作為業(yè)務子網的網關，用于子網間的三層互通。一個VPC只能有一個vRouterNetwork：定義為一個二層網絡，通常只含一個Subnet，在Share模式下可包含多個Subnet。（Share模式映射到交換機上為一個接口下啟用多個從IP，用于劃分不同網段，例如多個小型租戶共用一個VLAN的場景）注：FusionSphere模型不支持Share模式，開源的OpenStack模型中是呈現(xiàn)此元素的。Subnet：用于二層廣播域的隔離，對應于一個子網網段。同一VPC內不同Subnet的三層網關，都在同一個vRouter上。同一Subnet內默認互通；不同Subnet間默認互通，也可通過配置安全組進行隔離vFW：作為VPC的邊界，除了可提供外部訪問VPC內的安全訪問控制，還可提供外部訪問VPC內的接入服務，可提供的特性有：FW、EIP、SNAT、IPsecVPN等。vLB：用于對外提供內部服務器間的負載均衡能力，一個vLB可以帶多個監(jiān)聽器，用戶可給不同業(yè)務申請不同的監(jiān)聽器。FusionSphere和開源OpenStack業(yè)務模型簡介FusionSphere業(yè)務模型簡介FusionSphere是華為公司的云平臺，基于開源OpenStack來開發(fā)，并在此基礎上進行了商業(yè)加強，因此很多基本概念與開源OpenStack是類似的。FusionSphere業(yè)務模型的內部映射關系如REF_fig83319569487\r\h圖2-4所示。POD是物理單元，比如可將一個Fabric網絡視為一個POD，作為承載業(yè)務的基本部署單元，一套資源可部署在一個或多個POD內，而一個POD也可承載多套資源。VDC是資源單元，于租戶對應。VDC支持跨POD部署，租戶以VDC為粒度進行資源租用。一個VDC中可以有多個VPC。VPC是業(yè)務單元，VPC支持跨POD部署，同一租戶的不同VPC也可部署在不同POD內。一個VPC對應一個vRouter，一個vRouter在交換機上就表現(xiàn)為一個VRF。vRouter是VPC中的一個邏輯單元，與vLB、vFW之間是1:1的關系；一個vRouter可以連接多個Subnet，一個Subnet可連接多臺VM。上述業(yè)務模型之間的典型部署關系如REF_fig17910163694911\r\h圖2-5所示。開源OpenStack業(yè)務模型簡介OpenStack的業(yè)務模型和FusionSphere的業(yè)務關系有少量的不同，開源OpenStack業(yè)務模型的內部映射關系如REF_fig46031415135219\r\h圖2-6所示。OpenStack內部的業(yè)務模型和部署關系中，重點介紹一下POD和Project。POD是物理單元，比如可將一個Fabric網絡視為一個POD。作為承載業(yè)務的基本部署單元，一套資源可部署在一或多個POD內，而一個POD也可承載多套資源。Project是資源單元，對應于租戶。Project支持跨POD部署，租戶以Project為粒度進行資源租用。在Project中，以vRouter為核心部署不同的業(yè)務單元。業(yè)務單元可跨POD部署，同一租戶的不同業(yè)務單元也可部署在不同POD內。一個Project中可以包含多個vRoute，一個vRouter可以連接多個Network，一個Network可以連接多個Subnet（類似于一個VLAN三層接口可以配置SecondaryIP地址），一個Subnet可連接多臺VM。上述業(yè)務模型之間的典型部署關系如REF_fig856861356\r\h圖2-7所示?？刂破鳂I(yè)務模型簡介如REF_fig389192618715\r\h圖2-8所示，控制器的基本業(yè)務模型中包含了Tenant、VPC、LogicRouter、LogicSwitch、LogicFW和LogicLB。在控制器中，管理員可以將一定數(shù)量的VPC授權給Tenant（租戶）使用，并授權LogicRouter、LogicSwitch、LogicFW和LogicLB的使用限額。其中，LogicRouter、LogicSwitch、LogicFW和LogicLB就提供了FaaS（FabricAsaService），即將網絡抽象成了多種服務?？刂破髦卸x的LogicRouter對應云平臺的vRouter；LogicSwitch對應云平臺的Network/Subnet；LogicFW和LogicLB分別對應云平臺的vFW和vLB?？刂破髦卸xlogicalport標識物理機交換機上的邏輯接口；EndPort是用來模擬鏈接到LogicSwitch上的邏輯接入點，可以是VM，也可以是物理服務器或第三方設備，可以配置EndPort的接入信息。REF_table174901038131210\r\h表2-1中針對FusionSphere、開源OpenStack和控制器的業(yè)務模型，從資源管理層、邏輯組織層、網絡實體層、計算實體層進行對比。資源管理層：本層將數(shù)據(jù)中心資源以租戶粒度進行分配，并指定相應的租戶管理員，是基本的資源單元。邏輯組織層：本層是網絡和計算實體的邏輯組織，是基本的業(yè)務單元，各業(yè)務單元之間的網絡是安全隔離的。網絡實體層：一個業(yè)務單元中包含的各種網絡實體在本層予以呈現(xiàn)。計算實體層：一個業(yè)務單元中包含的所有計算實體在本層予以呈現(xiàn)。項目資源管理層邏輯組織層網絡實體層計算實體層OpenStackProject/Tenant無ExternalNetworkvRouterNetwork/SubnetvFW/vLBVMFusionSphereVDC/TenantVPCExternalNetworkvRouterSubnetvFW/vLBVM控制器TenantVPCExternalNetworkLogicRouterLogicSwitchLogicFW/LogicLBEndPort業(yè)務規(guī)劃設計流程和原則業(yè)務規(guī)劃的一般流程網絡管理員先基于業(yè)務特點，劃分物理網絡的分區(qū)，并進行分區(qū)內物理網絡的設計。典型的網絡分區(qū)劃分如REF_fig1959175616260\r\h圖2-9所示，分為業(yè)務區(qū)、核心互聯(lián)區(qū)、DMZ區(qū)、出口區(qū)等。注：在CloudFabric解決方案中，物理網絡的分區(qū)設計一般建議與控制器中的Fabric相對應，控制器編排界面中的Fabric是指一組位于同一VXLAN路由域內的網絡設備，組網上通常采用Spine-Leaf架構，F(xiàn)abric內所有業(yè)務可共用相同的出口網絡資源和L4-L7網絡資源；基于以上原則，建議網絡分區(qū)的按控制器中的Fabric定義范疇進行設計，也支持將多個Fabric屬性相同的分區(qū)劃分為一個Fabric。被控制器納管的網絡分區(qū)推薦采用各種Leaf角色相互解耦的組網方式，并部署分布式VXLAN網關。系統(tǒng)管理員進行VDC的規(guī)劃設計，這個階段主要是基于業(yè)務的種類和需求來規(guī)劃。對企業(yè)私有云來說，首先區(qū)分網絡中需要部署多少種業(yè)務，對應于多少個邏輯相互隔離的網絡。有業(yè)務相關性的網絡放到同一個VDC中，沒有相關性的放到不同的VDC中，如REF_fig9162813173614\r\h圖2-10所示。系統(tǒng)管理員再創(chuàng)建具體的租戶管理員賬號，并分配資源給該租戶。租戶管理員根據(jù)被分配到的資源進行自己VPC網絡的設計和配置，可以根據(jù)業(yè)務需求對VPC中提供的邏輯元素進行組合、編排，如REF_fig1624418190403\r\h圖2-11所示。VDC和VPC的規(guī)劃原則公有云場景中，VDC和VPC的規(guī)劃原則如下。VDC規(guī)劃要求：一個Fabric可部署多個VDC，單個VDC不能跨Fabric部署。單個VDC的網絡資源必須被分配在一個Fabric內，相應的計算和存儲資源需要被分配到一個AZ內。VPC規(guī)劃要求：組建VPC的資源范疇只能是VDC的子集，因此VPC在多租戶場景下也只能部署在一個Fabric內，不能跨Fabric部署。租戶內部網絡自行規(guī)劃，租戶間IP地址可重疊。私有云場景中，VDC和VPC的規(guī)劃原則如下。VDC規(guī)劃要求：一個Fabric可部署多個VDC，單個VDC可以跨Fabric部署。在選擇VDC資源部署時可以包含多個AZ。VPC規(guī)劃要求：同一個VPC的所有計算和網絡資源需要發(fā)放到同一個Fabric中，但同一個VDC中的不同VPC可以屬于不同的Fabric。全網IP地址統(tǒng)一規(guī)劃，所有VDC內IP地址無重疊。在公有云和私有云中，對VDC和VPC的規(guī)劃設計原則有所區(qū)別，參見REF_table16281149142712\r\h表2-2。場景VDC規(guī)劃指導VPC規(guī)劃指導Fabric劃分原則VDC劃分原則業(yè)務要求VPC部署原則公有云按性能等級按增值服務能力按資源容量每租戶一個VDC業(yè)務內部互訪無須安全控制每業(yè)務一個VPCVPC內部子網間默認互通業(yè)務內部互訪需要安全控制，但要求較低每業(yè)務一個VPCVPC內部子網間默認互通VPC內部子網互訪通過安全組隔離業(yè)務分層部署，內部互訪有較高安全控制要求每業(yè)務多個VPCVPC之間互訪通過防火墻控制私有云按安全等級按部門按業(yè)務類別每部門一個VDC規(guī)模大、部署復雜的業(yè)務單獨劃分為一個VDC多業(yè)務混合部署的Fabric業(yè)務要求請參考公有云VPC部署原則請參考公有云單個業(yè)務或業(yè)務某一層體量較大，需要占用獨立的Fabric業(yè)務與外部的東西向流量大，默認無須安全控制業(yè)務與外部的南北向流量需要安全控制每個業(yè)務或業(yè)務某一層（如APP或DB），一個VPC占用一個Fabric東西向流量默認互通，可按需配置安全組進行隔離南北向流量須通過防火墻控制業(yè)務與外部的東西、南北向流量均需要安全控制每個業(yè)務或業(yè)務某一層（如Web），一個VPC占用一個Fabric東西/南北向流量均須通過防火墻控制云網一體化方案說明本章介紹云網一體化方案方案組件架構，組件功能及關鍵業(yè)務流程。云網一體化方案架構如REF_fig1133079101711\r\h圖2-14所示，云網一體化方案：支持對接開源OpenStack、RedhatOpenSack10、和華為FusionCloud（不支持ACGBPPluginDriver）。對接開源/RedhatOpenStack支持Networkoverlay和Hybridoverlay組網。對接FusionCloud私有云場景支持NetworkOverlay組網。NFVI電信云場景支持HybridOverlay組網。組件說明ACML2DriverACML2Driver主要實現(xiàn)NeutronML2定義標準接口，感知neutronport事件，調用控制器北向RESTAPI實現(xiàn)物理機、虛擬機對應TOR側的網絡配置。ACVPNDriverACVPNDriver感知用戶通過云平臺發(fā)放的VPN服務，調用控制器北向API下發(fā)ServiceLeaf與防火墻的互聯(lián)配置，控制器調用SecoManager北向API將VPN配置下發(fā)的華為防火墻（注：僅限華為防火墻）。ACL3pluginACL3plugin感知NeutronvRouter，network、EIP、SNAT相關事件，調用控制器北向API動態(tài)下發(fā)對應配置。ACFWaaSpluginACFWaaSplugin感知云平臺下發(fā)的防火墻業(yè)務，調用控制器北向API配置ServiceLeaf與防火墻間的互聯(lián)配置，控制器調用SecoManage將具體配置下發(fā)到華為防火墻（注：僅限華為防火墻）。ACQoSPluginACQoSplugin感知云平臺下發(fā)的QoS業(yè)務（端口限速、DSCPRemark），調用控制器北向API下發(fā)QoS配置。GBPACDriverACGBPDriver遵從開源GBP北向接口，感知GBP業(yè)務下發(fā)調用控制器下發(fā)微分段策略到TOR（注：要求微分段基線款型設備）。CE1800V替代開源OVS，作為VXLAN的VTEP提供VM接入功能，支持分布式防火墻。3rdLBaaSPlugin3rdLBaaSPluing由負載均衡廠商提供，納管負載均衡設備，發(fā)放LBaaS業(yè)務到設備。ACL3Plugin和ML2Driver感知LB業(yè)務對于Port事件，下發(fā)層次化綁定配置。云網出口業(yè)務開源/RedhatOpenStack的vRouter只支持關聯(lián)1個外部網絡（即1個Internet出口），用于EIP、SNAT及VPaaS服務。FusionCloud的VPC（對應開源OpenStack的vRouter）支持三個出口（外部網絡）：Internet出口用于EIP、SNAT、DNAT及VPNaaS服務公共服務出口用于訪問FusionCloud內部提供公共服務器（NTP服務器）路由直通出口用于與私有云之外網絡互通，如傳統(tǒng)網絡FusionCloud多出口業(yè)務多出口業(yè)務模型網絡管理員通過控制器創(chuàng)建Internet網關、路由直通網關和公共服務外部網關，指定對應的BorderLeaf設備組，以確定物理出口位置。FusionCloud的租戶VPC默認關聯(lián)一個公共服務外部網絡，公共服務外部網絡由計算管理員創(chuàng)建，租戶不感知；租戶可以顯式創(chuàng)建路由直通網絡和Internet外部網絡。FusionCloud上的外部網絡（公共服務、路由直通、Internet）通過名稱匹配與控制器上的外部網關建立關聯(lián)關系。IPv4多出口業(yè)務流程路由直通出口，由租戶通過顯式發(fā)放路由直通外部網絡并關聯(lián)VPC的方式來觸發(fā)控制器下發(fā)對應的業(yè)務。路由直通業(yè)務發(fā)放流程如下圖所示。公共服務出口是租戶創(chuàng)建VM時，由控制器插件隱式調用FusionCloud的EIP接口，觸發(fā)控制器下發(fā)對應NAT、路由配置到防火墻和ServiceLeaf。Internet出口通過租戶為VM創(chuàng)建EIP、SNAT、DNAT業(yè)務，控制器根據(jù)EIP、SNAT、DNAT所在的Network名稱，匹配對應Internet外部網關，下發(fā)對應NAT、路由策略到防火墻和ServiceLeaf。Internet出口業(yè)務發(fā)放流程如下圖所示。IPv6多出口業(yè)務流程IPv6的路由直通出口業(yè)務流程與IPv4一致。路由直通業(yè)務發(fā)放流程如下圖所示。IPv6場景下，由于FusionCloud無EIP、NAT業(yè)務流程，無法通過EIP、NAT流程觸發(fā)控制器下發(fā)Internet和公共服務出口業(yè)務，IPv6的公共服務出口由控制器插件在租戶創(chuàng)建/更新VPC時隱式編排公共服務出口；Internet出口，則有租戶顯式關聯(lián)Internet外部網絡實現(xiàn)。Internet業(yè)務發(fā)放流程如下圖所示。OpenStack外部網絡業(yè)務開源和RedhatOpenStack的vRouter只能關聯(lián)一個外部網絡，用于發(fā)放EIP、SNAT和VPNaaSService業(yè)務。開源OpenStack和RedhatOpenStack的vRouter只有一個Internet出口，通過外部網絡的名稱與控制器上創(chuàng)建的外部網關來進行關聯(lián)，模型對象如下圖所示。開源OpenStackInternetIPv4出口業(yè)務流程：開源OpenStack外部網絡出口物理位置（Border）由網絡管理員通過控制器發(fā)放外部網關指定；計算管理員通過OpenStack的Internet外部網絡名稱與控制器上的外部網關名稱關聯(lián)。開源OpenStackIPv6Internet出口業(yè)務流程：開源OpenStack在IPv6場景下，支持IPv6的NAT、EIP功能，所有Internet出口通過顯式地創(chuàng)建外部網絡，并關聯(lián)router來實現(xiàn)，其流程如下圖所示。云網DHCP業(yè)務FusionCloud配套云網場景下，F(xiàn)usionCloudType2場景只支持有狀態(tài)的DHCPv6，DHCPv6服務器由FusionCloud提供；即VM通過DHCPv6協(xié)議獲取VM的IP、DNS、NTP等信息。組件控制面架構DHCPServer由FusionCloud提供，通過FusionCloud的DHCPagent納管，如REF_fig6204191019376\r\h圖2-23所示。ACL3plugin感知VPC、Network事件，調用控制器創(chuàng)建LogicalRouter和LogicalSwitch。ACML2Driver感知DHCPport和VMport的上線事件，調用控制器下發(fā)端口的VLAN到VXLAN的映射配置。DHCPv6/v4業(yè)務下發(fā)流程DHCPv4和DHCPv6的業(yè)務流程，差別點在于DHCPv6時，創(chuàng)建分布式網關時，需要設置網關的managedflag和otherflag屬性，用于通過RS/RA協(xié)議告訴VM需要通過有狀態(tài)的DHCP協(xié)議來獲取IP地址、DNS、NTP等其他配置。VM獲取IPv6地址流程VM獲取IPv6地址的流程如REF_fig12994112219347\r\h圖2-25所示。VM發(fā)放RouterSolicitation報文。GW回復RouterAdvertisement報文，設置ManagedConfigurationFlag=1、OtherConfigurationFlag=1，表示IPv6地址和其他配置信息（DNS、NTP）通過DHCP獲取。VM發(fā)送DHCPSolicit報文，請求IP和其他配置信息。DHCPServer通過DHCPReplay返回VM的IP地址，DNS、NTP等信息。云網DHCP場景關鍵約束私有云場景，只支持有狀態(tài)的DHCPv6服務，DHCPv6Server由云平臺提供。云網VAS業(yè)務FWaaS業(yè)務OpenStackFWaaSv1模型包括Firewall對象、Firewallpolicy和Firewallrule對象。Firewall對象與policy對象1：1關聯(lián)。Policy對象與Firewallrule對象1：N關聯(lián)。Firewallrule用例定義包括源目的IP、源目的4層端口號和協(xié)議號的安全策略。Firewall與Neutronrouter對象為1：N關系。OpenStackFWaaS業(yè)務對接架構OpenStackFirewall對象實例化為防火墻上的vSYS（以華為防火墻為例），OpenStackFirewallpolicy對象實例化為防火墻的Policy對象，OpenStackFirewallrule實例化為防火墻上的安全ACL規(guī)則。ACFWaaSplugin遵從OpenStack社區(qū)FWaaSv1接口，負責感知OpenStackfirewall、Firewallpolicy和Firewallrule下發(fā)，調用控制器的REST接口創(chuàng)建vSYS、firewallpolicy及對應的安全ACL規(guī)則。控制器負責分配vSYS與VRF的互聯(lián)VLAN&IP地址，調用SecoManager的接口創(chuàng)建vSYS，配置互聯(lián)接口的VALN&IP及路由配置。SecoManager負責防火墻設備的納管、防火墻安全策略的下發(fā)。OpenStackFWaaS業(yè)務發(fā)放流程通過OpenStackUI/CLI，發(fā)放FWaaS業(yè)務發(fā)放的典型步驟如REF_fig4477103812291\r\h圖2-28所示。云網FWaaS關鍵約束只支持FWaaSv1接口。FusionCloud私有云場景，對接我司防火墻，安全策略的IP、四層端口號支持聚合下發(fā)。VPNaaS業(yè)務如REF_fig1280491117520\r\h圖2-29所示，OpenStackVPNaaS業(yè)務模型包括VPNService對象、siteconnection對象和IPSecPolicy對象：VPNService對象定義虛擬IPSecVPN服務實例，IPSecVPN服務關聯(lián)多個siteconnection對象；Siteconnection對象定義1個VPN隧道，定義對端peer地址、本地site的私網地址，siteconnection關聯(lián)1個IPSecpolicy對象；IPSecPolicy對象定義IPSec隧道所需要的證書、加密算法、認證模式。OpenStackVNPaaS業(yè)務對接架構ACVPNaaSPlugin感知IPSecVPN服務的發(fā)放，轉換為控制器調用下發(fā)IPSecVPN業(yè)務配置到防火墻?？刂破魍競鱅PSecVPN業(yè)務配置到SecoManager，SecoManager調用設備NETCONF接口，下發(fā)IPSecVPN配置到防火墻。Siteconnection對象映射為IPSecTunnel及對應的配置；IPSecpolicy映射為防火墻的IPSecpolicy配置。OpenStackVPNaaS業(yè)務發(fā)放流程通過OpenStackUI/CLI，發(fā)放VPNaaS業(yè)務發(fā)放的典型步驟如REF_fig747144512019\r\h圖2-31所示。云網VPNaaS場景關鍵約束不支持IPv6IPSecVPN。LBaaS業(yè)務OpenStackLBaaS模型包括Loadbalancerl對象、listener對象和pool對象。Loadbalancer對象定義虛擬LB服務實例，定義vLB所使用的VIP，Loadbalancer與多個listener關聯(lián)；listener對象定義vLB監(jiān)聽的L4端口號及協(xié)議；pool對象定義與listenser關聯(lián)后端業(yè)務member。OpenStackLBaaS業(yè)務對接架構OpenStack的LBaaSv2插件由負載均衡廠商提供，北向感知負載均衡服務的發(fā)放，南向調用負載均衡的API下發(fā)負載均衡配置。ACML2plugin感知LB服務VIP和memberIP的對應的port事件，下發(fā)VIP端口和self-IP對應的層次化綁定配置。OpenStackLBaaS業(yè)務發(fā)放流程以F5為例，OpenStackLB業(yè)務發(fā)放流程如REF_fig1827101418478\r\h圖2-34所示。云網LBaaS關鍵約束IPv4Overlay場景：支持F5、Radware、深信服、FusionCloudELBIPv6Overlay場景：支持F5、深信服、FusionCloudELB云網裸機業(yè)務OpenStackIronic主要組件架構簡述如REF_fig73111288478\r\h圖2-35所示，OpenStackIronic主要組件有：Nova組件：nova-api、nova-scheduler、nova-compute提供BM的發(fā)放、回收，接口與VM的發(fā)放、回收一致。Neutron組件：提供BM發(fā)放所需的DHCP、BM對應neutronport創(chuàng)建、刪除、更新功能。Glance組件：提供BM部署所需的操作系統(tǒng)鏡像。Ironic-API：裸機服務發(fā)放入口，通過RPC消息，監(jiān)控nova-compute發(fā)送BM業(yè)務消息，調用ironic-conductor發(fā)放BM業(yè)務。Irionic-conductor：負責調用neutrionAPI為BM發(fā)放網絡，調用Glance獲取操作系統(tǒng)鏡像，通過IPMIDriver控制BM通過PXE（PrebootExecutionEnvironment）部署OS。IPMIDrivers：IPMI（IntelligentPlatformManagementInterface）Driver主要由服務器廠商提供，通過服務器的IPMI網卡控制服務器的上下電、修改服務器的BIOS配置，查看服務器的硬件資源信息。裸機業(yè)務網絡平面介紹裸機發(fā)放主要包括以下4個階段，如REF_fig2096193095810\r\h圖2-36所示：注冊階段：用戶輸入服務器的IPMI管理地址、用戶名、密碼注冊服務器；Inspecting階段：Ironic通過inspecting網絡在服務器上部署定制OS搜集服務器的CPU、RAM、網卡信息；Provisioning階段：通過provisioning網絡在服務器上部署OS，同時掛載服務器到租戶網絡；Running階段：正常部署后，租戶運行物理機。裸機發(fā)放過程中涉及到以下4個網絡平面：IPMI網絡平面：IPMIDriver控制服務器上電、下電、重啟；Underlay手工或者控制器界面預部署。Inspectingnetwork：裸機服務Inspecting階段獲取服務器硬件規(guī)格信息（CPU、RAM、NIC）；Underlay手工或者控制器界面預部署。Provisioningnetwork：用于服務器操作系統(tǒng)安裝；ACML2插件感知Ironic-conductor調用neutron創(chuàng)建port自動配置。Tenantnetwork：業(yè)務平面通過OpenStack發(fā)放；ACML2插件感知Ironic-conductor調用neutron創(chuàng)建port自動配置。物理服務器包括電源管理網卡（IPMI-NIC）和業(yè)務網卡（如所示eth0），Ironic上的IPMIDriver通過IPMI網卡控制服務器的上電、下點、PXE啟動；業(yè)務網卡在inspecting階段接入inspectingnetwork，操作系統(tǒng)部署階段接入provisionnetwork，完成部署后接入tenantnetwork。裸機業(yè)務對接架構Ironic通過IPMIDrvier納管服務器，控制服務器的啟動順序、上下電、重啟；調用neutronAPI發(fā)放provisionport和租戶網絡上的port。ACML2plugin感知port事件，自動化打通provisioning網絡或者租戶網絡。Ironic裸機業(yè)務流程裸機服務發(fā)放流程如REF_fig740242811305\r\h圖2-39所示。關鍵約束Ironic裸機場景關鍵約束：inspectingnetwork、provisioningnetwork只支持IPv4。tenantnetwork支持IPv4或者IPv6。FusionCloudIronic特殊說明：FusionCloudIronic實現(xiàn)無專用inspectingnetwork，復用provisioningnetwork。FusionCloudIronic當前支持Huawei系列服務器。業(yè)務發(fā)放流程總體業(yè)務流程云網一體化總體業(yè)務流程涉及到三個角色：系統(tǒng)管理員、租戶管理員、業(yè)務管理員，三者之間的簡要業(yè)務關系如REF_fig20933103115156\r\h圖2-40所示。系統(tǒng)管理員具有整個系統(tǒng)的最高權限，往往是整個系統(tǒng)的搭建者和資產所有者。公有云中有很多不同的租戶，每一個租戶有一個租戶管理員，每個租戶管理員僅管轄本租戶內部的各類資源。當然，這些資源需要先向系統(tǒng)管理員進行申請，由系統(tǒng)管理員下發(fā)給租戶管理員使用。一般來說，租戶自身有多個不同類型的應用系統(tǒng)，例如視頻會議、網站、郵箱等各類應用系統(tǒng)，每一類應用系統(tǒng)由業(yè)務管理員負責建設開通。其中業(yè)務對網絡的訴求提給租戶管理員，租戶管理員則在已申請到的資源限額內，規(guī)劃并編排邏輯網絡，給應用系統(tǒng)使用。業(yè)務管理員可以在已經分配到的計算資源（對應的網絡已經配置好）上安裝業(yè)務軟件等，從而對外提供服務。系統(tǒng)管理員做什么如REF_fig55552236244\r\h圖2-41所示，在整個業(yè)務配置和下發(fā)的過程中，系統(tǒng)管理員將完成以下操作：系統(tǒng)管理員先是要創(chuàng)建VDC，并配置好VDC中的資源池；系統(tǒng)管理員為不同的租戶創(chuàng)建不同的租戶賬號；系統(tǒng)管理員給不同的租戶分配相應的資源配額。租戶管理員做什么如REF_fig55552236244\r\h圖2-41所示，在整個業(yè)務配置和下發(fā)的過程中，租戶管理員需要同時關注網絡資源和計算資料的配置。其中，配置網絡的主要操作有：創(chuàng)建VPC并為之命名；創(chuàng)建vRouter；創(chuàng)建Subnet并綁定到vRouter；創(chuàng)建并配置vFW；配置SNAT/EIP/IPSec等增值業(yè)務；配置安全訪問規(guī)則和策略；配置vLB業(yè)務。配置計算的主要操作內容有：創(chuàng)建VM，分配一定的計算資源并注入系統(tǒng)；將VM與某一個Subnet網絡進行綁定。業(yè)務下發(fā)時的自動化交互過程如REF_fig1425432218264\r\h圖2-42所示，是云平臺一體化場景中的業(yè)務下發(fā)時系統(tǒng)中各個模塊之間的交互過程。本場景中業(yè)務下發(fā)的界面是云平臺，初始操作都在云平臺上進行。租戶管理員在云平臺界面上依托Neutron提供的能力，創(chuàng)建邏輯網絡。租戶管理員在云平臺界面上依托NOVA提供的能力，創(chuàng)建VM，并將VM接入到指定的網絡中。NOVA調用Neutron的API創(chuàng)建vPort，這個vPort是VM將來要掛接到vSwitch上去的虛端口。這個虛端口中會包含HostID（即VM將來會被發(fā)放到的Host的HostID）、虛擬機的MAC/IP/VLAN信息。NOVA向選出的計算節(jié)點中的Host發(fā)送VM創(chuàng)建請求，由NOVACompute創(chuàng)建好虛擬機，并為虛擬機綁定vSwitch的接口。Neutron檢測到vSwitch上的端口狀態(tài)變化，獲取本地VLAN信息，并通過控制器安裝在Neutron中的插件，將這些信息同步給控制器。控制器自動化下發(fā)二層配置和三層配置：下發(fā)二層配置：控制器根據(jù)初始化配置時，通過LLDP發(fā)現(xiàn)的Host主機與TOR之間的連線關系，在VM上線的Host主機所連接的TOR的對應端口上，下發(fā)VM接入配置，如VLAN與BD的映射等。下發(fā)三層配置：控制器下發(fā)VXLAN三層網關配置，如vBDIF、網關IP地址等，并關聯(lián)VRF。至此，租戶管理員在云平臺上不僅創(chuàng)建好了一個VM、配置了其資源并將其上線，同時云平臺和控制器相互配合，完成了對VM所使用的網絡配置的自動化下發(fā)。這使得整個VM上線過程是自動化的。當根據(jù)上述流程在云平臺上完成業(yè)務發(fā)放后，部分云平臺不