SDN控制器集群中的分布式技術(shù)實(shí)踐-王颶

日期：201409杭州華三通信技術(shù)有限公司SDN控制器集群中的2SDN&NFVSDN部署實(shí)際案例SDNController集群部署方案以及優(yōu)化目錄SDN架構(gòu)3SDNServices,AppsNetworkOSNetworkOSSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceProgrammableControlPlaneProgrammableControlPlaneSDN核心理念4成功？控制和轉(zhuǎn)發(fā)分離開(kāi)放的API集中控制SDN的背后5云計(jì)算控制和轉(zhuǎn)發(fā)分離控制層面可以擺脫對(duì)傳統(tǒng)網(wǎng)絡(luò)設(shè)備的依賴(lài)，迅速發(fā)展集中控制方便對(duì)池化的資源進(jìn)行靈活的控制和監(jiān)管開(kāi)放的API開(kāi)放統(tǒng)一的南向和北向接口將催生成熟的產(chǎn)業(yè)鏈要求按需索取，動(dòng)態(tài)管理計(jì)算存儲(chǔ)網(wǎng)絡(luò)虛擬化SDNServices,AppsProgrammableControlPlaneControlNetworkOSProgrammableControlPlaneControlNetworkOSSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceSDNServices,AppsProgrammableControlPlaneControlNetworkOSNetworkOSProgrammableControlPlaneControlNetworkOSNetworkOSSDNLanguageSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceSDNNFV6NFV——NetworkFunctionsVirtualizationNV——NetworkVirtualizationVPN——VirtualPrivateNetworkMulti-tenantOverlayVNF——VirtualisedNetworkFunctionsNFVArchitecture7OSS/BSSNFVINFVM&OVNFEMS1EMS2EMS3VNF1VNF2VNF3NetworkHardwareService,VNF&Infrastructure

DescriptionVNFManagersOrchestratorVirtualisedInfrastructureManagerVirtualComputeVirtualStorageVirtualNetworkVirtualisationLayerHardwareResourcesComputingHardwareStorageHardwareOpenStack8YourApplicationsOpenStackSharedServicesStandardHardwareCLOUDOPERATINGSYSTEMAPIsOPENSTACKOpenStackDashboardStorageNetworkingCompute網(wǎng)絡(luò)虛擬化9網(wǎng)絡(luò)虛擬化SDNOverlayNFV控制/管理轉(zhuǎn)發(fā)/隔離功能/架構(gòu)云計(jì)算需要采用目錄10SDN&NFVSDN部署實(shí)際案例SDNController集群部署方案以及優(yōu)化VCF（VirtualConvergedFramework）11IntelligentManagementCenter（iMC）用戶(hù)上層應(yīng)用系統(tǒng)服務(wù)編排Orchestration(設(shè)計(jì)&交付)資源管理層資源池化，IT基礎(chǔ)服務(wù)單元(OpenStackEmbedded)CloudServiceManagement（CSM）NetworkServiceManagement（NSM）融合控制層VirtualConvergedFrameworkController（VCFC）基礎(chǔ)承載層CVKFlexServer計(jì)算FlexStorage存儲(chǔ)OSAppOSOSAppOSUIS端點(diǎn)BYODiNodeEADOpenAPIVDIAppAppVNFOpenFlow網(wǎng)絡(luò)經(jīng)典網(wǎng)絡(luò)vIPSVPNvLBvFWComputeUnitX86hardwarevACvBRASVSREndpointIntelligentCenter（VCF-EIC）CloudIntelligentCenter（VCF-CIC）EndpointServiceManagement（ESM）VCFArchitecture商業(yè)模型12VCFRTFWSWLBSWVMVMVMDiskDiskDiskRTFWSWLBSWRTFWSWLBSW

APPDeliveryESM+NSMiMCPlatformNSMiMCPlatformNSM+CSMiMCPlatformEICVCFControllerCICAPPOrientedComm.&Sec.APPProvisionEndpoints/usersNetworkCompute/StorageNetworkNetworkVCFControllerVCFController浙江政務(wù)云13……ProvincialGovernmentExtranetInternetPublicCloudGovernmentCloudPublicServiceZone(VirtualPrivateCloud)ProvincialGovernmentCloudMunicipalGovernmentCloudMunicipalGovernmentCloudMunicipalGovernmentCloudPublicServiceZoneSharedZone目錄14SDN&NFVSDN部署實(shí)際案例SDNController集群部署方案以及優(yōu)化Controller軟件架構(gòu)15KeystoneRESTAPIshellFrameworkGUIshellFrameworkPostgreSQLAlerts…TopologyAppDevelopmentAuditLogZookeeperTeamingDiscoveryNetConfOpenFlowCassandraOSGiRabbitMQJava(1.7/64bits)OS(Linux64bits)Controller邏輯層次16北向接口層內(nèi)置應(yīng)用層基礎(chǔ)網(wǎng)絡(luò)層抽象邏輯層南向接口層UI界面集群管理軟件管理配置管理層RestfulAPIL2網(wǎng)絡(luò)SAL拓?fù)涔芾礞溌饭芾碇鳈C(jī)管理連接管理設(shè)備管理流表管理報(bào)文收發(fā)路徑計(jì)算QoS管理轉(zhuǎn)發(fā)管理IPv4協(xié)議IPv6協(xié)議L3網(wǎng)絡(luò)Overlay網(wǎng)絡(luò)服務(wù)功能鏈JAVA/C/C++嵌入式APIBGP/BGP-LS/PCEPNETCONF/XMPPOVSDB/SNMP/CAPWAPOPENFLOW1.0/1.3Overlay處理流程17ControllervSwitch1vm1vm2vSwitch21：packetIn2：SetFlow3：packetOutController的控制能力18ControllerClusterController的處理瓶頸：首包上送的處理能力（路由計(jì)算+流表下發(fā)）一個(gè)Host節(jié)點(diǎn)一般有1個(gè)vSwitch，可以起20-30個(gè)vm，每秒可能產(chǎn)生500個(gè)以上的新流500KTPS的性能，對(duì)應(yīng)的上限是1000個(gè)Host>1000?ControllerCluster部署方案19LeaderLeaderLeaderRegionMemberMemberMemberMemberMemberRegionRegionTeam管理功能和結(jié)構(gòu)20Team內(nèi)成員管理Leader選舉上報(bào)Team事件APP1APP2APP3APP4TeamZookeeperTeam的功能實(shí)現(xiàn)21Team內(nèi)成員管理Leader選舉上報(bào)Team事件當(dāng)Team模塊通過(guò)zookeeper的watch機(jī)制感知到集群成員信息變化或leader信息變化時(shí)，會(huì)給所有加入Team的模塊上報(bào)事件，其中包括：Team的狀態(tài)事件（是否可用）、成員的變化事件（加入/離開(kāi)）和leader的變化事件等。成員進(jìn)入Team：首先將本成員節(jié)點(diǎn)信息保存到zookeeper上，同時(shí)設(shè)置watch，從zookeeper中讀取現(xiàn)有成員信息，其他成員通過(guò)watch機(jī)制感知成員加入。成員離開(kāi)Team：成員由于故障或其他原因離開(kāi)Team，該成員在zookeeper上Session信息會(huì)被老化，導(dǎo)致該成員的節(jié)點(diǎn)信息被刪除，其他成員通過(guò)watch機(jī)制感知成員離開(kāi)。leader角色的成員進(jìn)入Team后，檢測(cè)Team是否已選出leader，如果leader不存在，觸發(fā)選舉流程，首先從zookeeper中讀取出所有成員的信息，根據(jù)成員的優(yōu)先級(jí)，從中選出優(yōu)先級(jí)最高的leader，并將該leader信息保存在zookeeper中，其他成員通過(guò)watch機(jī)制感知leader變化。Team內(nèi)的HA22BUSKeyStore目標(biāo)提供數(shù)據(jù)實(shí)時(shí)備份功能提供數(shù)據(jù)批量備份功能HA對(duì)App是不可見(jiàn)的，即App使用最簡(jiǎn)潔的接口完成數(shù)據(jù)同步BUS23bus通道給應(yīng)用模塊提供了實(shí)時(shí)消息的分發(fā)和接受處理機(jī)制，不同APP的bus通道彼此獨(dú)立。發(fā)送的bus消息，實(shí)際上就是在zookeeper中創(chuàng)建一個(gè)數(shù)據(jù)節(jié)點(diǎn)，其他成員的接收消息的過(guò)程是通過(guò)watch機(jī)制感知到節(jié)點(diǎn)變化事件后，將對(duì)應(yīng)節(jié)點(diǎn)數(shù)據(jù)讀出來(lái)。APP1APP2BUSBUSZookeeperAPP1APP2BUSBUSZookeeperAPP1APP2BUSBUSZookeeperSDNcontroller1SDNcontroller2SDNcontroller3KeyStore24KeyStore機(jī)制給新加入的Controller或者新啟動(dòng)的App恢復(fù)系統(tǒng)中其它Controller上相同App已經(jīng)生成的運(yùn)行時(shí)數(shù)據(jù)。KeyStore實(shí)現(xiàn)了一個(gè)非常簡(jiǎn)單的數(shù)據(jù)庫(kù)功能，采用Key-Value機(jī)制，不支持范圍查找，只提供了設(shè)置和獲取接口，沒(méi)有通知接口。APP1