2022IT云負(fù)載均衡技術(shù)白皮書

IIIIIT云負(fù)載均衡技術(shù)白皮書PAGE\*ROMANPAGE\*ROMANIV目錄前言 III一、背景 1（一）硬件負(fù)載均衡器在中國移動IT云的應(yīng)用 1（二）硬件負(fù)載均衡器的局限性 2硬件負(fù)載均衡的租戶業(yè)務(wù)支撐能力受架構(gòu)、技術(shù)限制 2硬件負(fù)載均衡定制化開發(fā)成本高 3應(yīng)用負(fù)載均衡器在中國移動IT云的應(yīng)用 3二、應(yīng)用負(fù)載均衡器技術(shù)原理 4（一）應(yīng)用負(fù)載均衡器數(shù)據(jù)平面使用的技術(shù) 4OVS+DPDK技術(shù) 4SR-IOV技術(shù) 5OVS+DPDK與SR-IOV技術(shù)對比 6（二）應(yīng)用負(fù)載均衡器與云平臺對接技術(shù) 8聲明式API對接技術(shù) 9LBaaS對接技術(shù) 10LBaaS對接與API對接技術(shù)對比 11（三）應(yīng)用負(fù)載均衡器管理平面部署方案 11帶外管理方式 11帶內(nèi)管理方式 12帶外管理與帶內(nèi)管理方案對比 12三、中國移動IT云應(yīng)用負(fù)載均衡器部署方案 13（一）中國移動IT云應(yīng)用負(fù)載均衡器的組網(wǎng)方案 13（二）中國移動IT云應(yīng)用負(fù)載均衡器部署方案 1410G網(wǎng)卡服務(wù)器vLB部署方案 1425G網(wǎng)卡服務(wù)器vLB部署方案 15網(wǎng)卡部署方案的選擇 16（三）vLB高可靠性方案 16四、技術(shù)展望 17（一）通過智能網(wǎng)卡卸載HTTPS流量 17（二）支持帶外管理 20五、縮略語 21PAGEPAGE10一、背景（一）硬件負(fù)載均衡器在中國移動IT云的應(yīng)用當(dāng)前，國內(nèi)云計算處于高速發(fā)展期，隨著云計算在降本增效、資源配置優(yōu)化等方面的價值凸顯，越來越多的企業(yè)紛紛規(guī)劃和建設(shè)了各類云計算數(shù)據(jù)中心，利用云計算技術(shù)支撐和滿足IT系統(tǒng)建設(shè)。ITITIT業(yè)務(wù)網(wǎng)絡(luò)劃分為多個POD，PODOpenStackSDN（虛擬交換機、SDN）、SDN采用傳統(tǒng)組網(wǎng)方式。PODPOD圖1IT云區(qū)域中心資源池節(jié)點網(wǎng)絡(luò)拓?fù)鋱DITOpenStackLBaaSOpenStackLBaaSv2EPCECOpenStackAPI行交互；LBLBaaSECLBLBaaS圖2IT云硬件負(fù)載均衡器部署架構(gòu)圖（二）硬件負(fù)載均衡器的局限性硬件負(fù)載均衡的租戶業(yè)務(wù)支撐能力受架構(gòu)、技術(shù)限制ITOpenStackLBSDNITIT表1IT云區(qū)域中心硬件負(fù)載均衡功能局限性問題分類案例分析負(fù)載策略部分個性化LB功能需求難以全部實現(xiàn)：OpenStackLB（七層內(nèi)容改寫、SNI、訪問控制等）、特殊應(yīng)用協(xié)議（udp,ftp,dns,Radauth,Radacct等）。業(yè)務(wù)監(jiān)控租戶缺少對LB上運行的業(yè)務(wù)健康狀態(tài)的感知和性能監(jiān)控：多省專業(yè)務(wù)上云后，提出租戶界面無法進行租戶級業(yè)務(wù)監(jiān)控，原生Neutron不支持，影響故障定位和運維效率，如業(yè)務(wù)狀態(tài)監(jiān)控（LB、成員狀態(tài)等）/業(yè)務(wù)性能監(jiān)控、可定義的健康探測方法（Http1.0/2.0健康檢查、基于網(wǎng)頁內(nèi)容的健康檢查、業(yè)務(wù)分發(fā)端口與健康檢查端口為不同端口等）。數(shù)據(jù)類型無法靈活支持特殊業(yè)務(wù)場景：多省業(yè)務(wù)需傳輸視頻類或者大文件類，目前架構(gòu)下多租戶共享無法滿足不同部署模式，Openstack硬件負(fù)載均衡定制化開發(fā)成本高IT備原廠多方配合，云管平臺、遠端模塊多技術(shù)棧、原廠多個集采廠家的研發(fā)能ITIT能的軟件產(chǎn)品，具備可動態(tài)遷移，彈性擴容等屬性，實現(xiàn)靈活的調(diào)度與管理，IT管平臺租戶界面，實現(xiàn)應(yīng)用負(fù)載均衡業(yè)務(wù)的開通和配置。圖3IT云應(yīng)用負(fù)載均衡部署架構(gòu)OpenStackL4負(fù)載能力；L4OpenStack二、應(yīng)用負(fù)載均衡器技術(shù)原理（一）應(yīng)用負(fù)載均衡器數(shù)據(jù)平面使用的技術(shù)應(yīng)用負(fù)載均衡器采用虛擬交換機部署，虛擬設(shè)備的性能會隨著宿主機的性能變化，另外宿主機需要進行數(shù)據(jù)處理，時延也會產(chǎn)生。針對上述問題，提出DPDKSR-IOVIDCOVS+DPDKDPDK（DataPlaneDevelopmentKit）6Wind、Intel的數(shù)據(jù)平面開發(fā)工具包。主要解決內(nèi)核收發(fā)包時的一些弊端：的中斷會產(chǎn)生較高的性能開銷，并造成上下文的切換產(chǎn)生時延；DMALinux50%以上；CPUCPUCPU0CPU2，CPU失效。相比Linux內(nèi)核收發(fā)包，DPDK有下面一系列的優(yōu)勢：BypassUIO（UserspaceI/O）旁路數(shù)據(jù)包，實現(xiàn)用戶態(tài)數(shù)據(jù)包收發(fā)，減少上下文切換及內(nèi)存拷貝；CPUCPU進行一比一綁定，減少彼此之間調(diào)度切換；（3）使用大頁內(nèi)存代替普通內(nèi)存；（4）采用無鎖技術(shù)。OVS（OpenvSwitch）是一款高質(zhì)量的開源虛擬交換機，運行在HypervisorOVSOVSLinux圖4OVS和OVS+DPDK技術(shù)架構(gòu)圖DPDKOVSvSwitch，OVSSR-IOVSR-IOV（SingleRootI/OVirtualization）技術(shù)是一種基于硬件的虛擬化解決方案，可提高性能和可伸縮性。SR-IOV（PeripheralComponentInterconnectExpress，快速外設(shè)組件互連）設(shè)備，并且在硬件設(shè)備中實現(xiàn)，可以獲得能夠與本機性能媲美的I/O性能。圖5SR-IOV技術(shù)架構(gòu)圖SR-IOV特點如下：性能——從虛擬機環(huán)境直接訪問硬件；布線、減少交換機端口。OVS+DPDKSR-IOV數(shù)據(jù)中心存在東西向流量與南北向流量，在同一個服務(wù)器內(nèi)的東西向流量，DPDKSR-IOVSR-IOV，SR-IOV針對東西向流量，DPDK優(yōu)化效果更好，下圖為東西向流量場景下DPDK與SR-IOV的性能測試數(shù)據(jù)。圖6東西向流量場景下DPDK與SR-IOV測試數(shù)據(jù)針對南北向流量，SR-IOV優(yōu)化效果更好，下圖為南北向流量場景下DPDK與SR-IOV的性能測試數(shù)據(jù)。圖7南北向流量場景下DPDK與SR-IOV測試數(shù)據(jù)（二）應(yīng)用負(fù)載均衡器與云平臺對接技術(shù)應(yīng)用負(fù)載均衡器作為獨立網(wǎng)元，以虛機或軟件形式部署在通用服務(wù)器上，APIL2-L3L4-L7為了實現(xiàn)軟負(fù)載初始化配置，采用Cloud-initCloud-init一個支持多操作系統(tǒng)的軟件包，用于處理云主機早期的初始化操作。當(dāng)系統(tǒng)啟動時，Cloud-initDataSourceMetadata（NovaMetadataConfigDrive（ConfigDriveOpenStackMetadataConfigDrive，InstanceInstance，Metadata）），完成包括但不限于以下定制化工作：DefaultSSHSSHKEYS.ssh/authorized_keys設(shè)置臨時掛載點；設(shè)置用戶密碼；配置網(wǎng)絡(luò)；安裝軟件包。圖8軟負(fù)載定制化實例配置軟負(fù)載啟動后，需進行許可的統(tǒng)一激活，業(yè)內(nèi)主流采用LicenseManagementServer（簡稱LMS）來進行軟負(fù)載的定制化許可下發(fā)及回收。LMS服務(wù)對外提供API接口給云平臺，云平臺完成軟負(fù)載初始化創(chuàng)建后，通過API接口下發(fā)許可簽發(fā)或回收操作。圖9云管平臺下發(fā)或回收License流程初始化并激活軟負(fù)載實例后，云平臺作為管理控制面，可通過兩種形式與應(yīng)用負(fù)載均衡器對接：LBaaSAPIAPI聲明式API由應(yīng)用負(fù)載均衡器提供，云平臺聲明目標(biāo)業(yè)務(wù)配置內(nèi)容，通過聲明式API一次性下發(fā)給應(yīng)用負(fù)載均衡器，整體架構(gòu)如下：圖10應(yīng)用負(fù)載均衡器聲明式API對接模式部署架構(gòu)該模式下云平臺與應(yīng)用負(fù)載均衡器直接連接，通過聲明式APIL7僅需擴展聲明式接口模型。LBaaSLBaaSOpenStackNeutron的負(fù)載均衡器服務(wù)插件，云平臺將NeutronServerSDNLBaaSAgent，再下發(fā)到應(yīng)用負(fù)載均衡器，整體架構(gòu)如下：圖11應(yīng)用負(fù)載均衡器LBaaS對接模式部署架構(gòu)該對接模式與硬件負(fù)載均衡器類似，可復(fù)用大部分現(xiàn)有私有云平臺體系，L7活多變，LBaaSLBaaS型以滿足需求，然而這類改造對現(xiàn)有體系的影響較大，依賴各大SDN廠商的配合，同時頻繁的擴展會造成原有穩(wěn)定的L4、L7業(yè)務(wù)的不穩(wěn)定性。LBaaSAPILBssS對接與聲明式API對接技術(shù)云管平臺對比如下：對比項LBaaS聲明式API兼容性可利用現(xiàn)有LBaaS框架需新開發(fā)LBAPI與控制器擴展性擴展性較差，接口模型擴展涉及多個層級組件，依賴SDN廠商與負(fù)載均衡等多方配合擴展性較好，接口模型擴展涉及層級組件少，僅需支持新的聲明配置模型易集成新SDN控制器及負(fù)載均衡廠商接入成本高新負(fù)載均衡廠商接入成本低配置性能鏈路較長，端到端配置性能有影響鏈路短，端到端配置性能影響小可運維鏈路較長，問題定位難度較大鏈路短，問題定位難度較小廠商支持程度廠商支持程度有差異，從無到有支持的難度較大廠商支持程度有差異，從無到有支持的難度較小技術(shù)趨勢OpenStack版本迭代較慢，且版本間兼容性較差，各廠商支持情況不一致符合云原生及基礎(chǔ)設(shè)施即代碼的理念，已在Kubernetes中被大量實踐（三）應(yīng)用負(fù)載均衡器管理平面部署方案帶外管理方式vNIC接口上，使得管理平面與業(yè)務(wù)平面獨立和隔離，使用不同的物理接口。此部署vNICSR-IOV圖12軟負(fù)載帶外管理部署方式帶內(nèi)管理方式vNICvNIC同時為兼顧管理平面和業(yè)務(wù)平面的隔離性，可在SDNVRF，將應(yīng)用負(fù)載均衡器的管理和業(yè)務(wù)平面進行一定的網(wǎng)絡(luò)隔離。圖13軟負(fù)載帶內(nèi)管理部署方式帶外管理與帶內(nèi)管理方案對比軟負(fù)載帶外管理與帶內(nèi)管理方案對比如下：對比項獨立帶外管理帶內(nèi)管理通用性業(yè)務(wù)接口可采用SR-IOV技術(shù)標(biāo)準(zhǔn)，相對OVS+DPDK技術(shù)更成熟，易用性更好業(yè)務(wù)接口采用OVS+DPDK，兩者演進相互依賴和緊耦合；SDN控制器和網(wǎng)關(guān)針對OVS有一定的定制化，需進行不同廠家和版本的適配安全性管理和業(yè)務(wù)接口完全物理獨立和隔離，安全性更好，可直接通過管理TOR交換機接入管理域vSwitch，管理平面和業(yè)務(wù)平面無法完全物理隔離，會彼此相互影響易集成通用性更好，與SDN廠家松耦合，更容易集成和標(biāo)準(zhǔn)、版本統(tǒng)一與SDN廠家提供的OVS+DPDK緊耦合，有一定集成工作量，且后續(xù)OVS+DPDK版本迭代后，可能需要重新適配性能業(yè)務(wù)接口采用SR-IOV網(wǎng)卡直通模型，性能更高，延遲更低業(yè)務(wù)接口通過vSwitch轉(zhuǎn)發(fā)，性能受限，vSwitch會成為轉(zhuǎn)發(fā)性能瓶頸，不適合高吞吐性能場景資源占用業(yè)務(wù)接口采用SR-IOV模型無額外系統(tǒng)資源占用，僅管理口啟用vSwitch，資源占用少vSwitch額外需占用至少8個CPU虛擬core，資源占用更大廠商支持程度有差異，云平臺和SDN廠家存在一定的開發(fā)工作量，并需要在資源池中驗證版本隨存在差異，但現(xiàn)網(wǎng)資源池已部署和使用，云平臺和SDN廠家開發(fā)工作量小技術(shù)趨勢高性能需求場景下，普遍采用業(yè)務(wù)接口普遍采用SR-IOV模式無法支持高性能需求場景，過渡依賴OS層，未來提升空間有限三、中國移動IT云應(yīng)用負(fù)載均衡器部署方案（一）中國移動IT云應(yīng)用負(fù)載均衡器的組網(wǎng)方案IT，SDNVxLAN應(yīng)用負(fù)載均衡器作為獨立的網(wǎng)元，以虛機或軟件形式部署在業(yè)務(wù)網(wǎng)絡(luò)中通用服務(wù)器上，并有如下要求：1vSwitchvSwitchVxLAN網(wǎng)絡(luò)，VTEPvSwitch2、vLBSNATSDNvLBSDNvLB3、一個租戶可以申請多個vLB，每個vLB只給一個租戶提供服務(wù)；4、通過云平臺實現(xiàn)vLB的安裝部署和業(yè)務(wù)配置；5、vLB的VIP與浮動IP1:1映射。圖14移動IT云組網(wǎng)架構(gòu)圖（二）中國移動IT云應(yīng)用負(fù)載均衡器部署方案ITC1CPU，40Core810G25GvLB4Core，CoreOVSCore以及端口冗余，每臺服務(wù)器建議部署7vLB10G825G41．10G網(wǎng)卡服務(wù)器vLB部署方案10GvLB10GEvLB1vNIC（vNIC1）、1vNIC（vNIC2），無需DFSvNIC；vNICvNICOVS425GE網(wǎng)口，425GEBound，TOR；業(yè)務(wù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)通過不同的VRF進行隔離。圖15應(yīng)用負(fù)載均衡在10G網(wǎng)卡服務(wù)器部署方案相應(yīng)技術(shù)要求如下：vLBOVS須支持綁定8個物理網(wǎng)口；LeafLACP82．25GvLB25GvLB25GEvLB1vNIC（vNIC1）、1vNIC（vNIC2），無需DFSvNIC；vNICvNICOVS425GE網(wǎng)口，425GEBound，TOR；業(yè)務(wù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)通過不同的VRF進行隔離。圖16應(yīng)用負(fù)載均衡在25G網(wǎng)卡服務(wù)器部署方案相應(yīng)技術(shù)要求如下：vLBOVS須支持綁定4個物理網(wǎng)口；LeafLACP43．網(wǎng)卡部署方案的選擇10G25G25G（三）vLB高可靠性方案vLBHAvLBvLB障時主備vLB同時失效；vLBvLBvLB主備vLB之間支持會話同步以保證業(yè)務(wù)連續(xù)性。圖17應(yīng)用負(fù)載均衡高可靠方案四、技術(shù)展望（一）通過智能網(wǎng)卡卸載HTTPS流量在基于云的架構(gòu)中，軟件化的負(fù)載均衡被越來越多的使用和部署，對于應(yīng)用負(fù)載均衡而言，優(yōu)點在于靈活性和彈性擴展，但缺點是無法媲美硬件的性能。硬件負(fù)載均衡設(shè)備絕大多數(shù)通過在設(shè)備主板或控制板卡中集成專用芯片來提升設(shè)備底層數(shù)據(jù)包處理能力和延遲，并通過FPGA可編程芯片提升抵御DDoS攻擊和四層TCP建立連接和吞吐能力。為了彌補應(yīng)用負(fù)載均衡器在性能方面的不足，業(yè)界普遍采用的方案是通過在宿主機安裝智能網(wǎng)卡，將CPU密集型功能卸載到宿主機的硬件智能網(wǎng)卡和SSL/TLSCPUDDoSSSL/TLSFPGALB智能網(wǎng)卡對應(yīng)用負(fù)載均衡器輔助增強的典型場景：（1）降低應(yīng)用負(fù)載均衡器的系統(tǒng)資源消耗；（2）四層負(fù)載均衡能力加速；NAT44/NAT64DDoS針對IT云的現(xiàn)網(wǎng)部署和需求情況，提出以下兩個典型應(yīng)用場景。場景一：集成IntelQAT優(yōu)化在云/VNF環(huán)境下的SSL/TLS卸載性能：SSL性能加速——提升四到五倍的并發(fā)請求數(shù)；GBSSLCPUCPU場景二：將網(wǎng)絡(luò)功能卸載到支持FPGA的智能網(wǎng)卡，顯著提高云/VNF環(huán)境中的性能：DDoSDDoSCPU70%左右，節(jié)省百分之四十左右的總費用；DDoSDoS,DoS向量。以下是在應(yīng)用負(fù)載均衡器+宿主機智能網(wǎng)卡綁定/L4遲的測試對比，通過測試可以看到綁定智能網(wǎng)卡的情況下，極大的縮短了應(yīng)用負(fù)載均衡器響應(yīng)延遲。L4SmartNICOffloadDisabled L4SmartNICOffloadEnabledLatency497μs（50μs的交換機延遲）Latency54μs（50μs）圖18引入智能網(wǎng)卡前后應(yīng)用負(fù)載均衡響應(yīng)時間測試此外，通過智能網(wǎng)卡，能夠在提升應(yīng)用負(fù)載均衡器四層吞吐能力的同時，CPUCPU表2引入智能網(wǎng)卡前后CPU資源消耗測試L4ThroughputGPUUtilization應(yīng)用負(fù)載均衡器不使用