基于金融云的開源軟件SDN網(wǎng)絡(luò)設(shè)計

1、 基于金融云的開源軟件 SDN 網(wǎng)絡(luò)設(shè)計 簡介近年來，隨著金融數(shù)據(jù)中心云化的加速，金融云作為最新的基礎(chǔ)設(shè)施形態(tài)開始被行業(yè)認同并接納。但在金融云環(huán)境下，傳統(tǒng)網(wǎng)絡(luò)技術(shù)架構(gòu)受到了挑戰(zhàn)：一方面虛擬化思想的出現(xiàn)，顛覆了原有的數(shù)據(jù)中心網(wǎng)絡(luò)模型，使得傳統(tǒng)網(wǎng)絡(luò)技術(shù)已不足以適配云環(huán)境下產(chǎn)生的新場景，如虛擬機的出現(xiàn)要求網(wǎng)絡(luò)顆粒度從物理機細化到了虛擬機級別；另一方面面向互聯(lián)網(wǎng)的金融創(chuàng)新業(yè)務(wù)的快速發(fā)展，也會對網(wǎng)絡(luò)的性能、彈性等特性提出更高的要求。所以未來金融數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)必將進行變革式的創(chuàng)新發(fā)展。軟件定義網(wǎng)絡(luò)（SDN）技術(shù)通過分布式架構(gòu)理念，將網(wǎng)絡(luò)中數(shù)據(jù)平面與控制平面相分離，從而實現(xiàn)了網(wǎng)絡(luò)流量的靈活控制，為核心網(wǎng)絡(luò)

2、及應(yīng)用的創(chuàng)新提供了良好的平臺，其與金融云網(wǎng)絡(luò)發(fā)展趨勢相契合，是實現(xiàn)金融云網(wǎng)絡(luò)服務(wù)的有效支撐技術(shù)。項目背景中國銀聯(lián)自2014年啟動軟件定義網(wǎng)絡(luò)（SDN）技術(shù)在金融云環(huán)境下的應(yīng)用研究，長期跟蹤SDN技術(shù)在國內(nèi)外金融行業(yè)的研究進展，并積極推動SDN技術(shù)在銀聯(lián)生產(chǎn)環(huán)境的應(yīng)用以及與銀行金融機構(gòu)的合作研究。2017年，銀聯(lián)對SDN軟硬方案的研究測試工作均已完成，兩套方案全部落地生產(chǎn)。銀聯(lián)私有生產(chǎn)云采用華為SDN整體硬件方案，銀聯(lián)生產(chǎn)托管云則采用Neutron+OpenvSwitch的軟件SDN方案。當前實現(xiàn)了網(wǎng)絡(luò)二/三層、負載均衡、防火墻等多網(wǎng)絡(luò)資源服務(wù)，承載了近期銀聯(lián)與相關(guān)合作金融機構(gòu)的關(guān)鍵應(yīng)用，有效支

3、撐了銀聯(lián)業(yè)務(wù)創(chuàng)新。當前，公司結(jié)合當前生產(chǎn)現(xiàn)狀與行業(yè)技術(shù)發(fā)展趨勢，開展下一代金融SDN相關(guān)技術(shù)研究工作。本項目主要針對公司當前應(yīng)用的基于Neutron的軟件SDN網(wǎng)絡(luò)方案所存在的不足進行進一步地研究優(yōu)化，從而滿足下一代金融云的網(wǎng)絡(luò)要求。項目范圍SDN技術(shù)的應(yīng)用顛覆式地改變了金融數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)，因此基于對網(wǎng)絡(luò)發(fā)展趨勢與具體需求的分析，在云環(huán)境下構(gòu)建新一代的SDN網(wǎng)絡(luò)需進行針對性的設(shè)計。據(jù)此提出了金融云數(shù)據(jù)中心整體網(wǎng)絡(luò)架構(gòu)，具體如下圖所示。圖1 金融數(shù)據(jù)中心整體網(wǎng)絡(luò)架構(gòu)首先，根據(jù)數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)成，將整體網(wǎng)絡(luò)分成了三個部分，具體如下：1.區(qū)域網(wǎng)絡(luò)，也就是我們常說的一個云平臺Region的網(wǎng)絡(luò)，業(yè)務(wù)系

4、統(tǒng)就運行在該區(qū)域內(nèi)。其網(wǎng)絡(luò)方案可分為硬件方案和軟件方案。網(wǎng)絡(luò)設(shè)備包括區(qū)域交換機、區(qū)域內(nèi)控制器、負載均衡；2.核心網(wǎng)，核心網(wǎng)就是連通各個區(qū)域的網(wǎng)絡(luò)，主要設(shè)備包括核心交換機；3.數(shù)據(jù)中心網(wǎng)絡(luò)，其實稱為數(shù)據(jù)中心外聯(lián)網(wǎng)絡(luò)可能更準確一些，負責數(shù)據(jù)中心與外部網(wǎng)絡(luò)的連通，其與外部骨干網(wǎng)連接，主要設(shè)備包括邊緣路由器。網(wǎng)絡(luò)分區(qū)確定后，隨后就根據(jù)各個分區(qū)的能力邊界構(gòu)建各自的網(wǎng)絡(luò)資源池，并對各個資源池能力進行標準的API接口化實現(xiàn)。最后，在頂層設(shè)計一個統(tǒng)一的網(wǎng)絡(luò)能力編排系統(tǒng)，將各個資源池的能力通過API對接的方式進行上收，隨后根據(jù)權(quán)限配置將不同網(wǎng)絡(luò)區(qū)域的能力下放至相應(yīng)的管理員與應(yīng)用系統(tǒng)。本次項目范圍屬于圖片中的紅色

5、區(qū)域，即對一個云區(qū)域內(nèi)的網(wǎng)絡(luò)方案研究，采用軟件SDN進行方案設(shè)計以及相關(guān)技術(shù)儲備。問題與挑戰(zhàn)SDN方案分為硬件和軟件兩大類。硬件SDN是采用專用的硬件交換設(shè)備與控制器來實現(xiàn)相關(guān)的網(wǎng)絡(luò)功能，控制器對硬件設(shè)備進行策略以及流表的下發(fā)，來實現(xiàn)網(wǎng)絡(luò)相關(guān)的功能。它的優(yōu)點是性能強，比較穩(wěn)定，缺點是不靈活且組網(wǎng)成本很高。而在軟件SDN的解決方案中，網(wǎng)絡(luò)的功能是通過軟件層面的Linux協(xié)議棧以及相關(guān)的虛擬交換機技術(shù)實現(xiàn)的。它的優(yōu)點可以避免對硬件網(wǎng)絡(luò)設(shè)備的過度依賴，同時降低了組網(wǎng)的成本，但是軟件方案的缺點也比較明顯，主要表現(xiàn)在網(wǎng)絡(luò)的穩(wěn)定性、性能和可擴展性不如硬件方案。當前公司生產(chǎn)環(huán)境中使用了基于Neutron的軟

6、件SDN方案，來支撐相應(yīng)的業(yè)務(wù)運行。但隨著公司業(yè)務(wù)的快速發(fā)展，云平臺規(guī)模的不斷增加，當前方案在性能、穩(wěn)定性以及可擴展性上的短板會逐漸地顯露，從而導致業(yè)務(wù)的連續(xù)性受到影響。因此本項目主要針對上述問題，對當前公司數(shù)據(jù)中心應(yīng)用的軟件SDN方案進行優(yōu)化完善，研究出更新一代的金融云軟件SDN網(wǎng)絡(luò)方案并進行實現(xiàn)，最終完成在公司研究云環(huán)境下的落地。項目需求與規(guī)劃首先在對方案的能力設(shè)計上，我們結(jié)合了當前金融數(shù)據(jù)中心針對軟件SDN方案的需求來進行規(guī)劃，主要圍繞上文中提到的三點問題。具體如下。1.性能增強首先性能是軟件SDN方案較硬件方案來說比較明顯的短板，在性能上我們從兩個層面上進行優(yōu)化。一是要簡化物理機內(nèi)部的

7、網(wǎng)流轉(zhuǎn)發(fā)路徑，如Neutron方案下物理機內(nèi)部的網(wǎng)橋有三層，過多的網(wǎng)橋數(shù)量勢必減緩對網(wǎng)絡(luò)數(shù)據(jù)的處理速度，所以要簡化；二是要優(yōu)化物理機外部的網(wǎng)流轉(zhuǎn)發(fā)路徑，如Neutron方案下所有跨網(wǎng)段通信的流量全部要繞至專門的網(wǎng)絡(luò)節(jié)點進行路由轉(zhuǎn)發(fā)，給性能帶來較大的影響。2.穩(wěn)定性增強然后是金融行業(yè)著重關(guān)注的穩(wěn)定性上，我們也有相關(guān)的能力設(shè)計考慮。一是由于節(jié)點數(shù)量的規(guī)?？焖僭鲩L所導致的廣播風暴會對網(wǎng)絡(luò)造成極大的損傷，因此本方案中將會針對該問題進行解決；二是優(yōu)化網(wǎng)流路徑，精簡網(wǎng)流數(shù)據(jù)的處理節(jié)點，進一步減少網(wǎng)流轉(zhuǎn)發(fā)中存在的風險點，并且打破集中式的網(wǎng)絡(luò)瓶頸，采用分布式架構(gòu)實現(xiàn)。3.可擴展性增強最后是為應(yīng)對業(yè)務(wù)流量的突發(fā)

8、式增長，方案在支撐資源的可擴展性上也有相關(guān)考慮。主要是網(wǎng)絡(luò)能夠打通跨區(qū)域的計算資源，并且做到在多租戶環(huán)境下實現(xiàn)跨區(qū)域資源的互通。4.云平臺對接問題網(wǎng)絡(luò)方案能夠落地必須要完成與現(xiàn)有云平臺的對接。當前生產(chǎn)云平臺使用的是openstack方案，因此網(wǎng)絡(luò)方案需完成與openstack云平臺的對接。上述是項目的能力設(shè)計需求，除此之外我們對項目在技術(shù)選型方面的需求也進行了思考與規(guī)劃，具體如下：首先整體方案的技術(shù)框架我們依然需要采用基于開源技術(shù)實現(xiàn)。一是因為金融行業(yè)的一些特殊需求需要對相關(guān)能力進行定制化開發(fā)，而且足夠快速和靈活，這就要求我們對方案具備自主可控的能力，采用商業(yè)軟件是做不到的；二是如果從頭進行開

9、發(fā)將會消耗大量的時間經(jīng)歷，基于開源技術(shù)則會達到快速實現(xiàn)的目的。項目具體能力設(shè)計（1）基于虛擬化的多租戶支持多租戶虛擬化網(wǎng)絡(luò)解決方案通過Overlay網(wǎng)絡(luò)和SDN控制器的相互配合，可以使得邏輯網(wǎng)絡(luò)與物理網(wǎng)絡(luò)解耦、控制平面和轉(zhuǎn)發(fā)平面分離，進而實現(xiàn)消除網(wǎng)絡(luò)限制、虛機任意遷移、IP地址靈活分配的目的，從而充分滿足用戶隨時隨地接入、業(yè)務(wù)快速上線、虛機遷移及策略自動跟隨的需求。當前多租戶已成為行業(yè)云的基本能力要求，但是在私有云中則會根據(jù)管理方式選擇性部署。但是我們認為隨著私有云規(guī)模的不斷擴大，多租戶也必將成為私有云的必需。一方面多租戶技術(shù)允許網(wǎng)絡(luò)資源重疊，能夠緩解整體網(wǎng)絡(luò)資源緊張的局面；另一方面多租戶概念

10、的引入將會使得不同應(yīng)用之間的網(wǎng)絡(luò)邏輯邊界更加明顯，在方便管理的同時也使得抽象的訪問策略更加具象化，提升運維效率。（2）跨區(qū)域互聯(lián)能力傳統(tǒng)交換網(wǎng)絡(luò)穩(wěn)定有余但靈活、高效不足。各網(wǎng)絡(luò)分區(qū)之間計算、存儲、網(wǎng)絡(luò)、機房物理環(huán)境等資源均為獨享模式，不同分區(qū)之間計算宿主機無法共享資源，虛擬機不允許在不同分區(qū)宿主機間漂移，計算資源利用率下降。為打破傳統(tǒng)分區(qū)，本方案將會對基于多租戶模式下的跨區(qū)域資源互聯(lián)進行實現(xiàn)，提高資源利用率與應(yīng)用部署靈活性。在具體能力實現(xiàn)中，項目采用與銀聯(lián)自研的區(qū)域互聯(lián)系統(tǒng)（以下簡稱RI，RI具體實現(xiàn)方式請見文章中國銀聯(lián)與上海銀行基于SDN的下一代金融云網(wǎng)絡(luò)聯(lián)合研究與應(yīng)用實踐）進行對接的方案，

11、在數(shù)據(jù)平面通過Vlan的方式與防火墻進行連通。（3）分布式網(wǎng)絡(luò)功能云的本質(zhì)是分布式計算的一種形式，采用虛擬化技術(shù)將集中的物理資源進行切割，并通過網(wǎng)絡(luò)將資源分散給不同用戶。因此，為了更好的契合云計算分布式的本質(zhì)，避免集中式的網(wǎng)絡(luò)功能成為云的瓶頸，在進行下一代金融云網(wǎng)絡(luò)能力設(shè)計中，我們將分布式的網(wǎng)絡(luò)功能作為必備能力。常用的云網(wǎng)絡(luò)功能包括網(wǎng)關(guān)、DHCP、ARP響應(yīng)、防火墻在本方案中，防火墻的能力通過硬件實現(xiàn)，所以在此不對其分布式實現(xiàn)進行討論；DHCP主要作用只是在虛擬機網(wǎng)絡(luò)發(fā)生變化時，向虛擬機下發(fā)主機名和IP地址，應(yīng)用場景少、涉及流量小，并非云網(wǎng)絡(luò)瓶頸，對其進行分布式實現(xiàn)意義也較小。而相反，在軟件云

12、網(wǎng)絡(luò)方案中，網(wǎng)關(guān)與ARP響應(yīng)兩組功能也全為軟件實現(xiàn)，屬于網(wǎng)絡(luò)基礎(chǔ)能力，應(yīng)用頻繁。網(wǎng)關(guān)是三層通信的流量轉(zhuǎn)發(fā)點，不同網(wǎng)絡(luò)之間的流量通信都必須經(jīng)過網(wǎng)關(guān)進行路由；而ARP響應(yīng)則是獲取目的MAC地址的唯一途徑，是二層通信中不可或缺的流程與手段，同時也是區(qū)域內(nèi)正常通信下廣播流量的主要來源。因此，對網(wǎng)關(guān)與ARP響應(yīng)進行分布式實現(xiàn)將會較大幅度地提升云網(wǎng)絡(luò)的效率與穩(wěn)定性。綜上所述，本項目會對通過對分布式網(wǎng)關(guān)和分布式ARP響應(yīng)能力的實現(xiàn)來提升方案的性能與穩(wěn)定性。（4）防火墻并聯(lián)方式接入防火墻用于提供四到七層網(wǎng)絡(luò)安全服務(wù)，實現(xiàn)邏輯區(qū)域之間的安全隔離。金融云網(wǎng)架構(gòu)模型中，可將硬件防火墻資源進行池化部署，并按需進行調(diào)度

13、，通過云控制平臺實現(xiàn)防火墻統(tǒng)一管理。除此之外，金融數(shù)據(jù)中在防火墻接入形態(tài)上采用物理并聯(lián)、邏輯串聯(lián)的方式，在防火墻故障的情況下仍能保證業(yè)務(wù)的正常運行，提升了業(yè)務(wù)的穩(wěn)定性。在項目中也將實現(xiàn)該效果。（5）最終能力實現(xiàn)效果以上能力全部實現(xiàn)后，最終的效果圖如下所示。優(yōu)勢與必要性本次項目目標要求研究下一代基于軟件SDN的金融云網(wǎng)絡(luò)方案，新方案要在性能、穩(wěn)定性與可擴展性上都要強于當前生產(chǎn)中基于Neutron的方案，且最終能夠與openstack云平臺進行集成對接。本次項目最終采用開源的軟件OpenDaylight（以下簡稱ODL）作為核心組件，來對整體方案的能力要求進行實現(xiàn)。ODL作為整體SDN架構(gòu)中的核心

14、控制器在本項目中使用，具備以下優(yōu)勢： OSGi體系結(jié)構(gòu)：采用OSGi體系結(jié)構(gòu)，做到了功能的隔離，解決了可擴展性、熱部署等等問題； SAL(Service Abstract Layer)：整個架構(gòu)中引入了業(yè)務(wù)抽象層（思科的貢獻），使得上層（北向）和下層（南向）之間的調(diào)用相互隔離，這個設(shè)計模式中的Dependence Inversion Principle 原則一致； MD(Model Drive)：使用Yang工具，使用業(yè)務(wù)模型驅(qū)動來設(shè)計接口、實現(xiàn)業(yè)務(wù)功能，根據(jù)yang文件，Yang工具直接生成業(yè)務(wù)管理的“骨架”，使開發(fā)者真正專注于具體業(yè)務(wù)。項目實施的預期應(yīng)用效果； 豐富的南向接口協(xié)議：如Ope

15、nFlow、NETCONF、OVSDB、BGP、PCEP等，可集成多廠商多類型的南向設(shè)備； 開放的可擴展北向API（Open Extensible Northbound API）：提供可擴展的應(yīng)用API，通過REST或者函數(shù)調(diào)用方式。兩者提供的功能要一致。 支持多租戶、切片（Support for Multitenancy/Slicing）：允許網(wǎng)絡(luò)在邏輯上（或物理上）劃分成不同的切片或租戶?？刂破鞯牟糠止δ芎湍K可以管理指定切片。控制器根據(jù)所管理的分片來呈現(xiàn)不同的控制觀測面。 一致性聚合（Consistent Clustering）：提供細粒度復制的聚合和確保網(wǎng)絡(luò)一致性的橫向擴展（scale

16、-out）。ODL已經(jīng)在很多行業(yè)進行部署應(yīng)用，具有一定的開源SDN控制器市場占有率，在各行各業(yè)都扮演著關(guān)鍵的因素。項目實施的預期應(yīng)用效果通過此次項目研究與實施，最終實現(xiàn)金融云的下一代軟件SDN方案，并在公司研究云落地應(yīng)用。相比之前的方案，在整體架構(gòu)設(shè)計與能力實現(xiàn)上都有增強。特別是項目完成之后，網(wǎng)絡(luò)的性能、穩(wěn)定性將會有大幅地提升，可擴展性上也會進一步加強。業(yè)務(wù)價值當前金融業(yè)務(wù)發(fā)展迅速，且互聯(lián)網(wǎng)化的趨勢明顯。網(wǎng)絡(luò)作為基礎(chǔ)設(shè)施的一部分，承載了所有金融業(yè)務(wù)的運行。因此網(wǎng)絡(luò)服務(wù)的質(zhì)量將會對金融業(yè)務(wù)帶來最直接的影響。所以網(wǎng)絡(luò)技術(shù)的更新?lián)Q代將會給金融業(yè)務(wù)帶來積極的影響，比如： 高安全，金融業(yè)務(wù)的特殊性對承載

17、網(wǎng)絡(luò)的第一要求即為保證數(shù)據(jù)的安全性，因此本項目方案能夠抵御系統(tǒng)外部攻擊，保證數(shù)據(jù)完備性與私密性的能力； 高敏捷，實現(xiàn)業(yè)務(wù)快速上線，面對應(yīng)用的變化達到資源的按需變更，通過新技術(shù)應(yīng)用打破因重安全而舍效率的困局，在云計算新環(huán)境下安全與高效并重； 高性能，面對秒殺等新業(yè)務(wù)場景等的極限服務(wù)能力，實現(xiàn)時延和帶寬等關(guān)鍵指標的跨越式提升，同時注重資源的高效利用，用盡可能少的資源實現(xiàn)最大的性能服務(wù)。 高可用，網(wǎng)絡(luò)架構(gòu)持續(xù)穩(wěn)定影響金融數(shù)據(jù)中心全局服務(wù)能力，項目方案基于穩(wěn)定可靠的技術(shù)構(gòu)建，使網(wǎng)絡(luò)服務(wù)具備7*24小時業(yè)務(wù)連續(xù)性服務(wù)的能力。企業(yè)IT系統(tǒng)價值項目方案選型全部基于開源軟件，因此不存在額外的License費用

18、。而且整體項目屬于基礎(chǔ)設(shè)施層面的技術(shù)研究，因此項目系統(tǒng)在公司內(nèi)將作為基礎(chǔ)支撐系統(tǒng)來應(yīng)用，重要程度較高，且該系統(tǒng)的應(yīng)用部署不會影響到上層業(yè)務(wù)應(yīng)用系統(tǒng)。運維人員價值上文中提到，項目采用開源軟件作為框架來進行開發(fā)完成。相對于傳統(tǒng)的有廠商支持的閉源系統(tǒng)來說，開源軟件的運維對管理員的技能要求高，需要運維人員不僅能夠掌握相關(guān)Linux操作系統(tǒng)的操作技能，具備簡單的腳本編寫能力，而且更需要運維人員能夠進行故障定位與排查。但是在對運維人員有高要求的同時，其在網(wǎng)絡(luò)管理上也給運維人員帶來了許多方便，具體如下： 物理機內(nèi)部的虛擬網(wǎng)橋簡化，減少了故障定位與排查的難度； 分布式的網(wǎng)絡(luò)架構(gòu)摒除了集中網(wǎng)絡(luò)節(jié)點，降低了整網(wǎng)故

19、障的發(fā)生率； 項目提供可視化的網(wǎng)絡(luò)拓撲界面，能夠幫助運維人員更直觀的對云網(wǎng)絡(luò)架構(gòu)進行認識和熟悉； 項目提供豐富的網(wǎng)絡(luò)運維配置接口，運維人員可以更靈活、快速地對云網(wǎng)絡(luò)進行配置操作。風險管理網(wǎng)絡(luò)方案作為數(shù)據(jù)中心的基礎(chǔ)技術(shù)，若無風險管理機制，一旦出現(xiàn)問題將會直接影響到云平臺甚至上層業(yè)務(wù)系統(tǒng)的運行。因此，在項目中對相關(guān)的風險問題進行了規(guī)劃與準備。面臨的風險根據(jù)實際情況，將項目中可能面臨的風險分為以下幾類，具體如下。（1）技術(shù)選型風險項目方案全部采用開源方式實現(xiàn)，在降低成本的同時，也增加了代碼漏洞分線與問題出現(xiàn)后的處理難度；同時項目涉及到不同開源軟件之間的集成對接，一旦涉及到對接的情況，一般都會有比較多

20、的問題產(chǎn)生。（2）功能實現(xiàn)風險本項目的需求面較廣，要求較高，其中甚至對云平臺網(wǎng)絡(luò)的應(yīng)用場景進行了豐富。在這里不得不考慮由于場景的增加而對相關(guān)的能力實現(xiàn)機制所帶來的影響，極有可能造成相關(guān)能力實現(xiàn)機制的修改，增加了項目難度。（3）時間期限風險對于經(jīng)過批準的或者是已經(jīng)在開發(fā)中的項目，其風險點通常落在項目是否能在預算內(nèi)、按期、高質(zhì)量地交付，能否及時完成落地，不會因為本項目的延后而導致其它業(yè)務(wù)系統(tǒng)不能準時上線。（4）運維風險項目落地使用后，由于運維人員操作不當而造成的系統(tǒng)故障以及相關(guān)網(wǎng)絡(luò)服務(wù)與資源的異常。風險定級針對可能的風險，在項目的初始階段可以定義出風險的級別，便于分析和啟動應(yīng)對措施，避免風險的發(fā)生，將問題盡快解決。本項目采用1-3級的方式，對風險進行劃分，具體如下：高風險：方案能力實現(xiàn)不完善，造成嚴重的系統(tǒng)異常，導致網(wǎng)絡(luò)不問題，影響業(yè)務(wù)正常訪問，造成嚴重系統(tǒng)異常；中風險：系統(tǒng)異常，不影響存量業(yè)務(wù)使用，但對新增業(yè)務(wù)不能提供網(wǎng)絡(luò)服務(wù)；低風險：系統(tǒng)輕微異常，未對業(yè)務(wù)造成影響。應(yīng)對措施針對各類風險所產(chǎn)生的原因不同，項目前期也制