2023業(yè)務(wù)上云設(shè)計(jì)建議

業(yè)務(wù)上云設(shè)計(jì)建議能源行業(yè)業(yè)務(wù)技術(shù)架構(gòu)總體上可以分為兩個(gè)部分：一個(gè)部分是云基座，這一部分包括IAAS層資源，和云上的云管與安全災(zāi)備服務(wù)，一般由云服務(wù)廠(chǎng)商提供。另一個(gè)部分是可變的客戶(hù)技術(shù)架構(gòu)，這一部分主要描述在云基座上，客戶(hù)為了實(shí)現(xiàn)自身業(yè)務(wù)，會(huì)采用哪些技術(shù)，這些技術(shù)是可變的且有多種來(lái)源，有可能是客戶(hù)自研應(yīng)用、開(kāi)源技術(shù)、其他云服務(wù)商提供的服務(wù)，或者華為云提供的高階服務(wù)。圖能源行業(yè)業(yè)務(wù)技術(shù)架構(gòu)全景圖如圖所示，能源行業(yè)客戶(hù)技術(shù)架構(gòu)可以細(xì)分為接入層、應(yīng)用層、數(shù)據(jù)層。在應(yīng)用層和數(shù)據(jù)層中，又可以分為客戶(hù)應(yīng)用、中間件、微服務(wù)、容器、數(shù)據(jù)庫(kù)、大數(shù)據(jù)等六個(gè)技術(shù)模塊。其中，客戶(hù)應(yīng)用完全由客戶(hù)自身開(kāi)發(fā)決定，其他五個(gè)模塊中均有華為可以提供的云服務(wù)技術(shù)。下表列出了與客戶(hù)技術(shù)需求對(duì)應(yīng)的華為組件。表組件選型建議技術(shù)層技術(shù)需求華為組件技術(shù)特點(diǎn)接入層彈性ip地址EIPEIP是一個(gè)靜態(tài)的公共IP地址，可以與彈性云服務(wù)器、裸金屬服務(wù)器、虛擬IP、彈性負(fù)載均衡等資源靈活地綁定及解綁。高速低時(shí)延網(wǎng)絡(luò)云專(zhuān)線(xiàn)用戶(hù)可以通過(guò)云專(zhuān)線(xiàn)將用戶(hù)側(cè)的用戶(hù)網(wǎng)絡(luò)、數(shù)據(jù)中心、主機(jī)托管區(qū)連接至云上VPC專(zhuān)線(xiàn)連接，享受高性能、低延遲、安全專(zhuān)用的數(shù)據(jù)網(wǎng)絡(luò)。虛擬專(zhuān)用網(wǎng)絡(luò)VPNVPN用于在遠(yuǎn)端用戶(hù)和虛擬私有云之間建立一條安全加密的通信隧道。負(fù)載均衡ELB彈性負(fù)載均衡可以通過(guò)流量分發(fā)擴(kuò)展應(yīng)用系統(tǒng)對(duì)外的服務(wù)能力，實(shí)現(xiàn)更高水平的應(yīng)用程序容錯(cuò)性能。彈性負(fù)載均衡可以消除單點(diǎn)故障，提高整個(gè)系統(tǒng)的可用性。應(yīng)用層緩存數(shù)據(jù)庫(kù)DCS分布式緩存服務(wù)兼容了Redis內(nèi)存數(shù)據(jù)庫(kù)引擎，提供即開(kāi)即用、安全可靠、彈性擴(kuò)容、便捷管理的在線(xiàn)分布式緩存能力，滿(mǎn)足用戶(hù)高并發(fā)及數(shù)據(jù)快速訪(fǎng)問(wèn)的業(yè)務(wù)訴求。消息隊(duì)列SMN消息通知服務(wù)能夠?qū)崿F(xiàn)一站式集成多種推送通知方式。大大簡(jiǎn)化系統(tǒng)耦合，能夠根據(jù)用戶(hù)的需求，向訂閱終端主動(dòng)推送消息。服務(wù)網(wǎng)格ASM應(yīng)用服務(wù)網(wǎng)格提供非侵入式的微服務(wù)治理解決方案，支持完整的生命周期管理和流量治理，兼容Kubernetes和Istio生態(tài)，功能包括負(fù)載均衡、熔斷、限流等多種治理能力。并內(nèi)置金絲雀、藍(lán)綠灰度發(fā)布流程，提供一站式自動(dòng)化的發(fā)布管理。微服務(wù)管理ServiceStage應(yīng)用管理與運(yùn)維平臺(tái)提供應(yīng)用發(fā)布、部署、監(jiān)控與運(yùn)維等一站式解決方案。支持Java、Go、PHP、Node.js、Docker、Tomcat等運(yùn)行環(huán)境。支持Web應(yīng)用，以及ApacheServiceComb、SpringCloud、Dubbo、服務(wù)網(wǎng)格等微服務(wù)應(yīng)用和通用應(yīng)用，讓企業(yè)應(yīng)用上云更簡(jiǎn)單。容器運(yùn)行服務(wù)CCE云容器引擎提供高度可擴(kuò)展的、高性能的企業(yè)級(jí)Kubernetes集群，支持運(yùn)行Docker容器。借助云容器引擎，可以在云上輕松部署、管理和擴(kuò)展容器化應(yīng)用程序。容器鏡像服務(wù)SWR容器鏡像服務(wù)提供簡(jiǎn)單易用、安全可靠的鏡像管理功能，幫助您快速部署容器化服務(wù)。數(shù)據(jù)層關(guān)系型數(shù)據(jù)庫(kù)RDSRDS支持MySQL關(guān)系型數(shù)據(jù)庫(kù)的發(fā)放和管理，具有完善的性能監(jiān)控體系和安全防護(hù)措施。通過(guò)提供專(zhuān)業(yè)的數(shù)據(jù)庫(kù)管理平臺(tái)，讓用戶(hù)能夠在云中輕松設(shè)置、操作和擴(kuò)展關(guān)系型數(shù)據(jù)庫(kù)。GaussDBGaussDB(foropenGauss)具備企業(yè)級(jí)復(fù)雜事務(wù)混合負(fù)載能力，同時(shí)支持優(yōu)異的分布式事務(wù)，同城跨AZ部署，數(shù)據(jù)0丟失，支持1000+擴(kuò)展能力，PB級(jí)海量存儲(chǔ)等企業(yè)級(jí)數(shù)據(jù)庫(kù)特性。擁有云上高可用，高可靠，高安全，彈性伸縮，一鍵部署，快速備份恢復(fù)，監(jiān)控告警等關(guān)鍵能力，能為企業(yè)提供功能全面，穩(wěn)定可靠，擴(kuò)展性強(qiáng)，性能優(yōu)越的企業(yè)級(jí)數(shù)據(jù)庫(kù)服務(wù)。文檔數(shù)據(jù)庫(kù)DDS文檔數(shù)據(jù)庫(kù)服務(wù)提供安全、高可用、高可靠、彈性伸縮和易用的數(shù)據(jù)庫(kù)服務(wù)，同時(shí)提供一鍵部署、彈性擴(kuò)容、容災(zāi)、備份、恢復(fù)、監(jiān)控和告警等功能。數(shù)據(jù)倉(cāng)庫(kù)DWS數(shù)據(jù)倉(cāng)庫(kù)服務(wù)是一種基于云基礎(chǔ)架構(gòu)和平臺(tái)的在線(xiàn)數(shù)據(jù)處理數(shù)據(jù)庫(kù)，提供即開(kāi)即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù)。數(shù)據(jù)分析MRSMapReduce服務(wù)是一種基于云計(jì)算平臺(tái)的即開(kāi)即用、穩(wěn)定可靠、彈性伸縮、便捷管理的數(shù)據(jù)處理分析服務(wù)。應(yīng)用層和數(shù)據(jù)層除客戶(hù)應(yīng)用以外的其他技術(shù)和組件因其通用性，可以被任何其他應(yīng)用使用，可以稱(chēng)之為通用組件。為確保上層業(yè)務(wù)應(yīng)用合理、可靠、安全、高效地使用云資源，指導(dǎo)業(yè)務(wù)系統(tǒng)正確的選用通用軟件，應(yīng)遵循如下原則要求：通用性原則通用軟件組件需要在相關(guān)領(lǐng)域內(nèi)具備一定的知名度和市場(chǎng)份額，在領(lǐng)域內(nèi)具備規(guī)模批量部署的相關(guān)資質(zhì)和條件兼容性原則通用軟件組件需要與已選基礎(chǔ)設(shè)施組件，包括但不限于虛擬化、云管平臺(tái)等軟件組件保持兼容性通用軟件組件各層次之間需確保向下兼容，例如數(shù)據(jù)庫(kù)需確保兼容Windows操作系統(tǒng)和Linux操作系統(tǒng)通用軟件組件各版本之間需保持前向兼容，最新版本需要能夠兼容歷史版本松耦合原則通用軟件組件之間需保持松耦合，組件之間調(diào)用需要通過(guò)接口API進(jìn)行安全原則通用軟件組件需遵循公司安全自檢規(guī)范通用軟件組件需遵循業(yè)內(nèi)通用的安全協(xié)議通用軟件組件需具備定期、可度量、可檢測(cè)的安全機(jī)制可靠性原則通用軟件組件需具備明確清晰的可靠性標(biāo)準(zhǔn)以及可度量的SLA指標(biāo)通用軟件組件需具備基本的高可用能力接入層設(shè)計(jì)建議接入層設(shè)計(jì)規(guī)范接入層負(fù)責(zé)定義系統(tǒng)的接入形式，即采用負(fù)載均衡接入以分擔(dān)流量提升性能、采用CDN網(wǎng)絡(luò)進(jìn)行加速、采用靜態(tài)緩存服務(wù)器提升訪(fǎng)問(wèn)效率等技術(shù)形態(tài)。接入層開(kāi)發(fā)過(guò)程中需遵循可擴(kuò)展性原則、部署形態(tài)、安全防護(hù)、接入方式四部分原則要求，詳情參見(jiàn)下表：表接入層開(kāi)發(fā)規(guī)范序號(hào)自檢原則原則說(shuō)明判斷細(xì)則檢測(cè)級(jí)別備注1可擴(kuò)展性應(yīng)用無(wú)狀態(tài)，可彈性擴(kuò)展是否存在負(fù)載均衡機(jī)制強(qiáng)制無(wú)負(fù)載均衡機(jī)制的，需整改后入云是否有會(huì)話(huà)管理機(jī)制強(qiáng)制無(wú)會(huì)話(huà)管理機(jī)制，需整改后入云會(huì)話(huà)session不在本地文件中保存強(qiáng)制會(huì)話(huà)Session存儲(chǔ)在本地的需整改為存儲(chǔ)在分布式緩存/共享存儲(chǔ)/對(duì)象存儲(chǔ)中2部署形態(tài)接入層部署形式應(yīng)用支持虛擬機(jī)部署強(qiáng)制必須支持虛擬機(jī)部署，否則無(wú)法進(jìn)行業(yè)務(wù)上云應(yīng)用支持容器部署建議建議支持容器化部署應(yīng)用按照接入方式不同，部署不同的接入服務(wù)器。強(qiáng)制Web接入方式/App接入方式需部署不同的接入服務(wù)器是否未與其他應(yīng)用程序共部署在一臺(tái)主機(jī)上強(qiáng)制共部署形態(tài)需要單獨(dú)打開(kāi)分析，其部署模式是否合理，不建議共部署3安全防護(hù)接入層采用的安全防護(hù)具備應(yīng)用級(jí)別防DDoS攻擊機(jī)制強(qiáng)制無(wú)應(yīng)用級(jí)別防DDoS攻擊機(jī)制的，需整改后入云具備應(yīng)用級(jí)別入侵檢測(cè)機(jī)制強(qiáng)制無(wú)應(yīng)用級(jí)別入侵檢測(cè)機(jī)制的，需整改后入云4接入模式接入層的網(wǎng)絡(luò)接入方式是否使用VPN接入建議無(wú)是否使用專(zhuān)線(xiàn)建議無(wú)“強(qiáng)制”檢測(cè)級(jí)別的選項(xiàng)，如不滿(mǎn)足條件，則需通過(guò)整改后方能入云?！敖ㄗh”檢測(cè)級(jí)別的選項(xiàng)，如不滿(mǎn)足條件，則無(wú)強(qiáng)制要求。接入層設(shè)計(jì)技術(shù)建議業(yè)務(wù)上云對(duì)接入層的關(guān)注點(diǎn)主要有以下四個(gè)方面：1、網(wǎng)絡(luò)接入方式接入層為外部訪(fǎng)問(wèn)提供了訪(fǎng)問(wèn)入口，因此，網(wǎng)絡(luò)的接入方式是必須考慮的上云因素之一。云上業(yè)務(wù)部署在VPC私有網(wǎng)絡(luò)中，默認(rèn)與外部網(wǎng)絡(luò)隔離，當(dāng)外部需要訪(fǎng)問(wèn)VPC內(nèi)業(yè)務(wù)時(shí)，根據(jù)場(chǎng)景，一般有兩種方式：表網(wǎng)絡(luò)接入方式接入方式應(yīng)用場(chǎng)景說(shuō)明云專(zhuān)線(xiàn)（TYPE1）/路由直通網(wǎng)絡(luò)（TYPE2）專(zhuān)線(xiàn)搭建用戶(hù)本地?cái)?shù)據(jù)中心與云上虛擬私有云（VirtualPrivateCloud，VPC）之間高速、低時(shí)延、穩(wěn)定安全的專(zhuān)屬連接通道?？梢酝ㄟ^(guò)云專(zhuān)線(xiàn)打通云上VPC和用戶(hù)數(shù)據(jù)中心的數(shù)據(jù)業(yè)務(wù)。用戶(hù)可以通過(guò)云專(zhuān)線(xiàn)將用戶(hù)側(cè)的用戶(hù)網(wǎng)絡(luò)、數(shù)據(jù)中心、主機(jī)托管區(qū)連接至云上VPC專(zhuān)線(xiàn)連接，享受高性能、低延遲、安全專(zhuān)用的數(shù)據(jù)網(wǎng)絡(luò)。EIPEIP是通過(guò)NAT方式，實(shí)現(xiàn)外部網(wǎng)絡(luò)與VPC私有網(wǎng)絡(luò)的通信，由于NAT的流量繞行，轉(zhuǎn)發(fā)路徑較長(zhǎng)，且僅支持單點(diǎn)IP的映射，不支持網(wǎng)段的連接，因此，推薦用于Internet訪(fǎng)問(wèn)云上業(yè)務(wù)的場(chǎng)景。企業(yè)內(nèi)部網(wǎng)絡(luò)與VPC互通的場(chǎng)景，建議首選專(zhuān)線(xiàn)方案。IPSecVPNIPSecVPN是通過(guò)VPN專(zhuān)業(yè)設(shè)備，基于Internet建立安全可靠的IPsec加密通道2、可靠性為了滿(mǎn)足業(yè)務(wù)可靠性要求，在正式生產(chǎn)業(yè)務(wù)中一般不允許出現(xiàn)單點(diǎn)故障（開(kāi)發(fā)測(cè)試類(lèi)業(yè)務(wù)一般無(wú)此要求）。常見(jiàn)接入層有兩種部署形態(tài)：表高可靠部署形態(tài)部署形態(tài)場(chǎng)景說(shuō)明主備通過(guò)第三方軟件，根據(jù)業(yè)務(wù)狀態(tài)，實(shí)現(xiàn)浮動(dòng)IP與兩臺(tái)主機(jī)的動(dòng)態(tài)綁定，達(dá)到單點(diǎn)故障業(yè)務(wù)快速自動(dòng)恢復(fù)的目的，一般秒級(jí)即可完成故障倒換，同一時(shí)間只有主服務(wù)器提供業(yè)務(wù)接入能力，適用于低訪(fǎng)問(wèn)量的業(yè)務(wù)。負(fù)載均衡集群通過(guò)負(fù)載均衡，實(shí)現(xiàn)多臺(tái)服務(wù)器的集群化，所有服務(wù)器都能提供業(yè)務(wù)接入能力，單臺(tái)服務(wù)器故障，不影響整體功能，并且根據(jù)訪(fǎng)問(wèn)量的變化，可以手動(dòng)調(diào)整后端服務(wù)器的數(shù)量，也可通過(guò)彈性伸縮實(shí)現(xiàn)動(dòng)態(tài)的自動(dòng)調(diào)整，滿(mǎn)足訪(fǎng)問(wèn)量增長(zhǎng)的需要。適用于無(wú)狀態(tài)的業(yè)務(wù)接入。說(shuō)明所謂無(wú)狀態(tài)，指的是不存儲(chǔ)任何上下文信息，僅根據(jù)請(qǐng)求所攜帶的信息進(jìn)行業(yè)務(wù)邏輯處理，業(yè)務(wù)請(qǐng)求到任何一臺(tái)服務(wù)器，都能得到相同的結(jié)果。3、可擴(kuò)展性有些業(yè)務(wù)面向公網(wǎng)，用戶(hù)量存在很大的變數(shù)，這種情況下系統(tǒng)的可擴(kuò)展性就非常重要。業(yè)務(wù)上云時(shí)，推薦接入層使用多臺(tái)小規(guī)格服務(wù)器部署，通過(guò)負(fù)載均衡對(duì)外提供統(tǒng)一入口，如果業(yè)務(wù)存在突發(fā)峰值的情況，再搭配彈性伸縮服務(wù)，實(shí)現(xiàn)自動(dòng)擴(kuò)展與收縮。擴(kuò)展性有兩種，一種是垂直的，通過(guò)增加服務(wù)器的CPU、內(nèi)存，來(lái)提升系統(tǒng)性能，我們稱(chēng)之為Scale-up；另一種是水平的，通過(guò)橫向增加服務(wù)器數(shù)量提升系統(tǒng)性能，稱(chēng)之為Scale-out。由于服務(wù)器規(guī)格不能無(wú)限增加，因此Scale-up局限性非常明顯，并且隨著分布式的推廣，Scale-out形式的擴(kuò)展能力越來(lái)越普及，也是我們推薦的方式。4、接入安全接入層由于需要暴露給外部訪(fǎng)問(wèn)，因此最容易遭受攻擊，尤其是需要公網(wǎng)訪(fǎng)問(wèn)的業(yè)務(wù)。從私有云平臺(tái)的角度，可以從三個(gè)方面去增強(qiáng)接入的安全性：通過(guò)高級(jí)安全服務(wù)，如CFW、WAF、WTP等，加強(qiáng)系統(tǒng)的安全性，防御外部攻擊。按需配置虛擬防火墻及安全組規(guī)則，減少暴露的系統(tǒng)端口，降低外部威脅。接入層與其它層分別配置不同的安全組，按需配置安全組規(guī)則，防止內(nèi)部威脅擴(kuò)散?；谝陨弦蛩?，應(yīng)用上云時(shí)，推薦的典型的接入層架構(gòu)有如下兩種：圖接入層上云推薦架構(gòu)接入層選型建議接入層我們本章節(jié)重點(diǎn)關(guān)注云內(nèi)、云外接入方式，將基于接入方式給出選型建議。云外接入選型建議1、云外接入選型建議1.1.組件對(duì)比表云外與云內(nèi)VPC互通組件對(duì)比產(chǎn)品名稱(chēng)使用場(chǎng)景產(chǎn)品特性參數(shù)建議歷史實(shí)踐L3GW1.在政企云場(chǎng)景，政企客戶(hù)的業(yè)務(wù)部署在客戶(hù)的自有機(jī)房，客戶(hù)一部分系統(tǒng)已遷移入云，一部分仍然在云外，業(yè)務(wù)之間有互訪(fǎng)需求，需要通過(guò)網(wǎng)絡(luò)或?qū)＞€(xiàn)進(jìn)行互聯(lián)。2.在運(yùn)營(yíng)商私有云場(chǎng)景，客戶(hù)老機(jī)房因?yàn)殡娏?，空間等因素，需要將新的業(yè)務(wù)部署到HCS上，業(yè)務(wù)系統(tǒng)的一部分在云內(nèi)，一部分在云外，通過(guò)網(wǎng)絡(luò)或?qū)＞€(xiàn)進(jìn)行互聯(lián)。-超高安全性能物理專(zhuān)線(xiàn)的私網(wǎng)連接不通過(guò)公網(wǎng)，網(wǎng)絡(luò)鏈路用戶(hù)獨(dú)占，無(wú)數(shù)據(jù)泄露風(fēng)險(xiǎn)，安全性能高，可滿(mǎn)足金融、政企等高等級(jí)網(wǎng)絡(luò)連接需求。-穩(wěn)定網(wǎng)絡(luò)延時(shí)網(wǎng)絡(luò)延時(shí)可靠性高，通過(guò)固定路由配置，免去擁堵或故障繞行帶來(lái)的時(shí)延不穩(wěn)困擾。增強(qiáng)型云專(zhuān)線(xiàn)做云內(nèi)云外互通時(shí)，云內(nèi)VXLAN流量通過(guò)核心租戶(hù)VRF轉(zhuǎn)發(fā)至L3GW，在L3GW進(jìn)行VXLAN到VLAN的轉(zhuǎn)換，并通過(guò)L3GW內(nèi)的專(zhuān)線(xiàn)VRF轉(zhuǎn)發(fā)至外部網(wǎng)絡(luò)節(jié)點(diǎn)；（也就是說(shuō)增強(qiáng)型云專(zhuān)線(xiàn)不需要經(jīng)過(guò)SDN網(wǎng)絡(luò)節(jié)點(diǎn)，不會(huì)出現(xiàn)與其他業(yè)務(wù)流量搶占帶寬的場(chǎng)景）XX業(yè)主使用L3GW進(jìn)行網(wǎng)絡(luò)互通EIP-通用性應(yīng)用需要被外部訪(fǎng)問(wèn)的WEB服務(wù)器的ELBvIP地址綁定在EIP地址上，WEB服務(wù)器就能被外網(wǎng)用戶(hù)訪(fǎng)問(wèn)。并綁定的EIP地址可以進(jìn)行域名注冊(cè)，以域名對(duì)外提供服務(wù)，使得EIP地址并不直接對(duì)外暴露，實(shí)現(xiàn)EIP地址發(fā)生變化，而不影響客戶(hù)。-業(yè)務(wù)系統(tǒng)之間互聯(lián)當(dāng)云內(nèi)業(yè)務(wù)系統(tǒng)和傳統(tǒng)云外的業(yè)務(wù)系統(tǒng)需要相互通信或接口調(diào)用，可以將需要訪(fǎng)問(wèn)的接口服務(wù)器（通過(guò)ELB、HA或單機(jī)）IP地址和需要訪(fǎng)問(wèn)網(wǎng)絡(luò)的EIP地址進(jìn)行綁定，實(shí)現(xiàn)業(yè)務(wù)互通。一個(gè)彈性公網(wǎng)IP只能綁定一個(gè)云資源使用，且彈性公網(wǎng)IP和云資源必須在同一個(gè)區(qū)域，不支持跨區(qū)域使用彈性公網(wǎng)IP。通用可用區(qū)的EIP不支持綁定至邊緣可用區(qū)的實(shí)例，邊緣可用區(qū)的EIP也不支持綁定至通用可用區(qū)的實(shí)例NAT1.使用SNAT訪(fǎng)問(wèn)公網(wǎng)當(dāng)VPC內(nèi)的云主機(jī)需要訪(fǎng)問(wèn)公網(wǎng)，請(qǐng)求量大時(shí)，為了節(jié)省彈性公網(wǎng)IP資源并且避免云主機(jī)IP直接暴露在公網(wǎng)上，可以使用公網(wǎng)NAT網(wǎng)關(guān)的SNAT功能。VPC中一個(gè)子網(wǎng)對(duì)應(yīng)一條SNAT規(guī)則，一條SNAT規(guī)則可以配置多個(gè)彈性公網(wǎng)IP。公網(wǎng)NAT網(wǎng)關(guān)提供不同規(guī)格的連接數(shù)，根據(jù)業(yè)務(wù)規(guī)劃，可以通過(guò)創(chuàng)建多條SNAT規(guī)則，來(lái)實(shí)現(xiàn)共享彈性公網(wǎng)IP資源。簡(jiǎn)規(guī)劃易運(yùn)維管理高安全零沖突ELB公網(wǎng)類(lèi)型的負(fù)載均衡實(shí)例可以通過(guò)公網(wǎng)將客戶(hù)端請(qǐng)求按照制定的監(jiān)聽(tīng)規(guī)則分發(fā)到后端多臺(tái)服務(wù)器上。公網(wǎng)負(fù)載均衡通過(guò)創(chuàng)建時(shí)分配或選擇的彈性IP對(duì)外提供服務(wù)。公網(wǎng)訪(fǎng)問(wèn)云內(nèi)VPC時(shí)，可以部署多臺(tái)應(yīng)用服務(wù)器，提升業(yè)務(wù)系統(tǒng)的可靠性和性能。-高性能：支持最高億級(jí)并發(fā)連接；支持用戶(hù)使用4層/7層的負(fù)載分發(fā)-超靈活與彈性伸縮服務(wù)無(wú)縫集成，根據(jù)實(shí)際流量，自動(dòng)擴(kuò)展處理能力，自動(dòng)滿(mǎn)足變化的流量需求-高可用冗余設(shè)計(jì)，自動(dòng)移除異常節(jié)點(diǎn)，并將流量向正常節(jié)點(diǎn)重新分發(fā)，保障業(yè)務(wù)高可用性能源行業(yè)ELB性能規(guī)格：2022.930版本，現(xiàn)有ELB網(wǎng)元保持資源占用/性能不變，提高ELB整體軟件規(guī)格：?jiǎn)蝦egion規(guī)格：a.支持3200個(gè)ELB（原1600）；b.支持12000監(jiān)聽(tīng)器（原9600）；c.16000member（原8000）；單ELB實(shí)例規(guī)格：a、支持300個(gè)監(jiān)聽(tīng)（原100）；b、單pool支持500個(gè)member（原80）《XX業(yè)主核心交易系統(tǒng)ELB替換F5最佳實(shí)踐》http://3/documents/docinfo/783884124072083456?bookstackId=53913&catalogId=253962351770521600VPN1.單站點(diǎn)混合云部署2.多站點(diǎn)混合云部署3.跨區(qū)域VPC互聯(lián)-數(shù)據(jù)安全可靠-無(wú)縫擴(kuò)展資源-聯(lián)通成本低廉-開(kāi)通管理便捷-靈活架構(gòu)適配-專(zhuān)業(yè)運(yùn)維能力使用IPsecVPN實(shí)現(xiàn)VPC與站點(diǎn)的連接1.2.選型實(shí)踐：以XX業(yè)主為例，首要考慮高性能高可用，選取L3GW作為網(wǎng)絡(luò)互通方式。場(chǎng)景說(shuō)明：XX業(yè)主A+核心業(yè)務(wù)系統(tǒng)上云，客戶(hù)在云外發(fā)起請(qǐng)求訪(fǎng)問(wèn)云內(nèi)VPC業(yè)務(wù)單元配置方法：使用L3GW+防火墻方式互通圖L3GW互通實(shí)踐云內(nèi)接入選型建議云內(nèi)接入場(chǎng)景產(chǎn)品名稱(chēng)使用場(chǎng)景產(chǎn)品特性歷史實(shí)踐云內(nèi)不同Region互通L3GWHCS多Region場(chǎng)景，ManageOne管理多個(gè)Region，需要通過(guò)網(wǎng)絡(luò)或?qū)＞€(xiàn)和多個(gè)Region互通。-超高安全性能物理專(zhuān)線(xiàn)的私網(wǎng)連接不通過(guò)公網(wǎng)，網(wǎng)絡(luò)鏈路用戶(hù)獨(dú)占，無(wú)數(shù)據(jù)泄露風(fēng)險(xiǎn)，安全性能高，可滿(mǎn)足金融、政企等高等級(jí)網(wǎng)絡(luò)連接需求。-穩(wěn)定網(wǎng)絡(luò)延時(shí)網(wǎng)絡(luò)延時(shí)可靠性高，通過(guò)固定路由配置，免去擁堵或故障繞行帶來(lái)的時(shí)延不穩(wěn)困擾。增強(qiáng)型云專(zhuān)線(xiàn)做云內(nèi)云外互通時(shí)，云內(nèi)VXLAN流量通過(guò)核心租戶(hù)VRF轉(zhuǎn)發(fā)至L3GW，在L3GW進(jìn)行VXLAN到VLAN的轉(zhuǎn)換，并通過(guò)L3GW內(nèi)的專(zhuān)線(xiàn)VRF轉(zhuǎn)發(fā)至外部網(wǎng)絡(luò)節(jié)點(diǎn)；（也就是說(shuō)增強(qiáng)型云專(zhuān)線(xiàn)不需要經(jīng)過(guò)SDN網(wǎng)絡(luò)節(jié)點(diǎn)，不會(huì)出現(xiàn)與其他業(yè)務(wù)流量搶占帶寬的場(chǎng)景）XX業(yè)主使用L3GW進(jìn)行網(wǎng)絡(luò)互通云連接CC支持8.0.1及以后版本Type1場(chǎng)景跨區(qū)域多VPC互通當(dāng)云上多個(gè)跨區(qū)域的VPC之間需要進(jìn)行通信時(shí)，云連接可以根據(jù)您的網(wǎng)絡(luò)規(guī)劃，輕松實(shí)現(xiàn)多個(gè)跨區(qū)域VPC連通的場(chǎng)景，提高網(wǎng)絡(luò)拓?fù)涞撵`活性，并為您提供安全可靠的私網(wǎng)通信。當(dāng)前支持主動(dòng)授權(quán)方式將自己的VPC授權(quán)給對(duì)方的云連接服務(wù)供其加載。舉例：某項(xiàng)目為HCS8.xTypeI方案，客戶(hù)業(yè)務(wù)需要在雙DC中實(shí)現(xiàn)業(yè)務(wù)層容災(zāi)，主站點(diǎn)到備站點(diǎn)間通過(guò)專(zhuān)線(xiàn)/CC實(shí)現(xiàn)數(shù)據(jù)復(fù)制-全網(wǎng)互聯(lián)云上網(wǎng)絡(luò)任意兩點(diǎn)互聯(lián)，保證網(wǎng)絡(luò)轉(zhuǎn)發(fā)一跳可達(dá)，無(wú)須中轉(zhuǎn)。-簡(jiǎn)單靈活只需三步，分鐘級(jí)構(gòu)建跨區(qū)域跨境多VPC互通網(wǎng)絡(luò)，支持混合云架構(gòu)。-性能優(yōu)異華為全球網(wǎng)絡(luò)基礎(chǔ)設(shè)施能力，提供低時(shí)延、高質(zhì)量體驗(yàn)。-全球合規(guī)提供全球一站式合規(guī)的網(wǎng)絡(luò)能力，支持用戶(hù)專(zhuān)注自身業(yè)務(wù)創(chuàng)新。同一Region不同VPC互通L3GWHCS多Region場(chǎng)景，ManageOne管理多個(gè)Region，需要通過(guò)網(wǎng)絡(luò)或?qū)＞€(xiàn)和多個(gè)Region互通。-超高安全性能物理專(zhuān)線(xiàn)的私網(wǎng)連接不通過(guò)公網(wǎng)，網(wǎng)絡(luò)鏈路用戶(hù)獨(dú)占，無(wú)數(shù)據(jù)泄露風(fēng)險(xiǎn)，安全性能高，可滿(mǎn)足金融、政企等高等級(jí)網(wǎng)絡(luò)連接需求。-穩(wěn)定網(wǎng)絡(luò)延時(shí)網(wǎng)絡(luò)延時(shí)可靠性高，通過(guò)固定路由配置，免去擁堵或故障繞行帶來(lái)的時(shí)延不穩(wěn)困擾。XX業(yè)主使用L3GW進(jìn)行網(wǎng)絡(luò)互通VPCPeering兩個(gè)VPC之間實(shí)現(xiàn)網(wǎng)絡(luò)連接對(duì)等連接：已接受的占配額，并且待接受狀態(tài)的占用發(fā)起方的配額，不占用接受方的配額。路由配額：一個(gè)VPC下的路由配額默認(rèn)是200個(gè)，包括專(zhuān)線(xiàn)路由和對(duì)等連接路由等其他路由VPCEndpoint基于終端節(jié)點(diǎn)可以使得用戶(hù)實(shí)現(xiàn)跨VPC的服務(wù)訪(fǎng)問(wèn)，利用其構(gòu)建的云生態(tài)系統(tǒng)，增強(qiáng)應(yīng)用的擴(kuò)展能力。通過(guò)VPN或者云專(zhuān)線(xiàn)利用建立的終端節(jié)點(diǎn)通過(guò)內(nèi)網(wǎng)高速訪(fǎng)問(wèn)華為云服務(wù)（OBS服務(wù)），無(wú)需經(jīng)過(guò)公網(wǎng)，提高用戶(hù)的訪(fǎng)問(wèn)效率。通過(guò)VPC終端節(jié)點(diǎn)建立連接的兩個(gè)VPC之間，僅支持終端節(jié)點(diǎn)所在VPC訪(fǎng)問(wèn)終端節(jié)點(diǎn)服務(wù)所在后端資源的指定端口。終端節(jié)點(diǎn)（VPCEndpoint）可以在VPC內(nèi)提供便捷、安全、私密的通道與終端節(jié)點(diǎn)服務(wù)（云服務(wù)、用戶(hù)私有服務(wù)）進(jìn)行連接，該服務(wù)使用內(nèi)部網(wǎng)絡(luò)，無(wú)需彈性公網(wǎng)IP，為您提供性能更加強(qiáng)大、更加靈活的網(wǎng)絡(luò)同一VPC內(nèi)不同子網(wǎng)互通組件ELB公網(wǎng)類(lèi)型的負(fù)載均衡實(shí)例可以通過(guò)公網(wǎng)將客戶(hù)端請(qǐng)求按照制定的監(jiān)聽(tīng)規(guī)則分發(fā)到后端多臺(tái)服務(wù)器上。公網(wǎng)負(fù)載均衡通過(guò)創(chuàng)建時(shí)分配或選擇的彈性IP對(duì)外提供服務(wù)。公網(wǎng)訪(fǎng)問(wèn)云內(nèi)VPC時(shí)，可以部署多臺(tái)應(yīng)用服務(wù)器，提升業(yè)務(wù)系統(tǒng)的可靠性和性能。-高性能：支持最高億級(jí)并發(fā)連接；支持用戶(hù)使用4層/7層的負(fù)載分發(fā)-超靈活與彈性伸縮服務(wù)無(wú)縫集成，根據(jù)實(shí)際流量，自動(dòng)擴(kuò)展處理能力，自動(dòng)滿(mǎn)足變化的流量需求-高可用冗余設(shè)計(jì)，自動(dòng)移除異常節(jié)點(diǎn)，并將流量向正常節(jié)點(diǎn)重新分發(fā)，保障業(yè)務(wù)高可用性XX業(yè)主ELB性能規(guī)格：2022.930版本，現(xiàn)有ELB網(wǎng)元保持資源占用/性能不變，提高ELB整體軟件規(guī)格：?jiǎn)蝦egion規(guī)格：a.支持3200個(gè)ELB（原1600）；b.支持12000監(jiān)聽(tīng)器（原9600）；c.16000member（原8000）；單ELB實(shí)例規(guī)格：a、支持300個(gè)監(jiān)聽(tīng)（原100）；b、單pool支持500個(gè)member（原80）XX業(yè)主使用L3GW進(jìn)行網(wǎng)絡(luò)互通VFW不同業(yè)務(wù)系統(tǒng)部署在同一個(gè)VPC內(nèi)的不同子網(wǎng)，業(yè)務(wù)系統(tǒng)之間三層互通，需要放通防火墻和安全組相關(guān)ACL規(guī)則性能考量。單個(gè)安全組規(guī)則數(shù)量越多，轉(zhuǎn)發(fā)到虛擬機(jī)的報(bào)文匹配次數(shù)越多，轉(zhuǎn)發(fā)性能越差。對(duì)于Type1場(chǎng)景，單個(gè)虛擬防火墻的出規(guī)則和入規(guī)則不建議超過(guò)20條（總計(jì)不超過(guò)40條），Type2場(chǎng)景基本上不需要考慮ACL規(guī)則限制高速網(wǎng)絡(luò)當(dāng)同一VPC內(nèi)子網(wǎng)有超高性能互通的訴求，可以通過(guò)物理網(wǎng)線(xiàn)進(jìn)行互通局域網(wǎng)范疇擁有超高傳輸速率在局域網(wǎng)范疇，一般稱(chēng)多達(dá)1Gb／s(每秒1000兆比特，1G＝1000M)以上帶寬的光纖網(wǎng)絡(luò)為超高速網(wǎng)絡(luò)。在核心骨干網(wǎng)，一級(jí)稱(chēng)2．5Gh／s以上的光纖網(wǎng)絡(luò)為超高速網(wǎng)絡(luò)XX業(yè)主業(yè)務(wù)，請(qǐng)求訪(fǎng)問(wèn)A應(yīng)用，A應(yīng)用同一VPC內(nèi)不同子網(wǎng)互相調(diào)用同子網(wǎng)內(nèi)VM互通默認(rèn)互通同一子網(wǎng)中的計(jì)算實(shí)例子網(wǎng)內(nèi)部二層互通，只要在創(chuàng)建計(jì)算實(shí)例時(shí)選擇相同子網(wǎng)，默認(rèn)互通，無(wú)需手動(dòng)配置-子網(wǎng)劃分時(shí)需要綜合考慮應(yīng)用系統(tǒng)規(guī)模，以及后續(xù)擴(kuò)容預(yù)留一些冗余量。如果子網(wǎng)資源足夠，建議子網(wǎng)按照一個(gè)或者半個(gè)C段進(jìn)行劃分安全組同一子網(wǎng)中的計(jì)算實(shí)例通過(guò)安全組進(jìn)行隔離-各個(gè)不同的部署規(guī)模對(duì)應(yīng)的網(wǎng)絡(luò)資源限制，詳情參照對(duì)應(yīng)版本的性能規(guī)格清單：如50PM場(chǎng)景，單Region內(nèi)最大的安全組數(shù)量限制在500個(gè)，單Region內(nèi)最大的安全組規(guī)則數(shù)量限制在2500個(gè)，單個(gè)安全組最大支持的規(guī)則數(shù)量50個(gè)-性能考量。單個(gè)安全組規(guī)則數(shù)量越多，轉(zhuǎn)發(fā)到虛擬機(jī)的報(bào)文匹配次數(shù)越多，轉(zhuǎn)發(fā)性能越差ELB公網(wǎng)類(lèi)型的負(fù)載均衡實(shí)例可以通過(guò)公網(wǎng)將客戶(hù)端請(qǐng)求按照制定的監(jiān)聽(tīng)規(guī)則分發(fā)到后端多臺(tái)服務(wù)器上。公網(wǎng)負(fù)載均衡通過(guò)創(chuàng)建時(shí)分配或選擇的彈性IP對(duì)外提供服務(wù)。公網(wǎng)訪(fǎng)問(wèn)云內(nèi)VPC時(shí)，可以部署多臺(tái)應(yīng)用服務(wù)器，提升業(yè)務(wù)系統(tǒng)的可靠性和性能。-高性能：支持最高億級(jí)并發(fā)連接；支持用戶(hù)使用4層/7層的負(fù)載分發(fā)-超靈活與彈性伸縮服務(wù)無(wú)縫集成，根據(jù)實(shí)際流量，自動(dòng)擴(kuò)展處理能力，自動(dòng)滿(mǎn)足變化的流量需求-高可用冗余設(shè)計(jì)，自動(dòng)移除異常節(jié)點(diǎn)，并將流量向正常節(jié)點(diǎn)重新分發(fā)，保障業(yè)務(wù)高可用性XX業(yè)主ELB性能規(guī)格：2022.930版本，現(xiàn)有ELB網(wǎng)元保持資源占用/性能不變，提高ELB整體軟件規(guī)格：?jiǎn)蝦egion規(guī)格：a.支持3200個(gè)ELB（原1600）；b.支持12000監(jiān)聽(tīng)器（原9600）；c.16000member（原8000）；單ELB實(shí)例規(guī)格：a、支持300個(gè)監(jiān)聽(tīng)（原100）；b、單pool支持500個(gè)member（原80）關(guān)鍵組件選型建議負(fù)載均衡組件選型對(duì)比目前主流負(fù)載均衡組件為ELB及F5，一般建議優(yōu)先選用ELB完成負(fù)載任務(wù)。ELB與F5功能對(duì)比：在協(xié)議支持、會(huì)話(huà)保持、分配策略、健康檢查、轉(zhuǎn)發(fā)策略以及各級(jí)別監(jiān)控指標(biāo)等功能訴求講ELB與F5進(jìn)行對(duì)比，對(duì)比情況如表表ELB與F5功能對(duì)比功能要求業(yè)務(wù)訴求F5ELB協(xié)議支持TCP/UDP/HTTP/HTTPS√√會(huì)話(huà)保持四層負(fù)載需要支持會(huì)話(huà)保持√只有輪詢(xún)支持會(huì)話(huà)保持分配策略加權(quán)輪詢(xún)/最少連接/源IP√√健康檢查T(mén)CP/HTTP√√網(wǎng)絡(luò)訪(fǎng)問(wèn)內(nèi)網(wǎng)負(fù)載均衡/外網(wǎng)負(fù)載均衡/VPN/專(zhuān)線(xiàn)負(fù)載均衡√√多種類(lèi)型后端ECS/BMS/TargetIP√√轉(zhuǎn)發(fā)策略基于域名與URL的基礎(chǔ)轉(zhuǎn)發(fā)策略/基于域名與URL的高級(jí)轉(zhuǎn)發(fā)策略√√水平擴(kuò)展集群內(nèi)主主(16)/多集群(3)×√實(shí)例級(jí)監(jiān)控功能/指標(biāo)并發(fā)連接數(shù)；新建連接數(shù)；活躍連接數(shù)；非活躍連接數(shù)；流入數(shù)據(jù)包數(shù)；流出數(shù)據(jù)包數(shù)；網(wǎng)絡(luò)流入速率；網(wǎng)絡(luò)流出速率；異常主機(jī)數(shù)：；正常主機(jī)數(shù)√√節(jié)點(diǎn)級(jí)監(jiān)控功能/數(shù)據(jù)總并發(fā)連接數(shù)；總新建連接數(shù)；CPU使用率內(nèi)存使用率；網(wǎng)絡(luò)流入/流出速率；磁盤(pán)使用率：節(jié)點(diǎn)；磁盤(pán)IO寫(xiě)入/讀出；磁盤(pán)讀/寫(xiě)操作速率√√其它證書(shū)管理/限速/客戶(hù)端白名單√√性能對(duì)比：ELB的各個(gè)網(wǎng)元結(jié)構(gòu)的性能指標(biāo)L4/L7的吞吐量、每秒請(qǐng)求數(shù)、每秒會(huì)話(huà)數(shù)、最大并發(fā)連接數(shù)與與某銀行現(xiàn)使用的組件—F5對(duì)比，對(duì)比情況如表表ELB與F5性能對(duì)比性能指標(biāo)F5(BIG-IPI4800)ELB單網(wǎng)元(X86+CX5)ELB單網(wǎng)元(ARM+CX5)ELB單網(wǎng)元(ARM+1822)L4Throughput20Gbps南北向TCP：6.5Gbps南北向UDP：6Gbps東西向TCP：14Gbps東西向UDP：10.5Gbps南北向TCP：7.5Gbps南北向UDP：6.5Gbps東西向TCP：14Gbps東西向UDP：13Gbps南北向TCP：16Gbps南北向UDP：11Gbps東西向TCP：16.5Gbps東西向UDP：15GbpsL4HTTPRequestsperSecond(rps)2M---L4ConnectionsperSecond(cps)450K130K85K130KL4MaximumConcurrentConnections28M2.2M2.2M2.5ML7Throughput20Gbps---L7ConnectionsperSecond(cps)(1-1)150K29K16K15KL7RequestsperSecond(rps)(1-inf)350K并發(fā)連接數(shù)：320K并發(fā)連接數(shù)：320K并發(fā)連接數(shù)：350KIncludedSSL/TLSTPS(RSA2KKeys)20000新建連接數(shù)：3K并發(fā)連接數(shù)：120K新建連接數(shù)：3K并發(fā)連接數(shù)：120K新建連接數(shù)：3K并發(fā)連接數(shù)：120KMaximumSSL/TLSTPS(RSA2KKeys)20000新建連接數(shù)：3K并發(fā)連接數(shù)：120K新建連接數(shù)：3K并發(fā)連接數(shù)：120K新建連接數(shù)：3K并發(fā)連接數(shù)：120K行業(yè)實(shí)踐及案例金融行業(yè)ELB替換F5最佳實(shí)踐1、業(yè)務(wù)現(xiàn)狀A(yù)?系統(tǒng)生產(chǎn)核心區(qū)中主備部署一對(duì)F5，主備切換大約在2秒左右。F5通過(guò)不同virtualserver分別對(duì)應(yīng)外部網(wǎng)絡(luò)訪(fǎng)問(wèn)A?系統(tǒng)應(yīng)用和應(yīng)用調(diào)用后端數(shù)據(jù)庫(kù)。圖A?系統(tǒng)生產(chǎn)核心區(qū)圖業(yè)務(wù)數(shù)據(jù)流邏輯示意圖存匯業(yè)務(wù)：業(yè)務(wù)請(qǐng)求，通過(guò)F5分發(fā)到應(yīng)用服務(wù)器應(yīng)用請(qǐng)求通過(guò)F5分發(fā)到DB-ProxyDB-Proxy依據(jù)數(shù)據(jù)分片發(fā)送到數(shù)據(jù)庫(kù)對(duì)應(yīng)寫(xiě)操作，需要通過(guò)數(shù)據(jù)復(fù)制確保一定數(shù)據(jù)副本同步數(shù)據(jù)返回DB-Proxy,經(jīng)過(guò)F5返回APP（每筆業(yè)務(wù)會(huì)有多次交互）經(jīng)F5業(yè)務(wù)返回2、客戶(hù)訴求高可用訴求客戶(hù)對(duì)于ELB的高可用要求，需要在環(huán)境中進(jìn)行單物理機(jī)故障、單網(wǎng)元故障、節(jié)點(diǎn)全鏈路故障的模擬，測(cè)試出相關(guān)的數(shù)據(jù)。測(cè)試數(shù)據(jù)如下表表高可用訴求分類(lèi)測(cè)試數(shù)據(jù)高可用故障切換時(shí)間，流量中斷時(shí)間故障切換會(huì)話(huà)是否重建，重建的比例自我保護(hù)機(jī)制，到達(dá)連接上限，清楚未使用的連接使用要求：如負(fù)載實(shí)例資源隔離，優(yōu)先級(jí)保證等性能訴求客戶(hù)對(duì)于ELB的性能評(píng)估，需要在環(huán)境中進(jìn)行生產(chǎn)測(cè)試，進(jìn)行端到端的相應(yīng)時(shí)長(zhǎng)、經(jīng)ELB耗時(shí)時(shí)延、ELB的穩(wěn)定性以及ELB負(fù)載容量指標(biāo)的測(cè)試，具體測(cè)試見(jiàn)下表表性能訴求分類(lèi)ELB性能評(píng)估項(xiàng)性能規(guī)格A?系統(tǒng)業(yè)務(wù)端到端響應(yīng)時(shí)長(zhǎng)經(jīng)過(guò)ELB的耗時(shí)及分段時(shí)延穩(wěn)定性：壓測(cè)時(shí)長(zhǎng)12h響應(yīng)時(shí)長(zhǎng)不同負(fù)載下的時(shí)延單region下ELB、監(jiān)聽(tīng)器、pool、member的最大數(shù)量單VDC內(nèi)LB、監(jiān)聽(tīng)器、pool、member的最大數(shù)量單個(gè)ELB的監(jiān)聽(tīng)器數(shù)量規(guī)格單個(gè)ELB的最大pool數(shù)量單個(gè)pool最大member數(shù)量東西向/南北向轉(zhuǎn)發(fā)寬帶TCP新建/并發(fā)連接數(shù)其他MO提供ELB網(wǎng)元集群性能監(jiān)控API以某銀行ELB替換F5方案為例，其中ELB測(cè)試驗(yàn)證結(jié)論如下總體結(jié)論：結(jié)合功能，高可用，性能測(cè)試，在業(yè)務(wù)可用上ELB基本符合業(yè)務(wù)要求，對(duì)不滿(mǎn)足需求有臨時(shí)規(guī)避方案，并落入版本需求，有路標(biāo)。經(jīng)客戶(hù)與專(zhuān)家評(píng)審，基于當(dāng)前現(xiàn)狀XX替換。基于行里關(guān)注點(diǎn)功能、高可用、性能測(cè)試項(xiàng)結(jié)果及分析評(píng)估各項(xiàng)替換結(jié)論具體見(jiàn)表。1.高可用項(xiàng)基本滿(mǎn)足A?系統(tǒng)要求；2.性能低并發(fā)場(chǎng)景（小于300并發(fā)，TPS小于6000），ELB基本與F5持平；性能高并發(fā)場(chǎng)景（大于300并發(fā)，TPS大于6000）,ELB略于F5；且高并發(fā)測(cè)試場(chǎng)景全ELB負(fù)載業(yè)務(wù)RT每分鐘波動(dòng)1次：a) TPS小于4000時(shí)，波動(dòng)小于1ms；b) 4000<TPS<6000，波動(dòng)小于5ms;c) TPS大于9000時(shí)，波動(dòng)在100ms左右；表測(cè)試項(xiàng)評(píng)估分類(lèi)行里關(guān)注點(diǎn)測(cè)試對(duì)象測(cè)試項(xiàng)測(cè)試結(jié)果結(jié)果分析評(píng)估結(jié)論高可用單網(wǎng)元故障，業(yè)務(wù)恢復(fù)時(shí)長(zhǎng)網(wǎng)元單網(wǎng)元故障（OM界面安全重啟）無(wú)中斷進(jìn)程安全殺死，平穩(wěn)切換，流量不中斷高可用已測(cè)試場(chǎng)景數(shù)據(jù)基本符合原理數(shù)據(jù)，需行里評(píng)估對(duì)業(yè)務(wù)影響。單網(wǎng)元故障（reboot-f）7s實(shí)驗(yàn)室測(cè)試約5s：交換機(jī)日志在第4s時(shí)打印BFD檢查失敗，流量切換到另一臺(tái)cvs節(jié)點(diǎn)4.87s，轉(zhuǎn)發(fā)到后端恢復(fù)業(yè)務(wù)約5s。單網(wǎng)絡(luò)節(jié)點(diǎn)故障，業(yè)務(wù)恢復(fù)時(shí)長(zhǎng)網(wǎng)絡(luò)節(jié)點(diǎn)單網(wǎng)絡(luò)節(jié)點(diǎn)故障（OM界面安全重啟）無(wú)中斷進(jìn)程安全殺死，平穩(wěn)切換，流量不中單網(wǎng)絡(luò)節(jié)點(diǎn)故障（reboot-f）7s實(shí)驗(yàn)室測(cè)試約5s：交換機(jī)日志在第4s時(shí)打印BFD檢查失敗，流量切換到另一臺(tái)cvs節(jié)點(diǎn)4.87s，轉(zhuǎn)發(fā)到后端恢復(fù)業(yè)務(wù)約5s。trunk鏈路故障，業(yè)務(wù)恢復(fù)時(shí)長(zhǎng)鏈路全部trunk鏈路故障（進(jìn)trunk口shutdown）1.8sBFD每隔1s探測(cè)一次，trunk鏈路down交換機(jī)直接感知到，所以在第2s左右實(shí)際第3次探測(cè)已經(jīng)失敗。后端member異常，鏈路不同，業(yè)務(wù)切換到正常member時(shí)長(zhǎng)member后端member異常，鏈路不同，業(yè)務(wù)切換到正常member時(shí)長(zhǎng)-與健康檢查配置策略強(qiáng)相關(guān)：場(chǎng)景一：檢查周期5s，超時(shí)時(shí)間10s，最大重試3s，測(cè)試發(fā)包每次1s間隔，中斷打印約10.4s場(chǎng)景二：檢查周期1s，超時(shí)時(shí)間3s，最大重試3s，測(cè)試發(fā)包每次1s間隔，中斷打印約2.1s檢查失敗時(shí)間=超時(shí)時(shí)間×3+檢查周期×(3-1)若這種直接直接停止后端服務(wù)的，會(huì)直接”Brokenpipe”，意味著超時(shí)時(shí)間無(wú)限小，失敗時(shí)間則=檢查周期*2隔離2個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，在路上的流量中斷時(shí)長(zhǎng)網(wǎng)絡(luò)節(jié)點(diǎn)隔離2個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，在路上的流量中斷時(shí)長(zhǎng)-同單trunk鏈路故障場(chǎng)景或刪除等價(jià)路由場(chǎng)景，跟隔離手段相關(guān)。在交換機(jī)上刪除等價(jià)路由，看流量中斷時(shí)間鏈路在交換機(jī)上刪除等價(jià)路由，看流量中斷時(shí)間2.12sBFD每隔1s探測(cè)一次，無(wú)等價(jià)路由交換機(jī)會(huì)直接感知到，所以在第2s左右實(shí)際第3次探測(cè)已經(jīng)失敗。上層交換機(jī)單點(diǎn)故障業(yè)務(wù)恢復(fù)時(shí)長(zhǎng)交換機(jī)上層交換機(jī)單點(diǎn)故障業(yè)務(wù)恢復(fù)時(shí)長(zhǎng)NA無(wú)法判斷流量走的哪臺(tái)交換機(jī)無(wú)法構(gòu)造場(chǎng)景升級(jí)/回退/擴(kuò)容業(yè)務(wù)不中斷網(wǎng)元升級(jí)業(yè)務(wù)不中斷-每次重啟中斷1秒，中斷次數(shù)為2次×CVS網(wǎng)元個(gè)數(shù)網(wǎng)元回退/擴(kuò)容業(yè)務(wù)不中斷-未測(cè)試。性能A?系統(tǒng)業(yè)務(wù)端到端響應(yīng)時(shí)長(zhǎng)A?系統(tǒng)（ELB與F5對(duì)比）混合交易10/20/30/48/60并發(fā)單臺(tái)應(yīng)用壓測(cè)5分鐘業(yè)務(wù)表現(xiàn)對(duì)比-小于60并發(fā)下全經(jīng)ELB表現(xiàn)優(yōu)于全經(jīng)F5，平均RT低6~9ms，平均TPS高18~27。性能已對(duì)比測(cè)試場(chǎng)景（業(yè)務(wù)交易成功率都為100%）：低并發(fā)10/20/30/48/60場(chǎng)景，全ELB與F5業(yè)務(wù)表現(xiàn)基本持平；高并發(fā)200/400/600/960/1200場(chǎng)景，全ELB較F5較差。高并發(fā)200/400/600/960/1200場(chǎng)景全ELB負(fù)載業(yè)務(wù)RT每分鐘波動(dòng)1次：a)TPS小于4000時(shí)，波動(dòng)小于1ms；b)4000<TPS<6000，波動(dòng)小于5ms;c)TPS大于9000時(shí)，波動(dòng)在100ms左右；混合交易200/400/600/960/1200并發(fā)20臺(tái)應(yīng)用壓測(cè)5分鐘業(yè)務(wù)表現(xiàn)對(duì)比-大于200并發(fā)全經(jīng)ELB表現(xiàn)略于全經(jīng)F5，平均RT高4-20ms，平均TPS低2300左右。且應(yīng)用前經(jīng)ELB表現(xiàn)有業(yè)務(wù)波動(dòng)混合交易10/20/30/48/60并發(fā)單臺(tái)應(yīng)用壓測(cè)5分鐘業(yè)務(wù)表現(xiàn)云內(nèi)云外對(duì)比-小于60并發(fā)下全云內(nèi)在48并發(fā)時(shí)與全云外數(shù)據(jù)基本持平。經(jīng)過(guò)ELB的耗時(shí)及分段時(shí)延ELB混合交易單經(jīng)ELB耗時(shí)：云內(nèi)23C虛機(jī)應(yīng)用前經(jīng)ELB和不經(jīng)ELB對(duì)比，其它項(xiàng)一致-混合交易并發(fā)5/10/23/30/46，應(yīng)用前加elb負(fù)載相較不經(jīng)負(fù)載在平均RT和TPS表現(xiàn)基本持平；在23并發(fā)時(shí)，RT增加1.6ms左右，TPS下降2.8左右。單項(xiàng)的經(jīng)過(guò)ELB和經(jīng)過(guò)F5的對(duì)比時(shí)長(zhǎng)A?系統(tǒng)（ELB與F5對(duì)比）混合交易10/20/30/48/60并發(fā)單臺(tái)應(yīng)用壓測(cè)5分鐘業(yè)務(wù)表現(xiàn)只應(yīng)用前負(fù)載不同對(duì)比-混合交易并發(fā)10/20/30/48/60，應(yīng)用前elb負(fù)載相較F5負(fù)載在平均RT和TPS表現(xiàn)基本持平；RT增加3ms左右，TPS下降1左右?；旌辖灰?0/20/30/48/60并發(fā)單臺(tái)應(yīng)用壓測(cè)5分鐘業(yè)務(wù)表現(xiàn)只DB-Proxy前負(fù)載不同對(duì)比-混合交易并發(fā)10/20/30/48/60，DB-Proxy前加elb負(fù)載相較不經(jīng)負(fù)載在平均RT和TPS表現(xiàn)基本持平；RT混合交易200/400/600/960/1200并發(fā)20臺(tái)應(yīng)用壓測(cè)5分鐘只應(yīng)用前負(fù)載不同業(yè)務(wù)表現(xiàn)對(duì)比-混合交易并發(fā)200/400/600/960/1200，應(yīng)用前elb負(fù)載相較F5負(fù)載在平均RT和TPS表現(xiàn)較差；RT增加17ms左右，TPS下降1000左右?；旌辖灰?00/400/600/960/1200并發(fā)20臺(tái)應(yīng)用壓測(cè)5分鐘只DB-Proxy前負(fù)載不同業(yè)務(wù)表現(xiàn)對(duì)比-混合交易并發(fā)200/400/600/960/1200，DB-Proxy前elb負(fù)載相較F5負(fù)載在平均RT和TPS表現(xiàn)較差；RT增加20ms左右，TPS下降800左右。穩(wěn)定性：壓測(cè)時(shí)長(zhǎng)12h響應(yīng)時(shí)長(zhǎng)A?系統(tǒng)（ELB）混合交易1并發(fā)壓測(cè)時(shí)長(zhǎng)8h業(yè)務(wù)表現(xiàn)-業(yè)務(wù)表現(xiàn)穩(wěn)定，交易率100%。查詢(xún)交易80/200/240/280/320/360/400/1600/2400并發(fā)壓測(cè)時(shí)長(zhǎng)1h業(yè)務(wù)表現(xiàn)-業(yè)務(wù)表現(xiàn)穩(wěn)定，交易率100%。隨并發(fā)數(shù)增加，rt與TPS成線(xiàn)性增長(zhǎng)。不同負(fù)載下的端到端響應(yīng)時(shí)長(zhǎng)A?系統(tǒng)（ELB與F5對(duì)比）查詢(xún)交易40/80/120/160/200/280/400/600/800/1200/1600/2000/2400/3840/4800/5200/5600/6000/8000/10000/12000并發(fā)壓測(cè)5分鐘業(yè)務(wù)表現(xiàn)對(duì)比-隨壓力增加，RT/TPS線(xiàn)性增加，ELB在4800并發(fā)達(dá)到TPS最大11723，F(xiàn)5在2400并發(fā)達(dá)到TPS最大13273；并發(fā)小于280，TPS小于6000時(shí)，ELB業(yè)務(wù)表現(xiàn)較F5稍好，rt相較低3ms，TPS高200左右；并發(fā)大于400，TPS大于7000時(shí)，ELB業(yè)務(wù)表現(xiàn)較F5較差，RT相較高8ms，TPS低2000左右。金融行業(yè)L3GW最佳實(shí)踐-XX業(yè)主新一代招聘系統(tǒng)互通設(shè)計(jì)XX業(yè)主新一代招聘系統(tǒng)包含多種場(chǎng)景互通，我們以該系統(tǒng)為例進(jìn)行互通設(shè)計(jì)詳細(xì)拆解。新一代招聘管理系統(tǒng)業(yè)務(wù)簡(jiǎn)介前端信息收集系統(tǒng)，包括人資資源系統(tǒng)、測(cè)評(píng)系統(tǒng)等，這些系統(tǒng)完成人力資源信息、招聘數(shù)據(jù)等基礎(chǔ)信息采集；招聘管理系統(tǒng)，包括招聘計(jì)劃、筆試管理、面試管理、測(cè)試管理、錄用入職、人才庫(kù)、第三方/獵頭管理，招聘管理等，這些系統(tǒng)完成中樞管理工作；后端應(yīng)用系統(tǒng)，包括OA系統(tǒng)、筆試系統(tǒng)、背調(diào)系統(tǒng)等，這些系統(tǒng)配合管理系統(tǒng)，被管理系統(tǒng)調(diào)用。圖XX行新一代招聘系統(tǒng)招聘管理系統(tǒng)多種互通方式云外與云內(nèi)VPC互訪(fǎng)：客戶(hù)端發(fā)起請(qǐng)求，通過(guò)L3GW，走到7層負(fù)載，之后分發(fā)給Node1和Node2，Node端接口收到請(qǐng)求后，轉(zhuǎn)發(fā)給后端掛載的service，再由Service分發(fā)給招聘管理系統(tǒng)；同一VPC不同子網(wǎng)互相調(diào)用：管理系統(tǒng)收到請(qǐng)求后，需要調(diào)用后端OA系統(tǒng)、筆試系統(tǒng)等，流量從管理系統(tǒng)發(fā)起，先通過(guò)目標(biāo)集群前端4層ELB進(jìn)行流量分發(fā)，Node端接口收到請(qǐng)求后，轉(zhuǎn)發(fā)給后端掛載的service，再由Service分發(fā)給OA管理系統(tǒng)、筆試系統(tǒng)等，完成調(diào)用；不同VPC之間互相調(diào)用：OA系統(tǒng)在進(jìn)行處理時(shí)，需要調(diào)用數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)處理，此次流量為跨VPC互通，先經(jīng)由請(qǐng)求端發(fā)起流量，經(jīng)過(guò)L3GW走4層ELB，之后由四層負(fù)載分發(fā)流量給DB，完成數(shù)據(jù)庫(kù)交互。圖XX行招聘系統(tǒng)網(wǎng)絡(luò)互通應(yīng)用層設(shè)計(jì)建議應(yīng)用層設(shè)計(jì)規(guī)范應(yīng)用層定義：應(yīng)用層的實(shí)際作用是將“數(shù)據(jù)訪(fǎng)問(wèn)層”的最基礎(chǔ)的存儲(chǔ)邏輯組合起來(lái)，形成一種業(yè)務(wù)規(guī)則。應(yīng)用層封裝針對(duì)具體問(wèn)題的業(yè)務(wù)邏輯，或者是數(shù)據(jù)層的抽象操作對(duì)數(shù)據(jù)業(yè)務(wù)邏輯進(jìn)行處理，能夠提供interface\API層次上所有的功能。應(yīng)用層開(kāi)發(fā)過(guò)程中需遵循對(duì)外依賴(lài)、部署形態(tài)、數(shù)據(jù)處理三部分原則要求，詳情參見(jiàn)下表：表應(yīng)用層開(kāi)發(fā)規(guī)范序號(hào)自檢原則原則說(shuō)明判斷細(xì)則檢測(cè)級(jí)別備注1對(duì)外依賴(lài)主要是對(duì)各種中間件服務(wù)的依賴(lài)是否使用二級(jí)負(fù)載均衡服務(wù)建議建議優(yōu)選ELB是否使用應(yīng)用中間件建議NA是否使用會(huì)話(huà)管理服務(wù)建議NA是否使用消息總線(xiàn)服務(wù)建議NA是否使用分布式緩存服務(wù)建議NA對(duì)外接口與內(nèi)部接口之間是否隔離建議NA對(duì)外接口需具備流量監(jiān)控和訪(fǎng)問(wèn)控制機(jī)制建議NA對(duì)外提供的API調(diào)用形式為Restful建議NA對(duì)外提供的API調(diào)用形式為JSon建議NA對(duì)外提供的API調(diào)用形式為Httpget/post建議NA2部署形態(tài)應(yīng)用與中間件、其他應(yīng)用之間的部署關(guān)系應(yīng)用支持虛擬機(jī)部署強(qiáng)制必須支持虛擬機(jī)部署，否則無(wú)法進(jìn)行業(yè)務(wù)上云應(yīng)用支持容器部署建議建議支持容器化部署應(yīng)用中間件是否集群模式部署強(qiáng)制要求應(yīng)用中間件集群式或者支持負(fù)載均衡部署是否未與其他應(yīng)用共同使用同一中間件強(qiáng)制要求不能與其他應(yīng)用共部署在同一中間件是否未與其他應(yīng)用共部署在同一主機(jī)強(qiáng)制要求不能與其他應(yīng)用共部署在同一主機(jī)3應(yīng)用數(shù)據(jù)處理應(yīng)用數(shù)據(jù)處理方式應(yīng)用狀態(tài)數(shù)據(jù)嚴(yán)禁在本地持久化強(qiáng)制要求不能做本地持久化應(yīng)用狀態(tài)數(shù)據(jù)持久化到數(shù)據(jù)庫(kù)強(qiáng)制要求應(yīng)用狀態(tài)數(shù)據(jù)持久化到數(shù)據(jù)庫(kù)采用并行計(jì)算進(jìn)行數(shù)據(jù)處理建議建議采用并行計(jì)算進(jìn)行數(shù)據(jù)處理應(yīng)用層設(shè)計(jì)方案?jìng)鹘y(tǒng)架構(gòu)構(gòu)建的應(yīng)用已經(jīng)不足以支撐當(dāng)前業(yè)務(wù)的需求，建議對(duì)業(yè)務(wù)進(jìn)行微服務(wù)化和容器化改造。微服務(wù)化改造方案應(yīng)用微服務(wù)拆分傳統(tǒng)架構(gòu)建應(yīng)用的方法，無(wú)法真正建立開(kāi)放性的行業(yè)生態(tài)，只有改為采用基于服務(wù)構(gòu)建應(yīng)用的方法，才能實(shí)現(xiàn)客戶(hù)主導(dǎo)和業(yè)務(wù)敏捷。因此，面臨這種狀況，急需進(jìn)行服務(wù)化的拆分和改造，單體服務(wù)到微服務(wù)的轉(zhuǎn)型，避免單體服務(wù)繼續(xù)地?zé)o序擴(kuò)展，讓功能模塊的劃分更加清晰明確。而且，可以使得單獨(dú)模塊可以由單獨(dú)小團(tuán)隊(duì)去維護(hù)、開(kāi)發(fā)、部署，分工更加明確，提高開(kāi)發(fā)的效率。表微服務(wù)架構(gòu)VS單體架構(gòu)對(duì)比項(xiàng)微服務(wù)架構(gòu)單體架構(gòu)分工不同單獨(dú)開(kāi)發(fā)、單獨(dú)部署、單獨(dú)維護(hù)一個(gè)有規(guī)模的團(tuán)隊(duì)圍繞一個(gè)單體應(yīng)用工作,可能是一人一個(gè)模塊存儲(chǔ)方式不同模塊都可以使用不同的存儲(chǔ)方式共用一個(gè)數(shù)據(jù)庫(kù)部暑方式不同可獨(dú)立部暑功能的變更或缺陷的修復(fù)都會(huì)導(dǎo)致需要重新部暑整個(gè)應(yīng)用容災(zāi)不同故障會(huì)被隔離在單個(gè)服務(wù)中故障很有可能在進(jìn)程內(nèi)擴(kuò)散,形成應(yīng)用全局性的不可用開(kāi)發(fā)模式不同每個(gè)模塊都可以使用不同的開(kāi)發(fā)技術(shù)所有的模塊開(kāi)發(fā)所使用的技術(shù)一樣設(shè)計(jì)思路：領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)（DDD）：綜合軟件系統(tǒng)分析和設(shè)計(jì)的面向?qū)ο蠼７椒āＭㄟ^(guò)合理運(yùn)用面向?qū)ο蟮仍O(shè)計(jì)范式，將業(yè)務(wù)概念和業(yè)務(wù)規(guī)則轉(zhuǎn)換為對(duì)象及其屬性與行為，降低或隱藏整個(gè)系統(tǒng)的業(yè)務(wù)復(fù)雜性，使得系統(tǒng)具有更好的擴(kuò)展性，應(yīng)對(duì)復(fù)雜多變的現(xiàn)實(shí)業(yè)務(wù)問(wèn)題。核心思想：統(tǒng)一語(yǔ)言：同一術(shù)語(yǔ)代表同一件事情。先發(fā)散再收斂：通過(guò)事件風(fēng)暴等還原業(yè)務(wù)，建立通用語(yǔ)言的限界上下文，識(shí)別領(lǐng)域和應(yīng)用邊界，支撐微服務(wù)識(shí)別。業(yè)務(wù)模型與系統(tǒng)模型一致：業(yè)務(wù)模型與代碼模型建立映射關(guān)系，業(yè)務(wù)后續(xù)調(diào)整時(shí)系統(tǒng)架構(gòu)可持續(xù)演進(jìn)。領(lǐng)域建模：從原有業(yè)務(wù)模型中識(shí)別、沉淀可復(fù)用的能力并重新組合，形成具備可復(fù)制的通用能力。劃分原則：按業(yè)務(wù)邊界劃分基于微服務(wù)和領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)理念，首選原則即按業(yè)務(wù)邊界劃分。這樣的好處是當(dāng)某一塊業(yè)務(wù)未來(lái)持續(xù)演進(jìn)時(shí)，只需要擴(kuò)展對(duì)應(yīng)的微服務(wù)即可，大幅提升開(kāi)發(fā)效率。另一種考量因素是能力復(fù)用，如果在多個(gè)業(yè)務(wù)場(chǎng)景存在相同的業(yè)務(wù)流程，可以將此業(yè)務(wù)流程單獨(dú)劃分為微服務(wù)，以便被其他微服務(wù)調(diào)用，實(shí)現(xiàn)能力復(fù)用。按業(yè)務(wù)變化頻率劃分對(duì)于某個(gè)業(yè)務(wù)場(chǎng)景暫未詳細(xì)進(jìn)行軟件設(shè)計(jì)或該業(yè)務(wù)場(chǎng)景可以預(yù)見(jiàn)將面臨較大的調(diào)整，應(yīng)將此場(chǎng)景單獨(dú)劃分成獨(dú)立的微服務(wù)，讓業(yè)務(wù)變化對(duì)軟件的影響控制在局部微服務(wù)中，得到整體的穩(wěn)定。按非功能需求劃分某個(gè)場(chǎng)景需要有特殊的技術(shù)訴求（軟件從業(yè)者常稱(chēng)為“非功能需求”或“跨功能需求”）。例如，部分業(yè)務(wù)存在較大的性能壓力或需要進(jìn)行安全加固，都需要更多的軟硬件資源投入。為了減少不必要的開(kāi)支，可以將此場(chǎng)景單獨(dú)劃分為微服務(wù)，只需針對(duì)它進(jìn)行投入即可。這些特殊的技術(shù)訴求通常包括：彈性、安全、性能、技術(shù)選型、集成等。按系統(tǒng)開(kāi)發(fā)組織劃分大型軟件開(kāi)發(fā)項(xiàng)目中，往往存在多團(tuán)隊(duì)協(xié)作開(kāi)發(fā)的情況，為了保障整體開(kāi)發(fā)效率和質(zhì)量，應(yīng)避免單個(gè)微服務(wù)被多個(gè)團(tuán)隊(duì)共同維護(hù)，減少不必要的協(xié)同。劃分步驟：領(lǐng)域建模時(shí)，我們會(huì)根據(jù)場(chǎng)景分析過(guò)程中產(chǎn)生的領(lǐng)域?qū)ο?，比如命令、事件等之間關(guān)系，找出產(chǎn)生命令的實(shí)體，分析實(shí)體之間的依賴(lài)關(guān)系組成聚合，為聚合劃定限界上下文，建立領(lǐng)域模型以及模型之間的依賴(lài)。財(cái)政預(yù)算管理一體化系統(tǒng)采用全球化業(yè)務(wù)高效運(yùn)行的微服務(wù)架構(gòu)設(shè)計(jì)方法論（領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)），通過(guò)領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)圍繞財(cái)政預(yù)算管理業(yè)務(wù)概念構(gòu)建領(lǐng)域模型來(lái)控制業(yè)務(wù)的復(fù)雜性。讓業(yè)務(wù)和系統(tǒng)形成“綁定”，當(dāng)業(yè)務(wù)發(fā)生變化時(shí)系統(tǒng)架構(gòu)能隨之改變。微服務(wù)通信選型微服務(wù)間通訊有同步和異步兩種方式：同步通信：主流的方式有3種：RPC（Remoteprocedurecalls）、REST（RepresentationalStateTransfer）、GraphQL耦合性約束性復(fù)雜度緩存可發(fā)現(xiàn)性版本控制RPC高中低custom差困難REST低低低http良好簡(jiǎn)單GraphQL中高中custom良好無(wú)REST模型資源，可以是表達(dá)域模型的自然方法。REST基于HTTP謂詞定義統(tǒng)一接口，從而有利于可演化性。它在冪等性、負(fù)面影響和響應(yīng)代碼方面具有完善定義的語(yǔ)義。此外，它實(shí)施無(wú)狀態(tài)通信，從而提高了可伸縮性。HTTPREST方式指的是使用http協(xié)議進(jìn)行數(shù)據(jù)傳遞，數(shù)據(jù)格式是使用json格式。RPC主要面向操作或命令。由于RPC接口看上去與本地方法調(diào)用類(lèi)似，因此可能導(dǎo)致設(shè)計(jì)出過(guò)于瑣碎的API。RPC是一種遠(yuǎn)程過(guò)程調(diào)用，消息格式是采用二進(jìn)制格式。優(yōu)點(diǎn)：可定制協(xié)議/傳輸類(lèi)型，可實(shí)現(xiàn)高性能通訊。常用的有：SOAP、RMI、Thrift、Avro、gRPC、Dubbo協(xié)議。GraphQL面向數(shù)據(jù)查詢(xún)。本身需要使用強(qiáng)類(lèi)型的Schema來(lái)對(duì)數(shù)據(jù)模型進(jìn)行定義，因此相比REST它的約束性更強(qiáng)，但是語(yǔ)法相比較REST和RPC均復(fù)雜一些。特別適合圖狀數(shù)據(jù)結(jié)構(gòu)的業(yè)務(wù)場(chǎng)景（比如好友、流程、組織架構(gòu)等系統(tǒng)）總結(jié)：微服務(wù)架構(gòu)的要求看更偏向于使用REST以方便實(shí)現(xiàn)異構(gòu)系統(tǒng)的通訊?；贖TTP的REST不需要特殊的庫(kù)。它只會(huì)產(chǎn)生極少程度的耦合，因?yàn)檎{(diào)用方不需要客戶(hù)端存根即可與服務(wù)通信。有豐富的工具生態(tài)系統(tǒng)來(lái)支持RESTfulHTTP終結(jié)點(diǎn)的架構(gòu)定義、測(cè)試和監(jiān)視。最后，HTTP與瀏覽器客戶(hù)端兼容。異步通信：異步消息傳遞通常有兩種模式無(wú)代理模式：指的是C端直接將消息發(fā)送給P端即可不需要得到恢復(fù)，當(dāng)需要P端恢復(fù)時(shí)由于是異步通信，C端也不會(huì)阻塞，P端處理完后再根據(jù)接收到的信息向C端回復(fù)處理結(jié)果。這種方式比較小眾主要適用于一些異步通知場(chǎng)景。消息代理：這里需要借助一些消息中間件，比如RocketMQ、kafka等。這種方式的使用場(chǎng)景比較廣泛，行業(yè)內(nèi)有很多成熟方案。通過(guò)使用異步消息通信的方式能夠很好的實(shí)現(xiàn)微服務(wù)的解耦。通信模式同步模型異步模型優(yōu)點(diǎn)調(diào)用機(jī)制簡(jiǎn)單，代碼清晰。根大部分微服務(wù)或者RPC框架契合好業(yè)務(wù)線(xiàn)程不會(huì)同時(shí)阻塞，解決了微服務(wù)間的時(shí)間耦合缺點(diǎn)會(huì)導(dǎo)致時(shí)間耦合業(yè)務(wù)流程調(diào)用API時(shí)，可能出現(xiàn)長(zhǎng)時(shí)間阻塞1.異步機(jī)制的代碼復(fù)雜，對(duì)于客戶(hù)端和服務(wù)端，都變復(fù)雜了。2.應(yīng)對(duì)場(chǎng)景的處理方式也更多（比如異步阻塞），給程序的處理帶來(lái)更多分支場(chǎng)景。適用場(chǎng)景1.需要盡快反饋，甚至處理過(guò)程中需要調(diào)用。比如關(guān)聯(lián)銀行卡的第三方支付。2.服務(wù)端處理速度快。服務(wù)端需要處理的時(shí)間更長(zhǎng)，比如10+秒。阻塞的業(yè)務(wù)線(xiàn)程數(shù)TPS*響應(yīng)時(shí)長(zhǎng)。建議實(shí)現(xiàn)通常是基于HTTP協(xié)議的RESTfulAPI，一般使用RestTemplate，SpringCloudFegin等組件實(shí)現(xiàn)服務(wù)間同步調(diào)用。MQS微服務(wù)化高可靠部署業(yè)務(wù)系統(tǒng)最少兩個(gè)可用區(qū)，CSE部署時(shí)選擇多可用區(qū)雙引擎模式。CSE實(shí)例之間集成ServiceCenter提供的Syncer能力，雙向同步微服務(wù)數(shù)據(jù)（微服務(wù)、實(shí)例、配置和帳號(hào)角色），同步數(shù)據(jù)采用高效的gRPC協(xié)議。配置建議配置微服務(wù)治理，應(yīng)對(duì)突發(fā)流量配置服務(wù)彈性伸縮微服務(wù)應(yīng)用親和性和反親和性配置升級(jí)策略為灰度發(fā)布配置負(fù)載均衡/容錯(cuò)/熔斷，保障應(yīng)用不中斷配置服務(wù)降級(jí)/限流，保障核心業(yè)務(wù)可用性微服務(wù)框架改造線(xiàn)下架構(gòu)分析以預(yù)算執(zhí)行子系統(tǒng)為例客戶(hù)痛點(diǎn)描述：各系統(tǒng)開(kāi)放的服務(wù)標(biāo)準(zhǔn)不統(tǒng)一，耦合緊密，如下圖，系統(tǒng)間集成方式主要通過(guò)SOAP協(xié)議。當(dāng)客戶(hù)需要開(kāi)發(fā)新業(yè)務(wù)時(shí)，牽一發(fā)而動(dòng)全身，導(dǎo)致業(yè)務(wù)落地非常緩慢財(cái)政系統(tǒng)偶爾出現(xiàn)異常，不能提前發(fā)現(xiàn)并快速定位解決，曾出現(xiàn)70+業(yè)務(wù)斷點(diǎn)無(wú)法及時(shí)定位的情況財(cái)政系統(tǒng)還有很多系統(tǒng)不云化，如OA系統(tǒng)等，需要考慮如何與這些傳統(tǒng)系統(tǒng)進(jìn)行集成對(duì)接當(dāng)前架構(gòu)分析：對(duì)外接口不統(tǒng)一，無(wú)認(rèn)證鑒權(quán)機(jī)制：服務(wù)對(duì)外提供的接口、協(xié)議不統(tǒng)一、缺少認(rèn)證鑒權(quán)機(jī)制系統(tǒng)耦合嚴(yán)重：服務(wù)注冊(cè)采用zookeeper，作為子模塊打包在平臺(tái)框架里，不支持獨(dú)立部署本地配置繁瑣：服務(wù)配置存放在本地配置文件，維護(hù)繁瑣易出錯(cuò)系統(tǒng)集成工作量大：第三方業(yè)務(wù)系統(tǒng)只能采用WebService方式與預(yù)算執(zhí)行系統(tǒng)集成，定制化接口開(kāi)發(fā)、維護(hù)工作量大缺少服務(wù)治理：服務(wù)之間通信復(fù)雜，應(yīng)對(duì)服務(wù)之間的訪(fǎng)問(wèn)異常沒(méi)有相關(guān)的控制機(jī)制，包括流量控制、異常鏈路追蹤、故障隔離等版本演進(jìn)周期長(zhǎng)：服務(wù)版本演進(jìn)需要下線(xiàn)重新部署，影響業(yè)務(wù)連續(xù)性云化架構(gòu)增加API網(wǎng)關(guān)，對(duì)外提供統(tǒng)一訪(fǎng)問(wèn)入口，并提供認(rèn)證鑒權(quán)機(jī)制引入服務(wù)注冊(cè)中心，獨(dú)立部署，提供服務(wù)注冊(cè)功能采用統(tǒng)一配置中心，支持批量、動(dòng)態(tài)更新服務(wù)配置系統(tǒng)集成接口采用RESTAPI，統(tǒng)一注冊(cè)到API網(wǎng)關(guān)，實(shí)現(xiàn)內(nèi)部與第三方系統(tǒng)的集成對(duì)接引入微服務(wù)治理組件，對(duì)服務(wù)之間的調(diào)用進(jìn)行流量控制、異常鏈路追蹤、故障隔離等引入灰度發(fā)布機(jī)制，支持業(yè)務(wù)平滑演進(jìn)關(guān)鍵設(shè)計(jì)點(diǎn)1）通過(guò)API網(wǎng)關(guān)實(shí)現(xiàn)服務(wù)接口注冊(cè)，統(tǒng)一對(duì)外訪(fǎng)問(wèn)入口開(kāi)發(fā)者將預(yù)算執(zhí)行系統(tǒng)預(yù)定義好的API接口，轉(zhuǎn)發(fā)規(guī)則注冊(cè)到API網(wǎng)關(guān)外部或第三方服務(wù)通過(guò)RESTAPI訪(fǎng)問(wèn)API網(wǎng)關(guān)指定接口API網(wǎng)關(guān)提供訪(fǎng)問(wèn)鑒權(quán)認(rèn)證、匹配路由轉(zhuǎn)發(fā)規(guī)則，將請(qǐng)求轉(zhuǎn)發(fā)到后端指定微服務(wù)建議將API網(wǎng)關(guān)上的接口定期同步到GitLab倉(cāng)庫(kù)，做好版本管理。2）基于API網(wǎng)關(guān)實(shí)現(xiàn)統(tǒng)一認(rèn)證鑒權(quán)開(kāi)發(fā)人員使用管理員分配的“API提供者”賬號(hào)/密碼登錄管理Portal并發(fā)布API開(kāi)發(fā)人員使用管理員分配的“API消費(fèi)者”賬號(hào)/密碼登錄開(kāi)發(fā)者Portal并訂購(gòu)API前端應(yīng)用調(diào)用已訂購(gòu)的API，支持的應(yīng)用認(rèn)證方式包括APP/Key，APPToken，不認(rèn)證API路由到后端服務(wù)，支持的認(rèn)證方式包括HttpBasic（用戶(hù)名密碼），PublicKey，無(wú)認(rèn)證，項(xiàng)目建議后端微服務(wù)不認(rèn)證3）基于API網(wǎng)關(guān)應(yīng)用之間的訪(fǎng)問(wèn)路徑應(yīng)用內(nèi)部微服務(wù)訪(fǎng)問(wèn)場(chǎng)景：直接訪(fǎng)問(wèn)服務(wù)API接口，不需要經(jīng)過(guò)API網(wǎng)關(guān)外部應(yīng)用與預(yù)算執(zhí)行系統(tǒng)訪(fǎng)問(wèn)場(chǎng)景：通過(guò)API網(wǎng)關(guān)通信第三方系統(tǒng)與預(yù)算執(zhí)行系統(tǒng)訪(fǎng)問(wèn)場(chǎng)景：通過(guò)API網(wǎng)關(guān)通信4）基于華為CSE微服務(wù)框架，增加服務(wù)治理能力基于Swagger標(biāo)準(zhǔn)定義財(cái)政行業(yè)標(biāo)準(zhǔn)的RESTAPI基于CSE構(gòu)建符合服務(wù)契約和REST開(kāi)發(fā)規(guī)范的服務(wù)提供方和服務(wù)消費(fèi)方基于CSE提供服務(wù)治理的能力，包括限流、容錯(cuò)（重試）、隔離倉(cāng)、熔斷功能基于業(yè)務(wù)標(biāo)準(zhǔn)的外開(kāi)放的RESTAPI作為APaaS中的行業(yè)API產(chǎn)品注冊(cè)到網(wǎng)關(guān)上網(wǎng)關(guān)通過(guò)邊緣服務(wù)訪(fǎng)問(wèn)后端的服務(wù)提供方5）微服務(wù)集成設(shè)計(jì)通過(guò)ELB訪(fǎng)問(wèn)業(yè)務(wù)應(yīng)用的前端，獲取靜態(tài)資源（如Html），訪(fǎng)問(wèn)后端微服務(wù)通過(guò)邊緣服務(wù)轉(zhuǎn)發(fā)總部級(jí)租戶(hù)內(nèi)（單租戶(hù)模型）應(yīng)用微服務(wù)訪(fǎng)問(wèn)aPaaS微服務(wù)通過(guò)CSE的跨應(yīng)用訪(fǎng)問(wèn)實(shí)現(xiàn)其他租戶(hù)（如分公司租戶(hù)）或非CSE應(yīng)用通過(guò)APIG訪(fǎng)問(wèn)aPaaS只有aPaaS微服務(wù)注冊(cè)到APIG，應(yīng)用微服務(wù)只在本應(yīng)用內(nèi)互相訪(fǎng)問(wèn)，不對(duì)外開(kāi)放微服務(wù)框架選型建議服務(wù)注冊(cè)中心選型：高可用性：接入微服務(wù)引擎后，所有服務(wù)都注冊(cè)到注冊(cè)中心，需要保證高可用數(shù)據(jù)一致性：注冊(cè)中心承擔(dān)服務(wù)注冊(cè)以及服務(wù)訂閱，一般都會(huì)集群部署，需要考慮分布式下數(shù)據(jù)的一致性配置中心選型：配置生效及時(shí)性：數(shù)據(jù)存儲(chǔ)到配置中心，能否及時(shí)推送給各微服務(wù)，是一個(gè)非常重要的考慮點(diǎn)易用性：是否提供可視化操作界面，是否可以快速配置數(shù)據(jù)下發(fā)熔斷器選型：熔斷降級(jí)策略：是基于響應(yīng)時(shí)間還是基于失敗率做熔斷降級(jí)隔離策略：需要考慮隔離策略對(duì)系統(tǒng)性能的影響，是采用線(xiàn)程池隔離，還是采用并發(fā)數(shù)進(jìn)行隔離流量控制：是否支持對(duì)微服務(wù)之間進(jìn)行流量控制輕量級(jí)、高性能：是否支持輕量級(jí)接入，無(wú)需過(guò)多依賴(lài)，引入后帶來(lái)的性能損耗是否足夠小鏈路追蹤選型：多語(yǔ)言支持：業(yè)務(wù)系統(tǒng)通常涉多語(yǔ)言開(kāi)發(fā)，需要考慮支持多語(yǔ)言環(huán)境下的鏈路追蹤代碼侵入性：鏈路追蹤需要埋點(diǎn)，攔截請(qǐng)求，有些全鏈路追蹤通過(guò)字節(jié)碼實(shí)現(xiàn)對(duì)代碼無(wú)侵入全局調(diào)用：支持業(yè)務(wù)微服務(wù)接口追蹤，還支持對(duì)緩存、數(shù)據(jù)庫(kù)等技術(shù)組件的鏈路追蹤微服務(wù)框架對(duì)比分析功能點(diǎn)/服務(wù)框架華為CSESpringCloudgRPCDubbo功能定位完整微服務(wù)框架完整的微服務(wù)框架RPC框架RPC框架支持Rest是是，Ribbon支持多種可插播的序列化選擇否否支持RPC是否是是支持多語(yǔ)言是是是否負(fù)載均衡是是（服務(wù)端zuul+客戶(hù)端Ribbon）,zuul-服務(wù)，動(dòng)態(tài)路由，云端負(fù)載均衡Eureka(針對(duì)中間層服務(wù)器)否是（客戶(hù)端）配置服務(wù)是NetfixArchaius，SpringCloudConfigServer集中配置否否服務(wù)調(diào)用鏈監(jiān)控否，與APM搭配使用可滿(mǎn)足是（zuul），zuul提供邊緣服務(wù)，API網(wǎng)關(guān)否否高可用/容錯(cuò)是是（服務(wù)端Hystrix+客戶(hù)端Ribbon)否是（客戶(hù)端）社區(qū)活躍程度一般高高2017年后重新開(kāi)始維護(hù)，之前中斷了5年容器化改造方案技術(shù)架構(gòu)設(shè)計(jì)傳統(tǒng)分層業(yè)務(wù)系統(tǒng)按照各個(gè)部件的功能特點(diǎn)，一般可以抽象出三個(gè)層級(jí)：接入層、應(yīng)用層、數(shù)據(jù)層。接入層設(shè)計(jì)負(fù)責(zé)接受用戶(hù)的數(shù)據(jù)輸入并向用戶(hù)呈現(xiàn)數(shù)據(jù)，或接收外部調(diào)用請(qǐng)并返回調(diào)用結(jié)果，需要與應(yīng)用層交互。一般是部署靜態(tài)頁(yè)面或者負(fù)載均衡軟件。表接入層不同維度方案匹配維度方案具體說(shuō)明網(wǎng)絡(luò)接入方式云專(zhuān)線(xiàn)云專(zhuān)線(xiàn)是搭建在用戶(hù)本地?cái)?shù)據(jù)中心與云上虛擬私有云（VirtualPrivateCloud，VPC）之間高速、低時(shí)延、穩(wěn)定安全的專(zhuān)屬連接通道?？梢酝ㄟ^(guò)云專(zhuān)線(xiàn)打通云上VPC和用戶(hù)數(shù)據(jù)中心的數(shù)據(jù)業(yè)務(wù)。用戶(hù)可以通過(guò)云專(zhuān)線(xiàn)將用戶(hù)側(cè)的用戶(hù)網(wǎng)絡(luò)、數(shù)據(jù)中心、主機(jī)托管區(qū)連接至云上VPC專(zhuān)線(xiàn)連接，享受高性能、低延遲、安全專(zhuān)用的數(shù)據(jù)網(wǎng)絡(luò)。EIPEIP是通過(guò)NAT方式，實(shí)現(xiàn)外部網(wǎng)絡(luò)與VPC私有網(wǎng)絡(luò)的通信，由于NAT的流量繞行，轉(zhuǎn)發(fā)路徑較長(zhǎng)，且僅支持單點(diǎn)IP的映射，不支持網(wǎng)段的連接，因此，推薦用于Internet訪(fǎng)問(wèn)云上業(yè)務(wù)的場(chǎng)景。企業(yè)內(nèi)部網(wǎng)絡(luò)與VPC互通的場(chǎng)景，建議首選專(zhuān)線(xiàn)方案。IPSecVPNIPSecVPN是通過(guò)VPN專(zhuān)業(yè)設(shè)備，基于Internet建立安全可靠的IPsec加密通道，一般優(yōu)選前面兩種接入方式?？煽啃?可擴(kuò)展性ELB+多容器實(shí)例容器以集群形式部署，優(yōu)先選擇無(wú)狀態(tài)工作負(fù)載。接入層工作負(fù)載的一般是對(duì)外提供服務(wù)，建議使用負(fù)載均衡方式訪(fǎng)問(wèn)。創(chuàng)建節(jié)點(diǎn)選擇在不同的可用區(qū)，在多個(gè)可用區(qū)（AZ）多個(gè)節(jié)點(diǎn)的情況下，根據(jù)自身業(yè)務(wù)需求合理的配置自定義調(diào)度策略，可達(dá)到資源分配的最大化。創(chuàng)建多個(gè)節(jié)點(diǎn)池，不同節(jié)點(diǎn)池部署在不同可用區(qū)，通過(guò)節(jié)點(diǎn)池?cái)U(kuò)展節(jié)點(diǎn)。工作負(fù)載創(chuàng)建時(shí)設(shè)置實(shí)例數(shù)需大于2個(gè)。工作負(fù)載實(shí)例采用默認(rèn)部署，即無(wú)規(guī)則調(diào)度到集群中的不同節(jié)點(diǎn)上。搭配彈性伸縮服務(wù)，實(shí)現(xiàn)自動(dòng)擴(kuò)展與收縮。接入層安全WAF+虛擬防火墻+安全組通過(guò)安全服務(wù)，如WAF(web應(yīng)用防火墻)，加強(qiáng)系統(tǒng)的安全性，防御外部攻擊。按需配置虛擬防火墻及安全組規(guī)則，減少暴露的系統(tǒng)端口，降低外部威脅。接入層與其它層分別配置不同的安全組，按需配置安全組規(guī)則，防止內(nèi)部威脅擴(kuò)散?；谝陨戏桨笀?chǎng)景，業(yè)務(wù)上云時(shí)，接入方式考慮高性能建議使用云專(zhuān)線(xiàn)（L3GW），如下圖。圖典型接入層架構(gòu)應(yīng)用層設(shè)計(jì)負(fù)責(zé)工作流控制，實(shí)現(xiàn)業(yè)務(wù)邏輯。上承接入層，處理接入層的請(qǐng)求，返回請(qǐng)求結(jié)果；下接數(shù)據(jù)層，實(shí)現(xiàn)對(duì)數(shù)據(jù)的增刪改查。為了保證業(yè)務(wù)的連續(xù)性及業(yè)務(wù)波峰波谷帶來(lái)的沖擊，應(yīng)用層上云時(shí)重點(diǎn)需要考慮可靠性與可擴(kuò)展性。表應(yīng)用層不同維度方案匹配維度方案具體說(shuō)明可靠性ingress/service+多容器實(shí)例容器以集群形式部署，優(yōu)先選擇無(wú)狀態(tài)工作負(fù)載。應(yīng)用層工作負(fù)載的一般是針對(duì)接入層的容器內(nèi)部調(diào)用訪(fǎng)問(wèn)，此時(shí)建議使用ClusterIP方式訪(fǎng)問(wèn)。應(yīng)用層需要對(duì)外暴露接口的場(chǎng)景，可以考慮通過(guò)ingress或者service的ELB實(shí)例對(duì)外提供服務(wù)，容器化部署支持申請(qǐng)多種服務(wù)訪(fǎng)問(wèn)類(lèi)型，從而更好的區(qū)分流量。創(chuàng)建節(jié)點(diǎn)選擇在不同的可用區(qū)，在多個(gè)可用區(qū)（AZ）多個(gè)節(jié)點(diǎn)的情況下，根據(jù)自身業(yè)務(wù)需求合理的配置自定義調(diào)度策略，可達(dá)到資源分配的最大化創(chuàng)建多個(gè)節(jié)點(diǎn)池，不同節(jié)點(diǎn)池部署在不同可用區(qū)，通過(guò)節(jié)點(diǎn)池?cái)U(kuò)展節(jié)點(diǎn)。工作負(fù)載創(chuàng)建時(shí)設(shè)置實(shí)例數(shù)需大于2個(gè)。工作負(fù)載實(shí)例采用默認(rèn)部署，即無(wú)規(guī)則調(diào)度到集群中的不同節(jié)點(diǎn)上。可擴(kuò)展性工作負(fù)載伸縮HPA策略：即HorizontalPodAutoscaling，是Kubernetes中實(shí)現(xiàn)POD水平自動(dòng)伸縮的功能。該策略在kubernetes社區(qū)HPA功能的基礎(chǔ)上，增加了HPA級(jí)別的冷卻時(shí)間窗和擴(kuò)縮容閾值等功能。CustomedHPA策略：彈性伸縮增強(qiáng)能力，能夠基于指標(biāo)（CPU利用率、內(nèi)存利用率）或周期（每天、每周、每月或每年的具體時(shí)間點(diǎn)），對(duì)無(wú)狀態(tài)工作負(fù)載進(jìn)行彈性擴(kuò)縮容。主要功能如下：支持按照當(dāng)前實(shí)例數(shù)的百分比進(jìn)行擴(kuò)縮容。支持設(shè)置一次擴(kuò)縮容的最小步長(zhǎng)。支持按照實(shí)際指標(biāo)值執(zhí)行不同的擴(kuò)縮容動(dòng)作。基于以上因素，應(yīng)用上云時(shí)推介容器化部署架構(gòu)如圖所示。應(yīng)用層可能是上述兩種架構(gòu)單元的一個(gè)或多個(gè)組合，形成了一個(gè)可靠、可擴(kuò)展的系統(tǒng)。圖容器化部署架構(gòu)數(shù)據(jù)層設(shè)計(jì)負(fù)責(zé)系統(tǒng)業(yè)務(wù)數(shù)據(jù)的持久化，為上層業(yè)務(wù)邏輯的實(shí)現(xiàn)提供數(shù)據(jù)支持，一般是各類(lèi)數(shù)據(jù)庫(kù)、文件系統(tǒng)、分布式緩存等。數(shù)據(jù)層包括結(jié)構(gòu)化的數(shù)據(jù)（如關(guān)系數(shù)據(jù)庫(kù)）和非結(jié)構(gòu)化數(shù)據(jù)（如各類(lèi)文件服務(wù)器），傳統(tǒng)業(yè)務(wù)中，大部分是關(guān)系數(shù)據(jù)庫(kù)類(lèi)的結(jié)構(gòu)化數(shù)據(jù)。對(duì)于海量數(shù)據(jù)處理的設(shè)計(jì)，建議使用EI大數(shù)據(jù)云服務(wù)進(jìn)行處理。對(duì)于客戶(hù)使用已有數(shù)據(jù)上云，建議通過(guò)BMS部署。數(shù)據(jù)層實(shí)現(xiàn)的五種場(chǎng)景如圖，優(yōu)先建議使用①云組件方式。圖數(shù)據(jù)層實(shí)現(xiàn)①優(yōu)先使用云平臺(tái)提供的數(shù)據(jù)庫(kù)服務(wù)，如業(yè)務(wù)系統(tǒng)在上云前使用的是MySQL數(shù)據(jù)庫(kù)，可以申請(qǐng)RDSforMySQL實(shí)例完成云化部署；采用分布式緩存組件如MemCached或者Redis時(shí)，申請(qǐng)?jiān)破脚_(tái)提供的DCS服務(wù)，將熱點(diǎn)數(shù)據(jù)緩存，提升數(shù)據(jù)的讀取效率，為應(yīng)對(duì)大規(guī)模訪(fǎng)問(wèn)場(chǎng)景打下基礎(chǔ)。②可以把數(shù)據(jù)丟失不敏感的業(yè)務(wù)(搜索、埋點(diǎn))就可以數(shù)據(jù)化，利用數(shù)據(jù)庫(kù)分片來(lái)來(lái)增加實(shí)例數(shù)，從而增加吞吐量。docker適合跑輕量級(jí)或分布式數(shù)據(jù)庫(kù)，當(dāng)docker服務(wù)掛掉，會(huì)自動(dòng)啟動(dòng)新容器，而不是繼續(xù)重啟容器服務(wù)。數(shù)據(jù)庫(kù)利用中間件和容器化系統(tǒng)能夠自動(dòng)伸縮、容災(zāi)、切換、自帶多個(gè)節(jié)點(diǎn)，也是可以進(jìn)行容器化。為保證性能和可靠性，不建議將重要業(yè)務(wù)系統(tǒng)依賴(lài)的數(shù)據(jù)庫(kù)容器化部署。③對(duì)客戶(hù)明確使用已有數(shù)據(jù)上云部署，對(duì)性能要求高，如Oracle數(shù)據(jù)庫(kù)或者相同量級(jí)的數(shù)據(jù)庫(kù)集群，建議通過(guò)BMS手動(dòng)部署。④對(duì)客戶(hù)明確使用已有數(shù)據(jù)上云部署，對(duì)性能無(wú)要求，明確不支持容器化部署的商業(yè)數(shù)據(jù)庫(kù)建議通過(guò)ECS手動(dòng)部署上云。⑤云化部署后，申請(qǐng)SFS實(shí)例和OBS桶，應(yīng)用層容器應(yīng)用直接訪(fǎng)問(wèn)OBS桶和SFS實(shí)例，實(shí)現(xiàn)文件的存取。部署架構(gòu)建議業(yè)務(wù)上云時(shí)，客戶(hù)對(duì)應(yīng)用級(jí)與平臺(tái)級(jí)業(yè)務(wù)連續(xù)性保障，從部署架構(gòu)來(lái)保障業(yè)務(wù)本身高可靠，可擴(kuò)展能力至為關(guān)心。能源類(lèi)業(yè)務(wù)可以根據(jù)業(yè)務(wù)本身在整個(gè)能源行業(yè)信息系統(tǒng)中重要程度分為A+/A/B/C類(lèi)業(yè)務(wù)，因此無(wú)論從整體的高可靠性還是組件單點(diǎn)的高可靠性都有不同的要求。兩地三中心架構(gòu)對(duì)A+類(lèi)核心系統(tǒng)為保障業(yè)務(wù)高可靠，建議整體采用兩地三中心架構(gòu)，服務(wù)同城雙活，數(shù)據(jù)同城災(zāi)備，同城不丟失數(shù)據(jù)情況下跨機(jī)房級(jí)別容災(zāi)；核心是解決底層數(shù)據(jù)雙活，由于雙機(jī)房距離近，通信質(zhì)量好，底層儲(chǔ)存例數(shù)據(jù)庫(kù)可以采用同步復(fù)制，有效保證雙機(jī)房數(shù)據(jù)一致性。災(zāi)備中心能防范同城雙中心同時(shí)出現(xiàn)故障時(shí)候利用備份數(shù)據(jù)進(jìn)行業(yè)務(wù)的恢復(fù)。部署示意圖如圖圖兩地三中心架構(gòu)部署示意圖同城雙活架構(gòu)對(duì)A/B/C類(lèi)業(yè)務(wù)為保障業(yè)務(wù)高可靠，建議整體采用同城雙活架構(gòu)，服務(wù)同城雙活，數(shù)據(jù)同城災(zāi)備，同城不丟失數(shù)據(jù)情況下跨機(jī)房級(jí)別容災(zāi)。核心是解決底層數(shù)據(jù)雙活，由于雙機(jī)房距離近，通信質(zhì)量好，底層儲(chǔ)存例如數(shù)據(jù)庫(kù)可以采用同步復(fù)制，有效保證雙機(jī)房數(shù)據(jù)一致性。圖同城雙活架構(gòu)部署示意圖從業(yè)務(wù)架構(gòu)解耦分層來(lái)看，可以使用云平臺(tái)服務(wù)能力，各層級(jí)共同實(shí)現(xiàn)同城雙活。在該方案中結(jié)合能源行業(yè)客戶(hù)高可用高要求，建議組件直接使用華為云組件承接，由云組件本身集群跨AZ部署去保障高可用。對(duì)客戶(hù)強(qiáng)管控不考慮華為云的組件，建議自身同城主備雙活部署。表不同業(yè)務(wù)層級(jí)及方案說(shuō)明層級(jí)方案說(shuō)明接入層網(wǎng)絡(luò)出口故障自動(dòng)切換，保持EIP不變。相對(duì)金融業(yè)務(wù)采用L3GW出口，直接負(fù)載ELB的VIP保持不變ELB高可用，實(shí)現(xiàn)跨數(shù)據(jù)中心負(fù)載均衡APIC跨數(shù)據(jù)中心集群部署，自動(dòng)切換應(yīng)用層應(yīng)用層無(wú)狀態(tài)部署，CCE/ECS跨AZ雙活中間件層DCS/MQS集群跨AZ主備部署，單邊故障無(wú)需修改配置，訪(fǎng)問(wèn)方式保持不變數(shù)據(jù)層MRS/DWS支持跨AZ雙集群容災(zāi)數(shù)據(jù)庫(kù)跨AZ集群拉遠(yuǎn)部署，單邊故障VIP不變?cè)圃p活架構(gòu)對(duì)能源類(lèi)業(yè)務(wù)上云后，Region內(nèi)單集群業(yè)務(wù)接入層使用ELB+L3GW出口云外；應(yīng)用層在集群內(nèi)多副本部署，置于ELB后端member，通過(guò)健康檢查機(jī)制保障業(yè)務(wù)高可用，對(duì)異常后端pod流量隔離；數(shù)據(jù)層數(shù)據(jù)庫(kù)使用BMS部署，單獨(dú)在一個(gè)VPC內(nèi)，與容器集群VPC內(nèi)部互訪(fǎng)。圖云原生雙活架構(gòu)圖業(yè)務(wù)集群設(shè)計(jì)集群創(chuàng)建原則云平臺(tái)資源管理在發(fā)放容器集群，建議采用如下原則：集群不支持跨Region部署隔離的網(wǎng)絡(luò)分區(qū)，分別創(chuàng)建集群不同網(wǎng)絡(luò)分區(qū)分別創(chuàng)建集群（不同網(wǎng)絡(luò)分區(qū)，通常由具體的資源隔離訴求，因此需要分開(kāi)）資源池架構(gòu)：x86，鯤鵬，不同的硬件架構(gòu)資源池建議分別創(chuàng)建集群（防止集群內(nèi)部應(yīng)用的復(fù)雜性，如果業(yè)務(wù)確實(shí)需要混合資源，可以采用混合集群）集群規(guī)模：超大規(guī)模集群（2000容器節(jié)點(diǎn)），建議采用容器隧道網(wǎng)絡(luò)模式(Overlay模式）當(dāng)容器節(jié)點(diǎn)超過(guò)2000，或者更多的情況下，建議創(chuàng)建多個(gè)集群由于每個(gè)容器集群規(guī)模過(guò)大容器導(dǎo)致故障域過(guò)大，故障定位難度指數(shù)級(jí)增加，建議每個(gè)集群的規(guī)模不超過(guò)1000節(jié)點(diǎn)。VPC網(wǎng)絡(luò)模式，可以提供高性能容器網(wǎng)絡(luò)，集群規(guī)模受限于VPCrouter自定義路由規(guī)格（1000條），容器集群規(guī)模不支持超過(guò)1000的規(guī)模。不同應(yīng)用性質(zhì)：不同業(yè)務(wù)類(lèi)型的應(yīng)用，非密切配合類(lèi)的應(yīng)用（AI訓(xùn)練/大數(shù)據(jù)業(yè)務(wù)），建議可以考慮分別建立集群核心業(yè)務(wù)，可以按照業(yè)務(wù)組建立獨(dú)立的集群，應(yīng)用高可用，可以基于多套相同應(yīng)用的集群，實(shí)現(xiàn)雙AZ&雙集群應(yīng)用本地高可用。其他一般業(yè)務(wù)可以多業(yè)務(wù)共用集群開(kāi)發(fā)測(cè)試、生產(chǎn)環(huán)境，由于區(qū)域隔離，需要?jiǎng)?chuàng)建不同的集群，資源必須隔離不同的k8s版本，需要部署在不同集群租戶(hù)/用戶(hù)設(shè)計(jì)根據(jù)應(yīng)用生命周期及容器化過(guò)程涉及的角色，一般可分為表中的角色，如表所示。表按客戶(hù)進(jìn)行不同用戶(hù)角色分類(lèi)表租戶(hù)/用戶(hù)設(shè)計(jì)建議用戶(hù)角色定義描述對(duì)應(yīng)行內(nèi)人員對(duì)應(yīng)平臺(tái)上用戶(hù)應(yīng)用開(kāi)發(fā)測(cè)試者負(fù)責(zé)應(yīng)用開(kāi)發(fā)調(diào)測(cè)、構(gòu)建、打包、驗(yàn)證并發(fā)布商用軟件包（鏡像包）客戶(hù)開(kāi)發(fā)團(tuán)隊(duì)一般為開(kāi)發(fā)測(cè)試VDC下容器項(xiàng)目的管理人員，可對(duì)開(kāi)發(fā)、測(cè)試環(huán)境進(jìn)行自我管理。應(yīng)用管理者負(fù)責(zé)應(yīng)用部署上線(xiàn)、彈縮擴(kuò)容、故障定位排障等生命周期管理工作客戶(hù)應(yīng)用維護(hù)人員一般為生產(chǎn)VDC下容器項(xiàng)目的管理人員，能管理VDC資源、集群與容器的生命周期。應(yīng)用巡檢者負(fù)責(zé)日常應(yīng)用監(jiān)控、報(bào)表生成等日常巡檢活動(dòng)客戶(hù)業(yè)務(wù)監(jiān)控團(tuán)隊(duì)一般為生產(chǎn)VDC下容器項(xiàng)目的只讀人員，只能查看監(jiān)控容器應(yīng)用平臺(tái)管理員負(fù)責(zé)整個(gè)平臺(tái)資源規(guī)劃、分配與創(chuàng)建客戶(hù)IT管理人員為平臺(tái)超級(jí)管理員自定義角色客戶(hù)業(yè)務(wù)場(chǎng)景中，對(duì)特定服務(wù)的權(quán)限控制，如鏡像管理員客戶(hù)自定義角色團(tuán)隊(duì)平臺(tái)自定義角色網(wǎng)絡(luò)模型選型能源類(lèi)業(yè)務(wù)上云時(shí)，出于對(duì)網(wǎng)絡(luò)高性能要求，且集群規(guī)模不超過(guò)1000個(gè)節(jié)點(diǎn)，容器網(wǎng)絡(luò)一般建議采用VPC網(wǎng)絡(luò)。對(duì)網(wǎng)絡(luò)延時(shí)、帶寬等要求不是特別高，但對(duì)防控策略等強(qiáng)管控的業(yè)務(wù)建議采用容器隧道網(wǎng)絡(luò)。具體見(jiàn)表。如XX業(yè)主對(duì)業(yè)務(wù)網(wǎng)絡(luò)性能要求高，業(yè)務(wù)集群統(tǒng)一使用VPC網(wǎng)絡(luò)。圖容器網(wǎng)絡(luò)模型表網(wǎng)絡(luò)模型選型對(duì)比維度VPC網(wǎng)絡(luò)容器隧道網(wǎng)絡(luò)IP地址管理每個(gè)節(jié)點(diǎn)分配一個(gè)小子網(wǎng)（全集群固定掩碼長(zhǎng)度，在集群創(chuàng)建時(shí)制定）在VPCRouter上添加靜態(tài)路由，下一跳為節(jié)點(diǎn)IPIP地址可遷移網(wǎng)絡(luò)性能無(wú)隧道封裝，性能好，媲美裸機(jī)網(wǎng)絡(luò)基于vxlan隧道封裝，有性能損耗組網(wǎng)規(guī)模1000節(jié)點(diǎn)（受限VPC路由表能力）2000節(jié)點(diǎn)網(wǎng)絡(luò)策略暫時(shí)不支持（后期CCETurbo方案天然支持）支持networkpolicy外部依賴(lài)依賴(lài)VPCRouter靜態(tài)路由表能力無(wú)適用場(chǎng)景對(duì)網(wǎng)絡(luò)延時(shí)、帶寬要求高容器與虛機(jī)IP互通，使用微服務(wù)注冊(cè)框架的，如Dubbo、CSE等一般容器業(yè)務(wù)場(chǎng)景對(duì)網(wǎng)絡(luò)延時(shí)、帶寬要求不是特別高的場(chǎng)景業(yè)務(wù)存儲(chǔ)設(shè)計(jì)創(chuàng)建工作負(fù)載時(shí)，可以使用以下類(lèi)型的存儲(chǔ)。建議將工作負(fù)載pod數(shù)據(jù)存儲(chǔ)在云存儲(chǔ)上。若存儲(chǔ)在本地磁盤(pán)上，節(jié)點(diǎn)異常無(wú)法恢復(fù)時(shí)，本地磁盤(pán)中的數(shù)據(jù)也將無(wú)法恢復(fù)。根據(jù)容器存儲(chǔ)場(chǎng)景分類(lèi)，可以分為運(yùn)行臨時(shí)數(shù)據(jù)和持久化數(shù)據(jù)見(jiàn)圖，業(yè)務(wù)容器上云后對(duì)存儲(chǔ)的訴求不一致，使用的建議也不一樣。圖容器存儲(chǔ)場(chǎng)景分類(lèi)本地硬盤(pán)：將容器所在宿主機(jī)的文件目錄掛載到容器的指定路徑中（對(duì)應(yīng)Kubernetes的HostPath），也可以不填寫(xiě)源路徑（對(duì)應(yīng)Kubernetes的EmptyDir），不填寫(xiě)時(shí)將分配主機(jī)的臨時(shí)目錄掛載到容器的掛載點(diǎn)，指定源路徑的本地硬盤(pán)數(shù)據(jù)卷適用于將數(shù)據(jù)持久化存儲(chǔ)到容器所在宿主機(jī)，EmptyDir（不填寫(xiě)源路徑）適用于容器的臨時(shí)存儲(chǔ)。配置項(xiàng)（ConfigMap）是一種用于存儲(chǔ)工作負(fù)載所需配置信息的資源類(lèi)型，內(nèi)容由用戶(hù)決定。密鑰（Secret）是一種用于存儲(chǔ)工作負(fù)載所需要認(rèn)證信息、密鑰的敏感信息等的資源類(lèi)型，內(nèi)容由用戶(hù)決定。云硬盤(pán)存儲(chǔ)卷：CCE支持將EVS創(chuàng)建的云硬盤(pán)掛載到容器的某一路徑下。當(dāng)容器遷移時(shí)，掛載的云硬盤(pán)將一同遷移。這種存儲(chǔ)方式適用于需要永久化保存的數(shù)據(jù)。文件存儲(chǔ)卷：CCE支持創(chuàng)建SFS存儲(chǔ)卷并掛載到容器的某一路徑下，也可以使用底層SFS服務(wù)創(chuàng)建的文件存儲(chǔ)卷，SFS存儲(chǔ)卷適用于多讀多寫(xiě)的持久化存儲(chǔ)，適用于多種工作負(fù)載場(chǎng)景，包括媒體處理、內(nèi)容管理、大數(shù)據(jù)分析和分析工作負(fù)載程序等場(chǎng)景。對(duì)象存儲(chǔ)卷：CCE支持創(chuàng)建OBS對(duì)象存儲(chǔ)卷并掛載到容器的某一路徑下，對(duì)象存儲(chǔ)適用于云工作負(fù)載、數(shù)據(jù)分析、內(nèi)容分析和熱點(diǎn)對(duì)象等場(chǎng)景。容器存儲(chǔ)當(dāng)前云平臺(tái)提供三種存儲(chǔ)，分別為塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)，三種存儲(chǔ)主要區(qū)別如表。根據(jù)金融各行業(yè)務(wù)要求，可以選擇不同存儲(chǔ)方式。對(duì)比項(xiàng)文件存儲(chǔ)塊存儲(chǔ)對(duì)象存儲(chǔ)使用方式符合標(biāo)準(zhǔn)文件協(xié)議，用戶(hù)可以將文件系統(tǒng)掛載給服務(wù)器，像使用本地文件目錄一樣。像使用傳統(tǒng)服務(wù)器硬盤(pán)一樣，用戶(hù)可以對(duì)掛載到服務(wù)器上的塊存儲(chǔ)（硬盤(pán)）做格式化、創(chuàng)建文件系統(tǒng)等操作。具備標(biāo)準(zhǔn)RestfulAPI接口，用戶(hù)必須通過(guò)編程或第三方工具訪(fǎng)問(wèn)對(duì)象存儲(chǔ)共享方式數(shù)據(jù)共享，支持多臺(tái)服務(wù)器共享，多臺(tái)服務(wù)器可掛載相同的文件系統(tǒng)，數(shù)據(jù)可以共享操作和訪(fǎng)問(wèn)。數(shù)據(jù)不共享，或特殊的數(shù)臺(tái)服務(wù)器共享卷，每臺(tái)服務(wù)器使用獨(dú)立的塊存儲(chǔ)（硬盤(pán)），多服務(wù)器之間數(shù)據(jù)隔離。數(shù)據(jù)共享，設(shè)備無(wú)限制，服務(wù)器、嵌入式設(shè)備、IOT設(shè)備，所有調(diào)用相同路徑，均可訪(fǎng)問(wèn)共享的對(duì)象存儲(chǔ)數(shù)據(jù)場(chǎng)景對(duì)比企業(yè)辦公OA、AI訓(xùn)練、門(mén)戶(hù)網(wǎng)站、游戲、DEVOPS、容器微服務(wù)、渲染等場(chǎng)景。關(guān)系數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、ELK分布式日志搜索、企業(yè)辦公應(yīng)用、數(shù)據(jù)倉(cāng)庫(kù)、高性能計(jì)算等場(chǎng)景?；ヂ?lián)網(wǎng)應(yīng)用、OTT視頻、視頻監(jiān)控、備份/歸檔、大數(shù)據(jù)/IOT等場(chǎng)景容器場(chǎng)景使用說(shuō)明共享存儲(chǔ)，可以同時(shí)為多個(gè)Pod提供共享存儲(chǔ)服務(wù)，即一個(gè)PVC可以同時(shí)被多個(gè)Pod使用。讀寫(xiě)性能相對(duì)于對(duì)象存儲(chǔ)OSS高。非共享存儲(chǔ)，通過(guò)PV/PVC使用云盤(pán)時(shí)，一個(gè)云盤(pán)只能同時(shí)被一個(gè)Pod掛載。推薦使用有狀態(tài)應(yīng)用（StatefulSet）掛載使用云盤(pán)。無(wú)狀態(tài)應(yīng)用（Deployment）掛載云盤(pán)時(shí)Replica需要為1，不能保證掛載、卸載的優(yōu)先順序。共享存儲(chǔ)，可以同時(shí)為多個(gè)Pod提供共享存儲(chǔ)服務(wù)。適合于讀文件場(chǎng)景。例如：讀配置文件、視頻、圖片文件等場(chǎng)景。不擅長(zhǎng)于寫(xiě)文件的應(yīng)用場(chǎng)景。如果您的業(yè)務(wù)是將文件寫(xiě)入存儲(chǔ)的場(chǎng)景，推薦使用文件存儲(chǔ)。支持直掛支持通過(guò)CSI插件自動(dòng)掛載支持通過(guò)CSI插件自動(dòng)掛載支持非云&跨RegionCSI插件不支持解決辦法：1.打通網(wǎng)絡(luò)2.掛載NFS文件目錄到指定的應(yīng)用節(jié)點(diǎn)上3.通過(guò)本地卷方式掛載給應(yīng)用CSI插件不支持CSI插件不支持解決方法：1.應(yīng)用自行通過(guò)OBSAPI方式訪(fǎng)問(wèn)表存儲(chǔ)設(shè)計(jì)建議一般建議容器使用塊存儲(chǔ)，容器備份使用對(duì)象存儲(chǔ)，對(duì)于需要共享訪(fǎng)問(wèn)使用文件存儲(chǔ)。如XX業(yè)主容器主要使用塊存儲(chǔ)，容器備份使用對(duì)象存儲(chǔ)，沒(méi)有使用云內(nèi)的文件存儲(chǔ)，對(duì)于需要共享訪(fǎng)問(wèn)，用的行內(nèi)自己的NAS存儲(chǔ)。業(yè)務(wù)鏡像設(shè)計(jì)鏡像構(gòu)建鏡像是容器的基礎(chǔ)，容器基于鏡像定義的內(nèi)容來(lái)運(yùn)行。鏡像是多層存儲(chǔ)，每一層是前一層基礎(chǔ)上進(jìn)行的修改。定制鏡像時(shí)，一般使用Dockerfile來(lái)完成。Dockerfile是一個(gè)文本文件，其內(nèi)包含了一條條的指令，每一條指令構(gòu)建鏡像的其中一層，因此每一條指令的內(nèi)容，就是描述該層應(yīng)該如何構(gòu)建。\o""如何寫(xiě)出更好的Dockerfile，建議采用如下原則：一個(gè)容器只運(yùn)行一個(gè)進(jìn)程不要在構(gòu)建中升級(jí)版本將變化頻率一樣的RUN指令合一使用特定的標(biāo)簽刪除多余文件選擇合適的基礎(chǔ)鏡像設(shè)置WORKDIR和CMD使用ENTRYPOINT(可選)在entrypoint腳本中使用exec優(yōu)先使用COPY合理調(diào)整COPY與RUN的順序設(shè)置默認(rèn)的環(huán)境變量、映射端口和數(shù)據(jù)卷使用EXPOSE暴露端口使用VOLUME管理數(shù)據(jù)卷使用LABEL設(shè)置鏡像元數(shù)據(jù)添加HEALTHCHECK編寫(xiě).dockerignore文件鏡像管理根據(jù)使用的技術(shù)棧(java、spring、go、python)提供標(biāo)準(zhǔn)的基礎(chǔ)鏡像，由基礎(chǔ)設(shè)施團(tuán)隊(duì)負(fù)責(zé)（包括版本更新、漏洞處理等）。對(duì)應(yīng)用軟件包進(jìn)行垂直切分，從下到上可分為OS、軟件依賴(lài)、應(yīng)用工具、應(yīng)用軟件等多層便于靈活快速的組合出不同場(chǎng)景和環(huán)境的鏡像.操作系統(tǒng)鏡像層：各種Linux操作系統(tǒng)及不同版本基礎(chǔ)環(huán)境依賴(lài)層：各種業(yè)務(wù)運(yùn)行環(huán)境，如java，python，go等基礎(chǔ)依賴(lài)包應(yīng)用中間件層：各種應(yīng)用軟件依賴(lài)層，包括中間件，數(shù)據(jù)庫(kù)等業(yè)務(wù)應(yīng)用層：各種OA，ERP等業(yè)務(wù)應(yīng)用將OS、軟件依賴(lài)等劃為基礎(chǔ)鏡像并交給對(duì)應(yīng)的部門(mén)管理和維護(hù)，進(jìn)行行內(nèi)共享，保證行內(nèi)軟件棧統(tǒng)一。業(yè)務(wù)高可用設(shè)計(jì)業(yè)務(wù)在對(duì)外訪(fǎng)問(wèn)保障高可用不僅要從后端pod故障考慮，