金融云計(jì)算與云原生建設(shè)實(shí)踐 2024-王輝

王輝太保集團(tuán)/云首席架構(gòu)師?金融數(shù)字化轉(zhuǎn)型要求?云計(jì)算建設(shè)與云原生2017年4月《云計(jì)算發(fā)展三年行動(dòng)計(jì)劃（2017-2019年）》夯實(shí)產(chǎn)業(yè)基礎(chǔ)，優(yōu)化發(fā)展環(huán)境，完善產(chǎn)業(yè)生態(tài)，健全標(biāo)準(zhǔn)際化方向發(fā)展，全面提升我國(guó)云計(jì)算產(chǎn)業(yè)實(shí)力和信息化應(yīng)2017年6月《中國(guó)金融業(yè)信息技術(shù)“十與應(yīng)用；穩(wěn)步推進(jìn)系統(tǒng)架構(gòu)和云計(jì)算技術(shù)應(yīng)用研究2018年8月《推動(dòng)企業(yè)上云實(shí)施指南（2018-2020年）》提出到2020年行業(yè)企業(yè)上云意識(shí)和積極性明顯提高，上管理中的應(yīng)用廣泛普及2018年8月《云計(jì)算技術(shù)金融應(yīng)用規(guī)范》具體包括《云計(jì)算技術(shù)金融應(yīng)用規(guī)范安全技術(shù)要求》、《云計(jì)算技術(shù)金融應(yīng)用規(guī)范技術(shù)架構(gòu)》、《云計(jì)融應(yīng)用規(guī)范容災(zāi)》2021年8月發(fā)布《金融科技發(fā)展規(guī)劃2022年1月發(fā)布《關(guān)于銀行業(yè)保險(xiǎn)業(yè)數(shù)字化轉(zhuǎn)型的指導(dǎo)意見(jiàn)》出提高科技架構(gòu)支撐能力，推進(jìn)傳統(tǒng)架構(gòu)向分布式架構(gòu)轉(zhuǎn)成對(duì)分布式架構(gòu)的自主開(kāi)發(fā)設(shè)計(jì)和獨(dú)立升級(jí)能力2022年3月發(fā)布《保險(xiǎn)業(yè)標(biāo)準(zhǔn)化“十四金壁壘，加快企業(yè)數(shù)字化轉(zhuǎn)型。IT業(yè)務(wù)所需要的全部能力需求，是企業(yè)數(shù)字化轉(zhuǎn)型最重要的底座，云計(jì)算能力成熟度關(guān)系到企業(yè)數(shù)字化轉(zhuǎn)型有效率資源共享服務(wù)可計(jì)量調(diào)度資源，提升資源利用率。第二代：統(tǒng)一管理和自動(dòng)化第三代：公有云體系產(chǎn)業(yè)化未來(lái)：?硬件資源池化和彈性?自動(dòng)化，流程化，服務(wù)目錄?硬件資源池化和彈性?自動(dòng)化，流程化，服務(wù)目錄化?虛擬機(jī)的推廣使用?提升了硬件利用率?多租戶-計(jì)量計(jì)費(fèi)-運(yùn)維運(yùn)營(yíng)IaaS/PaaS/安全/微服務(wù)力，935項(xiàng)用例八橫四縱體系100項(xiàng)用例存儲(chǔ)網(wǎng)絡(luò)中間件91項(xiàng)用例技術(shù)先進(jìn)，企業(yè)級(jí)方案，全棧能力架構(gòu)開(kāi)放可演進(jìn)，無(wú)硬件廠商鎖定全棧自主：國(guó)產(chǎn)自研，等保4級(jí)能力金融云/XC云經(jīng)驗(yàn)豐富云原生技術(shù)使各組織能夠在公有云、私有云和混合云等新型動(dòng)態(tài)環(huán)境中，構(gòu)建和運(yùn)行可彈API。這些技術(shù)能夠構(gòu)建容錯(cuò)性好、易于管理和便于觀察的松耦合系統(tǒng)。結(jié)合可靠的自動(dòng)化手段，云原生技術(shù)使工程師能夠輕松地對(duì)系統(tǒng)作出頻繁和可預(yù)測(cè)的重大變更。----CNCF2018----我們的理解能否應(yīng)對(duì)不確定性原動(dòng)力業(yè)務(wù)的不確定性流量的不確定性原動(dòng)力服務(wù)品質(zhì)爆發(fā)力爆發(fā)力業(yè)務(wù)的需求快速滿足…研發(fā)的效能資源的效能用戶體驗(yàn)如何實(shí)現(xiàn)不同場(chǎng)景下用戶無(wú)縫的場(chǎng)景如何實(shí)現(xiàn)客戶售前，售中，售后全鏈用戶體驗(yàn)如何實(shí)現(xiàn)不同場(chǎng)景下用戶無(wú)縫的場(chǎng)景如何實(shí)現(xiàn)客戶售前，售中，售后全鏈路協(xié)同的服務(wù)架構(gòu)的灰度如何構(gòu)建生態(tài)，業(yè)務(wù)協(xié)同如何將業(yè)務(wù)能力融入場(chǎng)景，鏈接互動(dòng)行成生態(tài)如何將業(yè)務(wù)能力融入場(chǎng)景，鏈接互動(dòng)行成生態(tài)如技術(shù)架構(gòu)的迭代演進(jìn)以如何服務(wù)好業(yè)務(wù)經(jīng)營(yíng)的視角做業(yè)務(wù)平臺(tái)整體代際架構(gòu)的升級(jí)持久力“465”能力建設(shè)45云原生文化提升云原生生產(chǎn)力分布式理念，45云原生文化提升云原生生產(chǎn)力分布式理念，高可用架構(gòu)數(shù)字化基礎(chǔ)設(shè)施云原生組織保障云原生的實(shí)現(xiàn)敏捷業(yè)務(wù)開(kāi)發(fā)團(tuán)隊(duì)云原生技術(shù)開(kāi)發(fā)團(tuán)隊(duì)云原生平臺(tái)運(yùn)營(yíng)團(tuán)隊(duì)云原生運(yùn)維團(tuán)隊(duì)服務(wù)化能力可觀測(cè)性能力無(wú)服務(wù)化能力化達(dá)成統(tǒng)一的目標(biāo)和方向，心A.統(tǒng)一的架構(gòu)管理2.持續(xù)學(xué)習(xí)與實(shí)驗(yàn)A.局部經(jīng)驗(yàn)轉(zhuǎn)化為全局改進(jìn)B.鼓勵(lì)試錯(cuò)，重新定義失敗C.預(yù)留學(xué)習(xí)與改進(jìn)的時(shí)間D.持續(xù)迭代和優(yōu)化3.建立內(nèi)部的技術(shù)社區(qū)A.鼓勵(lì)交流，定期組織技術(shù)溝通C.穩(wěn)定的社區(qū)運(yùn)營(yíng)4.建立基于云原生的協(xié)作文化A.建立打破部門強(qiáng)的機(jī)制B.開(kāi)發(fā)和運(yùn)維結(jié)合更緊密C.創(chuàng)新抽象化的語(yǔ)言，重新定義開(kāi)發(fā)和運(yùn)維6塊能力建設(shè)中，還有15項(xiàng)能力待建設(shè)應(yīng)用選型原則基本原則是必選項(xiàng)，附加原則是可選項(xiàng)）基本原則1.業(yè)務(wù)復(fù)雜度：業(yè)務(wù)規(guī)模比較大，架構(gòu)比較復(fù)雜（由多個(gè)進(jìn)程協(xié)同完成一個(gè)作業(yè)流程）2.性能要求：高并發(fā)或單庫(kù)數(shù)據(jù)量大（遠(yuǎn)超單機(jī)承載能力）附加原則3.業(yè)務(wù)更新效率：要快速迭代，快速上線4.獨(dú)立升級(jí)：模塊進(jìn)行獨(dú)立升級(jí)5.降低影響范圍：分布式拆分控制爆炸半徑，提高系統(tǒng)整體可用性微服務(wù)改造要素判斷單體應(yīng)用是否可以拆分為微服務(wù)的標(biāo)準(zhǔn)）1.?。何⒎?wù)體積小2.獨(dú)：能夠獨(dú)立運(yùn)行和部署3.輕：使用輕量級(jí)的通信機(jī)制4.松：微服務(wù)之間松耦合從技術(shù)實(shí)現(xiàn)上進(jìn)行定義是必選+可選）容器做為運(yùn)行單元容器做為運(yùn)行單元兩地三中心服務(wù)網(wǎng)格兩地三中心服務(wù)網(wǎng)格微服務(wù)2.0分布式中間件架構(gòu)管理團(tuán)隊(duì) 敏捷業(yè)務(wù)開(kāi)發(fā)團(tuán)隊(duì) 敏捷開(kāi)發(fā)團(tuán)隊(duì)Scrum、BizDevOps 敏捷開(kāi)發(fā)團(tuán)隊(duì)Scrum、BizDevOps理念云原生技術(shù)開(kāi)發(fā)團(tuán)隊(duì) 云平臺(tái)運(yùn)營(yíng)團(tuán)隊(duì) 配備運(yùn)營(yíng)團(tuán)隊(duì)，支持云原生推廣和使用云原生運(yùn)維團(tuán)隊(duì) 云平臺(tái)建設(shè)實(shí)踐-重點(diǎn)關(guān)注內(nèi)容高可用部署-存儲(chǔ)集StorageSet（存儲(chǔ)集）用于控制云盤的物理分布策略，滿足客戶對(duì)一組云盤的故障域隔離、業(yè)務(wù)隔離、流量打散和性能壓力分?jǐn)偟刃枨?。StorageSet能夠做到可用區(qū)內(nèi)存儲(chǔ)集群粒度的隔離創(chuàng)建StorageSet時(shí)需要設(shè)置分區(qū)的個(gè)數(shù)，也就是隔離云盤的分組個(gè)數(shù)當(dāng)前兩個(gè)混閃集群，分區(qū)數(shù)設(shè)為2即可以ECS部署主從實(shí)例的mysql為例，目標(biāo)需要將主實(shí)例和備租戶開(kāi)通StorageSet-db并設(shè)置兩個(gè)分區(qū)1和2，每個(gè)分區(qū)對(duì)應(yīng)一個(gè)混閃塊存儲(chǔ)集群創(chuàng)建mysql主實(shí)例ECS時(shí)，選擇云盤時(shí)先選擇存儲(chǔ)集StorageSet-db，其次選擇分區(qū)1創(chuàng)建mysql備實(shí)例ECS時(shí)，選擇云盤時(shí)先選擇存儲(chǔ)集StorageSet-db，其次選擇分區(qū)2CICD平臺(tái)CICD平臺(tái)CICD平臺(tái)CICD平臺(tái)鏡像推送CICD平臺(tái)混合云管（服務(wù)目錄對(duì)接）發(fā)布管理混合云管（服務(wù)目錄對(duì)接）發(fā)布管理變更管理界面管理界面管理API調(diào)用API調(diào)用阿里RDS阿里OB其他其他DB產(chǎn)品范圍產(chǎn)品范圍ACRECScafeACRECScafe核心流程 核心流程 TDSQLACK創(chuàng)建應(yīng)用服務(wù)環(huán)境管理定義應(yīng)用藍(lán)圖執(zhí)行發(fā)布策略鏡像ENVPVC創(chuàng)建應(yīng)用服務(wù)環(huán)境管理定義應(yīng)用藍(lán)圖執(zhí)行發(fā)布策略鏡像ENVPVC定義發(fā)布定義應(yīng)用部署集群資源類型資源規(guī)格訪問(wèn)關(guān)聯(lián)發(fā)布策略定義應(yīng)用部署集群資源類型資源規(guī)格訪問(wèn)關(guān)聯(lián)發(fā)布策略經(jīng)典腳本編排集群?jiǎn)卧踩MVPC核心數(shù)據(jù)例服務(wù)SLB配置Configmap監(jiān)控策略單云單A單云單A構(gòu)發(fā)布結(jié)果-信息同步更新APP-webS發(fā)布結(jié)果-信息同步更新APP-webSLBECSECSECSECS當(dāng)前微服務(wù)開(kāi)發(fā)模式下面臨什么樣的棘手問(wèn)題？?多語(yǔ)言問(wèn)題：多種編程語(yǔ)言，node.js,JAVA,GoLang…需要為每種語(yǔ)言都維護(hù)一種SDK，目前我司主要是JAVA?老應(yīng)用問(wèn)題：老應(yīng)用微服務(wù)改造成本高，無(wú)法享受微服務(wù)治理?升級(jí)推動(dòng)難：SDK升級(jí)需要推動(dòng)業(yè)務(wù)應(yīng)用進(jìn)行代碼修改和發(fā)布，對(duì)業(yè)務(wù)有打擾，業(yè)務(wù)壓力下推動(dòng)成本高提升中間件研發(fā)效能提升中間件研發(fā)效能SDKSDK與業(yè)務(wù)應(yīng)用解耦·meshsdk接入：需要引入接注冊(cè)中心的客戶端依賴，相比于透明劫持性能高一點(diǎn)；可以在沒(méi)有接入mesh的時(shí)候使用注冊(cè)中心?！の⒎?wù)透明劫持接入mesh-需要自建注冊(cè)中心：適用于逐步遷移改造的應(yīng)用，一部分應(yīng)用已經(jīng)接入mesh，一部分還是使用原注冊(cè)中心?！の⒎?wù)透明劫持接入mesh-無(wú)需自建注冊(cè)中心：新項(xiàng)目或者一步改造完成項(xiàng)目可以使用這種方案，通過(guò)mesh注冊(cè)到用注冊(cè)中心。子公司運(yùn)維1①子公司運(yùn)維1①子公司運(yùn)維2①①①①②②②②審批流管理審批流管理科技運(yùn)維審批流管理審批流管理科技運(yùn)維③③④③③④多云管理平臺(tái)?借鑒公共云的使用方式提升租戶側(cè)的彈性，④多云管理平臺(tái)?借鑒公共云的使用方式提升租戶側(cè)的彈性，方便子公司內(nèi)部調(diào)劑資源。?縮短發(fā)布周期從天到小時(shí)級(jí)別。?提供代運(yùn)維服務(wù)維持現(xiàn)有體系不變，減少對(duì)子公司現(xiàn)有體系的沖擊。?影響面較大的云服務(wù)，仍舊由金科統(tǒng)一管②統(tǒng)一管理目錄ALB安全組存儲(chǔ)WAF虛擬機(jī)理，走云管審批流申請(qǐng)和配置資源。統(tǒng)一管理目錄ALB安全組存儲(chǔ)WAF虛擬機(jī)混合云管消費(fèi)藍(lán)圖來(lái)加速應(yīng)用資源部署AAC云資源分鐘級(jí)可得100臺(tái)VM<5分鐘CDE容器級(jí)敏捷交付DE通過(guò)有效的技術(shù)手段，提高運(yùn)維自動(dòng)化F水平，提升人效FBB災(zāi)，一站式切換利用率虛擬機(jī)AS，容器縮，資源利用率提升50%等保3/4級(jí)，云原生安全能力，開(kāi)通即獲取??服務(wù)化改造?數(shù)據(jù)分片/分布式事務(wù)?異