工商銀行分布式技術(shù)及應(yīng)用白皮書 2024

中國?商銀?軟件開發(fā)中?摘編或利?其它?式使?本??書?字或者觀點(diǎn)的，應(yīng)注明“來源:中國?商銀?軟件開發(fā)中?”。違反上述聲明者，我們將追究其相關(guān)法律責(zé)任。第?章概述 2 3 4第?章分布式體系發(fā)展現(xiàn)狀 5 5 5 第三章分布式體系應(yīng)?案例 (?)全?位滿?及適應(yīng)銀?復(fù)雜場景的需求 第四章總結(jié)與展望 1分布式技術(shù)系統(tǒng)是?種建?在?絡(luò)之上的軟件系統(tǒng)，其特點(diǎn)是多臺計(jì)算機(jī)通過?絡(luò)連接，協(xié)同?作以完成特定的任務(wù)。每個節(jié)點(diǎn)?度?治，??感知不到數(shù)據(jù)的分布，感覺像是在使??個統(tǒng)?的系統(tǒng)。分布式技術(shù)體系的發(fā)展?共可分為以下四個階段。1、原始分布式時代（20世紀(jì)70年代末到80年代初）：這個時期的特點(diǎn)是計(jì)算能??常有限，科學(xué)家們通過多臺計(jì)算機(jī)協(xié)同?作來完成復(fù)雜的任務(wù)，奠定了分布式計(jì)算的基礎(chǔ)。這個時期的探索出現(xiàn)了遠(yuǎn)程調(diào)?（RPC）和分布式?件系統(tǒng)的雛形。2、分布式計(jì)算的興起（20世紀(jì)90年代）：隨著技術(shù)的進(jìn)步，分布式計(jì)算開始興起，特別是分布式渲染和?向服務(wù)的架構(gòu)（SOA）的提出和應(yīng)?，使得分布式系統(tǒng)在處理?規(guī)模計(jì)算任務(wù)時更加?效和靈活。3、微服務(wù)架構(gòu)的時代（2005年以后）：微服務(wù)架構(gòu)的崛起進(jìn)?步推動了分布式技術(shù)的發(fā)展，使得系統(tǒng)更加模塊化，易于管理和擴(kuò)展。4、云計(jì)算和虛擬化技術(shù)的發(fā)展（21世紀(jì)初?今）：隨著云計(jì)算和虛擬化技術(shù)的發(fā)展，分布式系統(tǒng)進(jìn)?步發(fā)展，形成了資源池和彈性調(diào)度的云計(jì)算模式和云原?架構(gòu)。以微服務(wù)為核?的分布式技術(shù)在產(chǎn)業(yè)界已基本發(fā)展成熟。在分布式技術(shù)架構(gòu)建設(shè)過程中，基于以微服務(wù)為核?的開放式架構(gòu)，不斷拓展周邊?態(tài)，利?微服務(wù)實(shí)現(xiàn)應(yīng)?的分層解耦，通過分布式數(shù)據(jù)庫實(shí)現(xiàn)開放平臺數(shù)據(jù)的彈性布局，利?緩存提升?頻數(shù)據(jù)的處理能?，引?分布式事務(wù)解決跨平臺、跨應(yīng)?的事務(wù)最終?致性問題。隨著微服務(wù)、軟負(fù)載、事務(wù)、消息、批量、緩存、數(shù)據(jù)庫、對象存儲、?件存儲等能?的建設(shè)，分布式系統(tǒng)的?撐場景及運(yùn)?能?持續(xù)提升，并同步形成了與分布式架構(gòu)相匹配的研發(fā)及運(yùn)維?撐能?。根據(jù)對業(yè)界分布式技術(shù)產(chǎn)品的綜合分析，分布式架構(gòu)技術(shù)能?圖譜如圖1所?。Dubbo起步早、是最受歡迎的微服務(wù)框架，SpringCloud也是主流選型之?；分布式事務(wù)多采??研，但模型以TCC、SAGA及可靠消息為主；軟負(fù)載??，HAProxy及Nginx能?各有千秋；Kafka與Redis處于消息和緩存領(lǐng)域的統(tǒng)治地位；原?分布式數(shù)據(jù)庫應(yīng)?較少，基于Mysql+分布式訪問層是數(shù)據(jù)布局選型的主流技術(shù)?案；Springboot憑借簡化研發(fā)成為開發(fā)框架的標(biāo)配；Apollo、ELK、Zipkin等是配置及監(jiān)控的典型選擇；熔斷限流??Hystrix和Sentinel均有嘗試；??等少數(shù)銀?已基于Chaosblade開展混沌?程實(shí)踐。3微服務(wù)架構(gòu)推動應(yīng)?從傳統(tǒng)單體式向分布式轉(zhuǎn)型，實(shí)現(xiàn)了應(yīng)?系統(tǒng)的解耦，但同時也?臨著需要?持多種語?中間件，客?端版本升級困難等問題。因此產(chǎn)業(yè)界逐步從軟件層?獨(dú)?應(yīng)對微服務(wù)架構(gòu)問題，發(fā)展到軟、硬?體，合?應(yīng)對微服務(wù)架構(gòu)問題。如ServiceMesh（服務(wù)?格）架構(gòu)的理念，通過技術(shù)平臺的基礎(chǔ)設(shè)施化改造，將分布式能?逐步下沉到硬件層，實(shí)現(xiàn)與應(yīng)?解耦，簡化應(yīng)?開發(fā)過程，提供應(yīng)?更?的技術(shù)選型靈活度。如云原?應(yīng)?運(yùn)?時架構(gòu)，通過集成SDK內(nèi)核，統(tǒng)?交互協(xié)議及對外API，實(shí)現(xiàn)能?的抽象，使分布式能?進(jìn)?步下沉?基礎(chǔ)設(shè)施。載、事務(wù)、消息、批量、緩存、數(shù)據(jù)庫、對象存儲、?件存儲等九?運(yùn)??撐平臺，實(shí)現(xiàn)公共技術(shù)能?的集約建設(shè)與運(yùn)營。??軟負(fù)載均衡由四層負(fù)載節(jié)點(diǎn)（LVS/DP）和七層負(fù)載節(jié)點(diǎn)（Haproxy/Nginx）、管控平臺?個部分組成，具備?可?、可擴(kuò)展、動態(tài)5級，經(jīng)歷了多次“紀(jì)念幣預(yù)約”“雙??快捷?付”的?產(chǎn)?并發(fā)考驗(yàn)，滿?了“雙??”萬級TPS處理需求。??分布式服務(wù)采??性能RPC調(diào)?模式，為應(yīng)?提供了?性能、靈已落地超2萬個服務(wù)，?均調(diào)?量260億次。??分布式事務(wù)提供SAGA、TCC、可靠消息等事務(wù)解決?案，具備多級事務(wù)失敗處理機(jī)制，并提供事后的?站式運(yùn)維管理能?，?持應(yīng)?側(cè)部署和集中部署兩種?式。7服務(wù)化改造及主機(jī)下平臺過程中的跨服務(wù)、跨應(yīng)?交易的事務(wù)最終?致性提供保障，平臺?均?撐業(yè)務(wù)調(diào)?量數(shù)億次。??分布式消息平臺基于業(yè)界主流消息引擎Kafka建設(shè)，為分布式系統(tǒng)內(nèi)部以及系統(tǒng)間異步解耦、消息通知、流量削峰、數(shù)據(jù)共享等場景提供解決?案，并具備節(jié)點(diǎn)安裝部署、監(jiān)控告警、?平擴(kuò)縮容等完善的?動化消息平臺服務(wù)于??百余個應(yīng)?，?均消息量千億級，TPS百萬級，具備毫秒級消息傳遞能?。??分布式數(shù)據(jù)庫采?分布式數(shù)據(jù)訪問層+MySQL+?研運(yùn)維管理平臺搭建模式，?規(guī)模實(shí)施云化部署，具備?鍵式快速供給能?。并在云化部署基礎(chǔ)上，同步建設(shè)性能容量、健康檢查等豐富的速擴(kuò)展、數(shù)據(jù)備份/災(zāi)備、安全審計(jì)等企業(yè)級?撐能?，具備?動化運(yùn)維能分布式數(shù)據(jù)庫在在同業(yè)率先實(shí)現(xiàn)MySQL數(shù)據(jù)庫?規(guī)模云化服務(wù)，數(shù)據(jù)庫節(jié)點(diǎn)數(shù)量達(dá)到數(shù)千個，應(yīng)?于多個重點(diǎn)業(yè)務(wù)場景，?撐雙??、春節(jié)業(yè)務(wù)?峰萬級TPS。??分布式緩存平臺，基于Redis定制化擴(kuò)展提升服務(wù)性能，降低數(shù)據(jù)庫讀寫壓?等場景，具備?性能、動態(tài)擴(kuò)展、?可?、易?性四?特性。9平臺?泛應(yīng)?于?結(jié)算賬?、電?銀?等業(yè)務(wù)場景，已在紀(jì)念幣、融e?均交易量達(dá)?億級。??分布式批量平臺完全?研，主要?于集中式批量業(yè)務(wù)分布式轉(zhuǎn)型后，不能與分布式應(yīng)?有效適配，存在單點(diǎn)故障、性能容量上限的問題。平臺通過數(shù)據(jù)分?、作業(yè)編排、?動調(diào)度等功能提升批量運(yùn)?時間，并具備?可?、易擴(kuò)展和完善的運(yùn)維能?。分布式批量平臺?泛在??開放平臺體系中使?，服務(wù)于數(shù)百多個應(yīng)數(shù)百萬次作業(yè)。撐我?開放平臺業(yè)務(wù)系統(tǒng)?件共享存儲需求，并打通云上云下應(yīng)?的?件共享，具備?可?、?平擴(kuò)展、集約管理等能?。平臺已落地??應(yīng)?數(shù)?余個，對外提供總計(jì)百余TB的共享?件存儲??分布式對象存儲平臺，實(shí)現(xiàn)海量??件快速讀寫，為?內(nèi)的業(yè)務(wù)影像類、與業(yè)務(wù)流程密切相關(guān)的?視頻類，業(yè)務(wù)?檔類等?結(jié)構(gòu)化數(shù)據(jù)提供?并發(fā)數(shù)據(jù)訪問能?。平臺已成功?撐數(shù)?余個應(yīng)?系統(tǒng)，滿?融e聯(lián)、融e購等互聯(lián)?應(yīng)?對象密集存儲的需求，?持萬級TPS，數(shù)據(jù)存量已經(jīng)達(dá)到千余TB。??開放平臺分布式技術(shù)在境內(nèi)系統(tǒng)已實(shí)現(xiàn)?規(guī)模應(yīng)?，基于開放平臺分布式架構(gòu)已能實(shí)現(xiàn)核?業(yè)務(wù)完整閉環(huán)處理，?型商業(yè)銀?的“平臺版”核?銀?系統(tǒng)已初具雛形。此外，??基于開放平臺分布式技術(shù)體系建?了境外核?銀?系統(tǒng)，并已在印尼、莫斯科等境外機(jī)構(gòu)的推?應(yīng)?。?前分布式架構(gòu)轉(zhuǎn)型應(yīng)?數(shù)超250個，服務(wù)?均調(diào)?量超260億，峰值?萬級TPS，交易響應(yīng)耗時50毫秒以內(nèi)?；诜植际郊夹g(shù)體系，我?初步構(gòu)建起包括業(yè)務(wù)基礎(chǔ)服務(wù)、核?賬?體系、重點(diǎn)產(chǎn)品服務(wù)等體系完整的開放平臺核?銀?系統(tǒng)（境內(nèi)）。業(yè)務(wù)基礎(chǔ)服務(wù)提供企業(yè)級公共服務(wù)，包括機(jī)構(gòu)管理、柜員管理、會計(jì)核算、客?信息等為客?及內(nèi)部管理服務(wù)的公共基礎(chǔ)功能，?撐業(yè)務(wù)交易在開放平臺閉環(huán)捷?付、積存?、賬?外匯等產(chǎn)品下移主機(jī)，打造系，有效?撐?頻業(yè)務(wù)的快速增?。??分布式技術(shù)體系經(jīng)過?規(guī)模的?主研發(fā)及技術(shù)創(chuàng)新，?泛適?于?融復(fù)雜場景的需要，已?規(guī)模覆蓋賬務(wù)型、信息型、交互型、轉(zhuǎn)發(fā)型等典型的應(yīng)?場景。1、為賬務(wù)型應(yīng)?提供?性能、強(qiáng)?致性事務(wù)保障。??依托分布式技術(shù)建設(shè)個?賬?應(yīng)?為客?提供基本結(jié)算服務(wù)。通過Mysql本地SSD磁盤部署+分庫分表，提供單庫5萬QPS的更新性能；通過分布式事務(wù)框架，提供跨應(yīng)?、跨節(jié)點(diǎn)的事務(wù)?致性保障；通過Mysql?主三備+同城?動化切換技術(shù)，確保2分鐘內(nèi)完成同城?損切換。??是國內(nèi)?家采?分布式技術(shù)進(jìn)??規(guī)模賬務(wù)處理的銀?，承載9億個?借記卡數(shù)據(jù)，可?持6萬TPS交易率，交易響應(yīng)時間50毫秒以內(nèi)。2、為?型信息型應(yīng)?提供低成本解決?案。??通過分布式技術(shù)建設(shè)企業(yè)級客?信息，為全?業(yè)務(wù)系統(tǒng)提供客?信息維護(hù)與查詢服務(wù)。通過使??主研發(fā)基于分布式數(shù)據(jù)訪問層技術(shù)的分布式數(shù)據(jù)庫實(shí)現(xiàn)對應(yīng)?透明的智能路由訪問，?撐?容量數(shù)據(jù)分?存儲，實(shí)現(xiàn)整體集群的橫向擴(kuò)展與數(shù)據(jù)再平衡，滿?海量數(shù)據(jù)庫操作的性能要求，?幅降低應(yīng)?研發(fā)成本。為全?180多個總分?應(yīng)?提供?均超2億次維護(hù)與查詢服務(wù)，?持最?交易并發(fā)數(shù)為7600TPS，平均交易耗時?于30ms，?撐應(yīng)?范圍同業(yè)最?，?均訪問數(shù)量同業(yè)最多。3、為互聯(lián)?交互型應(yīng)?提供極致??體驗(yàn)。??依托分布式技術(shù)建設(shè)紀(jì)念幣預(yù)約系統(tǒng)，為全國互聯(lián)???提供紀(jì)念幣預(yù)約服務(wù)。?絡(luò)層采取多種負(fù)載均衡措施，后臺系統(tǒng)采?分布式技術(shù)體系設(shè)計(jì)，結(jié)合服務(wù)器云化部署、數(shù)據(jù)庫分庫分表及?可?設(shè)計(jì)，提升系統(tǒng)?并發(fā)處理能?。采?CDN緩存、分布式緩存等多種措施，提升系統(tǒng)快速響應(yīng)能?。系統(tǒng)可?撐?萬TPS處理能?，交易響應(yīng)時間百毫秒以內(nèi)，成功完成歷年??紀(jì)念幣發(fā)?任務(wù)，同業(yè)綜合表現(xiàn)尤為突出。4、為流?轉(zhuǎn)發(fā)型應(yīng)?提供?并發(fā)、?可靠的彈性?持。??依托分布式技術(shù)建設(shè)快捷?付應(yīng)?，對接清算機(jī)構(gòu)為個?客?提供快捷?付結(jié)算服務(wù)。通過橫向擴(kuò)展對等應(yīng)?節(jié)點(diǎn)分散承載?并發(fā)交易，通過應(yīng)?節(jié)點(diǎn)?云實(shí)現(xiàn)快速彈性伸縮，通過數(shù)據(jù)庫垂直/?平分庫分散?并發(fā)數(shù)據(jù)訪問壓?；通過應(yīng)?和數(shù)據(jù)庫節(jié)點(diǎn)同城部署、并以不同應(yīng)?分別處理?聯(lián)和銀聯(lián)的交易，確保?可?。作為業(yè)內(nèi)領(lǐng)先的?型發(fā)卡銀?，??快捷?付業(yè)務(wù)內(nèi)部壓測可達(dá)近?萬TPS，順利完成歷年“雙??”、春節(jié)紅包等?峰期保障，“雙??”全天交易量超2億筆。??已構(gòu)建完備構(gòu)建分布式技術(shù)架構(gòu)體系并深?使?，伴隨著分布式技術(shù)體系進(jìn)?步成熟，未來將有以下三個??趨勢推動分布式架構(gòu)持續(xù)發(fā)1、分布式技術(shù)體系進(jìn)?步下沉?基礎(chǔ)設(shè)施微服務(wù)架構(gòu)推動應(yīng)?從傳統(tǒng)單體式向分布式轉(zhuǎn)型，實(shí)現(xiàn)了應(yīng)?系統(tǒng)的解耦，但同時也?臨著需要?持多種語?中間件，客?端版本升級困難等困難。為了解決上述挑戰(zhàn)，社區(qū)提出了ServiceMesh（服務(wù)?格）架構(gòu)，它重新將服務(wù)治理能?下沉到基礎(chǔ)設(shè)施，這樣既實(shí)現(xiàn)了服務(wù)治理和業(yè)務(wù)邏輯的解耦，?使服務(wù)?格架構(gòu)減少對業(yè)務(wù)邏輯的侵?性。但服務(wù)?格架構(gòu)的定位主要是?絡(luò)流量代理，對于跨語?、跨業(yè)務(wù)部署應(yīng)?，仍未能統(tǒng)?SDK及交互協(xié)議。因此業(yè)界提出了云原?應(yīng)?運(yùn)?時架構(gòu)，通過集成SDK內(nèi)核，統(tǒng)?交互協(xié)議及對外API，實(shí)現(xiàn)能?的抽象?；蛟S云原?應(yīng)?運(yùn)?時是中間件基礎(chǔ)技術(shù)的未來形態(tài)，使分布式能?進(jìn)?步下沉?基礎(chǔ)設(shè)施。2、多地多中?及單元化部署是未來基礎(chǔ)設(shè)施的趨勢?前?型?融機(jī)構(gòu)的數(shù)據(jù)中?多數(shù)均采?兩地三中?的部署架構(gòu)，隨著對?可?要求的不斷提?，多地多中?的部署模式逐漸成為未來的發(fā)展?向?；ヂ?lián)?頭部企業(yè)較多通過多地多中?及單元化部署來實(shí)現(xiàn)更加細(xì)粒度的流量劃撥和系統(tǒng)?可?，使得客?交易相關(guān)流量可在單元內(nèi)部最?限度完成閉環(huán)，可在區(qū)域性故障場景有效控制故障爆炸半徑，在降低切換粒度的同時提升切換靈活性