金融應(yīng)用DBaaS技術(shù)研究報告-2024.08-24正式版-WN8

金融應(yīng)用

DBaaS技術(shù)研究報告北京金融科技產(chǎn)業(yè)聯(lián)盟2024年7月編制委員會主任：聶麗琴編委會成員：黃本濤林承軍胡捷汪洋編寫組成員：梁昊然孫張多子王楓周研徐瑋峰趙亮王郭智慧彭張晨李編審：夏康張參編單位：北京金融科中國工商銀中信銀行股華夏銀行股份有限公司中國民生銀行股份有限公司招商銀行股份有限公司中國平安保險（集團）股份有限公司阿里云計算有限公司深圳市騰訊計算機系統(tǒng)有限公司II北京奧星貝斯科技有限公司螞蟻科技集團股份有限公司上海愛可生信息技術(shù)股份有限公司浙江創(chuàng)鄰科技有限公司北京百度網(wǎng)訊科技有限公司III引

言隨著數(shù)字化轉(zhuǎn)型不斷深化，數(shù)據(jù)庫管理面臨數(shù)據(jù)規(guī)模迅速增長和數(shù)據(jù)形態(tài)多樣性帶來的諸多挑戰(zhàn)。云計算技術(shù)結(jié)合數(shù)據(jù)庫即服務(wù)（DBaaS）技術(shù)是解決云環(huán)境下大規(guī)模數(shù)據(jù)庫集群管理困難的一種重要途徑。這種方式可有效應(yīng)對業(yè)務(wù)和數(shù)據(jù)量爆炸式增長，降低整體的設(shè)施對業(yè)務(wù)委會組織開告》，為同提供參考。數(shù)據(jù)庫基礎(chǔ)式數(shù)據(jù)庫專技術(shù)研究報數(shù)據(jù)庫轉(zhuǎn)型2名詞解釋DBaaS(DatabaseasaService)：一種將數(shù)據(jù)庫管理以云的架構(gòu)提供服務(wù)的模式，使得企業(yè)無需擔(dān)心數(shù)據(jù)庫的運維問題。IaaS(InfrastructureasaService)：一種云服務(wù)模式，提供商為用絡(luò)。儲和網(wǎng)PaaS(式，提供商發(fā)、運行為用戶提供和管理應(yīng)用SaaS(式，提供商為用戶提供多租戶行多個邏輯同一個集環(huán)境的能力群，同時保彈性(Elasticity)：云服務(wù)的一種關(guān)鍵特性，允許用戶根據(jù)需求靈活地增加或減少資源使用。高可用(HA,HighAvailability)：一種系統(tǒng)設(shè)計原則和技術(shù)，旨在最大限度地減少系統(tǒng)停機時間。容災(zāi)(DR,DisasterRecovery)：一種策略，用于保護企業(yè)在自然災(zāi)害、網(wǎng)絡(luò)攻擊等災(zāi)難性事件中的數(shù)據(jù)和服務(wù)。3公有云：一種云計算模式，通過網(wǎng)絡(luò)為公眾或大型組織提供可共享的計算資源和服務(wù)。公有云通常由第三方云服務(wù)提供商運營，用戶只需按需使用和付費。專有云：一種云計算模式，通過網(wǎng)絡(luò)為單一組織提供專用的計算資源和服務(wù)。專有云可以在組織的內(nèi)部數(shù)據(jù)中心部署，也可以由第三方服務(wù)提供商托管。4一、概述數(shù)據(jù)庫存儲和管理業(yè)務(wù)的關(guān)鍵數(shù)據(jù)，是金融信息系統(tǒng)的核心。隨著數(shù)據(jù)量的爆炸性增長和云計算技術(shù)的迅速發(fā)展，傳統(tǒng)的數(shù)據(jù)庫管理方式已難以滿足現(xiàn)代企業(yè)的需求，數(shù)據(jù)庫即服務(wù)(DatabaseasaService,DBaaS)應(yīng)運而生。DBaaS作為一種云服務(wù)模型，提供了一個數(shù)據(jù)庫管理的環(huán)境，用戶可以在負(fù)責(zé)維護底可用性等功以及如何優(yōu)層的服務(wù)器能。這使得化數(shù)據(jù)的查公有云云、百度云及時迅速擴、按需付費。等，通常有展資源的需等特點，對金融行借助DBaaS成本。在金技術(shù)優(yōu)化其融行業(yè)應(yīng)用環(huán)境下，DBaaS主要的功能包括：方便數(shù)據(jù)庫管理：DBaaS可以提供一致的數(shù)據(jù)庫管理體驗，包括自動備份、版本升級、性能監(jiān)控等功能。提高數(shù)據(jù)安全性和合規(guī)性：金融行業(yè)對數(shù)據(jù)安全和合規(guī)性要求非常高，專有云下的DBaaS可以提供更高級別的控制和定制化服務(wù)，滿足特定的需求。5減輕數(shù)據(jù)庫管理員的負(fù)擔(dān)：通過自動化的數(shù)據(jù)庫管理，DBaaS可以減輕數(shù)據(jù)庫管理員的運維壓力，讓他們更加專注于更高價值的工作，如數(shù)據(jù)架構(gòu)設(shè)計、性能優(yōu)化等。DBaaS作為一種新的數(shù)據(jù)庫管理模式，體現(xiàn)出業(yè)務(wù)和應(yīng)用的關(guān)注點從“數(shù)據(jù)的管理和維護”轉(zhuǎn)向“數(shù)據(jù)的價值和使用”這一IT服務(wù)理念。在該理念的驅(qū)使下，數(shù)據(jù)庫應(yīng)更加高效、靈活、經(jīng)濟地滿足企的挑戰(zhàn)。本文從數(shù)字化時代踐和應(yīng)用，高效率和靈介紹DBaa活性，更好（一）在大數(shù)戰(zhàn)。數(shù)據(jù)量據(jù)IDC國際75ZB，相較數(shù)據(jù)量將超的快速增長數(shù)據(jù)公司預(yù)于2021年越美國位居全球首位，數(shù)據(jù)量預(yù)計將達到48.6ZB，占全球總量的27.8%。6

同時，，包括結(jié)構(gòu)以及半結(jié)構(gòu)化的表格數(shù)化的日志和隨著監(jiān)性也是一個核心資產(chǎn)的，如何在發(fā)重要的問題數(shù)據(jù)庫，其生災(zāi)難時快速恢復(fù)數(shù)據(jù)庫，也是一個重大的挑戰(zhàn)。（二）DBaaS解決的問題現(xiàn)代數(shù)據(jù)庫平臺在云計算體系發(fā)展出的DBaaS技術(shù)(數(shù)據(jù)庫即服務(wù))，成為解決以上挑戰(zhàn)的一個重要方式。DBaaS與傳統(tǒng)的數(shù)據(jù)庫管理平臺不同，通過引入云計算的理念，利用綜合的云化技術(shù)，加速數(shù)據(jù)庫基礎(chǔ)設(shè)施對業(yè)務(wù)賦能的效率，提高系統(tǒng)的整體穩(wěn)7定性，為使用者帶來更好的平臺化效益。DBaaS提供的全管理的數(shù)據(jù)庫環(huán)境，避免了用戶耗費大量精力思考如何管理和維護數(shù)據(jù)庫，使得用戶得以將資源聚焦在如何使用和分析數(shù)據(jù)上，支持業(yè)務(wù)更好的發(fā)展。DBaaS能提供靈活的資源管理和擴展機制，通過動態(tài)調(diào)整資源，避免傳統(tǒng)數(shù)據(jù)庫在處理海量數(shù)據(jù)時遇到的瓶頸。同時，DBaaS善于處理數(shù)決方法，定應(yīng)對業(yè)務(wù)和擇適宜的數(shù)DBaaS種數(shù)據(jù)庫解能夠有效地自身需求選系統(tǒng)。加密、網(wǎng)絡(luò)時，DBaaS合規(guī)性的要務(wù)商會提供據(jù)庫可以快據(jù)安全性和防火墻、訪服務(wù)也會遵求，并確保數(shù)據(jù)備份和速恢復(fù)并繼保障數(shù)據(jù)合規(guī)性。二、行業(yè)應(yīng)用現(xiàn)狀（一）金融行業(yè)金融行業(yè)大部分業(yè)務(wù)是專有云或傳統(tǒng)部署形態(tài)。使用DBaaS技術(shù)有助于此類形態(tài)下通過自動化和標(biāo)準(zhǔn)化的管理方式來提高數(shù)據(jù)庫管理效率，節(jié)省時間和人力成本，提供高可用和災(zāi)備性能，8還可以在數(shù)據(jù)庫發(fā)生故障時，自動切換到其他可用的節(jié)點，確保業(yè)務(wù)的連續(xù)性。DBaaS無需重新購買硬件設(shè)備，就可以提供高度靈活性和可擴展性，并可以根據(jù)業(yè)務(wù)需求，隨時增加存儲容量、提高性能等，降低了整體的運維成本。DBaaS可以簡化金融行業(yè)IT系統(tǒng)的基礎(chǔ)架構(gòu)，方便地從同一個硬件和軟件基礎(chǔ)設(shè)施為不同的用戶和多個部門提供數(shù)據(jù)庫能力，同時自動化，在險及成本。正常運行變目前，關(guān)流程實現(xiàn)降低系統(tǒng)風(fēng)，即從保持并試圖充分發(fā)揮DBaaS1.數(shù)據(jù)提升自動化源利用率等路自動化管維護和監(jiān)控方面展開?？氐哪芰Α?.自動化維護和監(jiān)控能力提升。數(shù)據(jù)庫的運行狀態(tài)直接影響到業(yè)務(wù)的正常運行，需要實時監(jiān)控數(shù)據(jù)庫的性能和健康狀態(tài)，及時發(fā)現(xiàn)和解決問題。DBaaS在監(jiān)控預(yù)警的基礎(chǔ)上還提供了自動化的維護功能，如自動備份、自動升級和自動故障恢復(fù)，大大降低了運維的復(fù)雜性和人力成本。3.數(shù)據(jù)庫的彈性擴展能力優(yōu)化。金融行業(yè)的業(yè)務(wù)負(fù)載通常會9隨著市場的變動而波動，如金融市場的開盤時間、年終結(jié)算等高峰期。DBaaS的彈性擴展能力可以幫助金融行業(yè)應(yīng)對這種波動性。通過DBaaS，企業(yè)可以根據(jù)業(yè)務(wù)需要動態(tài)調(diào)整數(shù)據(jù)庫的計算和存儲資源，以滿足業(yè)務(wù)高峰期的需求，而在非高峰期則可以降低資源配置，節(jié)約成本。此外，DBaaS還提供了自動擴展功能，可以根據(jù)預(yù)設(shè)的規(guī)則自動增減資源，進一步簡化了運維工作。4.提高的經(jīng)濟損失方案，如多地保證業(yè)務(wù)5.資源能導(dǎo)致巨大難恢復(fù)解決以最大程度數(shù)據(jù)庫效率的精細(xì)化管實際使用情技術(shù)可以進總體擁有成的重要指標(biāo)理，如根據(jù)況調(diào)整資源一步提高資本（TCO）目前，金融行業(yè)的DBaaS應(yīng)用尚處于初期階段。DBaaS技術(shù)金融行業(yè)應(yīng)用的實踐指引和標(biāo)準(zhǔn)規(guī)范有待進一步的積累和完善。金融行業(yè)對技術(shù)成熟度和系統(tǒng)穩(wěn)定性具有很高要求，DBaaS技術(shù)的落地需要充分考慮生產(chǎn)系統(tǒng)的安全穩(wěn)定。DBaaS相對于傳統(tǒng)數(shù)據(jù)庫管理模式所帶來的成本收益，需要經(jīng)過生產(chǎn)環(huán)境長時間穩(wěn)定運行的驗證，才能在金融行業(yè)加快推廣。10不同于公有云廠商基礎(chǔ)設(shè)施環(huán)境相對單一，大型金融機構(gòu)一般使用多款專有云和數(shù)據(jù)庫產(chǎn)品，在網(wǎng)絡(luò)環(huán)境隔離方面也存在諸多要求，需要DBaaS平臺具備更強的開放兼容能力，支持跨云、跨數(shù)據(jù)庫產(chǎn)品、跨不同部署架構(gòu)的統(tǒng)一管理。（二）互聯(lián)網(wǎng)及其他行業(yè)2019年，Gartner預(yù)測傳統(tǒng)的On-Premises數(shù)據(jù)庫市場將進一步萎縮，部署模式。始逐步擴大處理和分析可觀，推動結(jié)合互傳統(tǒng)數(shù)據(jù)庫決方案，開確且安全地?fù)?jù)增量最為進分為三個階段，Clouderless，無階段：第一Native，云服務(wù)器數(shù)據(jù)第一階單管理和改造搬上云，解決最原始的數(shù)據(jù)庫資源供給問題。這個階段也叫做CloudReady，只需提供簡單的數(shù)據(jù)庫實例，就解決了許多小企業(yè)在資源供給、安裝部署、升級維護等很多問題。但是在這個階段并沒有辦法發(fā)揮可靠的彈性、高可用、多租戶等優(yōu)勢，只是傳統(tǒng)非云數(shù)據(jù)庫在云平臺上的一種嘗試。第二階段，云廠商逐漸基于云架構(gòu)重新打造自己的數(shù)據(jù)類服11務(wù)產(chǎn)品，這個階段DBaaS服務(wù)提供的云形態(tài)的數(shù)據(jù)庫產(chǎn)品，也被稱為云原生數(shù)據(jù)庫。這個階段的DBaaS改善了數(shù)據(jù)庫的高可用、彈性、自動化運維能力，并降低了用戶使用成本。第三階段，DBaaS服務(wù)深入發(fā)展，以數(shù)據(jù)庫的Serverless模式提供了數(shù)據(jù)庫資源的解耦合服務(wù)化、自動彈性伸縮、完全按量計費、自動暫停（無業(yè)務(wù)時縮容到最小容量單元）等能力。課題組的DBaaS服亞馬遜各廠商提供種DBaaS解）、Amazon（鍵值數(shù)據(jù)據(jù)庫服務(wù)）安全性，在了開創(chuàng)性探?jīng)Q方案，DocumentD庫服務(wù)）、等。AWS的Cloud-Nat索。微軟ALDatabase、AzureDatabaseforMySQL和AzureDatabaseforPostgreSQL等DBaaS服務(wù)。Azure的DBaaS平臺具有全球覆蓋、自動化管理和彈性擴展等特點，可以滿足不同規(guī)格和需求的用戶。谷歌云（GoogleCloud）：提供了CloudSQL（關(guān)系型數(shù)據(jù)庫服務(wù)）、Filestore（文檔數(shù)據(jù)庫服務(wù)）等DBaaS解決方案。谷歌云的DBaaS平臺具有高性能、可擴展和全球部署等特點，可12以滿足各種應(yīng)用場景的需求。阿里云（AlibabaCloud）：提供ApsaraDB（關(guān)系型數(shù)據(jù)庫服務(wù)）和MongoDB等DBaaS解決方案。阿里云的DBaaS平臺具有高性能、高可用性和彈性擴展等特點，滿足不同行業(yè)和規(guī)模的用戶需求。華為云（HuaweiCloud）：提供GaussDB解決方案，具有高性能、高可滿足客戶核騰訊云移等特點，引擎)關(guān)系s、VectorDB有高性能、模的應(yīng)用場型數(shù)據(jù)庫、向量數(shù)據(jù)庫可擴展和彈景需求。百度智云原生數(shù)據(jù)）等DBaaS，公有云，庫）、RDS解決方案。私有云等多種場景，具有高性能、高可用性和彈性擴展等特點，滿足不同行業(yè)和規(guī)模的用戶需求。如圖2所示，根據(jù)市場研究公司MarketsandMarkets預(yù)測，全球云數(shù)據(jù)庫和DBaaS市場規(guī)模預(yù)計將從2023年的213億美元基礎(chǔ)上增長到2028年的575億美元，預(yù)測期間的復(fù)合年增長率（CAGR）為22.0%。13

可見，彈性擴展和對數(shù)據(jù)呈現(xiàn)多樣化、技術(shù)，可能。帶來工作方三、D結(jié)合業(yè)下：云原生蔽金融行業(yè)專有云基礎(chǔ)設(shè)施的差異，同時滿足K8S標(biāo)準(zhǔn)開發(fā)范式，避免K8S底座侵入性，并滿足兼容性要求。輕量化：數(shù)據(jù)庫實例在生命周期中的必要組件，實現(xiàn)輕量化，支持分鐘級拉起。插件化：在數(shù)據(jù)庫實例生命周期非必要的管控組件等，實現(xiàn)服務(wù)化、插件化，支持業(yè)務(wù)按需插拔。14標(biāo)準(zhǔn)化：封裝底層資源和產(chǎn)品的復(fù)雜性，實現(xiàn)標(biāo)準(zhǔn)化接口層?？捎^測：支持指標(biāo)（metrics）、日志（logging）、追蹤（tracing）一體的采集、存儲和展示。故障快恢防雪崩：既要具備數(shù)據(jù)庫故障自探測、自發(fā)現(xiàn)、自修復(fù)能力，又要具備數(shù)據(jù)庫批量服務(wù)風(fēng)險防雪崩能力，避免批量數(shù)據(jù)庫故障風(fēng)險。DBaaS服務(wù)：面向全、易用、經(jīng)含計算、存安全等數(shù)據(jù)（一）個維度提供、穩(wěn)定、安戶隔離的，斷、優(yōu)化、云原生。對穩(wěn)定性爆炸半徑。據(jù)服務(wù)，支引擎和內(nèi)核要求極高的在DBaaS系持不同的業(yè)的穩(wěn)定性各不相同，可能產(chǎn)生故障的場景也各不一樣，故障半徑的控制是個很高的挑戰(zhàn)。在傳統(tǒng)的數(shù)據(jù)庫管理模式中，數(shù)據(jù)庫管理常與業(yè)務(wù)邏輯緊密耦合，這使得數(shù)據(jù)庫的各種變動往往會影響到業(yè)務(wù)的運行，反之亦然。而DBaaS通過提供一種抽象的數(shù)據(jù)庫管理層，使得業(yè)務(wù)邏輯可以獨立于數(shù)據(jù)庫管理，從而使得企業(yè)可以更快速、靈活地適15應(yīng)業(yè)務(wù)需求變化。數(shù)據(jù)庫業(yè)務(wù)和管控的內(nèi)部復(fù)雜度、對SLA的要求、恢復(fù)的方式都有所不同，必須保證管控層的問題和故障不會影響到數(shù)據(jù)服務(wù)的正常運行，數(shù)據(jù)庫服務(wù)租戶之間的故障和性能不能相互影響，數(shù)據(jù)庫服務(wù)的故障不會導(dǎo)致運維人員無法介入的管控問題。（二）高可用管理在數(shù)據(jù)一種類似種類型：第tore引擎)有能力在故二種類似主庫，需要第等原生分布障場景下自從架構(gòu)的三方仲裁選針對第需要配合數(shù)將DBaaS層以常見的兩3/5副本的據(jù)庫自身的面定義的資地三中心架模式，DBaaS需要準(zhǔn)確地聯(lián)動數(shù)據(jù)庫引擎，從而實現(xiàn)優(yōu)先本地園區(qū)選主等方案的落地。當(dāng)然，這也需要數(shù)據(jù)庫內(nèi)核引擎的配合。針對第二種基于主備模式的數(shù)據(jù)庫服務(wù)，DBaaS需要提供HA和SmartBeat組件，負(fù)責(zé)進行高可用探測、高可用切換和高可用恢復(fù)。在設(shè)計時需要統(tǒng)籌考慮大規(guī)模集群的HA資源占用和爆炸半徑控制等問題。16DBaaS平臺依托標(biāo)準(zhǔn)K8S構(gòu)建部署，在考慮數(shù)據(jù)庫管理HA能力的同時，設(shè)計時候還需要統(tǒng)籌考慮K8S底座不穩(wěn)定性因素導(dǎo)致頻繁HA的情況，限制DBOperator資源受到K8S自驅(qū)動的影響,提前避免不穩(wěn)定風(fēng)險發(fā)生。例如：kube-controller-manager驅(qū)逐、kubelet壓力驅(qū)逐、etcdtruncated等場景。（三）資源調(diào)度數(shù)據(jù)庫率，以及應(yīng)網(wǎng)絡(luò)資源的現(xiàn)相關(guān)問題為了更的資源利用算、存儲、并在資源出性。使用單元化S的邏輯打業(yè)務(wù)有需要力。架構(gòu)，為此標(biāo)和邏輯調(diào)時可以開得DBaaS，特別是數(shù)標(biāo)準(zhǔn)K8S據(jù)庫特Workload(Statefulset/Deployment/Pods)的資源調(diào)度。例如：ECS多租、熱池預(yù)熱、CPU/GPU歸一化、CPU混部、NUMA、EniTrunk、PMEM、DBFS、PodVerticalScale等。（四）多集群聯(lián)邦管理考慮到金融行業(yè)不同等級的應(yīng)用多采用不同集群部署和高可用模式，DBaaS平臺需具備多集群的聯(lián)邦管理能力，根據(jù)業(yè)務(wù)17的跨城市和跨機房部署要求，在多個機房的節(jié)點池上進行調(diào)度。（五）服務(wù)接口開放產(chǎn)品開放服務(wù)接口是產(chǎn)品預(yù)留的功能擴展接口，既有助于產(chǎn)品落地實施過程中與金融企業(yè)內(nèi)部研發(fā)管理體系對接，也有助于產(chǎn)品生態(tài)工具及第三方合作的發(fā)展。DBaaS作為平臺化服務(wù)工具，需提供豐富的開放服務(wù)接口承載各種不同的數(shù)據(jù)服務(wù)、工具、組件，并支持四、發(fā)臺上。過去幾融領(lǐng)域逐步、管理難度題，在物理據(jù)庫限制也態(tài)，我們預(yù)應(yīng)用，取得大、業(yè)務(wù)響安全控制、有亟待完善期DBaaS在（一）隨著企的企業(yè)開始采用多云和混合云的策略。根據(jù)Flexera的2023年云計算趨勢報告，87%的企業(yè)采用了多云戰(zhàn)略，而72%的企業(yè)正在使用混合云架構(gòu)。這種趨勢將推動DBaaS提供更多的跨云服務(wù)，支持企業(yè)在不同的云環(huán)境中無縫地管理和遷移數(shù)據(jù)庫。同時，DBaaS平臺還將提供更靈活的部署選項，如支持多云部署、混合云部署，以適應(yīng)企業(yè)在不同云環(huán)境中的業(yè)務(wù)需求。18（二）自動化和智能化隨著人工智能和機器學(xué)習(xí)技術(shù)的發(fā)展，DBaaS平臺開始將這些技術(shù)整合進他們的服務(wù)中，以提供更高級別的自動化和智能化。例如，自動化的數(shù)據(jù)優(yōu)化、實時的性能調(diào)整、預(yù)測性的故障檢測等功能。相較