2024年金融數(shù)據(jù)庫存算分離架構(gòu)選型白皮書-金融信息化研究所

）：）：摘要據(jù)庫存算一體架構(gòu)可以有效滿足金融新興業(yè)務(wù)初期對快速和敏 3 5 1等領(lǐng)域。即便在互聯(lián)網(wǎng)飛速發(fā)展的時代，這些行業(yè)依然在使用繁榮時代。盡管如此，Oracle和DB2依然是市場最主流的商用2）：2000年前后，隨著互聯(lián)網(wǎng)技術(shù)的廣泛應(yīng)用，數(shù)據(jù)庫技術(shù)進X86服務(wù)器憑借其價格優(yōu)勢和通用性，一定程度上擴展了傳統(tǒng)3另外，隨著NVMeOverFabric、RDMA和存儲介質(zhì)等技了存算分離架構(gòu)在吞吐性能上的瓶頸。通過利用存儲的RAID和4鑒于生產(chǎn)交易系統(tǒng)的聯(lián)機事務(wù)處理（OLTP）特性，OLTP數(shù)OLAP數(shù)據(jù)庫憑借其對復(fù)雜查詢的高效處理、靈活的數(shù)據(jù)分析能處理和分析的需求。在金融業(yè)數(shù)據(jù)庫應(yīng)用中，OLAP數(shù)據(jù)庫實例5使得從傳統(tǒng)封閉架構(gòu)向開放解耦架構(gòu)轉(zhuǎn)型的過程中面臨諸多挑6業(yè)務(wù)量的激增對數(shù)據(jù)基礎(chǔ)設(shè)施的性能和吞吐量提出更高要7為例，峰值業(yè)務(wù)處理所需的存儲IO請求能力約為每秒1.5-2.5CPU的負載，使其無需處理存儲IO請求，進而提升服務(wù)器CPU心基礎(chǔ)架構(gòu)的可靠性需提升至99.9999%以上，以滿足整體業(yè)務(wù)如果采用服務(wù)器本地磁盤作為數(shù)據(jù)庫存儲，服務(wù)器上的RAID卡8用于在數(shù)據(jù)故障后提供冗余保護。然而在可靠性方面，RAID卡9雙集群實現(xiàn)RPO=0，即數(shù)據(jù)無丟失，并通過疊加異地容災(zāi)技術(shù)，銀行生產(chǎn)交易系統(tǒng)作為各類系統(tǒng)運營數(shù)據(jù)和報表等系統(tǒng)的下的快速備份問題，通過數(shù)據(jù)庫和存儲協(xié)同，實現(xiàn)LANFree備采用存算分離架構(gòu)的集中式數(shù)據(jù)庫能夠有效解決以下關(guān)鍵匯總依賴于網(wǎng)絡(luò)通信，尤其是在維護分布式事務(wù)的強一致性時，業(yè)使用比例僅為17.51%，而證券和保險行業(yè)這一比例甚至不足一家頭部股份制銀行在升級改造中，分庫數(shù)數(shù)據(jù)庫分庫分表及或多副本冗余機制會導(dǎo)致集群規(guī)模的擴某省電信為例，數(shù)據(jù)庫改造后CPU利用率僅有5%，數(shù)據(jù)庫服務(wù)采用本地盤部署的數(shù)據(jù)庫通常通過將集群分布于不同的機網(wǎng)絡(luò)抖動/服務(wù)器異常等因素常導(dǎo)致同步復(fù)制降級為異步復(fù)制，時需求，但暫時犧牲數(shù)據(jù)庫的高可用性。另外，在主從架構(gòu)下，主備節(jié)點之間的主從切換可能會造成業(yè)務(wù)的短暫中斷或應(yīng)用報錯，影響業(yè)務(wù)連續(xù)性。例如，某國有大行采用此種容災(zāi)方案時，華為GaussDB存算分離雙集群方案能夠?qū)崿F(xiàn)數(shù)據(jù)庫高可靠云原生數(shù)據(jù)庫的設(shè)計理念是構(gòu)建一種更契合“資源彈性管理”公共云計算環(huán)境下根據(jù)業(yè)務(wù)發(fā)展彈性擴展集群的需求。在騰訊TDSQL-C通過實施計算存儲分離，構(gòu)建共享未來的云原生數(shù)據(jù)庫將深度融合AI技術(shù)，通過AI助力云原因此這些指標的選擇應(yīng)根據(jù)具體的業(yè)務(wù)需求和使用場景來確定，包括讀取數(shù)據(jù)、寫入數(shù)據(jù)、查詢數(shù)據(jù)等操作的據(jù)庫業(yè)務(wù)連續(xù)性和業(yè)務(wù)體驗要求數(shù)據(jù)庫系統(tǒng)在遇到各種異常和能力?！缎畔踩夹g(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》對信息系統(tǒng)的相關(guān)行業(yè)協(xié)會在信息系統(tǒng)災(zāi)難恢復(fù)標準制定方面制訂了多個管1）采用服務(wù)器本地盤架構(gòu)，需要部署兩套MySQL集群，每套集2428212212144224存儲空間節(jié)?。罕镜乇P三副本和專業(yè)存儲RAIDTP（允許三算一體和存算分離的兩個方案的能耗指標：1）采用服務(wù)器本地據(jù)項在對數(shù)據(jù)庫文件整體實施加密基礎(chǔ)上鼓勵進一步采用更細儲的加密方案既能保證數(shù)據(jù)的有效加密又能降低對應(yīng)用的性能化的IT運維管理模式難以滿足新形勢下業(yè)務(wù)連續(xù)性務(wù)器中，數(shù)據(jù)庫數(shù)據(jù)則通過外置高可靠高性能存儲，結(jié)合高速據(jù)中心內(nèi)及數(shù)據(jù)中心間的數(shù)據(jù)一致性和完整性；三是采用標準RPO=0，同城雙集群部署，故障隔離，可以采用數(shù)據(jù)庫和存儲協(xié)口要求?？蛻粝Ｍ捎肔an-Free方式備份，提升備份效率。通金融核心應(yīng)用7*24小時對外服務(wù)不中斷，傳統(tǒng)數(shù)邏輯進行重構(gòu)的方式實現(xiàn)轉(zhuǎn)型。工商銀行合計使用70個系統(tǒng)高級包和200個系統(tǒng)視圖，且廣泛適用自定義類型、作，甚至涉及應(yīng)用架構(gòu)和業(yè)務(wù)邏輯重構(gòu)等工作，技術(shù)復(fù)雜度高。構(gòu)+集中式體驗”的理念，基于全棧自主創(chuàng)新軟硬件產(chǎn)品，實現(xiàn)），分離架構(gòu)與廠商進行大型業(yè)務(wù)系統(tǒng)0racle數(shù)據(jù)庫轉(zhuǎn)型的多集一是同城雙園區(qū)間通過存儲級復(fù)制實現(xiàn)增量數(shù)據(jù)強一致同步，異地園區(qū)間通過異步方式實現(xiàn)增量日志同步，具備本地RPO=0&RTO<30秒、同城RPO=0&RTO<180秒和異地RPO<1分鐘和增量數(shù)據(jù)的強一致同步,具備業(yè)務(wù)不中斷情況下數(shù)據(jù)庫版本灰針對存量業(yè)務(wù)累積構(gòu)建大量業(yè)務(wù)邏輯內(nèi)嵌到數(shù)據(jù)庫內(nèi)分布降低改造難度，減少工作量：避免了大量存儲過程、復(fù)雜合頭部科技企業(yè)開展Oracle數(shù)據(jù)庫平滑遷移技術(shù)攻關(guān)，通過多和測試復(fù)雜度，提升測試效率，程序測試覆蓋率達100%，分支經(jīng)過大量實踐，工商銀行形成了一套無需整體重構(gòu)Oracle注重系統(tǒng)的業(yè)務(wù)連續(xù)性，選擇“物理機裸金屬+企業(yè)高端閃存”但是使用的VMWARE虛擬化技術(shù)、紅帽操作系統(tǒng)、服務(wù)器硬件都方案一：存算分離虛擬化MYSQL決之前的問題。一是設(shè)備采用ARM/海光信創(chuàng)服務(wù)器；二是采用方案二：容器化MYSQL據(jù)庫服務(wù)化，數(shù)據(jù)庫可按需進行資源動態(tài)的擴縮容管理，實現(xiàn)出現(xiàn)主機故障時可以在原有外接存儲上利用K8S的調(diào)度能力迅性?？鐟?yīng)用數(shù)據(jù)檢核系統(tǒng)主要是數(shù)據(jù)分析，屬于OL322不同節(jié)點需要不同通過實際性能測試比較，使用集中存儲陣列(OceanStor），存力和算力剝離，各司其職。計算節(jié)點DN節(jié)點負責(zé)執(zhí)行應(yīng)從主機到交換機網(wǎng)絡(luò)到存儲，采用端到端NVMe協(xié)議通信,提高可用性。在數(shù)據(jù)安全方面，單盤或多盤故障對上層不感知，經(jīng)過產(chǎn)品調(diào)研和POC測試，選用華為分布式存儲設(shè)備實例設(shè)置CPU資源限制。每個實例使用獨立的邏輯卷，借助為確保OceanDisk穩(wěn)定可靠運行，需控制其負載在一定閾配置RAID6。應(yīng)基于歷史數(shù)據(jù)和未來增長預(yù)期量需求。OceanDisk整體空間使用率控制實例掛載的邏輯卷可在線擴容，擴容上限為6T，需避免因單實TDSQL運維管理平臺覆蓋了80%以上的日常運維操作，包含了存儲空間管理、任務(wù)配置、故障管理、性能通過開發(fā)系列工具，對接TDSQLOSS接口及OceanDiskRestfulAPI，將TDSQL和OceanDisk操作連接起來，如TDSQLOceanDisk提供高IOPS和吞體現(xiàn)在讀IO讀時延上。影響數(shù)據(jù)庫性能，SQL執(zhí)行耗時上漲，延上升，數(shù)據(jù)庫QPS呈下降趨勢。組內(nèi)進行合理的DB節(jié)點遷移調(diào)度，使資源池內(nèi)各硬件負載盡量于TDSQL的性能和故障問題可能與數(shù)據(jù)庫自身、OceaTDSQL存算分離架構(gòu)帶來更靈活的容量管理，單實例容量規(guī)格支持從10G到6T，支持在線擴容。靈活容量管理也帶來了服務(wù)器故障無需進行DB節(jié)點重建，將存放數(shù)據(jù)和日志的邏建拷貝數(shù)據(jù)帶來的IO、帶寬資源消耗，以及重建時間較長帶來存算分離架構(gòu)增加了存儲產(chǎn)品OceanDisk，但大幅減少數(shù)據(jù)傳統(tǒng)IT基礎(chǔ)設(shè)施逐漸顯露出其局限性，包括設(shè)備老舊、性能表本項目通過選用基于存算分離架構(gòu)的平臺為Oracle數(shù)據(jù)庫據(jù)實際的計算、存儲資源需求動態(tài)調(diào)整存儲容層面支持在線橫向/縱向靈活擴容。這些特點使得分布式存儲計算存儲之間采用RDMA互聯(lián)網(wǎng)絡(luò)