金融級分布式數(shù)據(jù)庫白皮書 2021 -中國信通院

02隨著數(shù)字時代的來臨，數(shù)據(jù)總量呈現(xiàn)爆發(fā)式增長，海量數(shù)據(jù)存儲與隨著數(shù)字時代的來臨，數(shù)據(jù)總量呈現(xiàn)爆發(fā)式增長，海量數(shù)據(jù)存儲與訪問的安全性也面臨較大挑戰(zhàn)，傳統(tǒng)數(shù)據(jù)庫架構難以滿足極速增長的業(yè)務需但隨著數(shù)字化轉型進程的進一步加快，金融機構對數(shù)據(jù)資源存儲、計算和應用需求大幅提升，亟需高質量、高性能、安全穩(wěn)定及低成本的數(shù)據(jù)庫存儲方案以滿足對業(yè)務穩(wěn)定性與連續(xù)性的要求。分布式數(shù)據(jù)庫憑借其高可靠、高性能、低成本、平滑擴展等優(yōu)勢，逐步成為金融、政務等行集型行業(yè),在生產(chǎn)經(jīng)營過程中積累了海量的數(shù)據(jù)資源，為更好地運用金融級分布式數(shù)據(jù)庫技術助力金融行業(yè)數(shù)字化轉型發(fā)展，騰訊云計算(北京)有限責任公司聯(lián)合中國信息通信研究院云計算與大數(shù)據(jù)研究所共同編制本報告。報告分為五個章節(jié)，第一章介紹分布式數(shù)據(jù)庫的概念特點、發(fā)展歷程及市場格局，第二章闡述金融級分布式數(shù)據(jù)庫的概念、技術特性、需求特點及發(fā)展現(xiàn)狀，第三章詳細梳理金融級分布式數(shù)據(jù)庫在銀行、證券、保險、政務等領域的應用現(xiàn)狀，緊接著引出金融級分布式數(shù)據(jù)庫落地應用的難點與挑戰(zhàn)，最后對金融級分布式數(shù)據(jù)庫的發(fā)展前景給出建議和展望。對本報告中的意見和不足之處，歡迎各03 分布式數(shù)據(jù)庫現(xiàn)狀概述01 金融級分布式數(shù)據(jù)庫現(xiàn)狀概述02 金融級分布式數(shù)據(jù)庫在各行業(yè)的應用分析0304 金融級分布式數(shù)據(jù)庫落地應用的難點與挑戰(zhàn)048建議與展望0505分布式數(shù)據(jù)庫現(xiàn)狀概述數(shù)據(jù)庫作為IT系統(tǒng)不可或缺的組件，在發(fā)展過程中逐步形成了以集中式架構事務數(shù)據(jù)庫為主的格局。隨著用戶量和業(yè)務量的急劇增長，金融業(yè)對于數(shù)據(jù)庫的數(shù)據(jù)存儲和管理集中式數(shù)據(jù)庫在應對海量數(shù)據(jù)及復雜分析處理時，存在數(shù)據(jù)庫擴展能力受限、數(shù)據(jù)存儲和計算能力有限、業(yè)務瞬時使用方缺乏自主掌控力等問題。因此，利用分布式計算和內存計算等新技術設計的分布式數(shù)據(jù)庫迅速崛起，并逐步06金融監(jiān)管機構出臺的系列政策文件及標準，為金融信息系統(tǒng)分布式架構2019年金融監(jiān)管機構出臺的系列政策文件及標準，為金融信息系統(tǒng)分布式架構2019年9月，央行發(fā)布的《金融科技(FinTech)發(fā)展規(guī)劃(2019-2021)》中明確指出需加強分布式數(shù)據(jù)庫的研發(fā)應用。做好分布式數(shù)據(jù)庫金融應用的長期規(guī)劃，加大研發(fā)與應用投入力度。有計劃、分步驟穩(wěn)妥推動分布式數(shù)據(jù)產(chǎn)品先行先試，形成可借2020年11月，為規(guī)范分布式數(shù)據(jù)庫技術在金融領域應用，央行發(fā)布并實施《分布式數(shù)據(jù)時代的到來對金融業(yè)務系統(tǒng)能力帶來新的挑戰(zhàn)，金融業(yè)逐步開始嘗試常會采用開源軟件，運行在x86服務器、虛擬機或容器云環(huán)境中，這在一定程度上提高前商銀行、光大銀行、中信銀行等正逐步嘗試從集中式架構向分布式架實01分布式架構轉型是未來大勢所趨07PC時代PC時代02分布式數(shù)據(jù)庫的發(fā)展歷程作為數(shù)據(jù)庫技術與網(wǎng)絡技術相結合的產(chǎn)物，分布式數(shù)據(jù)庫是指利用高速計算機網(wǎng)絡將物理上分散的多個數(shù)據(jù)存儲單元連接起來組成邏輯上統(tǒng)一的數(shù)據(jù)庫。它最早于20世紀80年代提出，隨著信息技個發(fā)展階段。過分庫分表進行水平能力云過分庫分表進行水平能力第一代垂直擴展垂直擴展 (2000-2020年) (2020年至今)PC時代 (1980-2000年)據(jù)庫的發(fā)展歷程機軟件，利用專有硬件垂直擴展類大型企業(yè)提供商業(yè)化的數(shù)據(jù)庫產(chǎn)品。初期的數(shù)據(jù)庫基本都是單機軟件，IBM務量或者數(shù)據(jù)量增加，只能進行垂直擴展，即采用更換設備、硬件配件等方式。這套方案的優(yōu)點在于機器性能強大、穩(wěn)定性強，但是造價昂貴，開放性不夠，與通用x發(fā)環(huán)境兼容性差，擴展能力有限。08時代時代統(tǒng)通過分庫分表等方式進行水平能力擴展2000-2020年，隨著互聯(lián)網(wǎng)業(yè)務的發(fā)展，在線場景訪問并發(fā)度呈指數(shù)級上升，海量數(shù)據(jù)讀寫和分析需求越來越強烈，傳統(tǒng)單機系統(tǒng)在業(yè)務支撐、成本、穩(wěn)定性等方面面臨巨大挑戰(zhàn)，即使采用垂直擴展模式也無法維系?；ヂ?lián)網(wǎng)企業(yè)開始探索新的水平擴展方案，最常見的是通過分庫分表的手段進行解決，如通過分庫操作解決數(shù)據(jù)庫的處理性能瓶頸，通過分表操作解決單表的查詢性能問題。但是，此方案的應用系統(tǒng)需要進行大量改造，需復雜度較高。布式數(shù)據(jù)庫的發(fā)展2020年以后，隨著數(shù)據(jù)類型、數(shù)據(jù)規(guī)模的高速增長，傳統(tǒng)的終端計算場景逐漸難以應對數(shù)據(jù)存儲處理的工作量與復雜度要求。云計算基于自身存算分離、資源彈性動態(tài)分配等特點，有效緩解了傳統(tǒng)計算場景的難點，滿足當前數(shù)據(jù)處理的需求，推動了分布式數(shù)據(jù)庫的應用發(fā)展。如分布式數(shù)據(jù)庫通過資源池化管理逐步實現(xiàn)了邏輯層的相互隔離與資源的自由伸縮，具備彈性擴張、HTAP(HybridTransactionandAnalyticalProcess，混合事務和分析處理)事務、多租戶管理、高可用性等能力，與云計算場景0903分布式數(shù)據(jù)庫的技術及特點分布式數(shù)據(jù)庫的數(shù)據(jù)分散在網(wǎng)絡多個互聯(lián)的節(jié)點，以獲取更大的存儲容量和更高的并發(fā)訪問量。數(shù)資料來源：中國信通院：《數(shù)據(jù)庫發(fā)展研究報告(2021年)》]。核心技術分布式數(shù)據(jù)庫的核心技術主要包括數(shù)據(jù)復制，數(shù)據(jù)分片，分布式事務，自動化運維、故障自愈與智數(shù)據(jù)復制是一種實現(xiàn)數(shù)據(jù)庫多副本之間數(shù)據(jù)同步的技術，可確保多副本架構下數(shù)據(jù)的強一致性，避免故障后導致集群數(shù)據(jù)錯亂和丟失，以提高系統(tǒng)的可靠性。針對分布式數(shù)據(jù)庫的數(shù)據(jù)復制技術，需在一致性和可用性之間做出權衡，包括強(一致)同步復制、異步復制與半同步復制。單臺機器很難應對海量的數(shù)據(jù)存儲或者較高的并發(fā)查詢，需要把數(shù)據(jù)拆分到多個節(jié)點上，以進行存儲和處理，這種技術叫做數(shù)據(jù)分片(sharding)。數(shù)據(jù)分片包含“數(shù)據(jù)打散分割”、“按片分割”兩種模型。與數(shù)據(jù)分片相近的有數(shù)據(jù)分區(qū)(Partition)，即將表的內容按照某種規(guī)則分散于多個邏輯文件，每個文件包含表的部分數(shù)據(jù)。在分布式數(shù)據(jù)庫中，數(shù)據(jù)分片與數(shù)據(jù)分區(qū)可以10分布式事務ACID(Atomicity、Consistency、Isolation、Durability)分別代表原子性、一致性、隔離性與持久性。分布式事務是對跨兩個或多個數(shù)據(jù)存儲庫執(zhí)行的操作，通常在由網(wǎng)絡連接的獨立節(jié)點間進行協(xié)調，也可跨越從單體系統(tǒng)到分布式系統(tǒng)的變化增加了數(shù)據(jù)庫實現(xiàn)ACID特性的難度，降低了分布式事務的性能。通過采用諸如兩階段提交(2PC)/三階段提交(3PC)、TCC方案、可靠消息最終一致性，與最大努力通知方案等機制設計，可基境下的事務ACID特性和性能的平衡。析分布式數(shù)據(jù)庫的架構和集群規(guī)模發(fā)生了改變，需要具備運維管理的能力以保障日常運維管理工作，如自動化安裝部署、自動化巡檢、故障診斷與分析、故障自愈、在線DDL、SQL防火墻、SQL審核、資源隔離和全鏈路的智能能力分布式數(shù)據(jù)庫水平擴展主要體現(xiàn)在計算節(jié)點、數(shù)據(jù)節(jié)點的水平彈性擴展，因數(shù)據(jù)節(jié)點存儲的是業(yè)務系統(tǒng)的業(yè)務數(shù)據(jù)，在數(shù)據(jù)節(jié)點水平擴展中能做到業(yè)務數(shù)據(jù)自動重分布，從而在不影響業(yè)務情況下解決資源使用瓶頸，達到資源的特點：分布式數(shù)據(jù)庫通過多副本實現(xiàn)系統(tǒng)可靠性與整體可用性，當某一節(jié)點中的數(shù)據(jù)不可用時，其他數(shù)據(jù)副本可繼續(xù)保證業(yè)務的連續(xù)高級SQL特性支持分布式數(shù)據(jù)庫從早期的電式數(shù)據(jù)庫通過水平擴方式提升整體存儲容1204分布式數(shù)據(jù)庫的市場格局據(jù)Garter顯示，2018年全球數(shù)據(jù)庫管理系統(tǒng)市場規(guī)模達461億美元，預計于2024年整體市場規(guī)模達千億美元，伴隨著分布式計算架構的興起，分布式數(shù)據(jù)庫或成為數(shù)據(jù)庫市場新的增量。本節(jié)將市場格局進行分析。品發(fā)展情況根據(jù)應用場景，數(shù)據(jù)庫大致可分為分析型數(shù)據(jù)庫、事務型數(shù)據(jù)庫、時序數(shù)據(jù)庫、圖數(shù)據(jù)庫四大類。布式事務型數(shù)據(jù)庫正在場認可布式圖數(shù)據(jù)庫正成為國布式圖數(shù)據(jù)庫正成為國關聯(lián)分析、知識推理、搜索推薦等應用創(chuàng)新正不斷提升社交、電商、金融等行業(yè)的信息化能力。而圖數(shù)據(jù)庫技術能夠有效提升關聯(lián)型數(shù)據(jù)的價值挖掘能力，逐漸成為各大企業(yè)關注的熱點，從而積極推動自身分布式圖數(shù)據(jù)庫的產(chǎn)品分布式時序數(shù)據(jù)庫為未來展打下基礎時序數(shù)據(jù)庫能夠支持處理大并發(fā)、高持續(xù)性、攜帶時間戳的數(shù)據(jù)，廣泛應用于電力和工業(yè)設備監(jiān)測領域。隨著5G時代來臨，帶動了物聯(lián)網(wǎng)領域的快速發(fā)展，要求現(xiàn)有時序數(shù)據(jù)庫必須完成分布式化，以滿足未來物聯(lián)網(wǎng)領域數(shù)據(jù)規(guī)分布式分析型數(shù)據(jù)庫逐步商用產(chǎn)品分析型數(shù)據(jù)庫主要用于通過某種算法，從海量數(shù)據(jù)中提取并轉化為統(tǒng)計性的關鍵信息和指標。目前已經(jīng)廣泛應用于金融資產(chǎn)盤點、電信流量分析、互聯(lián)網(wǎng)用戶畫像事務操作的正確性，主要用于金融行業(yè)的賬戶和計費等核心系統(tǒng)。隨著中間件架構和新型一致性協(xié)議的逐漸成熟，各互聯(lián)網(wǎng)公司已成功使用分布式事務型數(shù)據(jù)庫支撐自身大規(guī)模的事務操作，金融等行業(yè)正逐13商分布情況 互聯(lián)網(wǎng)廠商經(jīng)歷了分布式數(shù)據(jù)庫“自用”到“輸出”的發(fā)展階段以騰訊、阿里云、螞蟻金服等為代表的互聯(lián)網(wǎng)廠商，經(jīng)歷了用戶和業(yè)務量的高速擴張階段(例如雙十一、618購物季等階段，微信紅包、微信支付等場景)，較早面臨了高性能、高擴展、高可靠和海量數(shù)據(jù)存儲帶來滿足其大規(guī)模用戶和高性能場景的需求。隨著各廠商加大分布式數(shù)據(jù)庫的自研投入，提升技術成熟度，不斷拓展應用領域，推出了如TDSQL、PolarDB、OceanBase等產(chǎn)品。 “集中式”向“分布式”產(chǎn)品拓展以達夢、南大通用、人大金倉等為代表的傳統(tǒng)數(shù)據(jù)庫公司，憑借多年數(shù)據(jù)庫技術資源積淀，一方面持續(xù)推進自身原有集中式數(shù)據(jù)庫技術及產(chǎn)品升級改造，另一方面嘗試推出相對應的分布式數(shù)據(jù)庫版本，如武漢達夢DMTDD等，該類產(chǎn)品既具備高擴展性和區(qū)域跨度下的容災能力，也能提供數(shù)據(jù)庫的數(shù)據(jù)一致性、分布式事務、復雜SQL等核心能力。 IT始涉足分布式數(shù)據(jù)庫產(chǎn)品以華為、中興等為代表的綜合型IT服務企業(yè)，基于實際業(yè)務場景需求，在原有硬件設備、信息管理系統(tǒng)等產(chǎn)品體系基礎上，迅速推出了分布式數(shù)據(jù)庫產(chǎn)品，例如華為GaussDB和中興GoldenDB，能在協(xié)同原有為客戶提供一攬子解決方案。 焦某一數(shù)據(jù)庫細分領域作為發(fā)展策略以PingCAP、熱璞等為代表的專注于數(shù)據(jù)庫領域的初創(chuàng)型公司，其成立時間或推出數(shù)據(jù)庫產(chǎn)品時間普遍在DB應用于國內外的銀行、證券、保險等行業(yè)，并在約20多種不同的金融業(yè)務場景中支撐用戶的關鍵計算；熱璞HotDB定位于OLTP業(yè)務場景，在事務一致性和透明性、全局唯一約束、分布式鎖、數(shù)據(jù)分片設計智能14…………綜合型綜合型IT……15金融級分布式數(shù)據(jù)庫現(xiàn)狀概述大數(shù)據(jù)、移動互聯(lián)網(wǎng)時代的海量數(shù)據(jù)呈爆發(fā)式增長，業(yè)務處理邏輯日趨復雜，虛擬貨幣、增值服務、在線支付等金融業(yè)態(tài)興起，帶來數(shù)據(jù)量、交易量的大幅度提高，并伴隨著數(shù)十倍于正常負載的交易高峰壓力與交易復雜度增加等挑戰(zhàn)。而傳統(tǒng)數(shù)據(jù)庫在可擴展性方面的弊端日益凸顯，因此金融級分布式數(shù)據(jù)庫憑借數(shù)據(jù)強一致、高可靠和穩(wěn)定性、快速擴展能力、高性價比逐步加速應用1601金融級分布式數(shù)據(jù)庫概念金融行業(yè)普遍對數(shù)據(jù)庫的安全性、可靠性、穩(wěn)定性有著全行業(yè)最為嚴苛的要求，因此，滿足金融行業(yè)需求的金融級數(shù)據(jù)庫產(chǎn)品幾乎成為所有行業(yè)中的標桿。報告認為金融級分布式數(shù)據(jù)庫是能夠滿足金融級要求的高可用、高性能、低成本、線性水平擴展、企業(yè)級安全、便捷性運維的分布式數(shù)據(jù)庫。需要注意的是金融級分布式數(shù)據(jù)庫不僅僅只限定應用于金融17下的數(shù)下的02金融級分布式數(shù)據(jù)庫技術特性參照中國人民銀行下發(fā)的《分布式數(shù)據(jù)庫技術金融應用規(guī)范技術架構》(JR/T0203-2020)、《分布式數(shù)據(jù)庫技術金融應用規(guī)范安全技術要求》(JR/T0204-2020)和《分布式數(shù)據(jù)庫技術金融應用規(guī)范災難恢復》(JR/T0205-2020)，金融級分布式數(shù)據(jù)庫的主要特征如下：融行業(yè)的監(jiān)管要求。金融級意味著數(shù)據(jù)庫需要優(yōu)先考慮數(shù)據(jù)CAP[CAP:一致性(Consistency)、可用性(Availability)、分區(qū)容錯性(Partitiontolerance)]的C(一致性)，以及事務ACID的C(一致性)。即存儲于不同節(jié)點的數(shù)據(jù)副本之間，數(shù)據(jù)需要務需要實現(xiàn)一致性。針對傳統(tǒng)數(shù)據(jù)庫的硬件性能瓶頸，分布式數(shù)據(jù)庫通過集群和軟件方式，形成強大的性能、容量的可擴展性。應支持按照各自的負載壓力進行計算節(jié)點、數(shù)據(jù)存儲節(jié)點和管理節(jié)點的在線擴容能力，或通過擴展單臺服務器的硬件資源，以滿足金在數(shù)據(jù)強一致的前提下，金融級分布式數(shù)據(jù)庫需要超高的可用性及可控的恢復時間，例如實現(xiàn)“RTO(RecoveryTimeObjective，恢復時間目標)在30秒內、RPO(RecoveryPointObjective，數(shù)據(jù)恢復點目標)為0”，即故障秒級自動用方案。18全性全性應用于金融領域的分布式事務數(shù)據(jù)庫應在基礎支撐保障、用戶管理、訪問控制、數(shù)據(jù)安全性等方面，符合國家密碼管理部門以及行業(yè)主管部門對數(shù)據(jù)安全性的運維管理應具備自動化安裝部署、監(jiān)控告警、性能容量、系統(tǒng)配置、升級維護、復等統(tǒng)一管理能力，提供接口API，供其他平臺集成和調用。金融業(yè)務生命周期較長，因此相關產(chǎn)品需要針對不同時期、不同平臺的硬件、操19據(jù)一致性能帶來較大社會影響高，安全監(jiān)管要求更高據(jù)一致性能帶來較大社會影響高，安全監(jiān)管要求更高大部分業(yè)務邏輯響風險高03金融級分布式數(shù)據(jù)庫需求分析低時延、可擴展性、高容災性、供應鏈安全性等要求更為嚴苛。這也是金融級分布式數(shù)據(jù)庫與普通據(jù)庫與普通分布式數(shù)據(jù)庫對比金融級分布式數(shù)據(jù)庫普通分布式數(shù)據(jù)庫、容量擴展補償彌補用戶情緒中，監(jiān)管要求適中庫共同承載業(yè)務邏輯風險適中性的需求金融級分布式數(shù)據(jù)庫通常用于存儲各行業(yè)的核心數(shù)據(jù)，其任意一筆數(shù)據(jù)錯亂、丟失將帶來嚴重影響。因此即使在某些軟件故障、硬件異常的情況下，數(shù)據(jù)庫都應保證20可靠性的需求捷迭代的需求可靠性的需求捷迭代的需求計算的需求應鏈風險金融級分布式數(shù)據(jù)庫服務于涉及國計民生的重要業(yè)務系統(tǒng)，其對運行連續(xù)性要求異常嚴格。此要求來自于金融業(yè)，也來自于政務、大型企業(yè)本身需求、監(jiān)管機構要求和用戶輿論壓力等。數(shù)據(jù)庫作為業(yè)務系統(tǒng)的基礎，其通用的可用性要求在99.999%以上。為確保在異常情況下數(shù)據(jù)不丟失、不錯亂，即使極端異常情況仍在金融級場景中，存在短時間用戶規(guī)模增大或業(yè)務迭代需求強勁的情況，金融級數(shù)據(jù)庫要求適配上述場景，即數(shù)據(jù)庫具有快速擴展的能力，同時業(yè)務系統(tǒng)要具備快速始在金融級數(shù)據(jù)庫中得到普及與推廣。金融級業(yè)務種類繁多，隨著時間增長數(shù)據(jù)也會快速增加，帶來支撐性數(shù)據(jù)庫變得越來越龐大。這意味著如果每個系統(tǒng)都按照傳統(tǒng)商用數(shù)據(jù)庫建設標準來建設，會帶來極高的成本。因此云計算環(huán)境的金融級數(shù)據(jù)庫的集約模式建設方案正逐步成為主流受國際政治格局影響，采購國外高端服務器(芯片)等存在諸多不確定性。一旦出現(xiàn)國外服務器(芯片)斷供，可能導致嚴重的后果。而短期內，國內對于芯片的供nm低的水平，單一服務器的算力不足會對金融業(yè)務建設系統(tǒng)21服務化分布式數(shù)據(jù)庫的計算層和基于云底座，充分利用云平臺的彈性伸縮、高效安全的運維管理能力，即開即用。同時支持多租戶，每個實例的計算資源、存儲資源嚴格隔離。以幫助金融業(yè)務實現(xiàn)有效的資源整服務化分布式數(shù)據(jù)庫的計算層和基于云底座，充分利用云平臺的彈性伸縮、高效安全的運維管理能力，即開即用。同時支持多租戶，每個實例的計算資源、存儲資源嚴格隔離。以幫助金融業(yè)務實現(xiàn)有效的資源整合與調度，從而提高整體用。為主流基于云計算現(xiàn)有的基礎設施，分布式存儲、SDN網(wǎng)絡、彈性計算等能力，實現(xiàn)數(shù)據(jù)庫的計算存儲分離，僅日志落盤。實現(xiàn)數(shù)據(jù)并行復制、存儲多副本協(xié)同、無單點瓶頸；采用智能理要求高是用戶，還是第三方供應商，亦或是運維理員，都應做好數(shù)據(jù)安全防護。金融業(yè)務可能會根據(jù)業(yè)務屬性全球部署，還需滿足相關地04金融級分布式數(shù)據(jù)庫發(fā)展技術趨勢HTAP成為企業(yè)業(yè)務場景的關鍵選擇分布式數(shù)據(jù)庫擁有大量節(jié)點，如果充分利用這些節(jié)點的性能，會大大提升整體分布式數(shù)據(jù)庫的性能，特別是面向復雜業(yè)務處理的場景?？梢酝瑫r在一份數(shù)據(jù)上進行TP與AP的業(yè)務，隨著金融業(yè)務發(fā)展，客戶往往會設置多個不同地域的不同可用區(qū)，將數(shù)據(jù)庫分布在跨可用區(qū)的不同位置。當某個可用區(qū)發(fā)生斷電、斷網(wǎng)甚至極端災害情況下等大范圍故障時，其他可用服務。理與智能化性能分析即通過便捷和自動化的AI技術，降低運維成本和技術門檻。通過智能化的性能分析，實現(xiàn)實例最佳性能參數(shù)推薦、索引優(yōu)化建議、熱點表分析數(shù)據(jù)趨勢、歷史軌跡與預測、死分析等。22金融級分布式數(shù)據(jù)庫在各行業(yè)的應用分析等行業(yè)在數(shù)據(jù)庫產(chǎn)品及服務的采購份額上領先其他行業(yè)，采購量占據(jù)了大架構的轉型替換，在保證功能性能的同時，逐步向庫遷移。針對目前金融、政務行業(yè)對金融級分布式數(shù)據(jù)庫的需求和應用情四大行業(yè)進行應用分析。2301金融級分布式數(shù)據(jù)庫在銀行領域的應用統(tǒng)特點銀行業(yè)務處理系統(tǒng)包括中央銀行與商業(yè)銀行的業(yè)務處理系統(tǒng)。中央銀行業(yè)務處理系統(tǒng)主要為，即將銀行的全部賬務數(shù)據(jù)(包括對公、對私的資產(chǎn)和負債數(shù)據(jù)及銀行卡數(shù)據(jù)等)集中在總行數(shù)據(jù)中心中統(tǒng)一管理、協(xié)調。因此規(guī)模較大的銀行，其業(yè)務系統(tǒng)通常具有以下特點：一是業(yè)務數(shù)據(jù)規(guī)模大，業(yè)務系統(tǒng)多、模塊多，核心交易數(shù)據(jù)變更頻繁，交易熱點集中；二是多渠道接入，并發(fā)量大，除總行統(tǒng)一系統(tǒng)外，還包括網(wǎng)上銀行、分行、渠道、第三方監(jiān)管、第三方支付等若干系統(tǒng)接入；三是數(shù)據(jù)重要性極高，安全等級要求高；四是業(yè)務可用性、可靠性要24目前商業(yè)銀行系統(tǒng)內數(shù)據(jù)量急劇增大，系統(tǒng)需要彈性擴容以應對PB級別以上的數(shù)據(jù)，從而使所目前商業(yè)銀行系統(tǒng)內數(shù)據(jù)量急劇增大，系統(tǒng)需要彈性擴容以應對PB級別以上的數(shù)據(jù)，從而使所高數(shù)據(jù)庫開發(fā)運維成本在可控數(shù)據(jù)庫的應用需求 分布式數(shù)據(jù)庫的應用需求體現(xiàn)在以下四方面針對客戶的實時需求，銀行數(shù)據(jù)系統(tǒng)需要滿足高并發(fā)業(yè)務操作需針對客戶的實時需求，銀行數(shù)據(jù)系統(tǒng)需要滿足高并發(fā)業(yè)務操作需求，實現(xiàn)海量數(shù)據(jù)超高性能讀寫要求數(shù)據(jù)庫可容納多類型的據(jù)數(shù)據(jù)庫可處理高并種類型數(shù)據(jù)，因此亟需實現(xiàn)對多模數(shù)據(jù)的統(tǒng)一管理，進而實現(xiàn)不同類型的數(shù)據(jù)統(tǒng)一融合管理，提分分布式架構具有系統(tǒng)部署性價比高的特點，隨著應用增多，更需實現(xiàn)業(yè)務有效隔離。同時，保持系統(tǒng)的彈性、兼容性，大大簡化25數(shù)據(jù)庫的應用案例分析，近年來持續(xù)加大金融科技領域的投入。平安銀行投入生產(chǎn)的各相關系統(tǒng)以傳統(tǒng)集中式數(shù)據(jù)庫為主，分布式數(shù)據(jù)庫為輔，隨著業(yè)務快速發(fā)展、數(shù)據(jù)量和系統(tǒng)負載爆發(fā)式增長，IT核心系統(tǒng)單純靠垂直擴展已無法滿足時效和性能要求。而分布式數(shù)據(jù)庫憑借其彈性擴容、高可用、高性能等優(yōu)勢已廣泛應用于各種聯(lián)機事務處理(OLTP)及混合(OLTP/OLAP、橫向擴展、數(shù)據(jù)庫上云成為平安銀行數(shù)據(jù)庫的轉型發(fā)展方向。平安銀行對金融級分布式數(shù)據(jù)庫當前的應用主要聚焦在信用卡新核心項目上，包括需要將其從IBMZ機架構遷移至分布式系統(tǒng)。在平安銀行采用的分布式架構下，將傳統(tǒng)銀行的批量任務按業(yè)務類實現(xiàn)對于一主多從的分布式一致性強同步、故障切換選主、重建復制關系等技術，高可用、一致性式架構遷移至PC服務器分布式架構系統(tǒng)的成功落地。A+新核心系統(tǒng)技術體系支持敏捷開發(fā)、靈活創(chuàng)新和穩(wěn)定運行，預計未來5年可節(jié)約14.5億元的成本，為金融科技與數(shù)字化轉型賦能零售業(yè)務發(fā)展提2602金融級分布式數(shù)據(jù)庫在證券領域的應用特點證券業(yè)務系統(tǒng)主要是以證券公司為主體的信息化系統(tǒng)，包括日常業(yè)務處理、帳務核算、整個等。規(guī)模，通常采用分布式內存數(shù)據(jù)庫。交易系統(tǒng)對穩(wěn)定性和可用性要求高，若在交易時間段停機或崩潰，極易出現(xiàn)大量激烈投訴和負面輿論。二是交易系統(tǒng)、結算系統(tǒng)等容易受到外部影響而出現(xiàn)業(yè)務量暴漲情況，需要快速擴容。三是業(yè)務系統(tǒng)復雜度較高，往往存在不同時期、不同環(huán)境的不同類系統(tǒng)，系統(tǒng)改造難度較大。四是對運維自動化、智能化要求高。證券行業(yè)由于交易時段集中、資金規(guī)模巨大等特點，對IT系統(tǒng)的可用性和響應率的要求更高、容忍度更低。同時，交易時段集中所帶來的海量交易數(shù)據(jù)的集中處理壓力，要求券商的IT系統(tǒng)運維。27據(jù)庫的應用需求：1234分析平臺證券公司內部的經(jīng)紀業(yè)務、資管業(yè)務、投行業(yè)務和自營業(yè)務承載于不同系統(tǒng)，在各個業(yè)務中存在多種角色，且各個角色在各系統(tǒng)中每時每刻產(chǎn)生多種結構的數(shù)據(jù)，這些數(shù)據(jù)數(shù)量龐大、類型繁多、產(chǎn)生速度快，可能、上層應用。儲與多線程業(yè)務控制刻產(chǎn)生海量的數(shù)據(jù)，如用戶的購物行為，媒體資訊瀏覽歷史，上市公司的投融資、并購活動等信息。各業(yè)務形態(tài)也在整體市場環(huán)境下受到影響，如政策法規(guī)、國內外金融形勢、重大事件等。因此證券公司的數(shù)據(jù)庫規(guī)劃需要支撐百TB級海量數(shù)據(jù)的存儲、28據(jù)庫的應用案例分析富途證券是一家為全球投資者提供港股和美股交易服務的互聯(lián)網(wǎng)券商，專注于為用戶提供覆蓋多個A富管理，以及資訊、社交等服務。證券類業(yè)務最重要的是用戶數(shù)據(jù)，需要具有超高性能、高擴展性、高可用性和高一致性的數(shù)據(jù)庫支持百萬級寫、千萬級讀的在線業(yè)務場景。保存7年以上的賬單流水，需要數(shù)據(jù)庫支持存儲海量數(shù)據(jù)，并，需要數(shù)據(jù)庫系統(tǒng)實現(xiàn)金融級的可用率。2017年遷移到分布式架構后，富途數(shù)據(jù)庫服務系統(tǒng)解決了數(shù)據(jù)一致性問題，在運維層面實現(xiàn)了自動化、故障排查、優(yōu)化診斷等，極大提高了運維效率。后臺支撐系統(tǒng)完成優(yōu)化改造后，大大提不斷豐富產(chǎn)品應用場景、開拓業(yè)務市場。富途選用的分布式架構支撐其核心系統(tǒng)單日查詢峰值超過50億次，單日每分鐘讀請求峰值超千萬次，提供堅實支撐。分布式架構提供自動故障切換方案，以及異構遷移和多源同步方案，保障企務在災難情況下自動化多云遷移和同步切換，實現(xiàn)跨地區(qū)自動容災。在交易量暴漲等流量突節(jié)點故障對業(yè)務的影響越來越敏感，該分布式架構的一致性切換可保障在數(shù)次集群節(jié)點故障到最低，保障業(yè)務連續(xù)性。2903金融級分布式數(shù)據(jù)庫在保險領域的應用特點保險業(yè)務系統(tǒng)主要是指以保險公司為主體的業(yè)務系統(tǒng)，保險公司的業(yè)務分為壽險、財險保險業(yè)務系統(tǒng)主要是指以保險公司為主體的業(yè)務系統(tǒng)，保險公司的業(yè)務分為壽險、財險、健康險、再保險等。業(yè)務系統(tǒng)大致可以分為投保系統(tǒng)、核保系統(tǒng)、出單系統(tǒng)、理賠系統(tǒng)、核賠一是業(yè)務系統(tǒng)相對集中，但是業(yè)務邏輯中心分散，按省或按區(qū)域具有差異性；除基礎支撐系統(tǒng)外，其他系統(tǒng)適合SET(單元化)的分布式數(shù)據(jù)庫模型。二是互聯(lián)網(wǎng)渠道保險占比逐年上升，小額且頻次極大，與傳統(tǒng)保險渠道業(yè)務邏輯有極大不同，互聯(lián)網(wǎng)保險渠道的系統(tǒng)和數(shù)據(jù)庫負對于數(shù)據(jù)一致性、數(shù)據(jù)可靠性、歷史數(shù)據(jù)校驗的需求極高。四是渠道系統(tǒng)、周邊支持系統(tǒng)與往存在復雜的數(shù)據(jù)同步邏輯。30高保險公司如壽險、車險、高保險公司如壽險、車險、財產(chǎn)險，業(yè)務量較大，隨著業(yè)務規(guī)模的擴大，需要分布式數(shù)據(jù)庫為其快速發(fā)離保險公司按業(yè)務劃分，業(yè)務分為不同省份，每個業(yè)務均有不同的集群，帶來較大的成本支出，故需要業(yè)務既能共享，又能實現(xiàn)隔離。同時，保險行業(yè)重視安全性，需要分布式數(shù)據(jù)庫的應用需求需求強保險對于室外場景數(shù)據(jù)的要求高，需要分布式數(shù)據(jù)庫具備高可用性、快速處據(jù)庫的應用案例分析的業(yè)務發(fā)展。面臨互聯(lián)網(wǎng)、數(shù)字化的技術轉型，同時面臨集中式數(shù)據(jù)庫的應用遷移，OLTP和OLAP31對數(shù)據(jù)可靠性及安全要求高，交易數(shù)據(jù)、客戶資料等不容有失。該保險業(yè)務系統(tǒng)按照險種分個險種在每個省份會有兩個單獨的數(shù)據(jù)庫實例。每個實例要求有全量的業(yè)務數(shù)據(jù)，并能實現(xiàn)快速災難切換和RTO為0。業(yè)務系統(tǒng)之間的數(shù)據(jù)交互較多，因此數(shù)據(jù)流轉和數(shù)據(jù)匯聚尤為重要。存在部分業(yè)務是典型的讀多寫少場景，多于業(yè)務高峰大量的讀取需求需要數(shù)據(jù)庫能實現(xiàn)只讀選用的分布式數(shù)據(jù)庫跨域雙向實時復制關鍵技術，助力其構建多中心多活架構體系，實現(xiàn)數(shù)異地災備高可用架構，每個中心均部署主節(jié)點，每個主節(jié)點支持讀寫，主節(jié)點之間支持雙向支持中心擴展雙向復制，實現(xiàn)數(shù)據(jù)實時同步，在不同中心之間達到業(yè)務分鐘級無縫接管，確續(xù)性。靈活全面的異構數(shù)據(jù)遷移能力支持集中式數(shù)據(jù)庫的平滑遷移，滿足不同業(yè)務系統(tǒng)間數(shù)據(jù)流轉以及數(shù)據(jù)匯聚的需求；具備HTAP混合負載處理能力，在支持高并發(fā)OLTP業(yè)務處理的同時支持海量數(shù)據(jù)的OLAP多維統(tǒng)計分析；提供讀寫分離功能，支持多副本，能靈活擴展只讀平面能力，只讀平數(shù)據(jù)使用不同的存儲介質存儲，可節(jié)省冷數(shù)據(jù)的存儲成本，同時后臺定時任務能根據(jù)用戶配移，保持對業(yè)務透明，節(jié)省成本且提供歷史數(shù)據(jù)的便捷訪問。順利將某分布式數(shù)據(jù)庫應用到核心業(yè)務系統(tǒng)中，系統(tǒng)災難切換多次演練表現(xiàn)優(yōu)秀。業(yè)務系統(tǒng)處理效率有了明顯提升，核保案件的平均處理時效提升2~3倍，核保響應時間小于100ms，核保案件的單位處理成本大幅降低，節(jié)省50%以上的核保人力投入。其使用的企業(yè)私有云部署模式，降低了技運維復雜性，同時分布式數(shù)據(jù)庫彈性高效高可靠的架構也保障了該保險集團各項業(yè)務高速發(fā)展3204金融級分布式數(shù)據(jù)庫在政務領域的應用統(tǒng)特點《第15屆國際數(shù)字政府評估排名報告》[來源：早稻田大學數(shù)字政府研究中心]顯示，中國處于全球第37位。數(shù)字政府能力的提升，需依賴強大的現(xiàn)代化治理基礎設施，而數(shù)據(jù)庫作為現(xiàn)代化治理基礎設施的重要組成部分。當前我國在提升社會治理的數(shù)字化治理水平過程中，主要呈現(xiàn)兩大特點：一是個體、企業(yè)和社會等被治理對象數(shù)量龐大、日趨復雜，而當前我國現(xiàn)代化治理基礎設施仍以傳統(tǒng)關系型數(shù)據(jù)庫為主，效率較低，亟需變革更新；二是現(xiàn)代化治理要求各層、各機構政府人員深度應用信息科技工具，而當前信息科技工具應用普遍需要較高門檻，政務行業(yè)科技能力儲備情況比后，應用效果不佳，難以達到預期效果。33在信息技術應用創(chuàng)新時代背景下，需要考慮在信創(chuàng)平在信息技術應用創(chuàng)新時代背景下，需要考慮在信創(chuàng)平臺的整體適配，包括信創(chuàng)服務器、操作系統(tǒng)、中間件等多個環(huán)節(jié)，其中數(shù)據(jù)庫軟件實現(xiàn)自主至關重據(jù)場景需求隨著政務數(shù)字化的深入，“互聯(lián)網(wǎng)+服務”存在大量海量數(shù)據(jù)場景，例如疫情健康碼、政務辦事小程序等，后端數(shù)據(jù)需要支持橫向伸縮，以滿足海量數(shù)數(shù)據(jù)庫的應用需求覆蓋OLAP和OLTP不同業(yè)務場景下對于數(shù)據(jù)庫能力的需求也不同，OLTP是政務領域進行數(shù)數(shù)據(jù)庫的應用案例分析為落實“以人民為中心”的發(fā)展理念，實現(xiàn)讓群眾、企業(yè)動動手指就能把各項事情辦好，2017年廣東改革。可用等關鍵特征的數(shù)據(jù)庫，從而引伸出采用適應云計算時代的分布式數(shù)據(jù)庫的需求；重點關據(jù)庫在數(shù)據(jù)一致性、可靠性、性能和穩(wěn)定性、生態(tài)兼容性、運營成本、運維管理等方面的表級的數(shù)據(jù)安全保障性、是否具備海量存儲與實時分析能力。34數(shù)字廣東的政務云平臺，其上運行五十多個省直單位的數(shù)據(jù)庫，規(guī)模已超過兩萬多核，內存超過13萬GB，存儲超過4個PB，政務云機房采用兩地三中心的模式。數(shù)字廣東公司通過采用某分布式數(shù)據(jù)庫作為核心系統(tǒng)數(shù)據(jù)庫，開展數(shù)字化政務平臺建設，包括建設政、對高并發(fā)及流量突增等政務應用場景，該分布式數(shù)據(jù)庫提供一鍵擴容的擴展性支持，支持豐富策略的持續(xù)增長的容量和性能需求。數(shù)據(jù)一致性方面，該分布式數(shù)據(jù)庫采用強同步復制方案，并通過引入線程池等技術，實現(xiàn)將串行的流制的性能。此外，此分布式提供數(shù)據(jù)庫多源同步遷移服務，可將數(shù)據(jù)實時同步分發(fā)至多種類型的異構數(shù)據(jù)平臺，支持將Oracle等異構數(shù)據(jù)庫的數(shù)據(jù)實時同步至分布式數(shù)據(jù)庫中，部署靈活，支持一對多、多對一等多型需要。在政務大數(shù)據(jù)中心方面，通過采用分布式數(shù)據(jù)庫，每秒處理的交易量超過五萬個，以應用為驅動，建設了省市一體化的大數(shù)據(jù)中心，大數(shù)據(jù)中心每秒處理交易量超過5萬次，通過流程再造和決策優(yōu)化，00萬，疫情期間高峰時段的訪問量超過了1700萬次每35金融級分布式數(shù)據(jù)庫落地應用的難點與挑戰(zhàn)36應用的難點與挑戰(zhàn)設亟待完善相較集中式數(shù)據(jù)庫，分布式數(shù)據(jù)庫目前尚處于發(fā)展初期，自身技術體系、標準規(guī)范、測評機制等方面建設還有待加強。如分布式數(shù)據(jù)庫的SQL標準通常采用stgreSQL來了業(yè)務系統(tǒng)不同的技術體系、標準規(guī)范與測評機制，使得企業(yè)在使用時必須不參考國際標準，反而基于個人理解“創(chuàng)造”一些獨特的語法，給用戶的體驗平有待提升在交易系統(tǒng)閑時完成日切、跑批成為金融機構、政府常見的應用場景，然而面向交易的分布式數(shù)據(jù)庫往往是OLTP(聯(lián)機事務處理)的計算和風險引擎，因此在面對復雜的OLAP(聯(lián)機分析處理)業(yè)務時易出現(xiàn)性能不足的現(xiàn)象。OLAP在面對海量并發(fā)事務型請求時，存在性能瓶頸，因此，需要考慮如何在分布式數(shù)據(jù)庫上，既兼顧OLTP和OLAP又不額外增加冗余設備，從而達到目標。同時，目前大量的外圍業(yè)務由于功能復雜、關聯(lián)數(shù)據(jù)多、復雜語句比例高，使用了較多的集中式數(shù)據(jù)庫的特定語法或者功能，而遷移到新的分布式數(shù)據(jù)庫時必須充分評估和改造遷移工作量、投入收益比。如果分區(qū)設計良好，分布式數(shù)據(jù)庫將表現(xiàn)出高并發(fā)能力、高水平擴展特性，從而使遷移至分布式數(shù)據(jù)庫的應庫系統(tǒng)的整體性能。37購選型困難市場上的分布式數(shù)據(jù)庫產(chǎn)品種類繁多，各類產(chǎn)品技術路線尚不統(tǒng)一、應用方式互有差異、能力水平參差不齊、迭代更新頻率也相對較高。分布式數(shù)據(jù)庫本身存在復雜的業(yè)務邏輯問題，如數(shù)據(jù)庫本身鎖機制、隔離級別、技術兼容性等。各機構尚未形成選型標準共識，權威部門尚未發(fā)布相關指引文件，導致機構在難。高在具體選擇分布式數(shù)據(jù)庫時，為保證產(chǎn)品能夠適應金融級場景的要求，具備高可用、在線升級等功能，布局較早的機構往往需要花費大量的人力成本、時間成本搭建分布式數(shù)據(jù)庫的測評體系與測評模型，導致投入較大。此外，機構人員能力的匹配性也是一大挑戰(zhàn)，機構與阿合作方需要根據(jù)人員技術能力進行分布式數(shù)據(jù)庫的選型考慮，考慮現(xiàn)有人員對數(shù)據(jù)庫技術的了解程度，更要關注數(shù)據(jù)庫技術本身的開放度，使人員可以快速學習和提升數(shù)據(jù)庫技術能力，這個過的大量投入。諸多難點分布式數(shù)據(jù)庫遷移是個復雜的系統(tǒng)工程，遷移成功與否除了需要技術保障外還依賴各環(huán)節(jié)的有序組織，即多應用方的系統(tǒng)積極配合使用方、應用開發(fā)測試團風險較高等問題。如全面業(yè)務改造難，應用改造和目標數(shù)據(jù)庫改造的分工可能不明確，由于考慮不周，全面業(yè)務改造可能存在遺漏，只完成部分業(yè)務改造。再如遷移執(zhí)行難，如遷移的時間窗口能否滿足；數(shù)據(jù)量較大如何實現(xiàn)快速、準確遷移；需要遷移實現(xiàn)遷移等。38能力待提升金融機構在進行底層數(shù)據(jù)庫替換時，往往會面臨一系列的風險。一方面需要承受引入新的數(shù)據(jù)庫產(chǎn)品或技術架構將面臨的“排異反應”，另一方面需要考慮應用改造或者新建系統(tǒng)帶來的技術風險。為應對兩種不可控的風險，比較穩(wěn)妥的方式是引入兜底方案，例如采用兩種不同的數(shù)據(jù)庫互為主備或應用流量雙發(fā)的方式減少可能的風險。無論選擇哪種兜底方案對于應用系統(tǒng)開發(fā)和改造成本同時，由于金融級分布式數(shù)據(jù)庫與傳統(tǒng)集中式數(shù)據(jù)庫在運維方案上存在較大差異，對于運維管理人員而言，分布式數(shù)據(jù)庫比原來各業(yè)務系統(tǒng)獨立使用的數(shù)據(jù)庫更加易于運維，但是剛引入分布式數(shù)據(jù)庫時，難免遇到技術和人力無法匹配的階段。在運維管理分布式數(shù)據(jù)庫的過程中，性能優(yōu)化方面，由于SQL語句必須具備相關的智能算法；遇到業(yè)務系統(tǒng)吞吐量下降等問題，需要關注是否存及時避免系統(tǒng)吞吐量下降的情況；故障隱患方面，需要考慮是否具備集群相關處理。問題亟待解決一般情況下，分布式數(shù)據(jù)庫面臨三類安全問題：一是單站點故障、網(wǎng)絡故障等物理原因(如突然斷電、自然災害、硬件老化等)導致數(shù)據(jù)的損壞，應設置一種恢復機制，使引起安全