金融行業(yè)開放平臺數(shù)據(jù)庫轉(zhuǎn)型白皮書

金融行業(yè)開放平臺數(shù)據(jù)庫轉(zhuǎn)型白皮書202311編制委員會主任：聶麗琴劉承巖編委會成員：黃本濤 王 輝（工行）編寫組成員：董勇明史大鵬李 林莊乾鋒董 里趙 耀 龐 毅陳偉紅郭鳳鳴謝 軍白 陽徐 旭王 輝（華夏）楊 勐徐雅光韓竺吾李 倩毛思平王莉莉 鄭皓廣王鵬沖李中原王嵩陽李 斌婁賀展編審：林承軍張 蕾參編單位：北京金融科技產(chǎn)業(yè)聯(lián)盟 中國工商銀行股份有限公司華為技術(shù)有限公司中國銀行股份有限公司華夏銀行股份有限公司摘 要數(shù)據(jù)庫轉(zhuǎn)型是一項復(fù)雜的系統(tǒng)性工程，本文對多個關(guān)鍵技術(shù)目 錄一、金融行業(yè)開放平臺數(shù)據(jù)庫現(xiàn)狀調(diào)研及轉(zhuǎn)型思路 1（一）金融行業(yè)開放平臺數(shù)據(jù)庫部署情況 1（二）傳統(tǒng)數(shù)據(jù)庫在金融行業(yè)應(yīng)用的架構(gòu)及能力 4（三）數(shù)據(jù)庫轉(zhuǎn)型挑戰(zhàn) 6（四）轉(zhuǎn)型目標(biāo)和總體思路 8二、金融典型業(yè)務(wù)數(shù)據(jù)庫需求及選型建議 10（一）金融典型業(yè)務(wù)數(shù)據(jù)庫需求 10（二）國產(chǎn)數(shù)據(jù)庫技術(shù)路線分析 12（三）數(shù)據(jù)庫架構(gòu)選型建議 19三、開放平臺數(shù)據(jù)庫轉(zhuǎn)型方法 24（一）方案規(guī)劃設(shè)計 24（二）數(shù)據(jù)庫遷移 31（三）投產(chǎn)運(yùn)行 34四、數(shù)據(jù)庫轉(zhuǎn)型實踐 38（一）現(xiàn)狀 38（二）挑戰(zhàn) 38（三）轉(zhuǎn)型實踐 41（四）轉(zhuǎn)型效果 48五、金融行業(yè)應(yīng)用數(shù)據(jù)庫轉(zhuǎn)型未來展望 49（一）云原生數(shù)據(jù)庫各類技術(shù)路線相互融合 49（二）金融行業(yè)數(shù)據(jù)庫技術(shù)應(yīng)用的建議 57參考文獻(xiàn) 60一、金融開放平臺數(shù)據(jù)庫現(xiàn)狀調(diào)研及轉(zhuǎn)型思路（一）金融行業(yè)開放平臺數(shù)據(jù)庫部署情況金融行業(yè)數(shù)據(jù)庫技術(shù)發(fā)展歷程數(shù)據(jù)庫作為金融信息系統(tǒng)的核心基礎(chǔ)軟件，歷經(jīng)數(shù)十年發(fā)展，為金融行業(yè)經(jīng)營戰(zhàn)略轉(zhuǎn)型升級提供了有力的技術(shù)支撐，伴隨著金融行業(yè)信息系統(tǒng)的演進(jìn)，經(jīng)歷了不同的發(fā)展階段。信息化階段：改革開放后，我國金融行業(yè)面對信息技術(shù)革命滾滾大潮，積極學(xué)習(xí)和吸收世界金融行業(yè)技術(shù)革新成果，告別了手工記賬時代，開啟電子化、信息化建設(shè)進(jìn)程，帶來了金融行業(yè)工作方式和業(yè)務(wù)處理的巨大變革。數(shù)據(jù)集中階段統(tǒng)向縱向統(tǒng)籌管控發(fā)展，金融行業(yè)走向數(shù)據(jù)大集中的發(fā)展道路。工行、農(nóng)行、中行、建行等國有大行于世紀(jì)之交率先開啟集中式金融信息系統(tǒng)技術(shù)體系建設(shè)，宣告中國大型金融機(jī)構(gòu)步入集約化經(jīng)營時代。這一時期，商用集中式數(shù)據(jù)庫以其高效的數(shù)據(jù)存取效率、優(yōu)異的系統(tǒng)穩(wěn)定性，很好地契合了金融行業(yè)對數(shù)據(jù)存儲管理的需求，為金融行業(yè)實現(xiàn)信息集中統(tǒng)計處理、財務(wù)集中改革、風(fēng)險集中控制、業(yè)務(wù)集中管理等奠定了堅實的技術(shù)基礎(chǔ)?；ヂ?lián)網(wǎng)金融階段：金融行業(yè)出現(xiàn)電子銀行、電子支付等新化轉(zhuǎn)型。數(shù)字化轉(zhuǎn)型階段據(jù)庫技術(shù)發(fā)展演進(jìn)。一方面，隨著數(shù)字化轉(zhuǎn)型深入，以及疫情的影響，加速了手機(jī)銀行、手機(jī)支付的使用，處理超高峰值、海量數(shù)據(jù)成為關(guān)鍵需求特征；另一方面，隨著金融行業(yè)信息技術(shù)創(chuàng)新應(yīng)用的深入，數(shù)據(jù)庫如何保證金融信息系統(tǒng)更好，更穩(wěn)定地運(yùn)行，提升系統(tǒng)韌性，支撐金融業(yè)務(wù)創(chuàng)新成了新課題。各金融機(jī)構(gòu)紛紛圍繞這兩類需求開展了數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型工作，探索各種新型國產(chǎn)數(shù)據(jù)庫產(chǎn)品在金融應(yīng)用場景試點和落地案例，同時也涌現(xiàn)出眾多與各類新的軟硬件平臺相適配的分布式數(shù)據(jù)庫產(chǎn)品。金融行業(yè)數(shù)據(jù)庫應(yīng)用現(xiàn)狀集中式數(shù)據(jù)庫成熟穩(wěn)定：傳統(tǒng)商業(yè)集中式數(shù)據(jù)庫以其較強(qiáng)的功能黏性、優(yōu)秀的系統(tǒng)穩(wěn)定性、良好的軟硬適配能力，目前在金融行業(yè)的存量應(yīng)用仍占據(jù)較大的份額。而國產(chǎn)數(shù)據(jù)庫和MySQL、PostgreSQL等開源數(shù)據(jù)庫近些年逐漸從金融外圍系統(tǒng)向金融核心業(yè)務(wù)延伸。分布式數(shù)據(jù)庫廣泛試點：為應(yīng)對數(shù)字化轉(zhuǎn)型帶來的高并傳統(tǒng)集中式數(shù)據(jù)庫占比高：加，但集中式數(shù)據(jù)庫應(yīng)用仍占據(jù)主要份額。據(jù)金融信息化研究所《金融業(yè)數(shù)據(jù)庫供應(yīng)鏈安全發(fā)展報告》（2022）的數(shù)據(jù)顯90，80，901。1金融業(yè)集中式數(shù)據(jù)庫占比情況示意圖（二）傳統(tǒng)數(shù)據(jù)庫在金融行業(yè)應(yīng)用的架構(gòu)及能力1.傳統(tǒng)數(shù)據(jù)庫高可用架構(gòu)傳統(tǒng)數(shù)據(jù)庫高可用架構(gòu)完備：可以滿足金融客戶不同災(zāi)備RPORTOOracle的高可用容災(zāi)方案包括RAC、ADG和存儲復(fù)制等技術(shù)，該方案采用基于FC-SAN外置存儲的存算分離架構(gòu)，底層以共享存儲（SharedStorage）的模式對接企業(yè)級存儲盤機(jī)保證數(shù)據(jù)的高Oracle（RAC），通過緩存融合技術(shù)（CacheFusion）實現(xiàn)計算實例多讀多寫。本地高可RACRPO=0，RTO過ADG（ActiveDataGuard）進(jìn)行數(shù)據(jù)同步，通過集中存儲磁盤復(fù)制同步日志確保同城故障切換時數(shù)據(jù)完整性，實現(xiàn)RPO=0，RTO=10—30分鐘。高可用架構(gòu)示意見圖2。圖2Oracle高可用架構(gòu)示意圖目前傳統(tǒng)數(shù)據(jù)庫的成熟度高，在金融行業(yè)應(yīng)用廣泛，內(nèi)核穩(wěn)定，各類技術(shù)方案經(jīng)過充分生產(chǎn)驗證，具備完善的高可用容災(zāi)及配套工具和監(jiān)控告警等運(yùn)維體系。2.傳統(tǒng)數(shù)據(jù)庫主要能力傳統(tǒng)數(shù)據(jù)庫功能強(qiáng)、特性多。傳統(tǒng)數(shù)據(jù)庫由多個組件組SQLODBCJDBC存儲組織、并發(fā)控制、事務(wù)機(jī)制、會話管理、權(quán)限管理、持久化等方面，每個數(shù)據(jù)庫的設(shè)計和實現(xiàn)并不相同。每個數(shù)據(jù)庫系統(tǒng)基于不同設(shè)計理念和實現(xiàn)，在系統(tǒng)規(guī)格上一般也有較大的差異。ORACLE庫表、索引、存儲過程、序列、視圖、觸發(fā)器、自定義類型等數(shù)據(jù)庫對象和高級包函數(shù)、自治事務(wù)、遞歸調(diào)用、自連接等復(fù)雜特性。（三）數(shù)據(jù)庫轉(zhuǎn)型挑戰(zhàn)系統(tǒng)性工程：數(shù)據(jù)庫轉(zhuǎn)型是一項系統(tǒng)性工程，金融機(jī)構(gòu)在長達(dá)數(shù)十年的使用過程中，部署了相當(dāng)規(guī)模的傳統(tǒng)數(shù)據(jù)庫，并在其上耦合開發(fā)了大量應(yīng)用，積累了相關(guān)軟硬件規(guī)劃、上線、OracleRedhatIBMX86FC-SAN作，確?！帮w機(jī)空中更換發(fā)動機(jī)”之后生產(chǎn)平穩(wěn)運(yùn)行。技術(shù)選型難：目前在國內(nèi)政策和國際環(huán)境的雙重作用下，國產(chǎn)數(shù)據(jù)庫百花齊放，起步較早的國產(chǎn)數(shù)據(jù)庫廠商已經(jīng)在穩(wěn)定性和性能有很大提升，并在金融、政府等重要行業(yè)得到驗證，但總體上仍有差距。面對如此眾多的數(shù)據(jù)庫廠商（200+國產(chǎn)數(shù)據(jù)庫廠商）及其技術(shù)發(fā)展路線和部署架構(gòu)，金融行業(yè)亟需解決如何進(jìn)行數(shù)據(jù)庫的選型。遷移過程難：除了面臨數(shù)據(jù)庫選型難的問題，開放平臺遷移還要考慮解決以下三個核心問題：一是可用性問題，如何保證系統(tǒng)的高可用、高可靠及容災(zāi)能力。存量的開放平臺傳統(tǒng)應(yīng)用往往具有歷史比較久遠(yuǎn)、業(yè)務(wù)長期穩(wěn)定、關(guān)聯(lián)應(yīng)用較多等特點，隨著金融業(yè)務(wù)的持續(xù)創(chuàng)新，數(shù)據(jù)庫轉(zhuǎn)型也在不斷實現(xiàn)底層系統(tǒng)架構(gòu)的演進(jìn)和迭代，必須充分考慮數(shù)據(jù)庫的本地、同城、異地系統(tǒng)的可用性、可靠性及容災(zāi)設(shè)計，有效控制風(fēng)險并持續(xù)優(yōu)化，保障遷移過程應(yīng)用服務(wù)平穩(wěn)運(yùn)行。二是功能及性能問題，如何解決傳統(tǒng)數(shù)據(jù)庫以及構(gòu)建在其上的應(yīng)用同構(gòu)功能與性能體驗。傳統(tǒng)應(yīng)用與數(shù)據(jù)庫高度耦合的優(yōu)勢在于減少了系統(tǒng)組件之間的交互開銷，對性能通常有較高要求，架構(gòu)轉(zhuǎn)型需在滿足業(yè)務(wù)性能指標(biāo)要求的同時，做到性能體驗不下降。同時，需要關(guān)注傳統(tǒng)數(shù)據(jù)庫功能的平替能力，一方面具備傳統(tǒng)數(shù)據(jù)庫功能的平替能力，另一方面能夠?qū)ζ教婧蠊δ苓M(jìn)行系統(tǒng)驗證。三是平滑安全遷移問題，如何降低整個過程的實施成本并降低風(fēng)險。完全兼容商業(yè)數(shù)據(jù)庫、無需應(yīng)用層改造的原位替換遷移方案，可以屏蔽數(shù)據(jù)庫特性差異和業(yè)務(wù)邏輯，有效降低技術(shù)復(fù)雜度和轉(zhuǎn)型工作量，適合金融行業(yè)規(guī)模推廣使用。同時，金融機(jī)構(gòu)在數(shù)據(jù)庫遷移過程中需重視目標(biāo)數(shù)據(jù)庫產(chǎn)品的安全可信能力及安全等保要求，同時也要保障技術(shù)供應(yīng)鏈的安全合規(guī)和穩(wěn)定可靠。（四）轉(zhuǎn)型目標(biāo)和總體思路數(shù)據(jù)庫轉(zhuǎn)型目標(biāo)開放平臺數(shù)據(jù)庫轉(zhuǎn)型目標(biāo)：具備支撐金融開放平臺業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行的能力，支持全業(yè)務(wù)場景，覆蓋關(guān)鍵業(yè)務(wù)系統(tǒng)、一般業(yè)務(wù)系統(tǒng)和辦公系統(tǒng)，轉(zhuǎn)型后新系統(tǒng)達(dá)到“安全有保障，容災(zāi)有提升，功能不受損，服務(wù)不降級”，整體能力從“可用”轉(zhuǎn)向“好用”。第一，保證數(shù)據(jù)庫系統(tǒng)安全可信。金融級數(shù)據(jù)庫的首要目7*24保證數(shù)據(jù)庫軟硬件系統(tǒng)的整體安全可信，即使在某些軟件故障、硬件異常的情況下，數(shù)據(jù)庫都應(yīng)保證數(shù)據(jù)的強(qiáng)一致性及系統(tǒng)的穩(wěn)定性。數(shù)據(jù)庫存儲業(yè)務(wù)應(yīng)用的核心數(shù)據(jù)，任意一筆數(shù)據(jù)錯亂、丟失將帶來嚴(yán)重影響，要滿足安全等級保護(hù)中對數(shù)據(jù)的機(jī)密性、完整性要求。第二，進(jìn)一步提升數(shù)據(jù)庫系統(tǒng)的容災(zāi)能力。金融級數(shù)據(jù)庫為確保在異常情況下數(shù)據(jù)不丟失、不錯亂，需要具備多地多中RPO=0，RTO<=2RPO<=1分鐘等。第三，目標(biāo)數(shù)據(jù)庫具備源數(shù)據(jù)庫的功能。過近二十年應(yīng)用和演進(jìn)，已有大量存量數(shù)據(jù)庫部署，需要充分考慮已經(jīng)開發(fā)并部署的應(yīng)用邏輯，例如存儲過程、觸發(fā)器、函數(shù)等特性，通過功能同構(gòu)的平替能力，提升應(yīng)用邏輯的兼容性，實現(xiàn)原位替換，簡化轉(zhuǎn)型工作量，加快轉(zhuǎn)型節(jié)奏。第四，保持原有數(shù)據(jù)庫系統(tǒng)的服務(wù)等級。務(wù)于涉及國計民生的重要業(yè)務(wù)系統(tǒng)，需要保證轉(zhuǎn)型后用戶使用體驗的一致性，需要重點關(guān)注交易響應(yīng)時間、并發(fā)交易處理能力等核心性能容量指標(biāo)，并要根據(jù)應(yīng)用發(fā)展趨勢預(yù)測，預(yù)留一SQL7*24數(shù)據(jù)庫轉(zhuǎn)型總體思路開放平臺數(shù)據(jù)庫轉(zhuǎn)型面臨“時間緊、任務(wù)重、難度大”的挑戰(zhàn)，本文通過分析多家金融機(jī)構(gòu)的轉(zhuǎn)型實踐，總結(jié)出了滿足開放平臺轉(zhuǎn)型要求的選型策略和轉(zhuǎn)型方法?？陀^、量化的選型策略：圍繞業(yè)務(wù)場景、技術(shù)支撐能力等因素，形成并持續(xù)優(yōu)化數(shù)據(jù)庫選型策略。數(shù)據(jù)庫選型應(yīng)統(tǒng)籌考慮業(yè)務(wù)場景的差異及演進(jìn)，技術(shù)路線的架構(gòu)特點、功能性能、運(yùn)營運(yùn)維等因素，避免不同路線造成的技術(shù)和業(yè)務(wù)割裂。標(biāo)準(zhǔn)化、體系化的轉(zhuǎn)型方法：標(biāo)準(zhǔn)化的轉(zhuǎn)型階段涵蓋方案規(guī)劃設(shè)計、數(shù)據(jù)庫遷移、生產(chǎn)投產(chǎn)等關(guān)鍵階段，將轉(zhuǎn)型工作有序分解，實現(xiàn)轉(zhuǎn)型方案的快速復(fù)制、快速推廣；體系化的轉(zhuǎn)型方案涵蓋部署方案、容災(zāi)方案、遷移方案、測試方案等關(guān)鍵方案，以及配套的操作和指導(dǎo)手冊，體系化的方案是轉(zhuǎn)型思路和實踐經(jīng)驗的沉淀積累，可以降低轉(zhuǎn)型難度。數(shù)據(jù)庫轉(zhuǎn)型路徑：建議選擇先易后難、先簡單后復(fù)雜，業(yè)務(wù)改造先外圍后核心，先辦公系統(tǒng)，后一般業(yè)務(wù)系統(tǒng)及關(guān)鍵業(yè)務(wù)系統(tǒng)的路徑。二、金融典型業(yè)務(wù)數(shù)據(jù)庫需求及選型建議（一）金融典型業(yè)務(wù)數(shù)據(jù)庫需求敏態(tài)業(yè)務(wù)時效性要求高的業(yè)務(wù)：高并發(fā)且多變的業(yè)務(wù)場景對數(shù)據(jù)庫的時效性要求越來越高，當(dāng)業(yè)務(wù)負(fù)載比較大的時候，以秒殺業(yè)務(wù)為例，高峰時段的業(yè)務(wù)量是平時業(yè)務(wù)的十倍左右。為了滿足時效要求，需要數(shù)據(jù)庫卻可以快速擴(kuò)容，滿足業(yè)務(wù)高峰需求，很好地支持業(yè)務(wù)的快速變化。例如，國有大型商業(yè)銀行和股份制商業(yè)銀行的數(shù)據(jù)庫，性能通常要求支持萬級TPS、千級并發(fā)連接，單庫容量支持?jǐn)?shù)十TB。業(yè)務(wù)流量變化大的業(yè)務(wù)：大多數(shù)傳統(tǒng)業(yè)務(wù)增量相對穩(wěn)定、容易規(guī)劃所需要的資源容量，與之不同的是，互聯(lián)網(wǎng)這類業(yè)務(wù)隨時可能出現(xiàn)流量激增的情況，要求國產(chǎn)數(shù)據(jù)庫具備很強(qiáng)的可擴(kuò)展性，可以根據(jù)業(yè)務(wù)負(fù)載靈活調(diào)動資源，隨時擴(kuò)縮容。穩(wěn)態(tài)業(yè)務(wù)可用性要求高的業(yè)務(wù)：傳統(tǒng)業(yè)務(wù)屬性穩(wěn)定，流程變化少，用戶量平緩增長，可用性要求嚴(yán)格。需要以下幾種方式來保證核心業(yè)務(wù)的可用性。一是同集群的故障節(jié)點主備切換。在提供高性能的同時保證了系統(tǒng)的高可用性和業(yè)務(wù)的連續(xù)性。二是跨可用區(qū)、跨地域部署的容災(zāi)能力。三是通過自動的全量增量備份、數(shù)據(jù)快速恢復(fù)、恢復(fù)到任意時間點等方式保障多層次備份恢復(fù)。HTAP混合負(fù)載應(yīng)用的業(yè)務(wù)由于金融業(yè)務(wù)發(fā)展而帶來的復(fù)雜多樣的業(yè)務(wù)變化，導(dǎo)致大量不同業(yè)務(wù)類型的數(shù)據(jù)存放在一起。例如交互系統(tǒng)和報表系統(tǒng)，一種是OLTP應(yīng)用場景，一種是OLAP應(yīng)用場景，如果數(shù)據(jù)存放在一起，就需要數(shù)據(jù)庫既具備事務(wù)能力，又需要在分析時具備高效性。需滿足用戶多類數(shù)據(jù)存儲及在不同業(yè)務(wù)場景下的處理需求。（二）國產(chǎn)數(shù)據(jù)庫技術(shù)路線分析根據(jù)《墨天輪中國數(shù)據(jù)庫流行度排行》20238286OLTP如按數(shù)據(jù)操作的模式可分為集中式和分布式部署，按數(shù)據(jù)存儲方式分為存算一體和存算分離等，同時各種維度又相互交叉。本文以對應(yīng)用遷移改造影響較大的集中式/行分析，在每大類中再以其他維度分析不同架構(gòu)的特點為可靠性等選型提供參考。集中式集中式部署的共同特點是：數(shù)據(jù)集中存儲，應(yīng)用訪問同一份數(shù)據(jù)或數(shù)據(jù)副本。從使用體驗上看集中式部署最接近單機(jī)數(shù)據(jù)庫，應(yīng)用看到的數(shù)據(jù)在邏輯上是可以統(tǒng)一訪問的，可以不考慮數(shù)據(jù)分片、分布式事務(wù)等問題，更好支持存儲過程、多表關(guān)聯(lián)、復(fù)雜查詢，因而應(yīng)用開發(fā)，運(yùn)維容易。20238DB-EnginesTOP10TOP1080。根據(jù)當(dāng)前國產(chǎn)集中式部署主流架構(gòu)可分為主備多副本（存算一體）和存算分離兩種。主從多副本圖3主從多副本架構(gòu)示意圖此架構(gòu)在單機(jī)數(shù)據(jù)庫基本上發(fā)展而來，數(shù)據(jù)存儲于本地硬盤，需要通過數(shù)據(jù)庫日志同步回放方式生成副本來實現(xiàn)故障切換和保證數(shù)據(jù)可用性。主從多副本架構(gòu)的從節(jié)點可作為只讀節(jié)點訪問，因此可以實現(xiàn)讀寫分離分擔(dān)主實例壓力，實現(xiàn)橫向擴(kuò)展，但由于從節(jié)點日志回放為異步，數(shù)據(jù)不能保證與主節(jié)點實時一致，讀寫分離的應(yīng)用場景有限。主從多副本架構(gòu)實現(xiàn)簡單，技術(shù)門檻低，大量被開源數(shù)據(jù)較大，在有大量變更或大事務(wù)時采用同步復(fù)制對性能影響較據(jù)補(bǔ)齊手段。存算分離架構(gòu)圖4存算分離架構(gòu)示意圖存算分離方案通過使用可靠性更高的專用存儲設(shè)備提升了數(shù)據(jù)持久化可靠性，同時降低了硬盤故障發(fā)生和故障恢復(fù)重構(gòu)對數(shù)據(jù)庫服務(wù)的影響。通過存算分離架構(gòu)，一方面降低了服務(wù)器故障的影響，另一方面通過存儲的高可用能力替代數(shù)據(jù)庫日志復(fù)制進(jìn)行持久化和容災(zāi)對性能影響更小，同時通過存算解耦計算和存儲資源都可根據(jù)需要分配，資源利用率得到提升，這種資源池化思路與云計算理念吻合，因此同樣被云數(shù)據(jù)庫廣泛采用。隨著存儲能力的不斷提升，在存算分離架構(gòu)下數(shù)據(jù)庫可進(jìn)一步實現(xiàn)副本縮減、容災(zāi)、備份能力下沉，IO縮減性能加速、并發(fā)查詢下沉等，進(jìn)一步提升數(shù)據(jù)庫的可靠性與性能。由于存算分離架構(gòu)增加了存儲和存儲網(wǎng)絡(luò)，架構(gòu)復(fù)雜度增加，對存儲和網(wǎng)絡(luò)同樣有比較高的要求，使用可靠性、性能較差的產(chǎn)品會使存算分離架構(gòu)的效果大打折扣。在選型時需要重點考慮存儲和網(wǎng)絡(luò)的性能可靠性評估。分布式分布式數(shù)據(jù)庫的共同特點是：數(shù)據(jù)分散存儲在不同的數(shù)據(jù)節(jié)點，通過分布式事務(wù)實現(xiàn)并行處理，提升數(shù)據(jù)庫的并發(fā)性能和容量。分布式數(shù)據(jù)庫解決了集中式數(shù)據(jù)庫的橫向擴(kuò)展問題，但由于分片間需要通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)同步和匯總，尤其是保證分布式事務(wù)的強(qiáng)一致性對性能影響較大，因此較適合數(shù)據(jù)可實現(xiàn)完美分片的業(yè)務(wù)。如果有大量分布式事務(wù)，或有大量多表間關(guān)聯(lián)查詢會造成分布式數(shù)據(jù)庫的性能大幅下降并影響線性擴(kuò)展。分布式數(shù)據(jù)庫主要分為分布式中間件和原生分布式兩大類。（1）分布式中間件圖5分布式中間件架構(gòu)示意圖分布式中間件架構(gòu)引入分庫分表中間件實現(xiàn)數(shù)據(jù)容量的橫向擴(kuò)展，多采用傳統(tǒng)數(shù)據(jù)庫作為數(shù)據(jù)節(jié)點+分片路由中間件作為協(xié)調(diào)節(jié)點+全局事務(wù)管理的架構(gòu)，其技術(shù)特征是基于傳統(tǒng)集中式數(shù)據(jù)庫作為數(shù)據(jù)存儲節(jié)點，繼承了傳統(tǒng)數(shù)據(jù)庫的技術(shù)積累和成熟生態(tài)，數(shù)據(jù)庫存儲引擎內(nèi)核穩(wěn)定性相對較高，周邊生態(tài)工具配套完善，但分布式事務(wù)支持能力較弱，主要通過柔性事務(wù)解決，對應(yīng)用系統(tǒng)的設(shè)計、開發(fā)、維護(hù)影響較大。（2）原生分布式圖6云原生分布式數(shù)據(jù)庫示意圖原生分布式數(shù)據(jù)庫基于分布式理念構(gòu)建由分布式事務(wù)調(diào)度管理和數(shù)據(jù)庫引擎等組成，數(shù)據(jù)按規(guī)則打散，副本通過paoxs/raft等分布式協(xié)議保證一致性，上層實現(xiàn)數(shù)據(jù)庫基礎(chǔ)的優(yōu)化器、執(zhí)行器等組件，對分布式事務(wù)支持更好，很多廠商通過自研的存儲引擎自研則進(jìn)行深度并行查詢、算子下推等優(yōu)化，進(jìn)一步提升了性能，相對分布式路由架構(gòu)原生分布式數(shù)據(jù)庫在分布式事務(wù)能力、線彈性擴(kuò)展、數(shù)據(jù)一致性、防腦裂等方面具備優(yōu)勢。（三）數(shù)據(jù)庫架構(gòu)選型建議集中式與分布式雙棧部署架構(gòu)并用伴隨中國金融業(yè)務(wù)不斷創(chuàng)新發(fā)展，金融行業(yè)使用的數(shù)據(jù)庫產(chǎn)品和技術(shù)日趨多樣化。隨著金融行業(yè)數(shù)字化轉(zhuǎn)型逐步深入，金融應(yīng)用持續(xù)創(chuàng)新，金融業(yè)務(wù)場景的廣度和深度都大幅擴(kuò)展，對金融數(shù)據(jù)的使用方式日益多樣化，單一類型數(shù)據(jù)庫已難以支撐金融行業(yè)所有應(yīng)用場景。分布式/集中式并行發(fā)展將在金融行業(yè)持續(xù)存在，需針對具體應(yīng)用場景對數(shù)據(jù)庫能力的需求和側(cè)重，選擇合適的數(shù)據(jù)庫產(chǎn)品。金融行業(yè)數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型的重點難點場景，使得分布式數(shù)據(jù)庫成為業(yè)界關(guān)注的焦點，但集中式部署的應(yīng)用場景仍然更為廣泛，集中式與分布式部署各有其適用的應(yīng)用場景。分布式數(shù)據(jù)庫解決了集中式數(shù)據(jù)庫性能容量擴(kuò)展能力不足的問題，相應(yīng)地也在系統(tǒng)層和應(yīng)用層付出了多方面的成本。在系統(tǒng)層面：從專用大型機(jī)服務(wù)器遷移到通用服務(wù)器，單體設(shè)備可靠性降低，采用分布式架構(gòu)可以實現(xiàn)更高的可用性和擴(kuò)展性，同時也帶來冗余備份、網(wǎng)絡(luò)交互等方面的開銷，硬件節(jié)點使用規(guī)?？焖贁U(kuò)張為大型數(shù)據(jù)中心的節(jié)能減排和機(jī)房規(guī)劃帶來較大壓力。大規(guī)模分布式集群的系統(tǒng)復(fù)雜度呈指數(shù)級上升，必須具備與之適配的運(yùn)維管理能力作為支撐管理配套的系統(tǒng)能力建設(shè)和人才儲備方面加大投入。在應(yīng)用層面：將分布式系統(tǒng)完全封裝成一個邏輯單庫的解決方案雖然能夠簡化應(yīng)用開發(fā)模型，但分布式系統(tǒng)性能開銷太大，因此適用場景有限。為充分發(fā)揮分布式架構(gòu)優(yōu)勢，應(yīng)用層也需要投入更多的研發(fā)設(shè)計成本，一是需要進(jìn)行合理的數(shù)據(jù)分片設(shè)計，通過高內(nèi)聚低耦合的數(shù)據(jù)規(guī)劃，盡可能減少跨節(jié)點訪問；二是需要在系統(tǒng)架構(gòu)設(shè)計中充分考慮節(jié)點故障的容錯及柔性事務(wù)的處理。綜合來看，集中式與分布式數(shù)據(jù)庫的使用成本見圖7：圖7數(shù)據(jù)庫綜合使用成本示意圖當(dāng)前金融行業(yè)存量數(shù)據(jù)庫以小庫為主，同時隨著硬件能力的提升，成本拐點會不斷右移。由于絕大部分分布式數(shù)據(jù)庫都景的要求。在需求與產(chǎn)品的雙驅(qū)動下，數(shù)據(jù)庫集中式部署架構(gòu)80業(yè)務(wù)創(chuàng)新的目標(biāo)?；跇I(yè)務(wù)需求及特性選擇部署架構(gòu)按業(yè)務(wù)需求評估架構(gòu)選型綜合以上分析，在架構(gòu)選型時需要從業(yè)務(wù)需求進(jìn)行評估，從改造難度、業(yè)務(wù)特征、支撐能力等維度進(jìn)行選型評估：業(yè)務(wù)特征評估改造難度：SQL務(wù)替換時，可采用集中式部署架構(gòu)實現(xiàn)對等架構(gòu)替換；反之如SQL特征是否可使用分布式部署。分布式事務(wù)性能影響方面：可考慮采用集中式部署模式；如果業(yè)務(wù)可設(shè)計相對獨立的分SQL布式部署模式。穩(wěn)定性、運(yùn)維等方面考慮：要考慮采用集中式部署模式。支撐能力評估ScaleUp性評估中需要選擇集中式部署但并發(fā)性能、容量超出單庫規(guī)格時，則需要考慮從業(yè)務(wù)側(cè)做數(shù)據(jù)拆分或遷移非結(jié)構(gòu)化數(shù)據(jù)、歷史數(shù)據(jù)實現(xiàn)瘦身，如單庫能力仍無法支撐，則需要評估使用分布式數(shù)據(jù)庫的可行性。以下為業(yè)務(wù)需求進(jìn)行部署架構(gòu)選型流程圖：8數(shù)據(jù)庫部署架構(gòu)選型流程圖（2）根據(jù)業(yè)務(wù)類型選型從業(yè)務(wù)需求評估模型可以看出，集中式/分布式部署模式選型結(jié)果與穩(wěn)態(tài)/敏態(tài)業(yè)務(wù)有高度對應(yīng)性，因此也可以從業(yè)務(wù)特點分類角度進(jìn)行數(shù)據(jù)庫選型評估。8數(shù)據(jù)庫部署架構(gòu)選型流程圖（2）根據(jù)業(yè)務(wù)類型選型從業(yè)務(wù)需求評估模型可以看出，集中式/分布式部署模式選型結(jié)果與穩(wěn)態(tài)/敏態(tài)業(yè)務(wù)有高度對應(yīng)性，因此也可以從業(yè)務(wù)特點分類角度進(jìn)行數(shù)據(jù)庫選型評估。a) 穩(wěn)態(tài)業(yè)務(wù)較適合采用集中式部署模式穩(wěn)態(tài)業(yè)務(wù)：金融核心業(yè)務(wù)多為穩(wěn)態(tài)業(yè)務(wù)，特點是業(yè)務(wù)穩(wěn)b) 敏態(tài)業(yè)務(wù)較適合采用分布式部署模式敏態(tài)業(yè)務(wù)：特點是業(yè)務(wù)發(fā)展迅速，迭代快、數(shù)據(jù)增長快，需要較強(qiáng)橫向擴(kuò)展能力，并且很多可通過數(shù)據(jù)分片較好實現(xiàn)并發(fā)處理提升并發(fā)性能和容量，敏態(tài)業(yè)務(wù)以創(chuàng)新型業(yè)務(wù)為主，比較典型的是互聯(lián)網(wǎng)類業(yè)務(wù)，這類敏態(tài)業(yè)務(wù)采用分布式部署有利于發(fā)揮分布式分片橫向擴(kuò)展能力，支撐敏態(tài)業(yè)務(wù)高并發(fā)大容于發(fā)揮分布式分片橫向擴(kuò)展能力，支撐敏態(tài)業(yè)務(wù)高并發(fā)大容量、突發(fā)流量峰值高的需要。三、開放平臺數(shù)據(jù)庫轉(zhuǎn)型方法數(shù)據(jù)庫轉(zhuǎn)型方法三階十二步：開放平臺數(shù)據(jù)庫轉(zhuǎn)型建議參9。圖9數(shù)據(jù)庫轉(zhuǎn)型方法三階十二步（一）方案規(guī)劃設(shè)計方案規(guī)劃設(shè)計階段主要工作包括：部署方案、容災(zāi)方案、遷移方案、測試方案。現(xiàn)狀調(diào)研：規(guī)劃設(shè)計前，建議進(jìn)行數(shù)據(jù)庫現(xiàn)狀調(diào)研，重點包括數(shù)據(jù)庫信息、業(yè)務(wù)信息、性能容量指標(biāo)，對數(shù)據(jù)庫遷移可行性分析，確定數(shù)據(jù)遷移內(nèi)容與范圍，業(yè)務(wù)可接受的影響時間等信息。例如，數(shù)據(jù)庫信息：數(shù)據(jù)庫版本、實例數(shù)、數(shù)據(jù)總SQL：業(yè)務(wù)系統(tǒng)架構(gòu)、業(yè)務(wù)時延要求、業(yè)務(wù)并發(fā)要求等；性能容量指標(biāo)：TPS/QPSCPUCPU換算公式等。部署方案優(yōu)先原位替換：數(shù)據(jù)庫部署方案優(yōu)先選用“原位替換”原則。傳統(tǒng)數(shù)據(jù)庫替代難度大為業(yè)界共識，如果對應(yīng)用系統(tǒng)進(jìn)行分布式改造，對業(yè)務(wù)邏輯進(jìn)行重構(gòu)，面臨技術(shù)復(fù)雜度高、工作量大、項目周期長、實施風(fēng)險高等痛點問題。通過原位替換，可屏蔽數(shù)據(jù)庫特性差異，保持業(yè)務(wù)邏輯，有效降低技術(shù)復(fù)雜度和轉(zhuǎn)型工作量，解放應(yīng)用研發(fā)人員的生產(chǎn)力，聚焦于金融業(yè)務(wù)的創(chuàng)新。云化服務(wù)部署能力：數(shù)據(jù)庫部署建議考慮云化服務(wù)和自服務(wù)的能力，充分利用云化資源池能力，按需提供數(shù)據(jù)庫服務(wù)，實現(xiàn)從應(yīng)用節(jié)點到數(shù)據(jù)庫節(jié)點全鏈路的資源彈性伸縮能力。軟硬協(xié)同部署設(shè)計：考慮現(xiàn)有目標(biāo)數(shù)據(jù)庫同傳統(tǒng)數(shù)據(jù)庫整統(tǒng)涉及服務(wù)器、存儲、網(wǎng)絡(luò)、操作系統(tǒng)、中間件等軟硬件組件，要充分協(xié)同各組件的特點及其能力，提升目標(biāo)數(shù)據(jù)庫系統(tǒng)的整體能力。例如，工行的數(shù)據(jù)庫集中式部署協(xié)同企業(yè)級存儲PBTB，基本持平或超過傳統(tǒng)數(shù)據(jù)庫存儲支持容量。集中式和分布式雙棧部署：集中式部署以服務(wù)穩(wěn)態(tài)業(yè)務(wù)場景為主，具備架構(gòu)簡單，易部署易運(yùn)維，兼容存儲過程，應(yīng)用不需重構(gòu)易遷移，數(shù)據(jù)庫網(wǎng)絡(luò)交互少，時延低等特點。集中式FC-SANRoCE-SAN10。圖10集中式部署架構(gòu)示意圖分布式部署以服務(wù)敏態(tài)業(yè)務(wù)場景為主，具備并發(fā)高，適配業(yè)務(wù)量持續(xù)快速擴(kuò)展，容量大，易水平擴(kuò)展，單點故障半徑11。圖11分布式部署架構(gòu)示意圖開放平臺數(shù)據(jù)庫部署建議根據(jù)服務(wù)業(yè)務(wù)場景特征和所需支撐能力，選擇集中式或分布式部署。容災(zāi)方案容災(zāi)等級要求災(zāi)難恢復(fù)管理規(guī)范JR/T0044-2008》和《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范災(zāi)難恢復(fù)要求JR/T0205-2020》，根據(jù)應(yīng)用對應(yīng)的RPO、RTO軟硬協(xié)同容災(zāi)設(shè)計OracleADG、存儲復(fù)制、備份7*24分鐘。備份與恢復(fù)遷移方案遷移方案主要工作包括：數(shù)據(jù)庫遷移方案和應(yīng)用遷移方案。數(shù)據(jù)庫遷移方案數(shù)據(jù)庫遷移方案：參考數(shù)據(jù)庫當(dāng)前部署及容災(zāi)方案的設(shè)計，完成數(shù)據(jù)庫遷移方案設(shè)計。數(shù)據(jù)庫遷移需要同步考慮業(yè)務(wù)邏輯，包含數(shù)據(jù)庫對象遷移、數(shù)據(jù)遷移、應(yīng)用遷移、遷移驗證等方面的分析與設(shè)計。自動化遷移據(jù)庫容量受限，可以采用拆庫等設(shè)計。應(yīng)用遷移方案同應(yīng)用開發(fā)生命周期流程融合應(yīng)用代碼遷移JavaSQLJDBC測試方案全量自動化測試具體原因進(jìn)行優(yōu)化，使其符合業(yè)務(wù)要求。主要測試活動（二）數(shù)據(jù)庫遷移應(yīng)用代碼遷移和測試驗證。數(shù)據(jù)庫對象遷移自動化對象遷移：數(shù)據(jù)庫對象遷移作為遷移階段關(guān)鍵起始工作，涉及對象的范圍廣、數(shù)量多，人工遷移成本高、易于出錯，建議盡量通過自動化工具完成。括分析傳統(tǒng)數(shù)據(jù)庫對象，將靜態(tài)對象DDL轉(zhuǎn)換為目標(biāo)數(shù)據(jù)庫語法，并創(chuàng)建到目標(biāo)庫中等關(guān)鍵步驟。數(shù)據(jù)庫對象：主要包括數(shù)據(jù)庫表、索引、存儲過程、序列、視圖、觸發(fā)器、自定義類型等。遷移過程中，要做好遷移前后源和目標(biāo)數(shù)據(jù)庫對象的比對，保證遷移對象的一致性。數(shù)據(jù)遷移異構(gòu)數(shù)據(jù)庫數(shù)據(jù)復(fù)制工具：數(shù)據(jù)遷移工作是完成數(shù)據(jù)庫遷移及生產(chǎn)投產(chǎn)及切流的前提，建議使用異構(gòu)數(shù)據(jù)庫數(shù)據(jù)復(fù)制工具，實現(xiàn)異構(gòu)數(shù)據(jù)庫間存量數(shù)據(jù)和增量數(shù)據(jù)雙向復(fù)制，完成數(shù)據(jù)遷移工作。數(shù)據(jù)遷移場景全量數(shù)據(jù)遷移和增量數(shù)據(jù)全量數(shù)據(jù)遷移全量數(shù)據(jù)遷移同構(gòu)數(shù)據(jù)庫遷移異構(gòu)數(shù)據(jù)庫的全量遷移SQL增量數(shù)據(jù)遷移增量數(shù)據(jù)遷移：是將源數(shù)據(jù)庫實時變化的數(shù)據(jù)同步到目標(biāo)庫，實現(xiàn)增量遷移的方式有很多種，如基于時間戳的定時同步、基于觸發(fā)器的增量同步和基于日志解析的實時同步，對比各種方式，基于日志解析的同步方式無論從對源庫的影響還是實時性都是最優(yōu)的。應(yīng)用遷移應(yīng)用改造SQL提供源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的差異化列表；SQLSQLSQLSQL、驅(qū)動和數(shù)據(jù)庫工具等的改造替換；完成改造后的應(yīng)用系統(tǒng)的適配測試和性能測試等。流量回放性能回放一致性回放在目標(biāo)庫回放，驗證正確性和抗壓能力。測試驗證SQL自動化測試工具（三）投產(chǎn)運(yùn)行據(jù)庫退庫、安全保護(hù)與運(yùn)維監(jiān)控。1.生產(chǎn)投產(chǎn)“空中換心”：數(shù)據(jù)庫作為金融應(yīng)用系統(tǒng)的關(guān)鍵核心基礎(chǔ)平臺，投產(chǎn)目標(biāo)數(shù)據(jù)庫必須確保應(yīng)用實施“飛機(jī)空中更換發(fā)動機(jī)”之后保持生產(chǎn)平穩(wěn)運(yùn)行。明確投產(chǎn)過程中不能停止業(yè)務(wù)，保證投產(chǎn)數(shù)據(jù)的正確性和投產(chǎn)腳本的健壯性。組織投產(chǎn)演練：為保障投產(chǎn)的穩(wěn)定，可以提前組織并實施投采用完全一致的流程。投產(chǎn)最佳實踐做好提前應(yīng)對及回退計劃，可以借鑒以下經(jīng)驗：應(yīng)用低峰期進(jìn)行投產(chǎn)；投產(chǎn)前做完整的數(shù)據(jù)庫備份，做好回退應(yīng)急方案；2.并行切流傳統(tǒng)數(shù)據(jù)庫退庫安全保護(hù)與運(yùn)維監(jiān)控安全保護(hù)數(shù)據(jù)安全計算數(shù)據(jù)安全傳輸、數(shù)據(jù)安全展示數(shù)據(jù)安全運(yùn)維HTTPS、TLS脫敏技術(shù)解決，數(shù)據(jù)安全存儲通過透明加密。全密態(tài)數(shù)據(jù)庫安全保護(hù)特性：金融數(shù)據(jù)庫的安全是底線，相關(guān)安全要求可以參考《信息安全技術(shù)網(wǎng)絡(luò)安全等級保護(hù)基本要求GB/T22239—20184運(yùn)維監(jiān)控全面對接運(yùn)維體系數(shù)據(jù)庫不死可監(jiān)控能力SQL要能夠保證對外服務(wù)不間斷，同時，要能夠分鐘級處理異常。四、數(shù)據(jù)庫轉(zhuǎn)型實踐（一）現(xiàn)狀7*2420090（二）挑戰(zhàn)過程中面臨諸多挑戰(zhàn)：服務(wù)連續(xù)性能力要求高7*24經(jīng)歷了工商銀行長年復(fù)雜業(yè)務(wù)和高穩(wěn)定的考驗，能支持高性能、和遷移后長期穩(wěn)定可靠運(yùn)行。高級特性和存儲過程重度使用4024200200業(yè)務(wù)邏輯復(fù)雜調(diào)用鏈路相互交織。技術(shù)復(fù)雜度高：業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫轉(zhuǎn)型，往往伴隨著存量技術(shù)度高。遷移改造工作量大全量測試難度高保障生產(chǎn)安全的挑戰(zhàn)大確保轉(zhuǎn)型的平滑、穩(wěn)定、安全，成為數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型中的難點，需做好業(yè)務(wù)雙軌并行、灰度分批切流和應(yīng)急回切等措施來規(guī)避。應(yīng)用系統(tǒng)數(shù)量龐大在全面轉(zhuǎn)型推廣工作中，需支撐不同類型業(yè)務(wù)系統(tǒng)高效、快捷、（三）轉(zhuǎn)型實踐突破數(shù)據(jù)庫關(guān)鍵技術(shù)規(guī)格突破DB2Oracle構(gòu)+集中式體驗”的理念，聯(lián)合華為公司和金融同業(yè)，基于全棧自主創(chuàng)新軟硬件產(chǎn)品，實現(xiàn)了分布式數(shù)據(jù)庫的技術(shù)突破：QPSPB海量數(shù)據(jù)處理需求；SQL/SQL控等，構(gòu)建高效運(yùn)維能力，確保系統(tǒng)穩(wěn)定運(yùn)行。構(gòu)建精簡模式支持集中式數(shù)據(jù)庫原位替換：構(gòu)建精簡模式（分布式數(shù)據(jù)庫的集中部署同時相同產(chǎn)品多部署形態(tài)實現(xiàn)開發(fā)、運(yùn)維能力的統(tǒng)一構(gòu)建。提升容災(zāi)能力構(gòu)建多級容災(zāi)體系A(chǔ)BOracle金融業(yè)務(wù)系統(tǒng)服務(wù)連續(xù)性要求：一是同城雙園區(qū)間通過存儲級復(fù)制實現(xiàn)增量數(shù)據(jù)強(qiáng)一致同步，異地園區(qū)間通過異步方式實現(xiàn)增量日志同步，具備本地RPO=0&RTO<=30秒、同城RPO=0&RTO<180秒和異地RPO<1分鐘&RTO<10分鐘的金融級高可用通力；RPO=0&RTO<18012。12同城雙集群署架構(gòu)示意圖構(gòu)建分級容災(zāi)方案：目前工行綜合應(yīng)用存儲級日志復(fù)制、意見圖13。圖13分級容災(zāi)方案示意圖構(gòu)建原位替代模式降低存量遷移難度針對存量業(yè)務(wù)累積構(gòu)建大量業(yè)務(wù)邏輯內(nèi)嵌到數(shù)據(jù)庫內(nèi)分布式改造難、存儲過程遷移難等問題，工行采用穩(wěn)態(tài)業(yè)務(wù)原位替換模式有效降低技術(shù)復(fù)雜度和轉(zhuǎn)型工作量。解放了應(yīng)用研發(fā)人員的生產(chǎn)力，讓金融科技力量更加聚焦于金融業(yè)務(wù)創(chuàng)新和數(shù)字化轉(zhuǎn)型領(lǐng)域：穩(wěn)態(tài)業(yè)務(wù)原位替換，平滑遷移對有存量存儲過程的業(yè)務(wù)，優(yōu)先采用精簡模式，以集中式部署形態(tài)進(jìn)行平移替換，對于當(dāng)前部分國產(chǎn)數(shù)據(jù)庫并發(fā)性能無法滿足的巨石類業(yè)務(wù)，優(yōu)先考慮進(jìn)行數(shù)據(jù)庫拆分，保留存儲過程，從架構(gòu)層面避免或減輕了遷移改造的諸多挑戰(zhàn)：降低改造難度，減少工作量：避免了大量存儲過程、復(fù)雜SQL改造，減少應(yīng)用控制分布式事務(wù)等方面的負(fù)擔(dān)，同時由于是架構(gòu)平替，降低了存量業(yè)務(wù)工具化遷移難度，進(jìn)一步減少工作量，使有限的精力可更聚焦于業(yè)務(wù)。降低應(yīng)用遷移風(fēng)險：降低了歷史大量累積的業(yè)務(wù)邏輯在遷移時出現(xiàn)問題的風(fēng)險。在業(yè)務(wù)邏輯保持不變的情況下，可以通過自動化測試工具、流量回放工具減輕測試工作量，更好保障遷移質(zhì)量。敏態(tài)業(yè)務(wù)分布式改造對業(yè)務(wù)增長迅速，可通過分片較理想實現(xiàn)并發(fā)、容量提升，且無存量存儲過程、復(fù)雜查詢的業(yè)務(wù)，可進(jìn)行分布式改造，采用分布式數(shù)據(jù)庫替換。實現(xiàn)平滑遷移為解決遷移轉(zhuǎn)換工作量大，測試覆蓋難等問題，工行聯(lián)合Oracle多用，不斷總結(jié)經(jīng)驗，研發(fā)全流程自動化遷移、自動化測試、自動化仿真驗證、灰度切流工具，配套建設(shè)完備的技術(shù)資產(chǎn)社區(qū)和全流程標(biāo)準(zhǔn)化轉(zhuǎn)型工藝，實現(xiàn)了復(fù)雜數(shù)據(jù)庫特性和巨量存90以上，有效解放了生產(chǎn)力，讓科技力量更加聚集于金融業(yè)務(wù)創(chuàng)新和數(shù)字化轉(zhuǎn)型領(lǐng)域。自動化遷移圖、觸發(fā)器、自定義類型等數(shù)據(jù)庫對象和高級包函數(shù)、自治事務(wù)、遞歸調(diào)用、自連接等復(fù)雜特性的自動化遷移能力，以及全9590實施障礙。自動化測試：研發(fā)覆蓋單元測試、功能測試、性能測試、生產(chǎn)驗證和測試管理過程的自動化測試工具鏈，降低測試人力分支覆蓋率達(dá)95，保障數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型過程平穩(wěn)可控。自動化仿真驗證：構(gòu)建交易錄放工具，通過一致性流量回放和性能回放，仿真階段實現(xiàn)業(yè)務(wù)功能全覆蓋測試和接近實際生產(chǎn)業(yè)務(wù)壓力的性能、可用性及可靠性測試?；叶惹辛鳎航ㄔO(shè)異構(gòu)數(shù)據(jù)庫數(shù)據(jù)復(fù)制工具，實現(xiàn)異構(gòu)數(shù)據(jù)庫間存量數(shù)據(jù)和增量數(shù)據(jù)雙向復(fù)制。在雙軌運(yùn)行階段，通過業(yè)務(wù)增量歸檔數(shù)據(jù)在異構(gòu)數(shù)據(jù)庫間的雙向復(fù)制，實現(xiàn)新舊系統(tǒng)業(yè)務(wù)數(shù)據(jù)的準(zhǔn)實時一致，確保故降場景下能及時回切，提升對外服務(wù)的連續(xù)性。數(shù)據(jù)同步效率可達(dá)15OGB/小時。形成開放平臺數(shù)據(jù)庫轉(zhuǎn)型的普適性解決方案在關(guān)鍵技術(shù)突破、原位替代模式和工具體系構(gòu)建基礎(chǔ)上，工行構(gòu)建了預(yù)遷移、數(shù)據(jù)庫對象遷移、數(shù)據(jù)庫對象比對、數(shù)據(jù)同步、應(yīng)用代碼遷移、測試驗證、生產(chǎn)環(huán)境搭建和雙庫井行/灰度引流8個標(biāo)準(zhǔn)工藝步驟，發(fā)布包含架構(gòu)部署指引、接入指引、工具使用指南、語法兼容性指南、改寫指引、常見問題庫40814。圖14數(shù)據(jù)庫轉(zhuǎn)型8個標(biāo)準(zhǔn)工藝步驟（四）轉(zhuǎn)型效果Oracle過程邏輯，低成本、高效可控的原位替換轉(zhuǎn)型技術(shù)方案、配套工具和轉(zhuǎn)型方法論，構(gòu)建全金融業(yè)務(wù)場景支撐能力，廣泛用于130五、金融行業(yè)應(yīng)用數(shù)據(jù)庫轉(zhuǎn)型未來展望（一）云原生數(shù)據(jù)庫各類技術(shù)路線相互融合界和產(chǎn)業(yè)界持續(xù)創(chuàng)新的重點領(lǐng)域，技術(shù)熱點頻現(xiàn)，產(chǎn)品形態(tài)眾多，各數(shù)據(jù)庫技術(shù)路線高速演進(jìn)，呈現(xiàn)出相互融合發(fā)展的趨勢。一是市場競爭推動技術(shù)力量整合。部分研發(fā)實力較強(qiáng)的數(shù)據(jù)庫廠商，前期并行投入多條技術(shù)路線。隨著數(shù)據(jù)庫市場競爭白熱化，不約而同開始推動數(shù)據(jù)庫品牌統(tǒng)一和產(chǎn)品線融合。二是單一產(chǎn)品跨多條技術(shù)路線發(fā)展。從數(shù)據(jù)庫產(chǎn)品的層NewSQL架構(gòu)數(shù)據(jù)引入原生分布式一致性協(xié)議。各技術(shù)路線在融合與交織發(fā)展中，共同向著解決用戶不斷發(fā)展的業(yè)務(wù)需求和使用痛點這一目標(biāo)動態(tài)收斂。分布式數(shù)據(jù)庫產(chǎn)品在金融行業(yè)的應(yīng)用與推廣，無論選擇哪條技術(shù)路線，都需更加重視產(chǎn)品化能力提升。滿足金融行業(yè)在高可用容災(zāi)、數(shù)據(jù)一致性、業(yè)務(wù)連續(xù)性和系統(tǒng)可擴(kuò)展等方面的更高要求，提升分布式環(huán)境下對應(yīng)用研發(fā)和系統(tǒng)運(yùn)維的支持能力，是金融級數(shù)據(jù)庫最核心的競爭力。例如，分布式數(shù)據(jù)庫產(chǎn)品不僅需要提供金融級高可用能力，在節(jié)點級/園區(qū)級異常故障場景下保證數(shù)據(jù)服務(wù)可用性，還需充分考慮新舊數(shù)據(jù)庫系統(tǒng)遷移期間、數(shù)據(jù)庫版本升級期間、云底座或網(wǎng)絡(luò)等基礎(chǔ)設(shè)施升級變更期間、應(yīng)用版本數(shù)據(jù)庫對象投產(chǎn)期間、大批量作業(yè)執(zhí)行期間等各類實際落地的應(yīng)用場景，提供完整的業(yè)務(wù)連續(xù)性解決方案。技術(shù)驅(qū)動型產(chǎn)業(yè)需依次經(jīng)歷技術(shù)、產(chǎn)品、生態(tài)三個發(fā)展階段，分布式數(shù)據(jù)庫目前已轉(zhuǎn)入產(chǎn)品競爭階段。分布式數(shù)據(jù)庫在技術(shù)上屢有突破，在多數(shù)單項技術(shù)指標(biāo)上都能實現(xiàn)對傳統(tǒng)數(shù)據(jù)庫的超越。而在產(chǎn)品化方面，分布式數(shù)據(jù)庫因為發(fā)展時間普遍較短，分布式環(huán)境下又引入了新的挑戰(zhàn)，產(chǎn)品化程度對比商業(yè)集中式數(shù)據(jù)庫還存在一定差距，需要通過實際的應(yīng)用場景持續(xù)打磨，提升產(chǎn)品成熟度。數(shù)據(jù)庫內(nèi)存池化架構(gòu)示意見圖15。內(nèi)存池化，全棧解耦，追求極致的彈性伸縮圖15數(shù)據(jù)庫內(nèi)存池化架構(gòu)示意圖在架構(gòu)上云原生數(shù)據(jù)庫要實現(xiàn)內(nèi)存池化和全棧解耦。當(dāng)前主流商用的云原生數(shù)據(jù)庫都完成了計算層和存儲層的解耦，接下來計算資源層中算力與內(nèi)存也會解耦，計算能力池化、內(nèi)存容量池化、存儲能力池化，達(dá)到“計算－內(nèi)存－外存”三層資源徹底解耦可分別進(jìn)行彈性熱伸縮?；诖嫠惴蛛x三層解耦的云原生數(shù)據(jù)庫，可以支持分鐘級別的節(jié)點擴(kuò)展能力，幾分鐘內(nèi)就可以增加一個只讀節(jié)點；秒級的高可用切換，在幾秒內(nèi)完成端到端的切換；秒級存儲擴(kuò)展能力，秒級資源釋放回收能力，秒級快照備份能力。HTAP，釋放軟硬協(xié)同的潛能圖16HTAP架構(gòu)示意圖內(nèi)存池化后給云原生數(shù)據(jù)庫也會帶來一些新的挑戰(zhàn)，比如內(nèi)存池相比本地內(nèi)存時延是有差異的，數(shù)據(jù)庫軟件結(jié)構(gòu)需要適配改造，減少這部分的影響；內(nèi)存池化后的可靠性恢復(fù)如何保障；內(nèi)存池化后數(shù)據(jù)庫如何管理和判斷存放哪些數(shù)據(jù)；不同業(yè)務(wù)使用內(nèi)存池的隔離性問題等等。如何在技術(shù)上應(yīng)對這些挑戰(zhàn)并將內(nèi)存池更好地用起來，是一個需要持續(xù)探索的領(lǐng)域。HTAP結(jié)合是其中一個趨勢。云原生數(shù)據(jù)OLTPOLAP池軟硬協(xié)同，實現(xiàn)網(wǎng)絡(luò)吞吐的大幅度縮減，同時也將內(nèi)存池的性能優(yōu)勢發(fā)揮到極致。其中的關(guān)鍵技術(shù)包括：1）SCM（StorageClassMemory）PB級數(shù)據(jù)量、萬級并發(fā)、毫秒級訪問時延；2）AI深度學(xué)習(xí)，根據(jù)應(yīng)用負(fù)載和系統(tǒng)資源實現(xiàn)語句級自動彈性，自動確定分析節(jié)點數(shù)量，自動確定單個分析節(jié)點的資源；3）TPRDMADeltaStore，DeltaStore可立刻處理分AP、TP數(shù)據(jù)時延穩(wěn)1ms以內(nèi)；4）在行式存儲引擎和列式存儲引擎上建SQL可以橫跨行存和列存；5）SQLTPAPTP&AP引擎上聯(lián)合執(zhí)行，實現(xiàn)語句級TP&AP引擎協(xié)同執(zhí)行。智能彈性，實現(xiàn)更細(xì)粒度、更精準(zhǔn)的資源調(diào)度Serverless數(shù)據(jù)庫未來還需要具備智能彈性的能力，能夠根據(jù)用戶的歷史負(fù)載計算出用戶特征描述，快速判斷未來的負(fù)載曲線，提前為彈性伸縮準(zhǔn)備好資源，避免負(fù)載沖擊到資源規(guī)格上限，減少系統(tǒng)資源浪費，追求更極致的彈性。消耗，基于服務(wù)等級協(xié)議保障，動態(tài)調(diào)整數(shù)據(jù)庫資源縱向擴(kuò)式共享內(nèi)存的擴(kuò)展緩存池、鎖、事務(wù)狀態(tài)，以及元數(shù)據(jù)管理提升系統(tǒng)的啟動時間以及高密度部署。AI與數(shù)據(jù)庫的融合價值2019年，華為首次發(fā)布了GaussDBAI-Native技術(shù)，并持續(xù)將AI技術(shù)融入數(shù)據(jù)庫內(nèi)核、核心算法和數(shù)據(jù)結(jié)構(gòu)，實現(xiàn)數(shù)據(jù)庫自動優(yōu)化和調(diào)優(yōu)等功能。同時，GaussDB還在分布列推薦、慢SQL發(fā)現(xiàn)與診斷、負(fù)載趨勢預(yù)測與異常檢測等領(lǐng)域，引入AI技術(shù)，大幅提升管理效率，讓數(shù)據(jù)庫管理更加智能高效。AI內(nèi)外協(xié)作，向全場景智AIDB（17），診斷、自調(diào)優(yōu)、自運(yùn)維及自安全的能力，覆蓋數(shù)據(jù)庫全生命周期的管理與優(yōu)化。核心組件包括支撐平臺及服務(wù)平臺，支撐平臺用于采集分析數(shù)據(jù)支持上層服務(wù)；服務(wù)平臺提供智能化的運(yùn)維管理服DBAIforDB上將從專家經(jīng)驗或者規(guī)則，走向全模塊智能化。圖17AIforDB示意圖DBforAI（18），AIAI框架，數(shù)據(jù)不出庫，端到端完成數(shù)據(jù)清洗、特征工程、模型選擇和模型訓(xùn)練，安全可靠、簡單高效；庫內(nèi)原生支持常AIDBDBforAISQLSQL，從單點功能調(diào)用