金融業(yè)數(shù)據(jù)庫(kù)創(chuàng)新發(fā)展報(bào)告

編制委員會(huì)）：郭志軍、侯敏、黃海明、李永海、馬波勇、馬曉煦）：孫騰騰、孫偉、唐思源、王楓、王富國(guó)、II 1 2 2 5 7 7 8 9 11 14 14 15 17 18 19 20 23 25 25 26 26 27 2812發(fā)展和安全可控的需要，金融機(jī)構(gòu)普遍采取“先外圍、后核心”3410.95%9.52%10.95%9.52%0.82%0.00%10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%100.00%OLTP數(shù)據(jù)庫(kù)占比OLAP數(shù)據(jù)庫(kù)占比HTAP數(shù)據(jù)庫(kù)占比金融業(yè)應(yīng)用占比已達(dá)到14.58%。相對(duì)證券業(yè)和保險(xiǎn)業(yè)，銀行業(yè)用，其中時(shí)序數(shù)據(jù)庫(kù)在證券業(yè)首先開(kāi)始應(yīng)用，占比為4.8%。金5關(guān)系型、非關(guān)系型數(shù)據(jù)庫(kù)占比情況100.00%80.00%60.00%40.00%20.00%0.00%關(guān)系型數(shù)據(jù)庫(kù)占比非關(guān)系型數(shù)據(jù)庫(kù)占比活躍的社區(qū)支持也為日益復(fù)雜的業(yè)務(wù)需求貢獻(xiàn)了越來(lái)越多的解67庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)有力支持了金融機(jī)構(gòu)開(kāi)展數(shù)據(jù)挖掘推動(dòng)數(shù)據(jù)能力建設(shè)，助力金融業(yè)務(wù)創(chuàng)新。另外，根據(jù)調(diào)8場(chǎng)景要求數(shù)據(jù)庫(kù)響應(yīng)時(shí)間能夠達(dá)到毫秒甚至亞毫秒級(jí)別，OLAP9二是我國(guó)數(shù)據(jù)庫(kù)產(chǎn)品災(zāi)備和數(shù)據(jù)同步水平還難以完全滿足過(guò)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)一步加強(qiáng)對(duì)不同業(yè)務(wù)部門(mén)數(shù)據(jù)的集中存儲(chǔ)管關(guān)系,構(gòu)建包含實(shí)體、事件、概念之間關(guān)系的圖模型，進(jìn)行復(fù)雜索。總體來(lái)看，非關(guān)系數(shù)據(jù)庫(kù)在海量文件存儲(chǔ)還要支持對(duì)數(shù)據(jù)湖等系統(tǒng)中存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)庫(kù)中，雖能保證高并發(fā)讀寫(xiě)下的數(shù)據(jù)強(qiáng)一致，但是關(guān)鍵信息基礎(chǔ)設(shè)施領(lǐng)域數(shù)據(jù)安全問(wèn)題被提升到國(guó)家安全戰(zhàn)略高OceanBase、IvorySQL、PolarDB等項(xiàng)目相繼推出，越來(lái)越多的金融機(jī)構(gòu)有效防控單一供應(yīng)商風(fēng)險(xiǎn)和日益復(fù)雜的供應(yīng)鏈安全風(fēng)議，在其他一些開(kāi)源項(xiàng)目中還可以觀察到由開(kāi)源直接轉(zhuǎn)為閉源一種是源代碼由國(guó)內(nèi)數(shù)據(jù)庫(kù)廠商完全自研后選擇開(kāi)源模式進(jìn)行在一般業(yè)務(wù)和管理類系統(tǒng)應(yīng)用使用了開(kāi)源MySQL，普遍面臨難以通過(guò)傳統(tǒng)的專利和知識(shí)產(chǎn)權(quán)保護(hù)手段來(lái)證明自己的創(chuàng)新性據(jù)庫(kù)技術(shù)人才培養(yǎng)，并獲取社區(qū)對(duì)開(kāi)源數(shù)據(jù)庫(kù)使用的更好服務(wù)。附錄：金融業(yè)數(shù)據(jù)庫(kù)優(yōu)秀應(yīng)用案例集 1 1 5 5 13 16 23 26 29 29 33 36 36 39 46 50 55 58 61案例十八：梅州客商銀行新核心業(yè)務(wù)系統(tǒng)中達(dá)夢(mèng)高容災(zāi)可用性應(yīng)用實(shí)踐 65案例十九：某銀行核心業(yè)務(wù)領(lǐng)域GBase8c多模多態(tài)分布式數(shù)據(jù)庫(kù)應(yīng)用 68 72 72 75 79 79 82 86 90 90 961一、政策性銀行及開(kāi)發(fā)性金融機(jī)構(gòu)23布式文件系統(tǒng)，可以按需部署，避免了傳統(tǒng)的數(shù)據(jù)庫(kù)和45（一）項(xiàng)目實(shí)施模式6應(yīng)用采用Java攔截器特性進(jìn)行雙寫(xiě)。需要改造做雙寫(xiě)表，利用DRS繼續(xù)同步應(yīng)用相關(guān)參數(shù)表，由于7為基準(zhǔn)，反向與DB2/Oracle的數(shù)據(jù)進(jìn)行校驗(yàn)。Java攔截器8針對(duì)第二個(gè)問(wèn)題，通過(guò)增加主鍵或唯一鍵的表;早批文件加9庫(kù)幾十T，對(duì)基礎(chǔ)設(shè)施及數(shù)據(jù)庫(kù)的性能容量提出了較大的挑戰(zhàn)。用一主一備，即使是OracleRAC，由于共享存儲(chǔ)的限制，也最5.數(shù)據(jù)同步挑戰(zhàn)大：大型業(yè)務(wù)系統(tǒng)高峰期超過(guò)幾百G/小時(shí)型業(yè)務(wù)場(chǎng)景，初步形成一套涵蓋工行主要商用交易型數(shù)據(jù)庫(kù)力。二是系統(tǒng)可用性高。具備同城雙園區(qū)+異地園區(qū)部署能力，向開(kāi)放創(chuàng)新平臺(tái)的遷移，自動(dòng)遷移成功率和編譯通過(guò)率均可達(dá)在新系統(tǒng)分別進(jìn)行一致性流量回放和性能回放實(shí)現(xiàn)功能和性能實(shí)踐中，充分總結(jié)經(jīng)驗(yàn)，編寫(xiě)了轉(zhuǎn)型部署方案采用MPP數(shù)據(jù)庫(kù)虛擬集群技術(shù)對(duì)多個(gè)虛擬子集群進(jìn)行統(tǒng)署可充分發(fā)揮NUMA服務(wù)器的性能，降低大數(shù)據(jù)計(jì)算場(chǎng)景下跨NUMA節(jié)點(diǎn)內(nèi)存訪問(wèn)帶來(lái)的性能損耗，大幅提升大數(shù)據(jù)平臺(tái)的計(jì)RAID技術(shù)、冗余電源、網(wǎng)卡綁定、多機(jī)架高可用等保障運(yùn)行環(huán)首期全棧創(chuàng)新改造基于新建的數(shù)據(jù)湖倉(cāng)項(xiàng)目進(jìn)行，使用GBase8aMPPClsuter作為數(shù)據(jù)倉(cāng)庫(kù)面向海量數(shù)據(jù)分析型應(yīng)用8aMPPCluster的數(shù)據(jù)文件通過(guò)備份恢復(fù)方式遷服務(wù)器上，之后對(duì)海光芯片服務(wù)器上的GBase8aMPPCluster實(shí)例，每個(gè)節(jié)點(diǎn)實(shí)例綁定一組相鄰的NUMANode，降低跨NUMANode內(nèi)存訪問(wèn)帶來(lái)的性能損耗，同時(shí)提高GBase8aMPPCluster針對(duì)創(chuàng)新應(yīng)用平臺(tái)進(jìn)行了全面的優(yōu)化改造，通過(guò)多實(shí)例部署、編譯參數(shù)優(yōu)化、硬件加速優(yōu)化提升GBase8aMPPCluster的管理集群、數(shù)GoldenDB分布式數(shù)據(jù)庫(kù)提供大規(guī)模數(shù)據(jù)存儲(chǔ)和高并發(fā)數(shù)據(jù)庫(kù)訪問(wèn)能力。GoldenDB實(shí)現(xiàn)數(shù)據(jù)多分片、彈性擴(kuò)容和分布式事圖2對(duì)私核心業(yè)務(wù)數(shù)據(jù)庫(kù)系統(tǒng)框架上配臵大量業(yè)務(wù)處理單元的定位信息和路由數(shù)據(jù),維護(hù)和變更分布式數(shù)據(jù)庫(kù)投產(chǎn)，對(duì)私核心請(qǐng)求達(dá)8000+TPS，系統(tǒng)投產(chǎn)至今交通銀行核心貸記卡系統(tǒng)采用單元化多機(jī)房多活整體解決新一代分布式云計(jì)算平臺(tái)是交通銀行分布式信息系統(tǒng)建設(shè)zOS的技術(shù)體系，整體架構(gòu)穩(wěn)定但技術(shù)棧封閉、很難水平擴(kuò)展，易量，并通過(guò)“同城雙活+異地災(zāi)備”的兩地三中心容災(zāi)架構(gòu)，規(guī)模龐大、場(chǎng)景復(fù)雜、數(shù)據(jù)量巨大的業(yè)務(wù)特點(diǎn)庫(kù)幾十T，對(duì)基礎(chǔ)設(shè)施及數(shù)據(jù)庫(kù)的性能容量提出了較大的挑戰(zhàn)。用一主一備，即使是OracleRAC，由于共享存儲(chǔ)的限制，也最5.數(shù)據(jù)同步挑戰(zhàn)大：大型業(yè)務(wù)系統(tǒng)高峰期超過(guò)幾百G/小時(shí)開(kāi)源數(shù)據(jù)庫(kù)與GaussDB分布式云數(shù)據(jù)庫(kù)將繼續(xù)全力支持郵儲(chǔ)銀平安銀行信用卡新核心選用騰訊云企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)TDSQL，構(gòu)建了一套能夠快速實(shí)現(xiàn)業(yè)務(wù)交付且靈活富有彈性的核致、實(shí)時(shí)監(jiān)控、實(shí)時(shí)冷備等功能；在運(yùn)維層面，基于TDSQL建1.平安銀行信用卡新核心單元化架構(gòu)基于專門(mén)打造的分布本方面，根據(jù)實(shí)際的測(cè)算，以5年為周期，新核心系統(tǒng)相比老光大銀行原有信用卡核心系統(tǒng)受限于傳統(tǒng)主機(jī)核心系統(tǒng)的圖1信用卡新一代綜合業(yè)務(wù)管理系統(tǒng)架構(gòu)用“微服務(wù)架構(gòu)+分布式數(shù)據(jù)庫(kù)”的建設(shè)方案，構(gòu)建起一套支持作為生產(chǎn)集群承擔(dān)日常的生產(chǎn)服務(wù)，主從之間采用Kafka北京銀行首先在網(wǎng)聯(lián)支付清算平臺(tái)和銀聯(lián)無(wú)卡快捷支付系融日歷、查詢服務(wù)都已經(jīng)進(jìn)行了分布式架構(gòu)的升級(jí)，完成了與北京銀行分布式核心系統(tǒng)建設(shè)項(xiàng)目榮獲2020年度亞洲銀放數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市。實(shí)時(shí)數(shù)據(jù)區(qū)單獨(dú)部署一個(gè)集群，采用類應(yīng)用場(chǎng)景實(shí)際需求。沙箱區(qū)單獨(dú)部署一個(gè)集群，采用BEH和常規(guī)高性價(jià)比服務(wù)器。歷史區(qū)單獨(dú)部署一個(gè)集群，主要部署CirroData，存放歷史數(shù)據(jù)，采用低計(jì)算高存儲(chǔ)的服務(wù)器，降低布式文件系統(tǒng)，可以按需部署，避免了傳統(tǒng)的數(shù)據(jù)庫(kù)和中，非結(jié)構(gòu)化數(shù)據(jù)主要存儲(chǔ)在大數(shù)據(jù)組件中的處理性能和聯(lián)機(jī)查詢性能也保證了企業(yè)內(nèi)的大部分應(yīng)貴陽(yáng)銀行信用卡管理平臺(tái)項(xiàng)目結(jié)合貴陽(yáng)銀行信用卡業(yè)務(wù)發(fā)務(wù)辦理流水，包括客戶申請(qǐng)卡片、投訴、寄遞、貴陽(yáng)銀行信用卡管理系統(tǒng)支持分布式部署和支持集群部署對(duì)松散耦合的粗粒度應(yīng)用組件進(jìn)行分布式部署、組合和使用,使用服務(wù)的方式暴露接口,可高效快速的集成其他微服務(wù)系統(tǒng),減移SUNDB時(shí)面臨接口不兼容情形，為避免較多的代江西銀行選擇科藍(lán)軟件對(duì)企業(yè)網(wǎng)銀系統(tǒng)進(jìn)行技術(shù)架構(gòu)升級(jí)江西銀行企業(yè)網(wǎng)銀通過(guò)對(duì)傳統(tǒng)單體應(yīng)用的電子渠道系統(tǒng)進(jìn)用架構(gòu)升級(jí)改造場(chǎng)景，某些銀行核心業(yè)務(wù)應(yīng)用場(chǎng)景主要是OLTP交易型+報(bào)表分析型混合業(yè)務(wù)場(chǎng)景，具有交易復(fù)雜度高、數(shù)據(jù)強(qiáng)作為第一批在核心交易系統(tǒng)中采用我國(guó)數(shù)據(jù)庫(kù)產(chǎn)品的湖北5.在人力成本和開(kāi)發(fā)成本方面，由于達(dá)夢(mèng)數(shù)據(jù)庫(kù)全面支持錢(qián)系統(tǒng)在全棧創(chuàng)新環(huán)境下平穩(wěn)高效的運(yùn)行。目前業(yè)務(wù)數(shù)據(jù)量在分析定位其核心原因?yàn)閮煽顢?shù)據(jù)庫(kù)產(chǎn)品的查詢優(yōu)化器算法上差本次項(xiàng)目建設(shè)實(shí)現(xiàn)了核心系統(tǒng)及相關(guān)配合改造系統(tǒng)的全局層實(shí)施的創(chuàng)新路線：基礎(chǔ)功能與適配要求分析）；）；服務(wù)能力、產(chǎn)品工具、風(fēng)險(xiǎn)防控、創(chuàng)新引擎等多領(lǐng)域支撐能力。新一代分布式核心系統(tǒng)是河北省首家在核心系統(tǒng)應(yīng)用我國(guó)新一代分布式核心系統(tǒng)建設(shè)不僅滿足了原有核心系統(tǒng)全部性組織支持、精細(xì)化管理、差異化定價(jià)、產(chǎn)品快速創(chuàng)新、IT系新一代分布式核心系統(tǒng)建設(shè)是秦皇島銀行改革發(fā)展的標(biāo)志終選擇達(dá)夢(mèng)數(shù)據(jù)庫(kù)作為唯一一家入圍的數(shù)據(jù)庫(kù)廠商參與梅州客針對(duì)銀行核心業(yè)務(wù)系統(tǒng)中大量的OracleRAC+DataGuard梅州客商銀行核心業(yè)務(wù)系統(tǒng)遷移改造項(xiàng)目，通1.通過(guò)部署我國(guó)共享存儲(chǔ)集群+集中式主備的異地兩中心高集群+集中式組合架構(gòu)，實(shí)現(xiàn)了架構(gòu)、語(yǔ)法、存儲(chǔ)結(jié)構(gòu)等不同層通過(guò)此項(xiàng)目積累了我國(guó)數(shù)據(jù)庫(kù)產(chǎn)品技術(shù)儲(chǔ)備，制定了類似創(chuàng)新，逐步實(shí)現(xiàn)了該銀行對(duì)公/零售信貸業(yè)務(wù)、風(fēng)控業(yè)務(wù)、未來(lái)聯(lián)網(wǎng)中臺(tái)業(yè)務(wù)、對(duì)公/零售信貸業(yè)務(wù)、風(fēng)控業(yè)務(wù)等系統(tǒng)的全業(yè)務(wù)數(shù)據(jù)，從安裝部署、數(shù)據(jù)遷移、在線升級(jí)、在線擴(kuò)/縮容、應(yīng)用GBase8c數(shù)據(jù)庫(kù)支持國(guó)內(nèi)所有安全可控服務(wù)器、操作系統(tǒng)案例二十：廣東農(nóng)信數(shù)據(jù)庫(kù)聯(lián)合實(shí)驗(yàn)室企業(yè)網(wǎng)銀和銀企直連廣東省農(nóng)村信用社聯(lián)合社與科藍(lán)軟件成立數(shù)據(jù)庫(kù)聯(lián)合實(shí)驗(yàn)范的Context傳遞參數(shù)，將銀企直連和企業(yè)網(wǎng)3.數(shù)據(jù)庫(kù)性能、存儲(chǔ)瓶頸和成本。采用傳統(tǒng)集中式數(shù)據(jù)庫(kù)網(wǎng)銀結(jié)合的平滑升級(jí)，豐富了銀企直聯(lián)能力，讀寫(xiě)服務(wù)；此外，OceanStorDorado可提供慢盤(pán)隔離、故障預(yù)浙江農(nóng)商聯(lián)合銀行改造初期采用基于服務(wù)器本地盤(pán)存儲(chǔ)的存算一體架構(gòu)，并很快面臨三大問(wèn)題。通過(guò)與華為存儲(chǔ)、騰訊存儲(chǔ)和騰訊TDSQL數(shù)據(jù)庫(kù)的存算分離架構(gòu)方案，彰顯三大優(yōu)勢(shì)：現(xiàn)網(wǎng)測(cè)試中，存算分離架構(gòu)方案在查詢內(nèi)場(chǎng)景下平均性能提升案例二十二：中信建投OTC核心業(yè)務(wù)系統(tǒng)中中信建投OTC核心業(yè)務(wù)系統(tǒng)，應(yīng)用場(chǎng)景主要特點(diǎn)是高并發(fā)詢、以及高頻率跑批業(yè)務(wù)數(shù)據(jù)分析等多種復(fù)雜業(yè)務(wù)交織的HTAP擇集中式主備架構(gòu)的達(dá)夢(mèng)數(shù)據(jù)守護(hù)集群DataWatch來(lái)處理證券3.HTAP新型混合業(yè)務(wù)場(chǎng)景的應(yīng)用層面，通過(guò)規(guī)劃不同業(yè)務(wù)案例二十三：國(guó)泰君安證券新一代分布式核心交易系統(tǒng)當(dāng)前證券行業(yè)核心交易系統(tǒng)架構(gòu)多以應(yīng)用加分庫(kù)方案構(gòu)建據(jù)庫(kù)完成新一代分布式核心交易系統(tǒng)在生產(chǎn)環(huán)境中的全棧軟硬目標(biāo)后，為了適應(yīng)證券行業(yè)核心系統(tǒng)的海量數(shù)據(jù)支撐需求，GoldenDB進(jìn)一步實(shí)現(xiàn)了高并發(fā)壓力處理情況下實(shí)現(xiàn)低資源使用案例二十四：申萬(wàn)宏源證券阿里云數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB國(guó)內(nèi)領(lǐng)先的券商企業(yè)申萬(wàn)宏源證券成功完成了商業(yè)數(shù)據(jù)倉(cāng)