國產(chǎn)數(shù)據(jù)庫多維度思考與實踐-王輝

數(shù)據(jù)庫專家/王輝發(fā)展歷程國內(nèi)數(shù)據(jù)庫200020042008事件人行提出《金融科技發(fā)展規(guī)劃2022-2025》2013年阿里完成去IOE戰(zhàn)略2018中美貿(mào)易戰(zhàn)爆發(fā)十四五數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃國內(nèi)數(shù)據(jù)庫2017年P(guān)ingCAP發(fā)布TiDB1.0版本2019年騰訊發(fā)布TDSQL2019年中興發(fā)布GoldenDB2019年華為發(fā)布GaussDB事件人行提出《金融科技發(fā)展規(guī)劃2022-2025》2013年阿里完成去IOE戰(zhàn)略2018中美貿(mào)易戰(zhàn)爆發(fā)十四五數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃國內(nèi)數(shù)據(jù)庫2017年P(guān)ingCAP發(fā)布TiDB1.0版本2019年騰訊發(fā)布TDSQL2019年中興發(fā)布GoldenDB2019年華為發(fā)布GaussDB2008年進(jìn)入互聯(lián)網(wǎng)時代200020042008事件人行提出《金融科技發(fā)展規(guī)劃2022-2025》2008年進(jìn)入互聯(lián)網(wǎng)時代十四五數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃國內(nèi)數(shù)據(jù)庫2017年P(guān)ingCAP發(fā)布TiDB1.0版本2019年騰訊發(fā)布TDSQL2019年中興發(fā)布GoldenDB2019年華為發(fā)布GaussDB事件人行提出《金融科技發(fā)展規(guī)劃2022-2025》2008年進(jìn)入互聯(lián)網(wǎng)時代十四五數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃國內(nèi)數(shù)據(jù)庫2017年P(guān)ingCAP發(fā)布TiDB1.0版本2019年騰訊發(fā)布TDSQL2019年中興發(fā)布GoldenDB2019年華為發(fā)布GaussDB生態(tài)《分布式數(shù)據(jù)庫金融應(yīng)用遷移要求》《2024數(shù)據(jù)庫發(fā)展研社區(qū)熱度、技術(shù)文章持續(xù)增加少量嘗試國產(chǎn)數(shù)據(jù)庫，未達(dá)到預(yù)期效果各廠商和高校建立培訓(xùn)及證書體系技術(shù)大會國產(chǎn)數(shù)據(jù)庫課題占絕對地位200020042008學(xué)習(xí)、積累嘗試、創(chuàng)新事件業(yè)務(wù)人行提出《金融科技發(fā)展規(guī)劃2022-2025》2008年進(jìn)入互聯(lián)網(wǎng)時代十四五數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃應(yīng)用國際數(shù)據(jù)庫算國內(nèi)數(shù)據(jù)庫2017年P(guān)ingCAP發(fā)布TiDB1.0版本2019年騰訊發(fā)布TDSQL2019年中興發(fā)布GoldenDB2019年華為發(fā)布GaussDB事件業(yè)務(wù)人行提出《金融科技發(fā)展規(guī)劃2022-2025》2008年進(jìn)入互聯(lián)網(wǎng)時代十四五數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃應(yīng)用國際數(shù)據(jù)庫算國內(nèi)數(shù)據(jù)庫2017年P(guān)ingCAP發(fā)布TiDB1.0版本2019年騰訊發(fā)布TDSQL2019年中興發(fā)布GoldenDB2019年華為發(fā)布GaussDB生態(tài)《分布式數(shù)據(jù)庫金融應(yīng)用遷移要求》《2024數(shù)據(jù)庫發(fā)展研社區(qū)熱度、技術(shù)文章持續(xù)增加少量嘗試國產(chǎn)數(shù)據(jù)庫，未達(dá)到預(yù)期效果各廠商和高校建立培訓(xùn)及證書體系技術(shù)大會國產(chǎn)數(shù)據(jù)庫課題占絕對地位200020042008學(xué)習(xí)、積累嘗試、創(chuàng)新平臺工具遷移工具開發(fā)工具SQL審計運維平臺備份軟件開源社區(qū)社區(qū)建設(shè)技術(shù)社區(qū)人才培養(yǎng)高校機構(gòu)數(shù)據(jù)安全全密態(tài)安全軟件國產(chǎn)數(shù)據(jù)庫產(chǎn)品生態(tài)圖（交易型）平臺工具遷移工具開發(fā)工具SQL審計運維平臺備份軟件開源社區(qū)社區(qū)建設(shè)技術(shù)社區(qū)人才培養(yǎng)高校機構(gòu)數(shù)據(jù)安全全密態(tài)安全軟件科技總經(jīng)理科技總經(jīng)理/CIO運維人員運維人員/DBA穩(wěn)定運行快速發(fā)現(xiàn)故障自愈開發(fā)人員開發(fā)人員/架構(gòu)師大金融機構(gòu)大金融機構(gòu)整體分布式解決方案兼容性和數(shù)據(jù)同步解決方案異構(gòu)基礎(chǔ)設(shè)施兼容穩(wěn)定性穩(wěn)定性業(yè)務(wù)人員連續(xù)性連續(xù)性小金融機構(gòu)小金融機構(gòu)核心ISV適配和兼容度服務(wù)伙伴和培訓(xùn)體系成本可控的高可用方案ServerLess存算分離AI4DB兼容能力基礎(chǔ)能力運維能力分布式特性擴(kuò)展能力ServerLess存算分離AI4DB兼容能力基礎(chǔ)能力運維能力分布式特性擴(kuò)展能力核心能力核心能力穩(wěn)定性數(shù)據(jù)庫服務(wù)第三方廠商云數(shù)據(jù)庫廠商數(shù)據(jù)庫原廠商數(shù)據(jù)庫原廠商數(shù)據(jù)庫產(chǎn)品集中式集中式分布式分布式銀行總體業(yè)務(wù)架構(gòu)圖（簡版）渠道層柜面系統(tǒng)柜面系統(tǒng)影像系統(tǒng)影像系統(tǒng)ATMATM系統(tǒng)手機銀行手機銀行代繳費代繳費第三方金融第三方金融供應(yīng)鏈支付供應(yīng)鏈支付前置層前置層渠道整合平臺統(tǒng)一支付平臺中間業(yè)務(wù)平臺渠道整合平臺統(tǒng)一支付平臺中間業(yè)務(wù)平臺互聯(lián)網(wǎng)開放平臺互聯(lián)網(wǎng)開放平臺l企業(yè)服務(wù)交互平臺（SOA/ESB/EAI）業(yè)務(wù)支持層業(yè)務(wù)支持層產(chǎn)品服務(wù)層管理決策層管理決策層支付密碼支付密碼指紋認(rèn)證指紋認(rèn)證身份核查身份核查反洗錢反洗錢總賬系統(tǒng)總賬系統(tǒng)征信查詢征信查詢風(fēng)險識別風(fēng)險識別客戶管理層客戶管理層人力資源人力資源客戶信息管理客戶信息管理數(shù)據(jù)層數(shù)據(jù)倉庫系統(tǒng)歷史數(shù)據(jù)查詢數(shù)據(jù)集市系統(tǒng)綜合報表系統(tǒng)數(shù)據(jù)抽取與報表數(shù)據(jù)層數(shù)據(jù)倉庫系統(tǒng)歷史數(shù)據(jù)查詢數(shù)據(jù)集市系統(tǒng)綜合報表系統(tǒng)數(shù)據(jù)抽取與報表數(shù)據(jù)交互系統(tǒng)單元測試代碼管理持續(xù)集成版本管理組件管理監(jiān)控告警鏈路跟蹤應(yīng)急處置全鏈路壓測故障模擬場景模擬應(yīng)用安全主機安全分布式核心總體架構(gòu)圖單元測試代碼管理持續(xù)集成版本管理組件管理監(jiān)控告警鏈路跟蹤應(yīng)急處置全鏈路壓測故障模擬場景模擬應(yīng)用安全主機安全業(yè)務(wù)產(chǎn)品層應(yīng)用服務(wù)層能力中心產(chǎn)品能力中心產(chǎn)品客戶參數(shù)公共機制統(tǒng)一沖正授權(quán)統(tǒng)一日切7*24公共機制統(tǒng)一沖正授權(quán)統(tǒng)一日切7*24統(tǒng)一報文統(tǒng)一回滾技技術(shù)支持層分布式技術(shù)組件分布式調(diào)度組件分布式事務(wù)組件分布式技術(shù)組件分布式調(diào)度組件分布式事務(wù)組件分布式鎖組件批量處理組件單元化能力組件單元化切換組件服務(wù)編排組件緩存處理組件緩存處理組件服務(wù)調(diào)用組件服務(wù)調(diào)用組件注冊中心配置中心服務(wù)治理監(jiān)控負(fù)載均衡流控組件通信組件事務(wù)組件安全組件微服注冊中心配置中心服務(wù)治理監(jiān)控負(fù)載均衡流控組件通信組件事務(wù)組件安全組件微服務(wù)框架基礎(chǔ)設(shè)施計算資源存儲資源數(shù)據(jù)庫虛擬化計算資源存儲資源數(shù)據(jù)庫虛擬化核心系統(tǒng)轉(zhuǎn)型路徑管理系統(tǒng)->核心系統(tǒng)集中式核心->分布式核心04單元化設(shè)計面臨可靠穩(wěn)定06全鏈路監(jiān)控可靠穩(wěn)定業(yè)務(wù)連續(xù)性數(shù)據(jù)拆分策略業(yè)務(wù)連續(xù)性技術(shù)架構(gòu)策略0205研發(fā)效能設(shè)計要點技術(shù)架構(gòu)策略0205研發(fā)效能分布式運維服務(wù)模型策略分布式運維核心系統(tǒng)國產(chǎn)化建設(shè)?新核心系統(tǒng)具備投產(chǎn)條件，分階段或一次性將業(yè)務(wù)投入生產(chǎn)全面替代?應(yīng)用邏輯不變，但需要適配國產(chǎn)數(shù)據(jù)庫對象和相關(guān)語法及驅(qū)動程序?新核心系統(tǒng)具備投產(chǎn)條件，分階段或一次性將業(yè)務(wù)投入生產(chǎn)全面替代?應(yīng)用邏輯不變，但需要適配國產(chǎn)數(shù)據(jù)庫對象和相關(guān)語法及驅(qū)動程序?由集中式架構(gòu)向分布式架構(gòu)轉(zhuǎn)變，采用分布式數(shù)據(jù)庫實現(xiàn)?構(gòu)建分布式技術(shù)平臺?采用成熟技術(shù)，快速具備投產(chǎn)條件?難度小業(yè)務(wù)先行下移?技術(shù)平臺持續(xù)完善?引入交易回放系統(tǒng)?全新開發(fā)核心系統(tǒng)，采用微服務(wù)或單元化架構(gòu)，但依然要適配選型設(shè)計選型設(shè)計應(yīng)用適配應(yīng)用適配測試驗證測試驗證環(huán)境部署環(huán)境部署系統(tǒng)切換系統(tǒng)切換生產(chǎn)運維生產(chǎn)運維培訓(xùn)文檔培訓(xùn)文檔微服務(wù)架構(gòu)利用微服務(wù)的理念解耦應(yīng)用單元化通過合理數(shù)據(jù)拆分，將業(yè)務(wù)在一個單元內(nèi)閉環(huán)單元路由服務(wù)網(wǎng)關(guān)單元內(nèi)數(shù)據(jù)單元2單元內(nèi)數(shù)據(jù)單元1服務(wù)數(shù)據(jù)微服務(wù)服務(wù)數(shù)據(jù)微服務(wù)服務(wù)數(shù)據(jù)微服務(wù)微服務(wù)架構(gòu)利用微服務(wù)的理念解耦應(yīng)用單元化通過合理數(shù)據(jù)拆分，將業(yè)務(wù)在一個單元內(nèi)閉環(huán)單元路由服務(wù)網(wǎng)關(guān)單元內(nèi)數(shù)據(jù)單元2單元內(nèi)數(shù)據(jù)單元1服務(wù)數(shù)據(jù)微服務(wù)服務(wù)數(shù)據(jù)微服務(wù)服務(wù)數(shù)據(jù)微服務(wù)APIAPIAPI傳統(tǒng)集中式架構(gòu)!!單元2單元內(nèi)數(shù)據(jù)單元內(nèi)數(shù)據(jù)解決了大規(guī)模集群的發(fā)型和故障隔離能力它是對微服務(wù)的加強，并不局限于微服務(wù)架構(gòu)。切換方案數(shù)據(jù)庫實現(xiàn)一次性切換新源通過業(yè)務(wù)側(cè)實現(xiàn)一次性切換數(shù)據(jù)庫實現(xiàn)一次性切換新源通過業(yè)務(wù)側(cè)實現(xiàn)一次性切換新源并行驗證階段新源新雙軌并行階段新源源全面投產(chǎn)階段 源新源在線業(yè)務(wù)無感切換在線業(yè)務(wù)無感切換全量數(shù)據(jù)機窗口歷史數(shù)據(jù)+新數(shù)據(jù)據(jù)全量數(shù)據(jù)+增量數(shù)據(jù)下初始階段!源在線逐步切換用戶!源新新新全面切換完成新↓↓源源 !源 新統(tǒng)一數(shù)據(jù)庫DBaaS運維平臺建設(shè)核心借記卡系統(tǒng)改造實踐核心借記卡系統(tǒng)改造實踐核心借記卡系統(tǒng)改造實踐開發(fā)C語言O(shè)racleAIX開發(fā)C語言O(shè)racleAIX開發(fā)C語言O(shè)DBCGaussDB應(yīng)用層n應(yīng)用程序與邏輯不變下完成適配改造應(yīng)用層數(shù)據(jù)庫層n數(shù)據(jù)庫由商用集中式改為國產(chǎn)分布式數(shù)據(jù)庫層操作系統(tǒng)操作系統(tǒng)服務(wù)器n基礎(chǔ)軟硬件由IOE架構(gòu)改為全棧國產(chǎn)架構(gòu)服務(wù)器核心借記卡系統(tǒng)改造實踐同城RPO=0,RTO<60秒異地RPO<1分鐘，RTO<1分鐘4C4D，1主3從4副本節(jié)點故障自動切換，無需人工參與，應(yīng)用無感知兩區(qū)四域三中心架構(gòu)n助力人工智能高效建模通過數(shù)據(jù)庫平臺中的SQL、Python、自動機器學(xué)習(xí)