新一代分布式數(shù)據(jù)庫-王濤

新一代分布式數(shù)據(jù)庫巨杉數(shù)據(jù)庫王濤數(shù)據(jù)庫行業(yè)的技術發(fā)展路線主機關系型數(shù)據(jù)庫分布式數(shù)據(jù)庫層次型數(shù)據(jù)庫小型機關系型數(shù)據(jù)庫層次型數(shù)據(jù)庫集中式架構采用單體應用設計，軟件開發(fā)和運行管理的最小單元是應用，管理力度較粗，集中式架構采用單體應用設計，軟件開發(fā)和運行管理的最小單元是應用，管理力度較粗，踐行輕量化敏捷開發(fā)理念，系統(tǒng)在運行過程中容易出現(xiàn)單點故障，難以有效進行故障隔離。集中式架構普遍缺乏彈性伸縮的能力，隨著交易量和數(shù)據(jù)量的增長，系統(tǒng)支持的容量容易遇到硬件或技術的瓶頸。尤其在支持面向互聯(lián)網(wǎng)海量客戶相關業(yè)務時，不能有效處理瞬時爆發(fā)的海量交易，嚴重制約了海量客戶的獲取以及大規(guī)模業(yè)務營銷?；诩惺郊軜嫷暮诵南到y(tǒng)基礎設施使用小型機或大型機，硬件和軟件采購成本高，開發(fā)和運維主要依賴于服務廠商，服務成本高。技術體系封閉，技術的發(fā)展高度依賴于廠商，特別是依賴國外廠商，缺乏自主可控能力，在一定程度上存在信息安全風險。微服務微服務微服務應用前端應用前端數(shù)據(jù)庫…………微微服務微服務微服務應用前端應用前端數(shù)據(jù)庫…………微服務微服務微服務微服務微服務微服務數(shù)據(jù)庫數(shù)據(jù)庫……傳傳統(tǒng)架構向微服務轉型實例實例實例實例實例實例實例微服務1微服務3微服務微服務1微服務3微服務42??數(shù)據(jù)緊耦合?無法彈性擴張?單點故障集中式存儲微服務1微服務2微服務微服務1微服務2微服務34存儲??數(shù)據(jù)碎片化?數(shù)據(jù)無共享?運維成本高碎片化存儲微服務2微服務3微服務微服務2微服務3微服務14分分布式數(shù)據(jù)庫??微服務對應獨立實例?物理分散存儲?邏輯集中管理分布式存儲核心票據(jù)核心信貸票據(jù)核心信貸票據(jù)分布式交易型數(shù)據(jù)庫技術發(fā)展體系核心票據(jù)核心信貸票據(jù)核心信貸票據(jù)直分庫信信貸124124 分布式中間件(路由分發(fā))3優(yōu)勢劣勢?起點比較早優(yōu)勢劣勢?起點比較早，應用控制能力強，可進進行分庫?數(shù)據(jù)庫內部處理分布式事務與數(shù)據(jù)切，對于應用程序完全透明，不底層數(shù)據(jù)分布?數(shù)據(jù)庫內部原生支持分布式事務，性?高可用與容災能力由數(shù)據(jù)庫內核原生?應用程序邏輯侵入性極強，應用程序行復雜邏輯才能進行合理數(shù)據(jù)?拓撲結構調整或擴容時非常痛苦，幾線擴容?很難支持跨庫事務?技術較新，業(yè)界成熟案例相對較少?輔助工具相對較少，生態(tài)環(huán)境有待完善?對于底層數(shù)據(jù)庫無特殊要求，在中間?應用程序邏輯侵入性較強，應用程序，才能設計?中間件實現(xiàn)分布式事務，跨庫事務使XA降?作為單點向新型分布式數(shù)據(jù)庫轉型的延續(xù)性堪憂式核心交易業(yè)務分布式與擴展性 ACID能應對變化的數(shù)據(jù)量 場景，適應 場景，適應兼容云與多租戶云與多租戶和云數(shù)據(jù)庫的架構理念據(jù)高可用保障計算存儲分離架構計算存儲分離架構彈性擴展能力強大的分布式事務能力?二段提交機制?保證數(shù)據(jù)跨節(jié)點一致性?原生MySQL/PGSQL/不需擔心語法兼容訪問計劃表表設計原則鎖機制二段提交兼容性?流水類數(shù)據(jù)按時間與ID二維切分，避免數(shù)據(jù)搬遷?余額類數(shù)據(jù)按ID散列，保證均衡無熱點?悲觀鎖語法通訊協(xié)議訪問計劃語法通訊協(xié)議訪問計劃主數(shù)據(jù)節(jié)點從數(shù)據(jù)節(jié)點應用程序主數(shù)據(jù)節(jié)主數(shù)據(jù)節(jié)點從數(shù)據(jù)節(jié)點應用程序主數(shù)據(jù)節(jié)點節(jié)點恢復步主數(shù)據(jù)節(jié)點從數(shù)據(jù)節(jié)點節(jié)點恢復步主數(shù)據(jù)節(jié)點從數(shù)據(jù)節(jié)點應用程序從數(shù)據(jù)節(jié)點從數(shù)據(jù)節(jié)點主數(shù)據(jù)節(jié)點應用程序?同分區(qū)內數(shù)據(jù)節(jié)點之間通過心跳保持連接?主節(jié)點2輪接收不到超半數(shù)節(jié)點心跳會自動降備?備節(jié)點2輪接收不到主節(jié)點心跳會發(fā)起選舉投票?超半數(shù)節(jié)點同意后備節(jié)點當選新的主節(jié)點多中心容災能力同城方案2、每個分區(qū)主節(jié)點在主中心3、平時使用強一致同步策略保障數(shù)據(jù)不丟備集群獨立運行雙活方案1、應用程序直連本地數(shù)據(jù)中心數(shù)據(jù)庫協(xié)調節(jié)點2、應用程序不需要關注底層數(shù)據(jù)存儲主備中心復制和通訊策略兩地三中心1、遠程數(shù)據(jù)中心使用異步機制進行數(shù)據(jù)復制2、數(shù)據(jù)中心之間可進行流量控制保證不會占用過多帶寬級備份?全量離線備份?全量在線備份?級備份?全量離線備份?全量在線備份?增量在線備份數(shù)據(jù)庫實例數(shù)據(jù)庫實例數(shù)據(jù)庫實數(shù)據(jù)庫實例分布式集群分布式集群份?讀節(jié)點文件系統(tǒng)全量備份?靜態(tài)文件增量備份 (高可用) (高可用) (高可用) (高可用)微微服務框架下，對成千上萬個MySQL數(shù)據(jù)庫實例做到統(tǒng)一化管理，防止數(shù)據(jù)碎片化，并對來自不同實例和服務的數(shù)據(jù)統(tǒng)一實時分析，避免聯(lián)機交易與分析業(yè)務相互干擾 (高可用)在一個集群內同時提供關系型數(shù)據(jù)庫以及對象存儲實例盡可能減少用戶對于異構產品的學習與運維成本結構化存儲格式結構化存儲格式非結構化存儲格式信貸實例信用卡實例核心賬務實例多租戶權限管理能力信貸實例信用卡實例核心賬務實例每個實例提供完全隔離的權限控制與數(shù)據(jù)可視范圍確保不會管理員不會有意無意使實例訪問被隔離的其他信息渠渠道業(yè)務實例優(yōu)先級策略管理1、針對用戶名與IP地址(數(shù)據(jù)庫實例)定義業(yè)務優(yōu)先級2、硬件資源發(fā)生競爭時基于優(yōu)先級進行調度3、低負載情況下不造成任何額外負擔與開銷4、高負載情況下優(yōu)先調度重要應用金融級應用數(shù)據(jù)領先銀行最大單集群銀行單一集群最大數(shù)據(jù)量銀行最大單集群金融級用戶認可，新一代分布式數(shù)據(jù)庫應用標桿全維度金融客戶跨越兩代數(shù)據(jù)庫技術路線OLTP基因融合最廣泛應用的產品，云數(shù)據(jù)流方向。，覆蓋全維度金融級數(shù)據(jù)應用核心交核心交易實時數(shù)據(jù)服務數(shù)據(jù)中臺管理金融級核心數(shù)據(jù)庫替換之路某股份制銀行打響數(shù)據(jù)庫替某股份制銀行打響數(shù)據(jù)庫替一槍”某大型農信銀行聯(lián)社柜面業(yè)某大型銀行網(wǎng)貸業(yè)務核心替行柜面業(yè)務遷移至巨杉數(shù)據(jù)庫，廣發(fā)銀行數(shù)據(jù)服務平臺，完全遷移至巨杉數(shù)據(jù)庫廣發(fā)銀行數(shù)據(jù)服務平臺，完全遷移至巨杉數(shù)據(jù)庫早應用國產分布式數(shù)據(jù)庫的行案例分布式數(shù)據(jù)庫領域金融行業(yè)最大規(guī)模生產環(huán)境集群之一?使用國產分布式交易型數(shù)作為底層核心?基于微服務架構體系，可?分布式事務一致性管理巨杉數(shù)據(jù)庫：國內金融行業(yè)廣泛使用的新一代國產分布式數(shù)據(jù)庫50家金融級用戶生產系統(tǒng)上線應用底層核心代碼完全從零自技術路線跨越了新老兩代因，創(chuàng)造獨有的技術路線中國金融行業(yè)規(guī)模最大的獨立國產分布式數(shù)據(jù)庫集群之一擁有更豐富的OLTP數(shù)據(jù)庫研發(fā)經驗國內唯一一個連續(xù)三年數(shù)據(jù)庫1海內外業(yè)界認可1據(jù)庫與阿里云為第一批入選產品廠商?連續(xù)3年入選報告的分布式數(shù)據(jù)庫產品2233?82%的用戶為巨杉數(shù)據(jù)庫評價五星滿分?64%的用戶評價來自于金融銀行業(yè)?27%的用戶評價來自于百億美元以上規(guī)模的公司行業(yè)認可與標準制定?參與信通院分布式事務數(shù)據(jù)庫、MPP數(shù)據(jù)庫等標準制定?《金融電子化》雜志多次獲評“優(yōu)秀自主創(chuàng)新”數(shù)據(jù)庫實例數(shù)據(jù)庫實例?進一步提升高可用能力?算子下推存儲節(jié)點，精確計算高性能索引操作大對象引擎?提供S3兼容的對象存儲接口?大對象存儲支持按時間序進行自動分區(qū)數(shù)據(jù)庫引擎?強一致事務性能提升?提升副本數(shù)據(jù)同步性能?提供增量數(shù)據(jù)抽取能力?全文索引支持數(shù)組類型?插入數(shù)據(jù)支持重復鍵替代?索引支持notnull約束快qu命令行操作工具sdb數(shù)據(jù)導入工具sdbimprt數(shù)據(jù)導出工具sdbexprt數(shù)據(jù)庫檢dmsdu數(shù)據(jù)庫密碼工快qu命令行操作工具s