2023云棲大會(huì)：開(kāi)源 PolarDB 架構(gòu)演進(jìn)、關(guān)鍵技術(shù)與社區(qū)建設(shè)

阿里云數(shù)據(jù)庫(kù)高級(jí)產(chǎn)品專(zhuān)家PolarDB開(kāi)源社區(qū)運(yùn)營(yíng)負(fù)責(zé)人01開(kāi)源PolarDB02開(kāi)源PolarDB關(guān)鍵技術(shù)03開(kāi)源PolarDB社區(qū)建設(shè)EvolutionofOpenSourcePolarDBArchitectureAPSARA云棲大會(huì)技術(shù)趨勢(shì)：云計(jì)算加速數(shù)據(jù)庫(kù)系統(tǒng)演進(jìn)AWSAurora,RedshiftAWSAurora,RedshiftAzureSQLDatabase發(fā)展歷程SAPHana數(shù)據(jù)庫(kù)結(jié)構(gòu)化數(shù)據(jù)在線(xiàn)處理海量數(shù)據(jù)計(jì)算與分析異構(gòu)數(shù)據(jù)類(lèi)型異構(gòu)數(shù)據(jù)類(lèi)型空間/時(shí)空結(jié)構(gòu)化文本數(shù)據(jù)據(jù)關(guān)系型數(shù)據(jù)庫(kù)NoSQL/NewSQL數(shù)據(jù)庫(kù)云原生分布式/軟硬一體云原生分布式/軟硬一體化云計(jì)算+數(shù)據(jù)庫(kù)挑戰(zhàn)與機(jī)遇計(jì)算機(jī)的本質(zhì)：計(jì)算+存儲(chǔ)+數(shù)據(jù)生產(chǎn)+處理+存儲(chǔ)+消費(fèi)?計(jì)算分析一體化減少數(shù)據(jù)移動(dòng)?存儲(chǔ)計(jì)算分離資源池化、解耦?云原生+分布式為基礎(chǔ)PolarDB-X3.0/AnalyticDB3.0云原生分布式架構(gòu)結(jié)合云原生資源解耦池化和分布式水平擴(kuò)展的能力。擴(kuò)展能力不受限制，同時(shí)也可以利用存儲(chǔ)計(jì)算分離實(shí)現(xiàn)資源獨(dú)立彈性，是PolarDB的主要發(fā)展方向云原生資源解耦與池化技術(shù)是實(shí)現(xiàn)彈性能力的關(guān)鍵BarrierBarrier云原生分布式PolarDB-X3.0/AnalyticDB3.0云原生分布式架構(gòu)結(jié)合云原生資源解耦池化和分布式水平擴(kuò)展的能力。擴(kuò)展能力不受限制，同時(shí)也可以利用存儲(chǔ)計(jì)算分離實(shí)現(xiàn)資源獨(dú)立彈性，是PolarDB的主要發(fā)展方向云原生資源解耦與池化技術(shù)是實(shí)現(xiàn)彈性能力的關(guān)鍵BarrierBarrier云原生分布式APSARA云棲大會(huì)傳統(tǒng)單機(jī)數(shù)據(jù)庫(kù)傳統(tǒng)單機(jī)數(shù)據(jù)庫(kù)?擴(kuò)展性不足共享存儲(chǔ)架構(gòu)共享存儲(chǔ)架構(gòu) 共享存儲(chǔ)共享存儲(chǔ)?易于實(shí)現(xiàn)事務(wù)一致性?保證與單機(jī)數(shù)據(jù)庫(kù)兼容性?DB節(jié)點(diǎn)擴(kuò)展能力有限?存儲(chǔ)擴(kuò)展受限于共享存儲(chǔ)單節(jié)點(diǎn)單節(jié)點(diǎn)分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)tt本地磁盤(pán)本地磁盤(pán)本地磁盤(pán)本地磁盤(pán)本地本地磁盤(pán)?具備良好的水平擴(kuò)展能力以及大規(guī)模?存儲(chǔ)和計(jì)算綁定無(wú)法獨(dú)立擴(kuò)展?數(shù)據(jù)分片帶來(lái)跨節(jié)點(diǎn)處理查詢(xún)和事務(wù)?難以保持對(duì)單機(jī)數(shù)據(jù)庫(kù)兼容性APSARA云棲大會(huì)PolarDB是阿里云開(kāi)源自研的云原生數(shù)據(jù)庫(kù)，100%兼容MySQL和PostgreSQL，高度兼容Oracle語(yǔ)法，基于云原生架構(gòu)、存儲(chǔ)計(jì)算分離、軟硬件一體化設(shè)計(jì)，支持云原生的集中式和分布式部署形態(tài)，為用戶(hù)提供具備極致彈性、超高性能、海量數(shù)據(jù)、高可用、高性?xún)r(jià)比的數(shù)據(jù)庫(kù)服務(wù)。云原生數(shù)據(jù)庫(kù)，覆蓋傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)全場(chǎng)景?極致彈性、高性能、海量存儲(chǔ)（100TB）、安全可靠?基于分布式架構(gòu)和普通PC服務(wù)器，提供與商用數(shù)據(jù)庫(kù)相當(dāng)?shù)哪芰邆涓呖捎?、高可靠、線(xiàn)性擴(kuò)展、低成本、高性能等核心技術(shù)優(yōu)勢(shì)分布式?面向海量數(shù)據(jù)存儲(chǔ)、超高并發(fā)吞吐、復(fù)雜計(jì)214企業(yè)級(jí)能力3三層解耦，按需收費(fèi) 計(jì)算資源GlobalLockGlobaltrx?資源秒級(jí)擴(kuò)縮容，根據(jù)負(fù)載與資源動(dòng)態(tài)匹配的按量付費(fèi)，對(duì)于有間歇、潮汐等場(chǎng)景的可節(jié)省大量成本原生多生產(chǎn)庫(kù)和匯聚庫(kù)能力生產(chǎn)庫(kù)2生產(chǎn)庫(kù)3生產(chǎn)庫(kù)4匯聚庫(kù)分析庫(kù)分析庫(kù)分析庫(kù)?多主多寫(xiě)架構(gòu)，最大支持32節(jié)點(diǎn)同時(shí)寫(xiě)入，更好的性能和擴(kuò)展能力?214企業(yè)級(jí)能力3三層解耦，按需收費(fèi) 計(jì)算資源GlobalLockGlobaltrx?資源秒級(jí)擴(kuò)縮容，根據(jù)負(fù)載與資源動(dòng)態(tài)匹配的按量付費(fèi)，對(duì)于有間歇、潮汐等場(chǎng)景的可節(jié)省大量成本原生多生產(chǎn)庫(kù)和匯聚庫(kù)能力生產(chǎn)庫(kù)2生產(chǎn)庫(kù)3生產(chǎn)庫(kù)4匯聚庫(kù)分析庫(kù)分析庫(kù)分析庫(kù)?多主多寫(xiě)架構(gòu)，最大支持32節(jié)點(diǎn)同時(shí)寫(xiě)入，更好的性能和擴(kuò)展能力?跨節(jié)點(diǎn)動(dòng)態(tài)調(diào)度，故障秒級(jí)完成應(yīng)用SQL數(shù)據(jù)數(shù)據(jù)庫(kù)對(duì)象數(shù)據(jù)庫(kù)Job應(yīng)用SQL數(shù)據(jù)PolarDB端到端Oracle替換方案數(shù)據(jù)庫(kù)對(duì)象數(shù)據(jù)庫(kù)JobOracle?100%兼容MySQL/PG，高度兼容Oracle語(yǔ)法、同城/異地容災(zāi)，完善的去O方案?支持多樣化的芯片和操作系統(tǒng)，全棧?開(kāi)源開(kāi)放真正意義上避免“LockIn”原生HTAP同時(shí)提供交易和分析能力RO(IMCI)業(yè)務(wù)邏輯RO(IMCI)?一體化云原生HTAP產(chǎn)品，極簡(jiǎn)運(yùn)維?內(nèi)存列存索引(In-MemoryColumn術(shù)，實(shí)現(xiàn)分析性能百倍加速集群地址生產(chǎn)庫(kù)1 計(jì)算資源GlobalBufferPoolAPSARA云棲大會(huì)55體化分布式數(shù)據(jù)庫(kù)架構(gòu)體化分布式數(shù)據(jù)庫(kù)架構(gòu)?云原生分布式數(shù)據(jù)庫(kù)，原生MySQL生態(tài)?支持自動(dòng)負(fù)載均衡、分布式高可用、分布式事務(wù)、全局二級(jí)索引等重要分布式特性?透明分布式提供單機(jī)MySQL的用戶(hù)體驗(yàn)TSO/TopologyTopologyCNCluster…CDCCluster一TSO/TopologyTopologyCNCluster…CDCCluster一DNCluster…?開(kāi)源PolarDB-PG分布式功能程碑v2.2版本開(kāi)源PolarDB-PG業(yè)級(jí)特性、分布式?開(kāi)源PolarDB-PG分布式功能程碑v2.2版本開(kāi)源PolarDB-PG業(yè)級(jí)特性、分布式發(fā)布里升級(jí)企??發(fā)布v2.3.0版本?開(kāi)源PolarDB-PG發(fā)布企業(yè)級(jí)特性v2.2.1版本v2.1版本APSARA云棲大會(huì)2021年，阿里云把數(shù)據(jù)庫(kù)開(kāi)源作為重要戰(zhàn)略方向，正式開(kāi)源自研核心數(shù)據(jù)庫(kù)產(chǎn)品2021年，阿里云把數(shù)據(jù)庫(kù)開(kāi)源作為重要戰(zhàn)略方向，正式開(kāi)源自研核心數(shù)據(jù)庫(kù)產(chǎn)品PolarDB。??開(kāi)源PolarDB-PG高可用功能儲(chǔ)功能KeyTechnologiesofOpenSourcePolarDB開(kāi)源之路高可用高擴(kuò)展極致彈性高兼容開(kāi)放生態(tài)V2.2.0企業(yè)級(jí)特性ARM適配最新發(fā)布開(kāi)源之路高可用高擴(kuò)展極致彈性高兼容開(kāi)放生態(tài)V2.2.0企業(yè)級(jí)特性ARM適配最新發(fā)布V2.3.0標(biāo)準(zhǔn)版V2.0.0集群擴(kuò)縮容V2.1.0共識(shí)協(xié)議V2.1.1冷熱數(shù)據(jù)分離V1.0.0全內(nèi)核開(kāi)源APSARA云棲大會(huì)PolarDBforXscale，簡(jiǎn)稱(chēng)“PolarDB-X”?基于Paxos協(xié)議，數(shù)據(jù)強(qiáng)一致?少數(shù)派節(jié)點(diǎn)故障，數(shù)據(jù)不丟，不停服?水平擴(kuò)展，按需在線(xiàn)擴(kuò)縮容，不停服?PB級(jí)存儲(chǔ)，單實(shí)例突破256節(jié)點(diǎn)(真實(shí)業(yè)務(wù))?千萬(wàn)級(jí)并發(fā)，可抵御雙11流量峰值?存儲(chǔ)資源池化，自動(dòng)按需伸縮，按需付費(fèi)?擴(kuò)容不遷移數(shù)據(jù)，突發(fā)流量支持秒級(jí)升配?存儲(chǔ)快照技術(shù)，分鐘級(jí)完成TB級(jí)數(shù)據(jù)庫(kù)備份?MySQL兼容，全局事務(wù)、二級(jí)索引、元數(shù)據(jù)?主流國(guó)產(chǎn)操作系統(tǒng)和芯片互認(rèn)證?全局binlog日志，兼容數(shù)據(jù)庫(kù)上下游生態(tài)?智能讀寫(xiě)分離，保障TP流量的穩(wěn)定性?MPP并行查詢(xún)，基于只讀副本保障查詢(xún)隔離?基于全局TSO時(shí)間戳，保證多副本的一致性讀?擁抱MySQL開(kāi)源社區(qū)，代碼自主可控?產(chǎn)品架構(gòu)簡(jiǎn)單開(kāi)放，社會(huì)人才密度高2022.102023.32022.102023.3APSARA云棲大會(huì)元數(shù)據(jù)服務(wù)（GlobalMetaService，GMS）?基于無(wú)狀態(tài)的SQL引擎提供分布式路由和計(jì)算?處理分布式事務(wù)的2PC協(xié)調(diào)、全局索引維護(hù)等?提供兼容MySQL生態(tài)的binlog協(xié)議和數(shù)據(jù)格式?提供兼容MySQLReplication主從復(fù)制的交互列存節(jié)點(diǎn)（ColumnarReplica，CR）計(jì)算節(jié)點(diǎn)?經(jīng)歷多年實(shí)戰(zhàn)磨練，MySQL語(yǔ)法高度兼容?完整的SQL計(jì)算節(jié)點(diǎn)?經(jīng)歷多年實(shí)戰(zhàn)磨練，MySQL語(yǔ)法高度兼容?完整的SQL解析層，實(shí)現(xiàn)精準(zhǔn)算子下推?Serverless無(wú)狀態(tài)，彈性能力對(duì)業(yè)務(wù)透明?提供HTAP并行計(jì)算能力，應(yīng)對(duì)混合負(fù)載場(chǎng)景數(shù)據(jù)節(jié)點(diǎn)?基于AliSQL內(nèi)核，歷經(jīng)多年考驗(yàn)，穩(wěn)定可靠?基于Paxos強(qiáng)一致協(xié)議，高可用能力進(jìn)一步提升?全局MVCC改造，滿(mǎn)足持金融級(jí)一致性要求?RPC協(xié)議改造，提升節(jié)點(diǎn)間通訊性能APSARA云棲大會(huì)APOperators?EX：并行采集所有DN的變更日志??EX：并行采集所有DN的變更日志?MR：分布式事務(wù)日志/DDL排序重組?DP：全局日志落盤(pán)并提供標(biāo)準(zhǔn)Binlog服務(wù)全局Binlog?兼容事務(wù)(分布式事務(wù)全局排序)例：基于TraceId、TSO信息對(duì)Binlog全局排序?兼容分布式DDL例：可支持DDL同步到下游，比如ADB?兼容分布式擴(kuò)縮容例：屏蔽內(nèi)部分片遷移、廣播表、索引等數(shù)據(jù)干擾主備Replication?兼容MySQL生態(tài)的主備復(fù)制?兼容DTS的上下游生態(tài)APSARA云棲大會(huì)冷數(shù)據(jù)歸檔支持DDL分布式Savepoint反向索引推薦運(yùn)維能力備份對(duì)接miniIO冷數(shù)據(jù)歸檔支持DDL分布式Savepoint反向索引推薦運(yùn)維能力備份對(duì)接miniIO二級(jí)分區(qū)虛擬列、函數(shù)索引、外鍵開(kāi)源生態(tài)Kubeblocks適配Canal/CloudCanal適配開(kāi)源規(guī)劃集中式和分布式一體化單機(jī)平滑演進(jìn)分布式APSARA云棲大會(huì)性能提升索引回表優(yōu)化，性能提升400%2PC去事務(wù)日志，性能提升HTAPHTAP行列混存列存副本、向量化引擎標(biāo)準(zhǔn)版集中式架構(gòu)100%兼容MySQL，自研Paxos多數(shù)派協(xié)議滿(mǎn)足RPO=0標(biāo)準(zhǔn)版集中式架構(gòu)100%兼容MySQL，自研Paxos多數(shù)派協(xié)議滿(mǎn)足RPO=0單機(jī)平滑升級(jí)分布式APSARA云棲大會(huì)企業(yè)版分布式架構(gòu)最小1個(gè)節(jié)點(diǎn)擴(kuò)縮容擴(kuò)縮容最多1024個(gè)節(jié)點(diǎn)APSARA云棲大會(huì)流量回放模擬壓力支持多線(xiàn)程倍速回放流量回放模擬壓力支持多線(xiàn)程倍速回放生成本地文件SQL審計(jì)日志github地址：/polardbAPSARA云棲大會(huì)TP型查詢(xún)單機(jī)引擎：TP型查詢(xún)分布式并行計(jì)算引擎：AP型查詢(xún)?cè)圃髽I(yè)級(jí)數(shù)據(jù)庫(kù)云原生企業(yè)級(jí)數(shù)據(jù)庫(kù)?云原生HTAP混合負(fù)載處理能力開(kāi)源之路最新發(fā)布企業(yè)級(jí)特性分布式特性最新發(fā)布企業(yè)級(jí)特性分布式特性企業(yè)級(jí)特性?使用64位整數(shù)及原子操作代替基于xid的快照及其互斥鎖操作，減少臨界區(qū)多版本頁(yè)CSNSnapshotWALMetaQueue?使用64位整數(shù)及原子操作代替基于xid的快照及其互斥鎖操作，減少臨界區(qū)多版本頁(yè)CSNSnapshotWALMetaQueueData/IndexFile預(yù)讀PolarDBVFSInterfaceData/IndexFile預(yù)擴(kuò)展RelationSizeCache事務(wù)層新特性緩存層新特性新特性新特性存儲(chǔ)層新特性TDETDE塊級(jí)增量備份?持續(xù)全量備份時(shí)，僅備份和上一次有差異的數(shù)據(jù)塊最新發(fā)布最新發(fā)布APSARA云棲大會(huì)全面實(shí)現(xiàn)企業(yè)級(jí)能力，實(shí)現(xiàn)性能平穩(wěn)倍增，數(shù)據(jù)透明加密和快速備份數(shù)據(jù)/索引頁(yè)面預(yù)數(shù)據(jù)/索引頁(yè)面預(yù)塊級(jí)增量備份塊級(jí)增量備份透明數(shù)據(jù)加密透明數(shù)據(jù)加密以上數(shù)據(jù)來(lái)源于阿里云內(nèi)部對(duì)相同規(guī)格的PolarDBPostgreSQL與社區(qū)PostgreSQL對(duì)比統(tǒng)計(jì)。支持包含分布式下多個(gè)子表的sharding表，簡(jiǎn)化應(yīng)用開(kāi)發(fā)，理插件化實(shí)現(xiàn)，最小化升級(jí)和移植代價(jià)計(jì)算層外表接口PolarDB分布式插件外表接口PolarDB分布式插件外表接口分布式計(jì)算引擎動(dòng)態(tài)下推優(yōu)化引擎元數(shù)據(jù)管理支持包含分布式下多個(gè)子表的sharding表，簡(jiǎn)化應(yīng)用開(kāi)發(fā)，理插件化實(shí)現(xiàn)，最小化升級(jí)和移植代價(jià)計(jì)算層外表接口PolarDB分布式插件外表接口PolarDB分布式插件外表接口分布式計(jì)算引擎動(dòng)態(tài)下推優(yōu)化引擎元數(shù)據(jù)管理Plan優(yōu)化器分布式sharding全局分布式PlanCache連接池管理數(shù)據(jù)層…抽象和唯一化分布式執(zhí)行計(jì)劃的子計(jì)劃，結(jié)合計(jì)算層和數(shù)據(jù)層雙緩存技術(shù)，實(shí)現(xiàn)執(zhí)行計(jì)APSARA云棲大會(huì)打造輕量化可移植化分布式能力，兼具靈活數(shù)據(jù)分片管理和性能線(xiàn)性擴(kuò)展分布式分布式全局分布式全局分布式動(dòng)態(tài)下推動(dòng)態(tài)下推優(yōu)化引擎以上數(shù)據(jù)來(lái)源于阿里云內(nèi)部對(duì)相同規(guī)格的PolarDBPostgreSQL與社區(qū)PostgreSQL對(duì)比統(tǒng)計(jì)。OpensourcePolarDBcommunityconstruction開(kāi)源目的通過(guò)開(kāi)源，引領(lǐng)開(kāi)源目的通過(guò)開(kāi)源，引領(lǐng)云原生數(shù)據(jù)庫(kù)技術(shù)的發(fā)展4、企業(yè)級(jí)產(chǎn)品質(zhì)量保證APSARA云棲大會(huì)云原生，是未來(lái)用云的標(biāo)準(zhǔn)方式用戶(hù)運(yùn)營(yíng)生態(tài)技術(shù)決策技術(shù)委員會(huì)研發(fā)團(tuán)隊(duì)使用管理與研發(fā)開(kāi)源開(kāi)發(fā)分支共建技術(shù)支持開(kāi)發(fā)者用戶(hù)組用戶(hù)運(yùn)營(yíng)生態(tài)技術(shù)決策技術(shù)委員會(huì)研發(fā)團(tuán)隊(duì)使用管理與研發(fā)開(kāi)源開(kāi)發(fā)分支共建技術(shù)支持開(kāi)發(fā)者用戶(hù)組其他開(kāi)源產(chǎn)品集成阿里云數(shù)據(jù)庫(kù)開(kāi)源產(chǎn)品與組件/PolarDB//OpenPolarDB/開(kāi)源社區(qū)生態(tài)合作伙伴生態(tài)合作伙伴活動(dòng)更豐富交流互動(dòng)平臺(tái)組織線(xiàn)上和線(xiàn)下的文檔更完善文檔豐富基于用戶(hù)旅程和用戶(hù)活動(dòng)更豐富交流互動(dòng)平臺(tái)組織線(xiàn)上和線(xiàn)下的文檔更完善文檔豐富基于用戶(hù)旅程和用戶(hù)場(chǎng)景梳理豐富共建更簡(jiǎn)單發(fā)布生態(tài)合作2.0計(jì)劃為企業(yè)參與社區(qū)提供更明晰的共建指引課程更翔實(shí)攜手高校系統(tǒng)化解讀數(shù)據(jù)庫(kù)理論，開(kāi)展數(shù)據(jù)庫(kù)實(shí)踐APSARA云棲大會(huì)第2第第2第3生態(tài)建設(shè)易用性核心引擎開(kāi)放生態(tài)建設(shè)易用性部署更便捷部署更便捷快捷部署一行命令即可在本地APSARA云棲大會(huì)PolarDB開(kāi)源數(shù)據(jù)庫(kù)全鏈路伙伴生態(tài)武漢大學(xué)、溫州大學(xué)、華東師范