PolarDB-X一體化HTAP架構(gòu)助力企業(yè)級(jí)查詢分析加速

適合HTAP的典型場(chǎng)景企業(yè)級(jí)混合負(fù)載簡(jiǎn)單查詢又涉及到復(fù)雜查詢企業(yè)級(jí)混合負(fù)載簡(jiǎn)單查詢又涉及到復(fù)雜查詢對(duì)在線數(shù)據(jù)的實(shí)時(shí)分析實(shí)時(shí)報(bào)表、金融交易預(yù)警等業(yè)務(wù)在線歷史數(shù)據(jù)統(tǒng)一處理在線歷史數(shù)據(jù)統(tǒng)一處理在線事務(wù)應(yīng)用在線分析應(yīng)用在線事務(wù)應(yīng)用在線分析應(yīng)用主副本提供TP服務(wù)，從副本提供AP服務(wù)一套系統(tǒng)，成本低，性價(jià)比高數(shù)據(jù)無(wú)延遲，可滿足讀一致性不足：分析性能不佳、擴(kuò)展性不靈活在線事務(wù)應(yīng)用在線分析應(yīng)用兩個(gè)系統(tǒng)，行存系統(tǒng)做在線事務(wù)，列存系統(tǒng)做在線分析行存系統(tǒng)提供TP服務(wù)，存列系統(tǒng)提供AP服務(wù)分析性能不錯(cuò)不足：數(shù)據(jù)存在延遲，難以滿足讀一致性在線事務(wù)應(yīng)用在線分析應(yīng)用在線事務(wù)應(yīng)用在線分析應(yīng)用一個(gè)系統(tǒng)，行存做在線事務(wù)，列存副本做在線分析一套系統(tǒng)，成本低，性價(jià)比高數(shù)據(jù)秒級(jí)延遲，可滿足讀一致性不足：系統(tǒng)穩(wěn)定性要求高易用性性能低成本Serverless(未來)強(qiáng)成本的列存服務(wù)一體化、分布式一一張表同時(shí)支持行、列索引存儲(chǔ)引擎維護(hù)索引一致性業(yè)務(wù)一體化服務(wù)一體化數(shù)據(jù)一體化業(yè)務(wù)一體化服務(wù)一體化應(yīng)用接入成本低，架構(gòu)簡(jiǎn)潔應(yīng)用接入成本低，架構(gòu)簡(jiǎn)潔實(shí)時(shí)同步，強(qiáng)一致讀應(yīng)用系統(tǒng)/客戶端應(yīng)用系統(tǒng)/客戶端TPAPDeltafilesdel云盤(ontheway)Warehousecompaction權(quán)限管理元信息DeltafilesMainfilesMainfilesTSOdeldeldel面向行存的算子面向列存的向量化算子TableScan強(qiáng)大優(yōu)化器，確保優(yōu)化成不錯(cuò)的計(jì)劃強(qiáng)大優(yōu)化器，確保優(yōu)化成不錯(cuò)的計(jì)劃同一套算子，不同執(zhí)行模式，滿足各種場(chǎng)景計(jì)算與存儲(chǔ)深度融合，避免額外計(jì)算負(fù)擔(dān)storage存儲(chǔ)格式（類orc）partitionsnapshotwriterfile共享存儲(chǔ)osspartitionpartitionpartitionmemtabledeltawriterCompactionpartitionpartitionfilefilefilefilefilefilefilefile列索引構(gòu)建鏈路?全量和增量并行構(gòu)建?行存和列存分區(qū)節(jié)藕?groupcommit事務(wù)提交，保證數(shù)據(jù)完整性高可用/穩(wěn)定性?高效的主鍵索引，支持落盤?定期快照，保證一定的RTO列存格式?類orc格式，可完整表達(dá)MySQL數(shù)據(jù)協(xié)議?支持多種索引構(gòu)建，適配查詢鏈路構(gòu)建流程構(gòu)建流程查詢流程元信息維護(hù)ColumnarColumnar全量同步增量同步S3S1S2上傳UDI獲取快照信息本地緩存創(chuàng)建列存索引的語(yǔ)法創(chuàng)建列存索引的語(yǔ)法創(chuàng)建基本原理-用法集群部署列存只讀實(shí)例行存只讀實(shí)例集群地址Endpoint只讀Endpoint主實(shí)例列存只讀地址列存只讀地址Endpoint?只訪問列存，承接AP流量只讀地址Endpoint?只訪問只讀行存，承接TP讀流量集群地址Endpoint?同時(shí)訪問行存和列存，承接HTAP流量?支持按照代價(jià)自動(dòng)分流TP和AP性能成本數(shù)據(jù)新鮮度性能成本數(shù)據(jù)延遲常見的場(chǎng)景1高并發(fā)的更新數(shù)據(jù)延遲常見的場(chǎng)景2大表DDL標(biāo)記刪除技術(shù)，實(shí)現(xiàn)高效的數(shù)據(jù)更新寫時(shí)多版本維護(hù)，異步做數(shù)據(jù)演進(jìn)，實(shí)現(xiàn)在線DDL?強(qiáng)大RBO/CBO?強(qiáng)大RBO/CBO優(yōu)化器能力，確保可以優(yōu)化成相對(duì)不錯(cuò)的分?原生支持向量化和MPP技術(shù)，確?？梢猿浞掷枚鄼C(jī)資源實(shí)Hologres與StarRocks性能數(shù)據(jù)來自產(chǎn)品官網(wǎng)架構(gòu)帶來的變化多副本TPDTS多副本AP多副本架構(gòu)帶來的變化多副本TPDTS多副本AP多副本TP單副本列存只收一款產(chǎn)品的錢定價(jià)策略的變化行存只讀實(shí)例列存只讀實(shí)例成本降至20%存儲(chǔ)介質(zhì)的變化存儲(chǔ)介質(zhì)的變化基于OSS存儲(chǔ)同等數(shù)據(jù)，成本是InnoDB行存的1/20ColumnarIn