2023云棲大會：AIGC時代下的企業(yè)級智能數(shù)倉AnalyticDB揭秘

產(chǎn)品部負(fù)責(zé)人APSARA云棲大會林亮阿里云研究員數(shù)據(jù)規(guī)模數(shù)據(jù)規(guī)模APSARA云棲大會湖倉融合智能預(yù)測實時分析報表&大屏單客戶數(shù)據(jù)規(guī)模業(yè)務(wù)價值數(shù)據(jù)源OLTP數(shù)據(jù)源OLTP數(shù)據(jù)庫企業(yè)應(yīng)用三方數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)處理數(shù)據(jù)歸一數(shù)據(jù)分析數(shù)據(jù)消費APSARA云棲大會數(shù)據(jù)庫的易用、大數(shù)據(jù)的規(guī)模處理/分析一體化處理/分析一體化看板報表即席分析實時分析做深自研做深自研融合MPP和BSP兩種執(zhí)行Query級按需彈性在線分析任務(wù)支持分時彈性，離線處理任務(wù)支持提高數(shù)據(jù)一致性和時效性一份數(shù)據(jù)極致彈性擁抱開源XIHE高效讀寫湖格式復(fù)雜離線處理/ML，自建Spark遷移數(shù)據(jù)多版本等能力打通開放格式APSARA云棲大會Architecture統(tǒng)一元數(shù)據(jù)/權(quán)限統(tǒng)一元數(shù)據(jù)/權(quán)限外部存儲9parquet管存采算數(shù)據(jù)源存儲層計算層訪問層APSARA云棲大會CoreTechnologies云原生化一體化智能化APSARA云棲大會ServerlessScheduling池資源統(tǒng)一管理，保障彈性高成功率，支持不同類型和規(guī)模的負(fù)載彈性效率提升大規(guī)模的彈性擴縮容，應(yīng)對突發(fā)業(yè)務(wù)變化；基于歷史指標(biāo)畫像，自動化管理在離線一體化部署在離線混部、多租戶資源隔離和保障APSARA云棲大會AutoMulti-Cluster基于負(fù)載的自動彈性基于實例的CPU/內(nèi)存負(fù)載、查詢排隊、查詢并發(fā)數(shù)等指彈性時間查詢在多cluster間自動路由、負(fù)載均衡、資源隔離等支持更高并發(fā)度*Source:基于某云上客戶生產(chǎn)環(huán)境數(shù)據(jù)基于遠(yuǎn)端共享存儲，實現(xiàn)存算分離，狀態(tài)解耦節(jié)點快速彈性獨立Compaction服務(wù)高性能存儲格式提供block級別的并發(fā)掃描能力、更好的內(nèi)存復(fù)用能力單GB成本彈性時間CPU消耗APSARA云棲大會Compute-StorageSeparatedArchitectureStorageAPIWorkerWorkerStorageAPICompaction*Source:基于某云上客戶生產(chǎn)環(huán)境數(shù)據(jù)APSARA云棲大會CoreTechnologies云原生化一體化智能化自動恢復(fù)熱點打散實時物化視圖HudiDeltaLakeIceberg資源管理ExactlyOnce元數(shù)據(jù)發(fā)現(xiàn)KafkaSLSAPSARA云棲大會高吞吐入湖突發(fā)流量彈性適應(yīng)用戶實際負(fù)載，確保數(shù)據(jù)的連續(xù)傳輸和可靠性低成本數(shù)據(jù)管道建設(shè)和維護成本大幅降低實時物化視圖單客戶 快速彈性成本下降增量刷新全量刷新*Source:基于某云上客戶生產(chǎn)環(huán)境數(shù)據(jù)ApplicationREAD/WRITEREADAnalyticDB邏輯復(fù)制–增量同步Zero-ETL并行全量同步ApplicationREAD/WRITEREADAnalyticDB邏輯復(fù)制–增量同步Zero-ETL并行全量同步APSARA云棲大會TransactionalDatabaseZero-ETL簡單、穩(wěn)定性、實時高速同步性能快速構(gòu)建分析數(shù)倉初始化全量同步性能提升實時物化視圖增量刷新全量刷新*Source:基于某云上客戶生產(chǎn)環(huán)境數(shù)據(jù)APSARA云棲大會FederationAnalysis事務(wù)數(shù)據(jù)庫統(tǒng)一視圖內(nèi)外部數(shù)據(jù)和訪問統(tǒng)一視圖內(nèi)外部數(shù)據(jù)和訪問元數(shù)據(jù)覆蓋內(nèi)部存儲和外部數(shù)據(jù)源，支持倉引擎和Spark同時訪問直觀友好的用戶界面和API豐富數(shù)據(jù)源支持海量分區(qū)元數(shù)據(jù)管理更精細(xì)的元數(shù)據(jù)，加強優(yōu)化器預(yù)估準(zhǔn)確度，支持掃描裁剪APSARA云棲大會讀寫元數(shù)據(jù)讀寫元數(shù)據(jù)統(tǒng)一元數(shù)據(jù)管理外表（支持多種數(shù)據(jù)數(shù)據(jù)源/離線業(yè)務(wù)）OSS(多種開源數(shù)據(jù)格式支持)…庫表管理（精確/全文索引/實時寫入/在線業(yè)務(wù)）存儲計算APSARA云棲大會CoreTechnologies云原生化一體化智能化OperatorOperatorTree查詢性能WholeStageCodeGenYesAPSARA云棲大會 智能化RemoteCache 訪問性能APSARA云棲大會AICapabilities向量數(shù)據(jù)存儲向量數(shù)據(jù)存儲/檢索AnalyticDBRuntime)庫表優(yōu)化庫表優(yōu)化APSARA云棲大會數(shù)據(jù)收集采集與清洗智能診斷與監(jiān)控平臺反饋與調(diào)優(yōu)診斷、調(diào)優(yōu)與監(jiān)控算子畫像分析APSARA云棲大會模板指標(biāo)變化模板指標(biāo)變化 模板查詢樣例異常異常Pattern檢測APSARA云棲大會表傾斜檢測表傾斜檢測表分布不合理檢測表訪問檢測APSARA云棲大會CoreTechnologies云原生化一體化智能化數(shù)據(jù)源OLTP數(shù)據(jù)庫數(shù)據(jù)源OLTP數(shù)據(jù)庫企業(yè)應(yīng)用三方數(shù)據(jù)數(shù)據(jù)消費看板報表即席分析實時分析APSARA云棲大會數(shù)據(jù)庫的易用、大數(shù)據(jù)的規(guī)模服務(wù)數(shù)千客戶，每天處理EB數(shù)據(jù)每天彈性伸縮數(shù)萬Core數(shù)據(jù)集成數(shù)據(jù)處理數(shù)據(jù)歸一數(shù)據(jù)分析APSARA云棲大會AnalyticDBforTECHSession姚奕瑋AnalyticDBPostgreSQL版產(chǎn)品部負(fù)責(zé)人01AIGC+大數(shù)據(jù)時代下的企業(yè)需求02性價比、流批一體的融合引擎求APSARA云棲大會 企業(yè)級一站式 企業(yè)級一站式AnalyticDBAnalyticDBfor倉內(nèi)智能倉內(nèi)智能APSARA云棲大會性價比流批一體企業(yè)級一站式企業(yè)級一站式AnalyticDBfor企業(yè)級能力APSARA云棲大會ClientPlannerClientPlannerParser00完整繼承PG生態(tài)功能GreenplumGreenplumTuple-at-a-timeVectorizedAlgorithmHeapOrcAocsParquetBeamAvroCostCost(RMB/Hour)某國際知名數(shù)倉4xlargex8ADB-PG7.02c16gx480APSARA云棲大會某國際知名數(shù)倉ADB-PG0APSARA云棲大會0-TPC-TPC-HRuntime(s)CostPerGB(RMB/Hour)10一?支持?jǐn)?shù)據(jù)流式寫入一?支持?jǐn)?shù)據(jù)流式寫入?支持?jǐn)?shù)據(jù)批量導(dǎo)入流批一體存儲?支持流式更新計算結(jié)果流批一體計算APSARA云棲大會流批流批體AnalyticDBforAnalyticDBforPostgreSQLAPSARA云棲大會流式寫入+批量導(dǎo)入AutoOptimize分布式事務(wù)+MVCCAPSARA云棲大會原始數(shù)據(jù)原始數(shù)據(jù)原始數(shù)據(jù)實時MV實時MV實時MV微批調(diào)度ADS實時流式處理實時MV實時流式處理實時流式處理實時MV微批調(diào)度微批調(diào)度JDBC實時分析實時寫入實時寫入實時處理倉內(nèi)實時流式處理join/agg/表達(dá)式實時分析APSARA云棲大會數(shù)據(jù)數(shù)據(jù)共享存儲支持實時寫入共享集群支持索引共享集群APSARA云棲大會一站式AIGC平臺致性問題大語言模型：內(nèi)部對接和集成各類LLM以及模型服務(wù)API，并且提供例如文檔解析、Chunking、Embeddings等各種GenerativeAI相關(guān)服務(wù)Fine-tune能力：數(shù)據(jù)經(jīng)過倉內(nèi)ETL清洗后，可以dump到OSS，并且調(diào)用DashScope服務(wù)進行模型的訓(xùn)練換、冷熱分層、備份恢復(fù)、數(shù)據(jù)加密、審計日志等APSARA云棲大會APSARA云棲大會群否可以路由到ADB；根據(jù)cost決定是否要路APSARA云棲大會強大的資源管理能力強大的資源管理能力完善的白屏化支持安