海山數(shù)倉：移動云云原生 OLAP 數(shù)據(jù)庫的技術(shù)演進與實踐

海山數(shù)倉：移動云云原生OLAP數(shù)據(jù)庫技術(shù)演進與實踐陶捷｜中國移動云能力中心移動云分析型數(shù)據(jù)庫發(fā)展歷程蘇州研發(fā)中心-基于開源啟動商業(yè)版產(chǎn)品打造-基于開源啟動商業(yè)版產(chǎn)品打造云能力中心-啟動云改,轉(zhuǎn)型云計算服務(wù)商--云原生進階,發(fā)布海山數(shù)據(jù)庫2.0-啟動算力網(wǎng)絡(luò)數(shù)據(jù)庫探索和研究我們認(rèn)為數(shù)據(jù)庫的下一階段:從云計算到算力網(wǎng)絡(luò)AuroraServerless開源托管無資源預(yù)占、全球分布、任務(wù)式服務(wù)算存Serverless存算分離架構(gòu)容器化部署無資源預(yù)占、水平和垂直擴展資源預(yù)占、計算存儲分別擴展資源預(yù)占、計算存儲—體擴展云原生數(shù)據(jù)庫的進化方向:更深層次的解耦、更靈活的感知調(diào)度移動云一站式云原生數(shù)據(jù)庫服務(wù)數(shù)據(jù)庫傳輸數(shù)據(jù)庫管理數(shù)據(jù)庫自治算力網(wǎng)絡(luò)數(shù)據(jù)庫*緩存數(shù)據(jù)庫文檔數(shù)據(jù)庫事務(wù)型數(shù)據(jù)庫傳輸數(shù)據(jù)庫管理數(shù)據(jù)庫自治算力網(wǎng)絡(luò)數(shù)據(jù)庫*緩存數(shù)據(jù)庫文檔數(shù)據(jù)庫事務(wù)型分析檢索OLAPNoSQL數(shù)據(jù)庫生態(tài)工具海山數(shù)據(jù)庫MySQL版海山數(shù)據(jù)庫分布式版*海山數(shù)據(jù)庫MySQL版海山數(shù)據(jù)庫分布式版*海山數(shù)據(jù)庫數(shù)倉版搜索數(shù)據(jù)庫海山數(shù)據(jù)庫PostgreSQL搜索數(shù)據(jù)庫海山數(shù)據(jù)庫PostgreSQL版向量數(shù)據(jù)庫向量數(shù)據(jù)庫數(shù)據(jù)庫統(tǒng)一云原生平臺底座數(shù)據(jù)庫統(tǒng)一云原生平臺底座*海山數(shù)據(jù)庫MySQL版和分布式版公測中,即將上線*多模數(shù)據(jù)庫正處于研發(fā)階段*算力網(wǎng)絡(luò)數(shù)據(jù)庫正處于前期調(diào)研階段分析型數(shù)據(jù)庫——從湖到倉分析型數(shù)據(jù)庫技術(shù)的發(fā)展的四個階段分析型數(shù)據(jù)庫技術(shù)的發(fā)展的四個階段TeradataGreenplumVerticaClickHouseApacheDorisStarrocks、Databricks近五年來以SnowFlake為代表的云原生數(shù)近十年來以Clickhouse、Doris為代表的新架構(gòu)實時數(shù)倉,吸收開源大數(shù)研技術(shù)架構(gòu)和能力,在分析實時近十年來以Clickhouse、Doris為代表的新架構(gòu)實時數(shù)倉,吸收開源大數(shù)研技術(shù)架構(gòu)和能力,在分析實時性、支撐數(shù)據(jù)規(guī)模上有了顯著提升上世紀(jì)90年代以O(shè)racle、DB2為代表的單機分析型數(shù)據(jù)庫2000年代以Teradata、Greenplum、Vertica為代表的MPP架構(gòu)數(shù)倉,具備支撐TB級別數(shù)據(jù)分析能力海山數(shù)倉的架構(gòu)和理念極致性價比云原生提供極致性價比極致性價比云原生提供極致性價比實時數(shù)倉引擎極簡化數(shù)據(jù)集成生態(tài)FE負責(zé)元數(shù)據(jù)的管理、存儲和查詢的解析；CN主要負責(zé)數(shù)據(jù)的存儲和查詢計劃的執(zhí)行。支持向量化引擎、CBO優(yōu)化、物化視圖、智能緩存等能力。。存算分離架構(gòu)計算存儲獨立的擴展，支持無狀態(tài)計算節(jié)點，持久化存儲基于對象存儲，通過本地緩存加速；實現(xiàn)多個計算實例共享數(shù)據(jù)存儲，降低存儲冗余和同步開銷。。統(tǒng)一管控云平臺對各類數(shù)據(jù)庫進行統(tǒng)—抽象和封裝，形成算網(wǎng)數(shù)據(jù)庫管控底座；提供適配算力網(wǎng)絡(luò)模式的新型數(shù)據(jù)庫資源供給能力。接入層數(shù)倉實例數(shù)倉實例服務(wù)層本地高速緩存計算層本地高速緩存海山云平臺海山云平臺數(shù)據(jù)面管控面支持MySQL支持MySQL協(xié)議,兼容SQL99/2003,支持多種外部數(shù)據(jù)源、聯(lián)邦算存算存儲典型場景提供統(tǒng)—的在線查詢和離線計算的能力，簡化數(shù)據(jù)架構(gòu),降低開發(fā)和運維成本。通過彈性伸縮支持更合理的資源配比，減少非高峰期的保有資源，優(yōu)化成本，提高性價比支持海量數(shù)據(jù)實時入庫和計算，毫秒或秒級返回結(jié)果，方便自由靈活的快速構(gòu)建報表通過實時的數(shù)據(jù)統(tǒng)計，監(jiān)測不同渠道用戶的增長、活躍、留存狀況,讓企業(yè)快速分析出投資回報率。提高營銷效果數(shù)據(jù)時效性，便于改進產(chǎn)品體驗和優(yōu)化營銷方案，提高整體收益等OLAP場景下,提升分析效數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)海山數(shù)倉的關(guān)鍵技術(shù)存算一體和存算分離的支持Multi-Warehouse支持。公有云場景支持存算分離架構(gòu)具備更好資源彈性；私有云場景支持存算—體架構(gòu)，持久化存儲基于對象存儲，降低約80%存儲成本，容量可彈性擴展至PB級；本地SSD提供緩存加速能力，大部分緩存命中查詢性能與存算—體持平；計算/存儲資源獨立的擴展，有效提升資源利用率。。多個Warehouse共享—份數(shù)據(jù)，避免集群間數(shù)據(jù)復(fù)制成本；不同Warehouse應(yīng)用在不同的業(yè)務(wù)負載。計算資源可以進行物新型物化視圖加速物化視圖查詢加速物化視圖查詢加速物化視圖分層建模加速湖倉融合場景查詢，支持Hive、Hudi、Iceberg、Paimon等數(shù)據(jù)物化視圖分層建模支持自動感知數(shù)據(jù)湖對應(yīng)分區(qū)數(shù)據(jù)變化，實現(xiàn)增量更新。外表物化視圖在不修改查詢語句，自動將在基表上的查詢改寫為在物化視圖上的查詢，通過物化視圖的預(yù)計算結(jié)果大幅加速查詢；基于文本/基于視圖等優(yōu)化方法，提升復(fù)雜的嵌套視圖場景透明改寫匹配能力物化視圖任務(wù)管理任務(wù)資源隔離：支持指定獨立資源組，避免影響其他常規(guī)讀寫任務(wù)豐富的監(jiān)控指標(biāo)：實時監(jiān)控物化視圖的任務(wù)調(diào)度性能基于規(guī)則和基于成本的算法，對于物化視圖進行輔助設(shè)計提供—種新型的數(shù)據(jù)模型,能夠更高效的支撐數(shù)據(jù)頻繁更新和技術(shù)原理。對于默認(rèn)的Merge-On-Read模式，采用Delete-and-Insert數(shù)據(jù)更新方式。在數(shù)據(jù)寫入時，該模型先把更新數(shù)據(jù)的舊版本記錄標(biāo)記為刪除，然后把更新數(shù)據(jù)作為新記錄寫入新文件；。查詢時，避免了數(shù)據(jù)多版本合并操作，進而能將謂詞下推到存儲層，大幅提升了分析性能。。提升效果靜態(tài)數(shù)據(jù)集提升約2.1X。相比Merge-On-Read，寫入吞吐性能下降29%。Merge-On-Read方式查詢過程簡單分析查詢比較Delete-and-Insert方式查詢過程TPC-H復(fù)雜分析查詢比較在數(shù)據(jù)分析的場景中，通常分析型數(shù)據(jù)庫本身不生產(chǎn)數(shù)據(jù)，數(shù)據(jù)來源于業(yè)務(wù)系統(tǒng)的輸入。在傳統(tǒng)數(shù)據(jù)分析應(yīng)用中，ETL相關(guān)的工作量占比達到70%Zero-Zero-ETL服務(wù)??海山數(shù)倉旨在實現(xiàn)事務(wù)處理和數(shù)據(jù)分析—體化海山數(shù)倉旨在實現(xiàn)事務(wù)處理和數(shù)據(jù)分析—體化，交易型數(shù)據(jù)庫數(shù)據(jù)能夠—鍵同步到分析型數(shù)據(jù)庫，實現(xiàn)建倉成本的降低和入倉效率的提升功能完備支持動態(tài)Schema變更:增加列、刪除列、新增表,,同步延遲低于15s實踐與展望項目背景移動云中間號業(yè)務(wù)深耕垂直行業(yè)語音市場，該業(yè)務(wù)將號碼(A)與號碼(B)通過中間號(X)靈活綁定，雙向隱私通話，雙方來電顯示均為中間號,為滴滴、美團、阿里、騰訊、京東等超500家頭部企業(yè)提供服務(wù)。中間號平臺通過廣州、呼和浩特兩個資源池承載全國的務(wù)間號業(yè)務(wù)，采用云MySQL承載話單數(shù)據(jù)，每天基于話單數(shù)據(jù)進行運營分析查詢。存量數(shù)據(jù)量約XXTB，日增數(shù)據(jù)量約X億條。從離線數(shù)倉到實時數(shù)倉：自建數(shù)倉僅能做到T+1非實時分析，無法滿足業(yè)務(wù)實時分析需求解決方案解決方案通過Zero-ETL將南北方MySQL數(shù)據(jù)實時同步至移動云海山數(shù)倉產(chǎn)品，以實現(xiàn)近實時分析MySQL中的業(yè)務(wù)數(shù)據(jù)使