移動云：構(gòu)建下一代云原生數(shù)倉

構(gòu)建下一代云原生數(shù)倉01移動云分析型數(shù)據(jù)庫發(fā)展歷程02海山數(shù)倉的架構(gòu)和理念03海山數(shù)倉的核心技術(shù)及演進趨勢04移動云的實踐與未來展望移動云分析型數(shù)據(jù)庫移動云數(shù)據(jù)庫的發(fā)展歷程移動云數(shù)據(jù)庫團隊十年前正式誕生，以實現(xiàn)數(shù)據(jù)庫核心技術(shù)自主可控為目標(biāo)，目前已構(gòu)建完整產(chǎn)品和市場體系，并實現(xiàn)大規(guī)模商用。蘇州研發(fā)中心2014云能力中心2020?啟動云改，轉(zhuǎn)型云計算服務(wù)商2024?云原生進階，發(fā)布海山數(shù)據(jù)庫2.0?啟動算力網(wǎng)絡(luò)數(shù)據(jù)庫探索和研究?基于開源啟動商業(yè)版產(chǎn)品打造?集團內(nèi)部推廣和應(yīng)用?海山數(shù)據(jù)庫1.0發(fā)布我們認(rèn)為數(shù)據(jù)庫的下一階段:從云計算到算力網(wǎng)絡(luò)L1容器化部署無資源預(yù)占、全球分布、任務(wù)式服務(wù)無資源預(yù)占、水平和垂直擴展資源預(yù)占、計算存儲分別擴展資源預(yù)占、計算存儲—體擴展b云原生數(shù)據(jù)庫的進化方向：更深層次的解耦、更靈活的感知調(diào)度移動云數(shù)據(jù)庫布局移動云一站式云原生數(shù)據(jù)庫服務(wù)事務(wù)型數(shù)據(jù)庫事務(wù)型數(shù)據(jù)庫分析檢索OLAP數(shù)據(jù)庫生態(tài)工具NoSQLNoSQL庫數(shù)據(jù)庫統(tǒng)一云平臺底座數(shù)據(jù)庫統(tǒng)一云平臺底座?移動云基于K8s構(gòu)建云原生數(shù)據(jù)庫底座，全線產(chǎn)品達(dá)云原生L1級?自研海山數(shù)據(jù)庫系列，采用存算分離架構(gòu)，并全面向Serverless演進?在中國移動算力網(wǎng)絡(luò)戰(zhàn)略下，大力探索算力網(wǎng)絡(luò)數(shù)據(jù)庫，積極推進相關(guān)技術(shù)以及行業(yè)標(biāo)準(zhǔn)制定?24年9月發(fā)布《中國移動算力網(wǎng)絡(luò)數(shù)據(jù)庫白皮書》分析型數(shù)據(jù)庫：從湖到倉Oracle2000年2005年2017年ApacheDoris2021年DataBendFoxLake第四代：第一代：第一代：第二代:BC-Hadoop移動云產(chǎn)BC-RDB-HybridBCBC-Hadoop移動云產(chǎn)BC-RDB-HybridBC-HugeTableLakehouse海山數(shù)倉02海山數(shù)倉的架構(gòu)和理念海山數(shù)倉的設(shè)計理念實時數(shù)倉引擎物化視圖、向量化引擎、行列混存、CBO優(yōu)化器極致性價比存算分離、multi-warehouse數(shù)據(jù)集成生態(tài)海山數(shù)倉的架構(gòu)設(shè)計接入層服務(wù)層計算層臺?高性能數(shù)倉引擎基于Starrocks內(nèi)核構(gòu)建高性能計算引擎。支持向量化引擎、CBO優(yōu)化、物化視圖、智能緩存等能力。?存算分離架構(gòu)基于Starrocks實現(xiàn)存算分離能力，計算存儲獨立的擴展，支持無狀態(tài)計算節(jié)點，持久化存儲基于對象存儲，通過本地緩存加速；實現(xiàn)多個計算實例共享數(shù)據(jù)存儲，降低存儲冗余和同步開銷。?統(tǒng)一管控云平臺對各類數(shù)據(jù)庫進行統(tǒng)—抽象和封裝，形成算網(wǎng)數(shù)據(jù)庫管控底座；提供適配算力網(wǎng)絡(luò)模式的新型數(shù)據(jù)庫資源供給能力。支持MySQL協(xié)議,兼容SQL99/2003,支持多種外部數(shù)據(jù)源、聯(lián)邦查詢能力,兼容Iceberg、Hudi等開放數(shù)據(jù)湖格式。海山數(shù)倉的核心技術(shù)與存算一體和存算分離的支持云原生架構(gòu)存算一體和存算分離的支持Multi-Warehouse支持LocalStorageLocalStorageLocalStorageWarehouse1Warehouse2Warehouse3-共享存儲LocalStorageLocalStorageLocalStorageWarehouse1Warehouse2Warehouse3-共享存儲?公有云場景支持存算分離架構(gòu)，具備更好資源彈性；私有云場景支持存算一體架構(gòu)，具備更健壯架構(gòu)?持久化存儲基于對象存儲，降低約80%存儲成本，容量可彈性擴展至PB級?本地SSD提供緩存加速能力，大部分緩存命中查詢性能與存算一體持平?計算/存儲資源獨立擴展，有效提升資源利用率?多個Warehouse共享一份數(shù)據(jù)，避免集群間數(shù)據(jù)復(fù)制成本?不同Warehouse應(yīng)用在不同的業(yè)務(wù)負(fù)載。計算資源可以進行物理隔離?具備完備的多租戶權(quán)限控制（RoleBasedAccessControl）數(shù)據(jù)庫云平臺-新一代云原生數(shù)據(jù)庫管理架構(gòu)通過對多數(shù)據(jù)庫的拓?fù)浣Y(jié)構(gòu)、高可用性、數(shù)據(jù)一致性保護和運維操作進行領(lǐng)域模型建模，數(shù)據(jù)庫云平臺可以從中抽象出數(shù)據(jù)庫容器化管理標(biāo)準(zhǔn)，可以讓數(shù)據(jù)庫開發(fā)者以聲明式和配置式的方式接入和高效管理多種數(shù)據(jù)庫類型?數(shù)據(jù)庫容器化，將數(shù)據(jù)面和管理面功能分離后，不僅將數(shù)據(jù)庫生命周期管理標(biāo)準(zhǔn)化，也將運維和管理能力進行標(biāo)準(zhǔn)化?在管理面將運維操作和經(jīng)驗自動化和平臺化，提供豐富的數(shù)據(jù)庫Day-2運維功能；實現(xiàn)標(biāo)準(zhǔn)化監(jiān)控系統(tǒng)的接口和數(shù)據(jù)格式，通過插件機制可擴展支持將可觀測性數(shù)據(jù)寫入到監(jiān)控系統(tǒng)、日志系統(tǒng)及消息中間件等，并提供豐富的可視化面板?在數(shù)據(jù)面將數(shù)據(jù)庫映射到位于四個層次的對象上：Cluster、Component、InstanceSet和Instance，形成了分層的架構(gòu)，通過這些API定義組件的拓?fù)潢P(guān)系、啟動的依賴順序及引用關(guān)系等Zero-ETL提升數(shù)據(jù)集成能力在數(shù)據(jù)分析的場景中，通常分析型數(shù)據(jù)庫本身不生產(chǎn)數(shù)據(jù)，數(shù)據(jù)來源于業(yè)務(wù)系統(tǒng)的輸入。在傳統(tǒng)數(shù)據(jù)分析應(yīng)用中，ETL相關(guān)的工作量占比達(dá)到70%Zero-ETL服務(wù)海山數(shù)倉旨在實現(xiàn)事務(wù)處理和數(shù)據(jù)分析—體化，交易型數(shù)據(jù)庫數(shù)據(jù)能夠—鍵同步海山數(shù)倉旨在實現(xiàn)事務(wù)處理和數(shù)據(jù)分析—體化，交易型數(shù)據(jù)庫數(shù)據(jù)能夠—鍵同步到分析型數(shù)據(jù)庫，實現(xiàn)建倉成本的降低和入倉效率的提升功能完備??支持MySQL整庫全、增量—體同步?支持動態(tài)Schema變更:增加列、刪除列、新增表?支持多源合并能力卓越性價比??服務(wù)Serverless化，根據(jù)負(fù)載動態(tài)分配資源及并行度?全量同步20w條/s,增量同步5w條/s，對比業(yè)界競品3w條/s?同步延時低于15s，對比業(yè)界競品延時5min學(xué)習(xí)型索引：通過機器學(xué)習(xí)模型來替代傳統(tǒng)數(shù)據(jù)庫索引結(jié)構(gòu)，學(xué)習(xí)型索引通過使用機器學(xué)習(xí)模型來預(yù)測鍵的位置，從而減少索引的大小和訪問次數(shù)，提高查詢效率。在云原生分析型數(shù)據(jù)庫場景，學(xué)習(xí)型所以可以降低對對象存儲的訪問開銷，從而顯著提升查詢效率。云原生學(xué)習(xí)型位圖索引云原生下位圖索引的困境自適應(yīng)分組的學(xué)習(xí)型位圖索引云原生學(xué)習(xí)型位圖索引云原生下位圖索引的困境自適應(yīng)分組的學(xué)習(xí)型位圖索引04移動云的實踐與未來展望實踐案例：移動中間號業(yè)務(wù)電顯示均為中間號,為滴滴、美團、阿里、騰訊、京東等超500家頭部企業(yè)提供服務(wù)。中間號平臺通過廣州、呼和浩特兩個資源池承載全國的務(wù)間號業(yè)務(wù)，采用云MySQL承載話單數(shù)據(jù)，每天基于話單數(shù)據(jù)進行運營分析查詢。存量數(shù)據(jù)量約7TB，日增數(shù)據(jù)量約1億條。業(yè)務(wù)痛點：從離線數(shù)倉到實時數(shù)倉：自建數(shù)倉僅能做到T+1非實時分析，無解決方案?實時數(shù)據(jù)分析場景通過Zero-ETL將南北方MySQL數(shù)據(jù)?數(shù)據(jù)同步時延?查詢性能實踐案例：設(shè)計院融基平臺中國移動設(shè)計院融基平臺聚焦解決質(zhì)量、成本、效率和安全四大核心據(jù)倉庫建設(shè)、數(shù)據(jù)分析和匯總分析等需求，承載調(diào)度云、門戶云、用戶云和設(shè)計院云的MySQL、PG的數(shù)據(jù)共享和貫通查詢需求需求，存量數(shù)據(jù)量約7億條，存儲約3TB，日增數(shù)據(jù)量約1000萬條。業(yè)務(wù)痛點：離線數(shù)倉和實時數(shù)倉共存，技術(shù)棧繁雜，維護成本不斷提升；自建數(shù)倉無法滿足PostgreSQ建設(shè)方案?實時同步），?離線/在線分析基于Multi-warehouse使用?數(shù)據(jù)源擴展海山數(shù)倉支持PostgresSQL/MySQ實踐案例：蘇州銀行建設(shè)效果蘇州銀行實時場景承載各業(yè)務(wù)分析場景需求，業(yè)務(wù)總數(shù)據(jù)量約2PB，每日數(shù)據(jù)500G左右?；诂F(xiàn)有建設(shè)情況，存在痛點：1，采集數(shù)據(jù)源較多，方式不統(tǒng)一；2，數(shù)據(jù)分析延遲高，難以滿足實時性要求；3，多套技術(shù)棧資源和維護成本高。建設(shè)效果清洗聚合物化視圖物化視圖化視圖OceanBase?實時數(shù)倉，端到端延時低于1分鐘?基于主鍵模型大幅提升實時數(shù)據(jù)查詢性能2.x倍?基于物化視圖實現(xiàn)多層面邏輯視圖嵌套，降低數(shù)倉各層級之間數(shù)據(jù)處理延時?湖倉一體架構(gòu)降低離線數(shù)據(jù)遷移和存儲成本清洗聚合物化視圖物化視圖化視圖OceanBase?實時數(shù)倉，端到端延時低于1分鐘?基于主鍵模型大幅提升實時數(shù)據(jù)查詢性能2.x倍?基于物化視圖實現(xiàn)多層面邏輯視圖嵌套，降低數(shù)倉各層級之間數(shù)據(jù)處理