云原生多模數(shù)據(jù)庫GeminiDB架構(gòu)與應(yīng)用實踐

云原生多模數(shù)據(jù)庫GeminiDB架構(gòu)與應(yīng)用實踐溫云博｜華為 03業(yè)務(wù)場景實踐 04現(xiàn)網(wǎng)案例分享GeminiDB引領(lǐng)NoSQL存算分離架構(gòu)，持續(xù)戰(zhàn)略投入，打造世界級數(shù)據(jù)庫GaussDBNoSQL正式亮相文檔引擎正式發(fā)布寬表引擎GaussDBNoSQL正式亮相文檔引擎正式發(fā)布寬表引擎正式發(fā)布時序引擎正式發(fā)布KV引擎正式發(fā)布DynamoDB引擎正式發(fā)布GaussDBNoSQL品牌升級GeminiDB啟動云原生分布式NoSQL數(shù)據(jù)庫研發(fā)201715Cassandra，0GeminiDB云原生架構(gòu)存算分離&多模擴展核心優(yōu)勢超高性能海量存儲存算分離&多模擴展核心優(yōu)勢超高性能海量存儲極致彈性穩(wěn)定可靠核心設(shè)計協(xié)議層計算層存儲層Redis接口InfluxDB接口MongoRedis接口InfluxDB接口Mongo接口DynamoDB接口DBNodeDBNodeDBNodeDBNodeStoragePoolGeminiDB彈性實踐：擴容量，對業(yè)務(wù)“0”影響一鍵擴容擴容擴容1TB擴容擴容1TB頁面緩存業(yè)務(wù)為例：數(shù)據(jù)量增長場景GeminiDB擴容設(shè)計：不影響在線業(yè)務(wù)GeminiDB彈性實踐：擴計算，對業(yè)務(wù)僅秒級影響傳統(tǒng)NoSQL擴容：需搬遷數(shù)據(jù)特點：數(shù)據(jù)量越大，耗時越久，對業(yè)務(wù)影響越久Latency跨片搬遷數(shù)據(jù) Time(5分鐘統(tǒng)計粒度)0GeminiDB擴容：僅修改路由映射特點：不論數(shù)據(jù)量多大，對業(yè)務(wù)影響僅秒級分布式共享存儲引擎修改路由映射節(jié)點1節(jié)點1節(jié)點2GeminiDB游戲?qū)嵺`-1：兩庫合一，簡化架構(gòu)業(yè)務(wù)場景典型場景：排行榜31312700Abelrank:20240512NoahJay 游戲服 游戲服 游戲服?異步加載?免手動歸檔GeminiDB游戲?qū)嵺`-2：原地回檔，速度不受數(shù)據(jù)量影響方案1：編寫openAPI編寫腳本，每2小時手工備份。8:0010:0012:00 openAPIopenAPI一鍵回o restore新實例新實例方案2：開啟PITR，5分鐘粒度錨點，緊急情況原地恢復(fù)。記錄點記錄點記錄點記錄點11:5011:5512:00一鍵回Warning記錄點記錄點原地恢復(fù)，且支持“反悔”原理：?分布式文件系統(tǒng)，1秒快照?原地數(shù)據(jù)目錄替換，10分鐘恢復(fù)GeminiDB廣告實踐：廣告RTA業(yè)務(wù)面臨的痛點媒體平臺媒體平臺l-----特征數(shù)據(jù)庫l-----特征數(shù)據(jù)庫GeminiDB廣告實踐：廣告/推薦/風(fēng)控，批量導(dǎo)數(shù)提速10倍一個真實案例：廣告RTA業(yè)務(wù)，10TB模型分?jǐn)?shù)據(jù)，使用N個Redis集群。大數(shù)據(jù)離線每月生成一次全量，灌數(shù)到Redis要花一周。業(yè)務(wù)k8sSpark逐條數(shù)據(jù)寫入1大數(shù)據(jù)平臺（特征/畫像/模型分）自建idididid業(yè)務(wù)k8sSpark逐條數(shù)據(jù)寫入1大數(shù)據(jù)平臺（特征/畫像/模型分）自建ididididididsetsetsetsetsetsetxxxxxxxxxxxxxxxxxxRedis集群讓人頭疼的難題：?導(dǎo)數(shù)引起qps尖峰，影響讀時延?把TB級數(shù)據(jù)導(dǎo)進在線，要折騰1周方案升級華為云華為云GeminiDB業(yè)務(wù)k8s2批量導(dǎo)入Spark大數(shù)據(jù)平臺（特征/畫像/模型分）GeminiDB療效：?業(yè)務(wù)k8s2批量導(dǎo)入Spark大數(shù)據(jù)平臺（特征/畫像/模型分）GeminiDB療效：?導(dǎo)數(shù)qps尖峰消失了，讀時延平穩(wěn)?7天變?yōu)?天，特征數(shù)據(jù)“新鮮在線”GeminiDB國內(nèi)案例1.3億全球月活用戶全球23區(qū)域，支持資源快速下發(fā)7000萬UCG開發(fā)者生態(tài)6000萬新媒體矩陣粉絲全球23區(qū)域，支持資源快速下發(fā)2億+用戶創(chuàng)作場景量全球部署數(shù)據(jù)平臺高性能登錄優(yōu)化消息推送應(yīng)用內(nèi)支付廣告高可靠數(shù)據(jù)強一致，數(shù)據(jù)平臺高性能登錄優(yōu)化消息推送應(yīng)用內(nèi)支付廣告高可靠數(shù)據(jù)強一致，TB級地圖數(shù)據(jù)實時快速安全擴容數(shù)據(jù)激