云原生多模數(shù)據(jù)庫GeminiDB架構(gòu)與應(yīng)用實(shí)踐

云原生多模數(shù)據(jù)庫GeminiDB架構(gòu)與應(yīng)用實(shí)踐溫云博｜華為 03業(yè)務(wù)場(chǎng)景實(shí)踐 04現(xiàn)網(wǎng)案例分享GeminiDB引領(lǐng)NoSQL存算分離架構(gòu)，持續(xù)戰(zhàn)略投入，打造世界級(jí)數(shù)據(jù)庫GaussDBNoSQL正式亮相文檔引擎正式發(fā)布寬表引擎GaussDBNoSQL正式亮相文檔引擎正式發(fā)布寬表引擎正式發(fā)布時(shí)序引擎正式發(fā)布KV引擎正式發(fā)布DynamoDB引擎正式發(fā)布GaussDBNoSQL品牌升級(jí)GeminiDB啟動(dòng)云原生分布式NoSQL數(shù)據(jù)庫研發(fā)201715Cassandra，0GeminiDB云原生架構(gòu)存算分離&多模擴(kuò)展核心優(yōu)勢(shì)超高性能海量存儲(chǔ)存算分離&多模擴(kuò)展核心優(yōu)勢(shì)超高性能海量存儲(chǔ)極致彈性穩(wěn)定可靠核心設(shè)計(jì)協(xié)議層計(jì)算層存儲(chǔ)層Redis接口InfluxDB接口MongoRedis接口InfluxDB接口Mongo接口DynamoDB接口DBNodeDBNodeDBNodeDBNodeStoragePoolGeminiDB彈性實(shí)踐：擴(kuò)容量，對(duì)業(yè)務(wù)“0”影響一鍵擴(kuò)容擴(kuò)容擴(kuò)容1TB擴(kuò)容擴(kuò)容1TB頁面緩存業(yè)務(wù)為例：數(shù)據(jù)量增長(zhǎng)場(chǎng)景GeminiDB擴(kuò)容設(shè)計(jì)：不影響在線業(yè)務(wù)GeminiDB彈性實(shí)踐：擴(kuò)計(jì)算，對(duì)業(yè)務(wù)僅秒級(jí)影響傳統(tǒng)NoSQL擴(kuò)容：需搬遷數(shù)據(jù)特點(diǎn)：數(shù)據(jù)量越大，耗時(shí)越久，對(duì)業(yè)務(wù)影響越久Latency跨片搬遷數(shù)據(jù) Time(5分鐘統(tǒng)計(jì)粒度)0GeminiDB擴(kuò)容：僅修改路由映射特點(diǎn)：不論數(shù)據(jù)量多大，對(duì)業(yè)務(wù)影響僅秒級(jí)分布式共享存儲(chǔ)引擎修改路由映射節(jié)點(diǎn)1節(jié)點(diǎn)1節(jié)點(diǎn)2GeminiDB游戲?qū)嵺`-1：兩庫合一，簡(jiǎn)化架構(gòu)業(yè)務(wù)場(chǎng)景典型場(chǎng)景：排行榜31312700Abelrank:20240512NoahJay 游戲服 游戲服 游戲服?異步加載?免手動(dòng)歸檔GeminiDB游戲?qū)嵺`-2：原地回檔，速度不受數(shù)據(jù)量影響方案1：編寫openAPI編寫腳本，每2小時(shí)手工備份。8:0010:0012:00 openAPIopenAPI一鍵回o restore新實(shí)例新實(shí)例方案2：開啟PITR，5分鐘粒度錨點(diǎn)，緊急情況原地恢復(fù)。記錄點(diǎn)記錄點(diǎn)記錄點(diǎn)記錄點(diǎn)11:5011:5512:00一鍵回Warning記錄點(diǎn)記錄點(diǎn)原地恢復(fù)，且支持“反悔”原理：?分布式文件系統(tǒng)，1秒快照?原地?cái)?shù)據(jù)目錄替換，10分鐘恢復(fù)GeminiDB廣告實(shí)踐：廣告RTA業(yè)務(wù)面臨的痛點(diǎn)媒體平臺(tái)媒體平臺(tái)l-----特征數(shù)據(jù)庫l-----特征數(shù)據(jù)庫GeminiDB廣告實(shí)踐：廣告/推薦/風(fēng)控，批量導(dǎo)數(shù)提速10倍一個(gè)真實(shí)案例：廣告RTA業(yè)務(wù)，10TB模型分?jǐn)?shù)據(jù)，使用N個(gè)Redis集群。大數(shù)據(jù)離線每月生成一次全量，灌數(shù)到Redis要花一周。業(yè)務(wù)k8sSpark逐條數(shù)據(jù)寫入1大數(shù)據(jù)平臺(tái)（特征/畫像/模型分）自建idididid業(yè)務(wù)k8sSpark逐條數(shù)據(jù)寫入1大數(shù)據(jù)平臺(tái)（特征/畫像/模型分）自建ididididididsetsetsetsetsetsetxxxxxxxxxxxxxxxxxxRedis集群讓人頭疼的難題：?導(dǎo)數(shù)引起qps尖峰，影響讀時(shí)延?把TB級(jí)數(shù)據(jù)導(dǎo)進(jìn)在線，要折騰1周方案升級(jí)華為云華為云GeminiDB業(yè)務(wù)k8s2批量導(dǎo)入Spark大數(shù)據(jù)平臺(tái)（特征/畫像/模型分）GeminiDB療效：?業(yè)務(wù)k8s2批量導(dǎo)入Spark大數(shù)據(jù)平臺(tái)（特征/畫像/模型分）GeminiDB療效：?導(dǎo)數(shù)qps尖峰消失了，讀時(shí)延平穩(wěn)?7天變?yōu)?天，特征數(shù)據(jù)“新鮮在線”GeminiDB國內(nèi)案例1.3億全球月活用戶全球23區(qū)域，支持資源快速下發(fā)7000萬UCG開發(fā)者生態(tài)6000萬新媒體矩陣粉絲全球23區(qū)域，支持資源快速下發(fā)2億+用戶創(chuàng)作場(chǎng)景量全球部署數(shù)據(jù)平臺(tái)高性能登錄優(yōu)化消息推送應(yīng)用內(nèi)支付廣告高可靠數(shù)據(jù)強(qiáng)一致，數(shù)據(jù)平臺(tái)高性能登錄優(yōu)化消息推送應(yīng)用內(nèi)支付廣告高可靠數(shù)據(jù)強(qiáng)一致，TB級(jí)地圖數(shù)據(jù)實(shí)時(shí)快速安全擴(kuò)容數(shù)據(jù)激