百度分布式Redis平臺架構(gòu)介紹

1、百度分布式Redis平臺架構(gòu)介紹Baidu Districted Redis Platform大綱BDRP在百度的應(yīng)用架構(gòu)介紹挑戰(zhàn)與解決方案總結(jié)BDRP在百度的應(yīng)用Redis 實(shí)例 5w+，服務(wù)數(shù)2k+，物理機(jī)5k臺+典型業(yè)務(wù)鳳巢（商戶物料信息）誠信（首頁加V信息）糯米（促銷信息）度秘（用戶聊天信息）百度錢包（紅包庫存信息）大綱BDRP在百度的應(yīng)用架構(gòu)介紹挑戰(zhàn)與解決方案總結(jié)系統(tǒng)框架基礎(chǔ)組件虛擬化集群管理Container上線部署權(quán)限管理名字服務(wù)客戶端ProxyRedisContainerContainerDash Board元數(shù)據(jù)管理容量管理集群信息管理 版本管理/升級對外接口數(shù)據(jù)流圖客戶端客

2、戶端 客戶端名字服務(wù)（路由層均衡）proxyproxyProxy主Redis從Redis主Redis從Redis同步同步MetaServer更新分片信息主從切換獲取路由信息服務(wù)部署數(shù)據(jù)流元數(shù)據(jù)流大綱BDRP在百度的應(yīng)用架構(gòu)介紹挑戰(zhàn)與解決方案總結(jié)挑戰(zhàn)-以糯米為例登陸、注冊瀏覽下單支付發(fā)券驗(yàn)券全交易閉環(huán)重度依賴，如登錄90%以上流量由Redis承擔(dān)可用性（機(jī)器、機(jī)房）訪問量巨大，大促時促銷服務(wù)一天訪問量數(shù)千億性能（時延、吞吐）擴(kuò)展性存儲（MySQL、Redis）資源使用巨大，數(shù)千臺物理機(jī)存儲使用配比挑戰(zhàn)-性能近地域多機(jī)房（十幾ms網(wǎng)絡(luò)時延）一次業(yè)務(wù)訪問幾十次讀取Redis（讀時延放大）讀寫比高（

3、100：1）讀吞吐高（單集群數(shù)百萬QPS）機(jī)房三業(yè)務(wù)端機(jī)房一業(yè)務(wù)端機(jī)房二業(yè)務(wù)端近地域多機(jī)房方案Proxy讀寫分離MetaServer傳播地域路由 信息ProxyProxyMSSRWRW機(jī)房一機(jī)房二ReplicateReplicateMetaServer地域路由信息挑戰(zhàn)-可用性社區(qū)版切主時從庫向新主全量同步主庫網(wǎng)卡壓力陡增 服務(wù)不可寫從庫同步時間幾十分鐘-服務(wù)不可讀MSSSM全量同步SS全量同步新主機(jī)器故障秒級切主同源增量同步網(wǎng)卡壓力突增-平穩(wěn)10G內(nèi)存同步時間10min-5sMSSSM增量同步SS增量同步新主1分鐘整機(jī)房切換Cluster1并行切主MetaServerRedis1.RedisN

4、Redis1Cluste.rNRedisN挑戰(zhàn)-擴(kuò)展性year1 year2 year3 year4 year5 year6服務(wù)容量 峰值壓力周一周二周三周四周五周六周日業(yè)務(wù)壓力產(chǎn)品線1產(chǎn)品線2大促壓力高于服務(wù)容量，頻繁擴(kuò)縮容- 彈性擴(kuò)縮容不同業(yè)務(wù)不同時間段壓力不同-服務(wù)混部擴(kuò)展性-redis V2.x 方案MMMMMMM 成倍擴(kuò)容（2-4） 服務(wù)遷移（2-3）MMMMSS新舊集群數(shù)據(jù)遷移Slave變更為master彈性擴(kuò)縮容-Redis Cluster方案核心：數(shù)據(jù)遷移方案遷移效率：單個key遷移效率低下（V3.2 keys）遷移方式：同步遷移，遷移過程中影響服務(wù)讀寫slotslotShar

5、d1slotShard2（new）Migrate key/keysSYNCredis1redis2彈性擴(kuò)縮容-BDRP方案遷移效率：數(shù)據(jù)塊整體聚合遷移，效率高遷移方式：子線程異步dump和遷移數(shù)據(jù)，不影響讀服務(wù)slotslotShard1slotShard2（new）async dumpMigrate slotslotPthread基于服務(wù)混部的Auto Scaling產(chǎn)品線1資源產(chǎn)品線2資源ContainerContainerContainerContainerContainerContainerPaaS產(chǎn)品服務(wù)1產(chǎn)品服務(wù)2伸縮平臺探測/觸發(fā)伸縮挑戰(zhàn)-DB&CACHE使用Redis作為CAC

6、HE的場景下，業(yè)務(wù)無法判斷MySQL和Redis的最佳配比資源性能同時使用MySQL協(xié)議和Redis協(xié)議維護(hù)MySQL和Redis數(shù)據(jù)一致性MySQLRedisDB&CACHE-已有方案InnoDB with MemcachedMySQL Memcached UDFs協(xié)議未統(tǒng)一受限單機(jī)內(nèi)存協(xié)議未統(tǒng)一需要用戶處理數(shù)據(jù)一致性MySQL&Redis融合DTS:完成MySQL-redis數(shù)據(jù)同步訪問協(xié)議為MySQL協(xié)議clientproxyMysqlDTSRedisRW抓取binlog增量Proxy：分發(fā)不同存儲R轉(zhuǎn)換更新MySQL&Redis融合-數(shù)據(jù)轉(zhuǎn)化庫名:DB表名：TABLE表主鍵：PRIMA

7、RY_KEYkey:DB.TABLE_11_PRIMARY_KEYvalue:PRIMARY_KEY對應(yīng)的組合內(nèi)容Mysql&Redis融合-查詢邏輯Proxy自帶SQL Parser寫入進(jìn)入主庫非KV類查詢進(jìn)入從庫KV類查詢進(jìn)入Redis結(jié)果集為MySQL協(xié)議ProxyMySQL&Redis融合-一致性保證填充方案全量CACHE：DTS熱點(diǎn)填充：Proxy+ DTS同步監(jiān)控Redis延時過大摘除RedisProxyMySQLDTSMonitorAgentRedis監(jiān)控監(jiān)控CACHE開關(guān)Mysql&Redis融合-指標(biāo)和收益Redis更新時延ms級可靠性(99.99%)對比純MySQL集群收益（Redis命中率90%）集群吞吐提升10倍長尾降低70%，平響降低20%業(yè)務(wù)無需任何改動大綱BDRP在百度的應(yīng)用架構(gòu)介紹挑戰(zhàn)與解決方案總