Redis Cluster集群化架構(gòu)演進(jìn)

1、Redis Cluster集群化架構(gòu)演進(jìn)技術(shù)創(chuàng)新，變革未來背景和數(shù)據(jù)2015-2016餓了么的業(yè)務(wù)爆炸式增長訂單量從幾十w到峰值900w/天服務(wù)化治理訴求應(yīng)用性能和穩(wěn)定訴求人肉運(yùn)維成本訴求未來的PAAS平臺(tái)池化準(zhǔn)備訂單量和集群規(guī)模背景和數(shù)據(jù)背景和數(shù)據(jù)訂單量和請(qǐng)求使用場景用戶端商戶端物流配送搜索排序，熱賣，畫像等各類cache等問題很多單點(diǎn)Db/cache混用共用一個(gè)redis，大key阻塞整個(gè)實(shí)例經(jīng)常需要擴(kuò)容，擴(kuò)容很痛苦使用復(fù)雜基礎(chǔ)環(huán)境非標(biāo)，存在各種配置監(jiān)控缺失不能統(tǒng)一配置架構(gòu)治理自研選型Redis vs redis ClusterTwenproxy vs Codis vs Redis Clu

2、sterRedis Cluster + proxyCorvus + Redis Cluster自帶遷移功能Fast，高可用支持在線分片豐富集群管理命令RedisCluster 的優(yōu)點(diǎn)Corvus + Redis ClusterClient 實(shí)現(xiàn)復(fù)雜，需要緩存slot mapping關(guān)系并及時(shí)更新Client不成熟導(dǎo)致提高開發(fā)難度存儲(chǔ)和分布式邏輯耦合，節(jié)點(diǎn)太多時(shí)節(jié)點(diǎn)之間的檢測 占大量網(wǎng)卡帶寬3.0.6版本前，只能單個(gè)key遷移，并且同時(shí)只允許一個(gè) slot處于遷移狀態(tài)RedisCluster 的缺點(diǎn)Corvus 時(shí)序設(shè)計(jì)Corvus + Redis Cluster封裝了redis cluster

3、 協(xié)議，提供redis 協(xié)議擴(kuò)容縮容應(yīng)用無感知實(shí)時(shí)緩存了slots mappingMultiple ThreadLightweightReuseport supportCorvusCorvus + Redis ClusterPipeline supportModified commandsRestricted commandsUnsupported commandsCorvuscommandsCorvus PerformanceserverOSCPUcorememnetCorvus(0.2.4)Centos 7.13.10.0-229.el7.x86_64Intel(R) Xeon(R) CP

4、U E5-2620 v32432GBond 4 1G*2Redis(3.0.3)Centos 7.13.10.0-229.el7.x86_64Intel(R) Xeon(R) CPU E5-2620 v32432GBond 4 1G*2redis-benchmark -h 10.0.16.72 -p 8802 -n 90000000 -r 90000000 -t set -P 1000 -c 100redis-benchmark -h 10.0.16.72 -p 8802 -n 90000000 -r 90000000 -t get -P 1000 -c 100Set/getCorvus Cp

5、u utilCorvus cpu kernelCorvus cpu userRedis cpu utilRedis node cpuCompleted commandset94.7%19.44.233%43%1427k/sget94.9%19.84.15%18%1434k/sCorvus + redis cluster 邏輯架構(gòu)Corvus + redis cluster 部署Redis 運(yùn)維方式移交數(shù)據(jù)庫團(tuán)隊(duì)運(yùn)維統(tǒng)一redis 物理部署架構(gòu)標(biāo)準(zhǔn)化redis/corvus 服務(wù)器以及單機(jī)容量設(shè)定redis 開發(fā)設(shè)計(jì)規(guī)范設(shè)定redis資源申請(qǐng)流程，做好容量評(píng)估完善監(jiān)控，跟進(jìn)全鏈路壓測隔離關(guān)鍵集群

6、，分專用資源和公共資源升級(jí)萬兆網(wǎng)卡Redis Cluster集群appidRedis 開發(fā)約定Key 格式約定：object-type:id:field。用:分隔域，用. 作為單詞間的連接禁止大k-v只用作cache, Key TTL設(shè)置做好容量評(píng)估設(shè)定集群上限接入統(tǒng)一為本地goproxyRedis 改造Redis 遷移cluster完善system、redis、corvus監(jiān)控拆分、擴(kuò)容非標(biāo)機(jī)器騰挪下線大key、熱節(jié)點(diǎn)、大節(jié)點(diǎn)掃描網(wǎng)卡Bond，多隊(duì)列綁定修改jedis源碼，加入matrix埋點(diǎn)上報(bào)etrace經(jīng)驗(yàn)總結(jié)Redis 更適合cache，cluster下更不合適做持久化存儲(chǔ)一致性保證，不做讀寫分離(盡管corvus支持)單實(shí)例不宜過大，節(jié)點(diǎn)槽位要均衡發(fā)現(xiàn)問題，復(fù)盤，積累經(jīng)驗(yàn)不跨機(jī)房部署，性能優(yōu)先異地多活通過訂閱消息更新緩存大部分的故障都是由于hot-key/big-key關(guān)心流量，必要時(shí)立刻升級(jí)萬兆遺留問題還不夠自動(dòng)化版本升級(jí)問題大集群Reshard擴(kuò)容慢Sam-corvus-redis鏈路分析多活跨機(jī)房寫緩存同步AOF/RDB冷數(shù)據(jù)集群自愈Redis 池化公共池，專用池，資源buffer資源申