騰訊云Redis技術(shù)白皮書-對外

1、騰訊云Redis技術(shù)白皮書產(chǎn)品概述云數(shù)據(jù)庫Redis ( TencentDB for Redis )是由騰訊云提供的兼容Redis協(xié)議 的緩存數(shù)據(jù)庫，具備高可用、高可靠、高彈性等特征。云數(shù)據(jù)庫Redis服務(wù)兼 容Redis 2.8、Redis 4.0、Redis 5.0版本協(xié)議，提供標(biāo)準(zhǔn)版和集群版兩大產(chǎn)品 版本。最大支持4TB的存儲容量，千萬級的并發(fā)請求，可滿足業(yè)務(wù)在緩存、存 儲、計算等不同場景中的需求。云數(shù)據(jù)庫Redis產(chǎn)品從2013年開始運營，從騰訊集團到上騰訊云，已經(jīng)穩(wěn)定 運行6年+,在集團內(nèi)部服務(wù)包括QQ、Qzone、微信、騰訊游戲等眾多核心 業(yè)務(wù)，在騰訊云上我們?yōu)楸姸嗟挠螒颉㈦娚?、?/p>

2、頻、行業(yè)應(yīng)用、金融等行業(yè)客 戶提供穩(wěn)定的服務(wù)。其中，在消費隊列的應(yīng)用場景中，騰訊云Redis單集群日 請求量超過2萬億次，峰值請求超過17億次/分鐘，創(chuàng)造了一系列的性能記 錄?；旌洗鎯Π鍾edis混合存儲版本是騰訊云自研的將全量數(shù)據(jù)存儲于磁盤，熱數(shù)據(jù)存儲于內(nèi) 存100%兼容Redis協(xié)議和數(shù)據(jù)結(jié)構(gòu)的版本，兼容RedisRedis4.0版本的協(xié)議 和命令，提供數(shù)據(jù)自動降冷、持久化、備份、按時間點回檔的能力，適合數(shù)據(jù) 明顯冷熱別離或者對并發(fā)性能、響應(yīng)時延不敏感的場景使用。Redis混合存儲 版提供按需付費、自動擴展、容量無限的存儲空間,在冷熱比擬大的場景我們 幫助用戶節(jié)約90%的資源本錢。Prox

3、yProxyProxyRedis熱數(shù)據(jù)Q. Shard N 產(chǎn)品性能影響性能因素標(biāo)準(zhǔn)版：Redis由于本身單線程的架構(gòu)設(shè)計，標(biāo)準(zhǔn)版不同規(guī)格的性能差距主要 是受最大流量的影響，在流量沒有超過限制的情況下，不同規(guī)格的標(biāo)準(zhǔn)版實例 性能無差異。集群版：集群版的性能和分片數(shù)成正比，隨著分片數(shù)的增長性能遞增。性能擴展方法寫性能擴展：寫性能可以通過增加分片，或者將標(biāo)準(zhǔn)版遷移到集群版（注意： 集群版和標(biāo)準(zhǔn)版不是100%兼容，主要的兼容性問題是不支持大多數(shù)跨Slot訪 問數(shù)據(jù)的命令1讀性能擴展：讀性能的擴展可以考慮增加分片水平擴展，或者增加副本垂直擴 展（開啟自動讀寫別離X集群版標(biāo)準(zhǔn)測試數(shù)據(jù):產(chǎn)品版本連接數(shù)QP

4、S1000081。萬集群版100008 10萬/分片數(shù)據(jù)比照說明：單客戶端測試，很簿同期限測試的CPU負(fù)載一致，所以QPS不能完全對齊可重點關(guān)注平均時延，99.99%水位線，以及甲分片最大QPS ;隆訊云Redis4.0解版隹能說明：單分片1大QPS可達98W , 9999卻5喟成在4ms以內(nèi)；2、單分片QPS在5W以內(nèi)，99.99%的響應(yīng)在1ms以內(nèi)；3.墨舒的性收看分片數(shù)線性增長；測令:redis benchmark hxxx -pxxx *axxx t pingsei,get -r 1000000 n 6000000實例捌格：Ftedis4.0 3分片. 8GB測試環(huán)境 腔訊云畿上環(huán)境(

5、cvm -proxy -redis)客戶端：將訊云CVMC3機型-8XLARGE64單進卷客戶端并發(fā)設(shè)程戢Value大小(Byte )QPS執(zhí)行總耗時（ s）平均耗時（ms ）g9.99%zK 位戰(zhàn)CPU（平均sex1010041,110145.950024Vn$20-25%1.00034,600173.420.029lms2025%10.0C019,996300.050.0502ms27-35%2010070,32685320.0142ms35-44%1.0006225496.380.0161rns35*46%10,00019.923HCl 1-.0.050=212ms28-36%Wx)o9

6、871360370.010=5ms47-52%LOCO97,03861.830010v5m555-58%10,00019.846302330.050616ms28-34%qet10XX)42,468141.280.0241ms315%1,00038,9 力154200.026Vns10-15%10,00019386309500.052=2ms10-13%2010072,1818312OOM：ms19-24%1.00067,48388.910.0151ms19-24%10,00019383309550.052=216ms10-13%10010094,719633s0.0113fns25-29%1

7、.00092,00965210.0113ms26-29%10.0C019,282311170.052x -pxxx -axxx -tpngselget -r 1000000 -n 6000000 -P(X),50,100) 實例規(guī)格：Redis4.0 3分片* 8GB測試環(huán)境：騰訊云線上環(huán)境(cm -proocy -redis)客戶端：舞訊云CVMC3機型-8XIARGEX單進程Pipeline 個數(shù)Vaiuu大小(Byte )OPS執(zhí)行總耗時（5）平均耗時（ms ）99.99%2K 位線CPU砰均）set1010025.724233240039=Vns9-W%100021,036285.22

8、0.04310-11%10,00010,483572.340.095=Vn$14-16%sex5010058,565102450.017=2ms18-21%100047,688125820.021=Vns18-20%200020,059299.110.050=3ms24-28%set10010070,66984.900.014=1ms21-2510006164997320016=2ms23-2510,00020,0587妁ISO.OSO=Sms26-30getX)10024,786242.070.0405-6%100022,698264.330X)44=lms5-6%10,00010,0285

9、98310.1004-5%get5010060,17899.700.017=Vns10-13%100054264110.570.018=Vns9-3%10,00016,929354.410.059=3ms6-7%g810010078,81976.120.013v=3ms13-16100073,4908164OOM=2es11-1710,00019,368309 790 052n.n& 0-11-03hash105 45MBJk iis2019 11 04hash62 93MB1r9-11-04hasha293MB.apafier.forlune 2019-11-hash72 53MB加十,帕-

10、9 名 qn tus2019-11-05hash36 96MBign 9-11-05nash36 95MBMadckstse1 28MB pq mfo loihash41285KBwqJ cky_sunshriehash78sBq igS goM confignash456B共19項每頁顯示行20自建的Redis服務(wù)目前僅有密碼驗證功能，不具備賬號密碼體系的權(quán)限驗證。云數(shù)據(jù)庫Redis通過賬號機制提供讀寫權(quán)限控制和路由策略控制，以滿足復(fù)雜 業(yè)務(wù)場景中對業(yè)務(wù)權(quán)限的控制。目前僅4.0標(biāo)準(zhǔn)版和4.0集群版支持賬號設(shè) 置。賬號分類默認(rèn)賬號：只有密碼的賬號。自定義賬號：帶賬號名的賬號，自定義賬號的鑒權(quán)方

11、式為賬號名密碼，作為訪問Redis 的密碼參數(shù)。連接例如：redis-cli -h l.l.l.l -p 6379 -areadonlyuserpassword賬號匹配優(yōu)先級存在默認(rèn)賬號帶分隔符的情況時，會優(yōu)先匹配默認(rèn)賬號，再匹配自定義賬號，自 定義賬號的配將以第一個符號為分隔符。云數(shù)據(jù)庫Redis對免密碼認(rèn)證方式和原始Redis社區(qū)版有所不同，實例開通免密碼 訪問后，如果訪問參數(shù)密碼不為空，認(rèn)證將會失敗，原始社區(qū)版會認(rèn)證成功。權(quán)限設(shè)置只讀權(quán)限：賬號只有讀取數(shù)據(jù)的權(quán)限，無修改數(shù)據(jù)的權(quán)限。讀寫權(quán)限：賬號具有讀和寫數(shù)據(jù)的權(quán)限。只讀路由策略通過只讀路由策略配置，您可以將指定賬號的讀請求分發(fā)到指定節(jié)點

12、（主節(jié)點或副本 節(jié)點）。沒有開通副本只讀的實例，不支持路由到副本節(jié)點，可在【節(jié)點管理】頁開通【副本 只讀】功能。存在訪問副本節(jié)點賬號的實例，不允許關(guān)閉【副本只讀】功能，如需關(guān)閉【副本只 讀】功能，需要先刪除該賬號。工明伊0系統(tǒng)監(jiān)控畬主如數(shù)限施管理黨與恢履TL今管理嫌號H攫可修次效 修改歷加建ME加建ME繇烏名稱g權(quán)限只話韻曲加狀表備注康作他本節(jié)成立就主節(jié)足*小節(jié)定正常主節(jié)點.副本節(jié)點支更Q他本節(jié)成立就主節(jié)足*小節(jié)定正常主節(jié)點.副本節(jié)點支更Q傳iff收蟆,胃密香蒯題 修改收網(wǎng)聿胃密西韻收 修改S隕劇發(fā) 修改僅限重置己日刪除命令黑名單Redis局部命令的使用可能會導(dǎo)致服務(wù)不穩(wěn)定、或者數(shù)據(jù)誤刪除，因

13、此云數(shù)據(jù) 庫Redis提供了禁用局部命令的功能。云數(shù)據(jù)庫Redis2.8標(biāo)準(zhǔn)版、4.0標(biāo)準(zhǔn)版、4.0集群版支持配置disable-command- list,參數(shù)來禁用局部命令，如果您的控制臺不可見disable-command-list參數(shù)， 可提交工單升級后臺版本，版本升級會有連接閃斷，重新連接即可。PUM I f I IKSUJIIMW-IMKCq自建比照最大的點：商業(yè)化的Redis產(chǎn)品VS自建開源版本PAAS服務(wù)優(yōu)勢（VS自建）服務(wù)可用性承諾（99.95% ）（實際可用性）提供企業(yè)版服務(wù)（VS社區(qū)原始版）降低1譴本錢（人力+資源）縮短業(yè)務(wù)上蜘間無需預(yù)先投入（彈性伸給）專業(yè)的服務(wù)能力（內(nèi)

14、核級掌控）提升運維團隊層次（云運維）高階解決方案（落冷、多活）立體化平安方案（CAM+平安組）比照項 自建云Redis性能8-10萬/分片8-10萬/分片本錢云Redis性價比高;資源本錢接近；諸多免費功能（管控、備份、克隆、監(jiān)控、告警等功能）HA15-30 秒15-30 秒可用性自己保障99.95%擴容/縮容雙寫、數(shù)據(jù)遷移，切換會閃 斷，數(shù)據(jù)搬遷風(fēng)險高。自動化功能，不閃斷、不 只讀讀與分屬業(yè)務(wù)實現(xiàn)支持自動讀寫別離隔曷夕瓶口支持CPU、內(nèi)存隔離支持CPU、內(nèi)存、流量、 連接數(shù)隔離歹賬匕甲夕早不支持支持多賬號八、1I - 不又于寸server來集，監(jiān)控指標(biāo)少支持高危命令禁用獨有的時延、流量、大

15、Key、熱Key監(jiān)控View:4389View:4389Total Value(/min)騰訊云Redis單集群提供17.6億次請求/分鐘性能（2900萬QPS ）產(chǎn)品優(yōu)勢高可用架構(gòu)基于騰訊云自研的高可用系統(tǒng)，Redis標(biāo)準(zhǔn)版&集群版提供多達1主5從跨 多設(shè)備高可用架構(gòu)，同時通過自治的可用性檢測系統(tǒng)，Redis提供秒級的故障 酸能力。性能彈性擴展云數(shù)據(jù)庫Redis支持水平的分片擴展，垂直的副本擴展，為業(yè)務(wù)的持續(xù)增長提 供持續(xù)的性能擴展能力，并且提供自動讀寫別離能力。騰訊云Redis在擴展分 片的同時，提供數(shù)據(jù)自動遷移能力，并且提供業(yè)界領(lǐng)先的配置變更不閃斷、不 只讀，為業(yè)務(wù)提供極高的可用性。分片

16、容量128分片數(shù)副本數(shù)深度監(jiān)控能力通過智能Proxy和引擎層的多路采集,云數(shù)據(jù)庫Redis提供豐富的性能、時 延、網(wǎng)絡(luò)、容量、命中率等監(jiān)控指標(biāo)。同時提供智能的熱Key采集、大Key分 析、數(shù)據(jù)類型分析等功能。45.00%104.00 個 97.35 Mb/s 15.81 Mis 100.00%CPU 篇TOP 10CPU 篇TOP 10慟“分布 云數(shù)格冷Redis電商展示場景電商展示中，可以將商品展示、購物推薦等數(shù)據(jù)存儲在Redis中進行快速訪問，同時在大型促銷秒殺活動中，Redis達千萬級的QPS能輕松應(yīng)對高并發(fā) 訪問。TencentDB接入服務(wù)接入服務(wù)()支付航務(wù)as訂單率務(wù)券運散據(jù)庫A露

17、數(shù)據(jù)庫C運散據(jù)庫B運寓率務(wù)器并在桀存ftBftRedis產(chǎn)品系列內(nèi)存版標(biāo)準(zhǔn)版Redis標(biāo)準(zhǔn)版指數(shù)據(jù)未分片的版本(副本是指非主節(jié)點的節(jié)點)，是最通用的 Redis版本，兼容Redis2.8、Redis4.0版本的協(xié)議和命令，提供數(shù)據(jù)持久化 和備份，適用于對數(shù)據(jù)可靠性、可用性都有要求的場景。主節(jié)點提供日常服務(wù) 訪問，從節(jié)點提供HA高可用，當(dāng)主節(jié)點發(fā)生故障，系統(tǒng)會自動切換至從節(jié) 點，保證業(yè)務(wù)平穩(wěn)運行。云服務(wù)器CVM CVMRedi，代理群Proxy ProxyRedis節(jié)點是主節(jié)點 熊從可點故障后訪問切換到從節(jié)點 HA Redis標(biāo)準(zhǔn)版架構(gòu)（1副本）產(chǎn)品規(guī)格多副本情況（副本數(shù)1）：產(chǎn)品功能2.8標(biāo)準(zhǔn)

18、版4.0標(biāo)準(zhǔn)版內(nèi)存規(guī)格256MB 60GB256MB 60GB連接數(shù)副本數(shù)量* 1萬副本數(shù)量* 1萬最大流量10MB/S - 64MB/S10MB/S - 64MB/S副本數(shù)量0-11 - 5副本只讀（讀寫別離）不支持支持最大流量二副本數(shù)量*標(biāo)準(zhǔn)流量規(guī)格(GB)最大連接數(shù)最大吞吐量(MB/s)0.2530001011000016210000244100002481000024121000032161000032201000048241000048321000048401000064481000064601000064集群版Redis集群版是騰訊云基于社區(qū)版Redis4.0打造的全新版本，采用分布式架 構(gòu)，支持垂直和水平的擴縮容，擁有高度的靈活性、可用性和