宗岱Tair分布式KV系統(tǒng)課件

1、Tair簡(jiǎn)介現(xiàn)狀與應(yīng)用案例Tair特性內(nèi)部架構(gòu)Tair未來分布式Key/Value存儲(chǔ)非持久化持久化Tair是什么支持 Java、C/C+的客戶端支撐著淘寶絕大部分系統(tǒng)300+ 臺(tái)服務(wù)器，每臺(tái)能提供22GB（內(nèi)存） 的空間70億+的記錄每秒百萬級(jí)別的請(qǐng)求數(shù)1GB/s的數(shù)據(jù)流使用現(xiàn)狀應(yīng)用案例loginbuydetailTairNamespace支持不同的數(shù)據(jù)使用相同的key而內(nèi)容不沖突Version有效的保護(hù)并發(fā)更新Expirekey的失效時(shí)間控制Counter服務(wù)器端的原子計(jì)數(shù)器集合數(shù)據(jù)格式支持將value視為一個(gè)集合，提供對(duì)集合中部分?jǐn)?shù)據(jù)的讀寫接口特性get/put/deleteincr/d

2、ecrmget/mdeleteget_items/add_items/remove_itemsAPIClientABCDEMasterSlaveconfigserverdataserversheartbeat系統(tǒng)架構(gòu)HA數(shù)據(jù)分布按負(fù)載分布按機(jī)架分布輕量級(jí)非傳統(tǒng)的中心節(jié)點(diǎn)configserver不可用，不會(huì)影響集群的服務(wù)便于用戶使用ConfigServer傳統(tǒng)的數(shù)據(jù)分布方法：將 key 的hash 值對(duì)機(jī)器數(shù)取模實(shí)現(xiàn)簡(jiǎn)單在服務(wù)器數(shù)量發(fā)生變化時(shí)對(duì)原有分布沖擊很大對(duì)照表：將 key 的hash 值對(duì)一個(gè)固定數(shù)取模固定數(shù)范圍內(nèi)的每個(gè)值都與一個(gè)節(jié)點(diǎn)相對(duì)應(yīng)一臺(tái)物理機(jī)器可以和多個(gè)值對(duì)應(yīng)consistent

3、hash的一種變型數(shù)據(jù)分布兩個(gè)節(jié)點(diǎn)Bucket numberdatanode1192.168.100.12192.168.100.23192.168.100.14192.168.100.25192.168.100.16192.168.100.2新增一個(gè)節(jié)點(diǎn)Bucket numberdatanode1192.168.100.12192.168.100.23192.168.100.14192.168.100.25192.168.100.36192.168.100.3對(duì)照表客戶端在啟動(dòng)的時(shí)候從configserver獲取對(duì)照表，并緩存在本地客戶端根據(jù)對(duì)照表完成路由請(qǐng)求對(duì)照表變化后？路由ConfigS

4、erverDataServerClientversionrequestrequesttableRequest Plug-insMdbKdbRequestResponseTairServerStorage EngineResponse Plug-insMigrateDuplicatorFdbRdbBdbDataServermdbrdbfdbkdbKyoto cabinetbdbBerkeley DB存儲(chǔ)引擎支持使用share memoryNamespace級(jí)別的容量配額Slab的動(dòng)態(tài)平衡數(shù)據(jù)過期清理LRU的淘汰機(jī)制mdb特點(diǎn)HashmapSlab Listmdb內(nèi)存結(jié)構(gòu)ConfigServer HA宕機(jī)對(duì)服務(wù)基本無影響可以配置的備份數(shù)數(shù)據(jù)在寫入主節(jié)點(diǎn)后，會(huì)異步同步到輔節(jié)點(diǎn)如果主節(jié)點(diǎn)不可用，則輔節(jié)點(diǎn)自動(dòng)接管成為主節(jié)點(diǎn)安全的數(shù)據(jù)分布方式不同機(jī)架/機(jī)房自動(dòng)復(fù)制當(dāng)有節(jié)點(diǎn)不可用時(shí)，能自動(dòng)復(fù)制數(shù)據(jù)，保證數(shù)據(jù)的備份數(shù)Tair的容災(zāi)商品中心Cache單備份雙機(jī)房登錄session全內(nèi)存雙備份雙機(jī)房交易快照持久化雙備份雙機(jī)房容災(zāi)案例mdb22G內(nèi)存單臺(tái)QPS 25Wkdb6 * 300G SAS單臺(tái)QPS 800Tair的性能服務(wù)器端統(tǒng)計(jì)與監(jiān)控負(fù)載/容量/總條目數(shù)/訪問次數(shù)/命中率/驅(qū)逐次數(shù)客戶端統(tǒng)計(jì)與監(jiān)控訪問延時(shí)統(tǒng)計(jì)與監(jiān)控Tai