常用開(kāi)源NoSQL原理與應(yīng)用

1、常用開(kāi)源nosql原理與應(yīng)用agenda 深入理解redis hash算法數(shù)據(jù)庫(kù)介紹 lsm算法數(shù)據(jù)庫(kù)介紹 handlersocket介紹 分布式數(shù)據(jù)庫(kù)介紹why nosql? 關(guān)系數(shù)據(jù)庫(kù)的問(wèn)題 大數(shù)據(jù)的產(chǎn)生 存儲(chǔ)需求的多樣性 云時(shí)代的來(lái)臨深入理解redis一個(gè)更加強(qiáng)大的memcachedmemcached場(chǎng)景與局限 只能做cache,不能做storage 沒(méi)有數(shù)據(jù)結(jié)構(gòu)支持 數(shù)據(jù)局部踢出現(xiàn)象 cache與存儲(chǔ)資源訪問(wèn)能力落差 不能枚舉全數(shù)據(jù) 訪問(wèn)性能仍有提升空間redis 概述 a disk backed in-memory database 高性能網(wǎng)絡(luò)接口 + 數(shù)據(jù)結(jié)構(gòu)集合redis 特點(diǎn)

2、key - structure 類(lèi)型存儲(chǔ) 支持?jǐn)?shù)據(jù)可靠存儲(chǔ)及落地 支持復(fù)制（cluster版本在開(kāi)發(fā)） 單進(jìn)程單線程高性能服務(wù)器 crash safe & recovery slow 缺少內(nèi)存管理算法，依賴(lài)第三方庫(kù) 單機(jī)qps可以達(dá)到 10w (cpu是瓶頸)redis 數(shù)據(jù)類(lèi)型 string hash list set sorted setredis 持久化機(jī)制 snapshot save 參數(shù) aof appendfsync 參數(shù) vm vm is not the way to go for the future diskstore 傳統(tǒng)b-tree redis 復(fù)制 實(shí)現(xiàn)機(jī)制 快

3、照同步 存在的問(wèn)題 無(wú)增量復(fù)制 slave表重建 redis缺陷與優(yōu)化持久化io機(jī)制復(fù)制機(jī)制內(nèi)存管理線程模型故障恢復(fù)時(shí)間 持久化問(wèn)題 buffer io 持久化問(wèn)題 - fsyncfsync非常耗時(shí)單進(jìn)程阻塞操作快照與fsync同時(shí)進(jìn)行 復(fù)制缺陷 內(nèi)存管理缺少高效內(nèi)存管理額外內(nèi)存占用過(guò)多針對(duì)特殊場(chǎng)景做優(yōu)化開(kāi)放地址hashredis 使用場(chǎng)景 需要key - structure復(fù)雜數(shù)據(jù)結(jié)構(gòu) 需要數(shù)據(jù)可靠存儲(chǔ) 需要極高的單機(jī)qps using ram as the new diskhash算法數(shù)據(jù)庫(kù)hash存儲(chǔ)結(jié)構(gòu)更合適簡(jiǎn)單kv存儲(chǔ)tokyocabint（tchdb） 特點(diǎn) 包含hash/btre

4、e等多種存儲(chǔ)類(lèi)型kv tchdb適合小數(shù)據(jù)量高速讀寫(xiě)訪問(wèn) tchdb隨機(jī)磁盤(pán)io次數(shù)平均 tchdb使用mmap io tchdb qps 大約在6w左右tchdb存儲(chǔ)結(jié)構(gòu)1tchdb存儲(chǔ)結(jié)構(gòu)2lsm算法數(shù)據(jù)庫(kù)硬件變革推動(dòng)算法變革leveldb特點(diǎn) bigtable tablet實(shí)現(xiàn) lsm tree算法 寫(xiě)性能極其出色 讀性能依賴(lài)數(shù)據(jù)熱度 ssd設(shè)備友好，不會(huì)寫(xiě)入放大 嵌入式db，需要自己實(shí)現(xiàn)server 分布式auto sharding支持友好 寫(xiě)性能 50mb/s,讀性能 6w/sleveldb 存儲(chǔ)結(jié)構(gòu)leveldb 的問(wèn)題與場(chǎng)景 讀io次數(shù)不確定 查詢(xún)指定key對(duì)應(yīng)數(shù)據(jù)不存在的開(kāi)銷(xiāo)非

5、常大 缺少高效內(nèi)存管理算法 需要根據(jù)業(yè)務(wù)特點(diǎn)平衡merge時(shí)間點(diǎn) 投入使用需要一定的開(kāi)發(fā)量 適合有明顯時(shí)間熱點(diǎn)訪問(wèn)規(guī)律的系統(tǒng) 配合ssd使用表現(xiàn)極其出色riak(bitcask) 特點(diǎn) 存儲(chǔ)結(jié)構(gòu)簡(jiǎn)單 lsm hash算法 全部key存儲(chǔ)在內(nèi)存中 全部查詢(xún)只有1次磁盤(pán)io qps 大約在45w左右bitcask 存儲(chǔ)結(jié)構(gòu)bitcask 問(wèn)題與場(chǎng)景 全部key需要存儲(chǔ)在內(nèi)存中 recovery重啟需要重新load所有key merge時(shí)機(jī)的選擇 適合配合ssd使用handlersocket特點(diǎn) nosql接口訪問(wèn)mysql(innodb) 解決sql解析，查詢(xún)優(yōu)化等cpu開(kāi)銷(xiāo) 插件安裝無(wú)數(shù)據(jù)遷移成本 qps 可以達(dá)到8whandlersocket結(jié)構(gòu)handlersocket問(wèn)題與場(chǎng)景 配合ddl使用有嚴(yán)重問(wèn)題 寫(xiě)性能差，比傳統(tǒng)sql接口還要慢 只能支持row based復(fù)制 性能優(yōu)勢(shì)建立在沒(méi)有磁盤(pán)io瓶頸基礎(chǔ)上分布式nosql介紹無(wú)中心化方案 無(wú)中心節(jié)點(diǎn) 數(shù)據(jù)一致性hash分布 nwr數(shù)據(jù)多點(diǎn)備份 read repair hinted handoff gossip節(jié)點(diǎn)管理中心化方案 中心節(jié)點(diǎn)提供路由 中心節(jié)點(diǎn)維護(hù)節(jié)點(diǎn)信息 對(duì)外訪問(wèn)代理節(jié)點(diǎn)總結(jié) 關(guān)系數(shù)據(jù)庫(kù)是單機(jī)存儲(chǔ)時(shí)