使用TerarkDB提升MySQL的性能和壓縮率

1、使用TerarkDB提升MySQL的性能和壓縮率技術(shù)創(chuàng)新 變革未來(lái)互聯(lián)網(wǎng)和大數(shù)據(jù)帶來(lái)的挑戰(zhàn)海量用戶(hù)帶來(lái)的海量隨機(jī)訪問(wèn)寫(xiě)入性能目前通過(guò)單節(jié)點(diǎn)的持續(xù)寫(xiě)入，多節(jié)點(diǎn)只讀，一般能滿(mǎn)足需求（如阿里云的 PolarDB ）絕大多數(shù)互聯(lián)網(wǎng)用戶(hù)對(duì)在線服務(wù)的訪問(wèn)偏向于隨機(jī)讀比如新聞資訊、搜索引擎、輿情監(jiān)控、電商類(lèi)商品檢索等對(duì)大量隨機(jī)讀的優(yōu)化，目前沒(méi)有很好的解決方案(目前只能增加內(nèi)存或建立額外的索引緩解)非隨機(jī)讀的場(chǎng)景，往往允許離線進(jìn)行處理，一般不要求事務(wù)，暫時(shí)還可以忍內(nèi)存和SSD依然很貴公司每個(gè)月的數(shù)據(jù)增長(zhǎng)沒(méi)有幾個(gè)T，都不好意思跟人打招呼SSD 的價(jià)格依然是機(jī)械硬盤(pán)的數(shù)倍，容量越大，價(jià)格差距越大SSD 的壽命非常

2、有限存儲(chǔ)引擎數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)領(lǐng)域的探索沒(méi)有止境TiDBCockroachDBMySQLMongoDBCassandraInnoDBRocksDBLevelDBWiredTigerTerarkDBPostgreSQLMariaDBPolarDBHBase為什么從引擎層優(yōu)化目前的存儲(chǔ)引擎底層算法，針對(duì)隨機(jī)讀較多、內(nèi)存受限的場(chǎng)景，還有很大的 改進(jìn)空間塊壓縮對(duì)隨機(jī)訪問(wèn)很不友好壓縮率太低引擎層的修改不觸及用戶(hù)現(xiàn)有數(shù)據(jù)庫(kù)的使用邏輯，更加透明引擎層更加通用，可以適應(yīng)各類(lèi)數(shù)據(jù)庫(kù)產(chǎn)品，應(yīng)用范圍更廣，也能和現(xiàn)有的 數(shù)據(jù)庫(kù)產(chǎn)品充分整合，設(shè)計(jì)各類(lèi)解決方案TerarkDB 對(duì)MySQL 的改進(jìn)方式MySQLInnoDBMy

3、ISAMMyRocksTerarkDBMySQL 以 RocksDB 作為存儲(chǔ)引擎是發(fā) 揮了 RocksDB 的 LSM 隨機(jī)寫(xiě)速度快的 優(yōu)勢(shì)，也是 Facebook 目前使用的主要方 法(MySQL on RocksDB, 簡(jiǎn)稱(chēng) MyRocks)TerarkDB 基于 RocksDB 的接口，將自己 的算法適配到了 MyRocks 中，進(jìn)一步支 持了 MySQL 數(shù)據(jù)庫(kù)“塊壓縮”的問(wèn)題塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)存在雙緩存問(wèn)題及無(wú)效解壓?jiǎn)栴}塊的尺寸決定壓縮率和無(wú)效解壓的損失解壓前的塊數(shù)據(jù)解壓后的塊數(shù)據(jù)Terark 可檢索壓縮算法全局壓縮不需要解壓即

4、可提取單條記錄不需要常見(jiàn)的數(shù)據(jù)庫(kù)使用的 DB Cache層來(lái)緩存解壓后的塊壓縮率逼近理論上限（相當(dāng)于塊壓縮中 的塊就是整個(gè)庫(kù)）單條目標(biāo)記錄Terark 可檢索壓縮算法Terark 的可檢索壓縮算法，由以下兩部分組成：索引壓縮算法：CO-Index（Compressed Ordered Index）樹(shù)結(jié)構(gòu)高度壓縮具有通過(guò) ID 反查 KEY 的功能（區(qū)別于傳統(tǒng)B+樹(shù)）數(shù)據(jù)壓縮算法：PA-Zip（Point Accessible Zip）全局壓縮提取單條數(shù)據(jù)時(shí)無(wú)需多余解壓索引壓縮算法：CO-IndexSuccinct Data StructureSuccinct數(shù)據(jù)結(jié)構(gòu)歷史悠久，但是并未引起大家的

5、重視，對(duì)于相同的樹(shù)結(jié)構(gòu)，對(duì)比基于指針技術(shù)，它僅僅需要 1/30 的內(nèi)存使用位向量來(lái)表達(dá)樹(shù)結(jié)構(gòu)，開(kāi)源實(shí)現(xiàn)有 Succinct Data Structure Library，缺點(diǎn)是性能較指針更 低，需要通過(guò)工程上大幅度優(yōu)化來(lái)接近指針性能Nested Patricia Trie原生的 Patricia支持路徑壓縮，通過(guò)把一串僅包含一個(gè)孩子的節(jié)點(diǎn)，壓縮成一個(gè)包含多個(gè)字符 的節(jié)點(diǎn)我們對(duì)其進(jìn)行了更進(jìn)一步的嵌套壓縮：把壓縮后的路徑構(gòu)建成一個(gè)全新的 Patricia Trie，進(jìn)一步 提升數(shù)據(jù)的壓縮率。數(shù)據(jù)壓縮算法：PA-ZipLZ系列算法的變種基于 LZ 系列算法進(jìn)行了大幅度的改進(jìn)，使用“全局字典” + “

6、局部字典”的方式，將壓縮率達(dá)到最 理想的程度采用滑動(dòng)窗口的方式進(jìn)行數(shù)據(jù)壓縮根據(jù)實(shí)際測(cè)試，全局字典的尺寸限制為 12GB 以?xún)?nèi)，效果比較理想，更大的字典對(duì)壓縮率的幫 助很有限數(shù)據(jù)壓縮算法的缺點(diǎn)由于需要進(jìn)行大量的計(jì)算，在數(shù)據(jù)寫(xiě)入過(guò)程中對(duì) CPU 的消耗會(huì)比較高目前可以采用寫(xiě)入限流的方式減輕 CPU 負(fù)載（大多數(shù)情況下，并不需要全速寫(xiě)入）在大型系統(tǒng)架構(gòu)下，可以采用計(jì)算和存儲(chǔ)分離的邏輯，單獨(dú)進(jìn)行數(shù)據(jù)壓縮集成進(jìn)入MySQL 數(shù)據(jù)庫(kù)MySQL ServerAbstract Storage Engine LayerAdapterMyRocks ( RocksDB Adapter )InnoDBRocksDBBlockBased TablePlain TableTerarkZip TableOperating SystemTerarkDB通過(guò)Facebook推出的MyRocks適配進(jìn)入MySQL，整合了 RocksDB 本身的優(yōu)秀調(diào)度層和