數(shù)據(jù)庫(kù)中間件設(shè)計(jì)與實(shí)現(xiàn)

數(shù)據(jù)庫(kù)中間件設(shè)計(jì)與實(shí)現(xiàn)1綱要MySQL存在的問(wèn)題主流MySQLProxy方案中間件的設(shè)計(jì)與實(shí)現(xiàn)總結(jié)2MySQL存在的問(wèn)題讀寫(xiě)分離在客戶端中配置所有DB信息，并實(shí)現(xiàn)讀寫(xiě)分離DB上下線業(yè)務(wù)受影響運(yùn)維跟開(kāi)發(fā)需同步調(diào)整配置3clientdb_masterdb_slave主從同步MySQL存在的問(wèn)題4分庫(kù)分表客戶端改寫(xiě)SQL語(yǔ)句客戶端將SQL路由不同的DB客戶端聚合結(jié)果db1db3db2sql1sql2sql3sqlmergeresult中間件的目標(biāo)5減輕開(kāi)發(fā)工作量支持SQL讀寫(xiě)分離支持?jǐn)?shù)據(jù)分庫(kù)分表減輕運(yùn)維工作量無(wú)需與開(kāi)發(fā)同步高可用減少運(yùn)維工作主流MySQLProxy方案6主要解決方案DBProxyMysql官方產(chǎn)品，但只出到Beta0.8，基本不維護(hù)BUG多、擴(kuò)展功能較難C語(yǔ)言開(kāi)發(fā)國(guó)內(nèi)衍生：360Atlas、MeituanDBProxy、SohuDBProxy...Cobar功能簡(jiǎn)單基本不維護(hù)JAVA開(kāi)發(fā)阿里內(nèi)部已發(fā)展為T(mén)DDL(非代理模式),并在阿里云DRDS中大量使用國(guó)內(nèi)衍生：MyCatVitessYoutube開(kāi)源的數(shù)據(jù)庫(kù)擴(kuò)展及高可用方案，已經(jīng)用于生產(chǎn)環(huán)境功能強(qiáng)大，但是構(gòu)架復(fù)雜，部署及運(yùn)維成本較高GOLANG開(kāi)發(fā)國(guó)內(nèi)GO開(kāi)發(fā)：Kingshard中間件核心功能7讀寫(xiě)分離數(shù)據(jù)分庫(kù)分表平滑上下線DB中間件實(shí)現(xiàn)8SQLParser數(shù)據(jù)分片SQL路由結(jié)果歸并連接池設(shè)計(jì)后端DB的高可用方案高可用方案安全審計(jì)架構(gòu)設(shè)計(jì)9整體架構(gòu)圖SQLParser10SQL

Parser的設(shè)計(jì)與實(shí)現(xiàn)詞法分析器將SQL切分語(yǔ)法分析器根據(jù)詞法分析器結(jié)果和MySQL語(yǔ)法規(guī)則生成AST(abstractsyntaxtree)相關(guān)產(chǎn)品

目前常見(jiàn)的SQL解析器主要有fdb/jsqlparser和DruidSQL詞法分析語(yǔ)法分析AST根據(jù)分片規(guī)則生成新

SQL數(shù)據(jù)分片

11分片概念邏輯：將數(shù)據(jù)落在不同的DB實(shí)例中的不同子表中分片方式：Hash、Range、Time_Range等Shardkey類型：整型、MySQL標(biāo)準(zhǔn)時(shí)間類型等數(shù)據(jù)到實(shí)例采用兩級(jí)映射方案shard_keysub_tableDBdata數(shù)據(jù)分片12select*fromtabwhereid=10rangehashtimeconfigselect*fromtab_0001whereid=10calculatetableindexSQL路由

13路由概念SQL路由是根據(jù)分片規(guī)則配置，將SQL定位至真正的數(shù)據(jù)源結(jié)果歸并

14歸并概念結(jié)果歸并包括4類：普通遍歷類、排序類、聚合類和分組類。每種類型都會(huì)先根據(jù)分頁(yè)結(jié)果跳過(guò)不需要的數(shù)據(jù)。普通遍歷類最為簡(jiǎn)單，只需按順序遍歷ResultSet的集合即可排序類結(jié)果將結(jié)果先排序再輸出，因?yàn)楦鞣制Y(jié)果均按照各自條件完成排序，所以采用歸并排序算法整合最終結(jié)果分組類最為復(fù)雜，需要將所有的ResultSet結(jié)果放入內(nèi)存，使用map-reduce算法分組，最后根據(jù)排序和聚合條件做相關(guān)處理。最消耗內(nèi)存，最損失性能的部分即是連接池設(shè)計(jì)15目標(biāo)復(fù)用連接，降低后端DB壓力方式一個(gè)DB實(shí)例對(duì)應(yīng)一個(gè)連接池連接池個(gè)數(shù)上限可配置，無(wú)空閑連接則阻塞效果前端高并發(fā)，MySQL負(fù)載不會(huì)抖動(dòng)限制連接池個(gè)數(shù)，保護(hù)后端DB不至于宕機(jī)連接池設(shè)計(jì)16middlewareDB1ConnPoolConnPoolDB2connconnconn......poppush連接取出時(shí)：重置字符集重置Database后端DB的高可用方案17方式使用獨(dú)立線程檢測(cè)DB狀態(tài)定期檢測(cè)每臺(tái)DB是否正常，周期和重試次數(shù)均可配置效果自動(dòng)摘除宕機(jī)或網(wǎng)絡(luò)中斷的DB自動(dòng)掛載恢復(fù)正常的DBmiddlewareDB_MasterDB_Slave1DB_Slave2select1select1select1高可用方案18安全與審計(jì)19客戶端IP限制用戶自定義IP白名單列表SQL黑名單用戶定義黑名單SQL列表慢SQL記錄用戶自定義慢日志耗時(shí)大小