阿里分布式數(shù)據(jù)庫實(shí)踐

1、阿里分布式數(shù)據(jù)庫服務(wù)實(shí)踐AgendaDRDS 簡介DRDS 功能特性DRDS 原理剖析DRDS 實(shí)戰(zhàn)DRDS 簡介DRDS簡介-起源起源DRDS 脫胎于 alibaba的cobra 分布式數(shù)據(jù)庫引擎06年上線使用在alibaba有近百應(yīng)用在使用，目前已經(jīng)開源DRDS的80%的代碼出自cobra proxySql解析器執(zhí)行流程配置DRDS簡介-起源起源DRDS吸收了taobao TDDL分布式數(shù)據(jù)庫引擎的大量優(yōu)秀經(jīng)驗(yàn)和解決方案08年上線使用目前在使用的應(yīng)用近千個(gè)大量實(shí)際應(yīng)用解決方案支持分布式j(luò)oin分布式aggregation (group sum max min)異步索引構(gòu)建Auto shar

2、ding ,自動(dòng)擴(kuò)容縮容DRDS簡介-起源從TDDL到DRDSDRDS專門針對(duì)外部用戶進(jìn)行了配置的重新設(shè)計(jì)簡化了配置操作規(guī)范與流程盡可能使得應(yīng)用像操作一個(gè)數(shù)據(jù)庫一樣的操作DRDS用戶的專業(yè)化指導(dǎo)場景廣泛互聯(lián)網(wǎng)應(yīng)用企業(yè)內(nèi)大數(shù)據(jù)應(yīng)用政務(wù)類應(yīng)用物聯(lián)網(wǎng)應(yīng)用DRDS簡介-應(yīng)用場景應(yīng)用的業(yè)務(wù)需求單機(jī)已經(jīng)無法滿足一個(gè)RDS數(shù)據(jù)庫的最大實(shí)例也無法滿足用戶的需求容量瓶頸事務(wù)數(shù)瓶頸讀取瓶頸DRDS簡介-應(yīng)用場景Scale out（多機(jī)水平擴(kuò)展）使用廉價(jià)數(shù)據(jù)庫陣列來滿足用戶需求-DRDS優(yōu)勢更輕量的使用數(shù)據(jù)庫，未來更換的成本小一次重構(gòu)，以后基本再無需擔(dān)心系統(tǒng)瓶頸劣勢重構(gòu)遷移需要付出成本分布式環(huán)境下一些查詢會(huì)被限制不

3、允許執(zhí)行完成相同功能需要比單機(jī)擴(kuò)展付出更多成本DRDS簡介-應(yīng)用場景理想狀態(tài)Scale out 與scale up結(jié)合讓系統(tǒng)架構(gòu)具備scale out的能力盡可能提升單機(jī)利用率但不要過早過度設(shè)計(jì)DRDS簡介-應(yīng)用場景何時(shí)應(yīng)該選擇Sharding方案？單機(jī)存儲(chǔ)是否能滿足未來1年的要求？使用PC server存儲(chǔ)使用共享存儲(chǔ)數(shù)據(jù)庫共享存儲(chǔ)是否能滿足未來1年要求？兜兒里的錢夠么？使用分布式存儲(chǔ)(DRDS)是否是是否否DRDS 簡介DRDS功能介紹分布式MySQL執(zhí)行引擎彈性擴(kuò)展小表異步廣播DRDS功能介紹-執(zhí)行引擎高兼容性MySQL 5.5 的各類復(fù)雜查詢Join嵌套函數(shù)智能下推減少網(wǎng)絡(luò)傳輸減少計(jì)算

4、量充分發(fā)揮下層存儲(chǔ)的全部能力DRDS功能介紹-執(zhí)行引擎智能下推表A 分庫分表3個(gè)select avg(id) from AMerge avg（id)subQuery Q1:select count(id),sum(id) A_0 Q2:select count(id),sum(id) A_1 Q3:select count(id),sum(id) A_2 avg(id)Query sum(id),count(id) from A_0Query sum(id),count(id) from A_1Query sum(id),count(id) from A_2智能下推全表distinct gro

5、upby的執(zhí)行計(jì)劃Select id from A order by id limit 1000,10Merge distinct id , group by idsubQuery Q1:select id from A_0 order by id limit 0,1010 Q2:select id from A_1 order by id limit 0,1010 Q2:select id from A_2 order by id limit 0,1010 Distinct idOrder by idQuery id from A_0 order by id limit 0,1010Quer

6、y id from A_1 order by id limit 0,1010Query id from A_2 order by id limit 0,1010DRDS功能介紹-執(zhí)行引擎自動(dòng)擴(kuò)容、縮容DRDS功能介紹-彈性擴(kuò)展新購RDS購買RDS實(shí)例加入DRDS集群DRDS集群使用新機(jī)器DRDS集群新購RDS遷移數(shù)據(jù)新購RDSDRDS集群DRDS功能介紹-小表異步廣播跨機(jī)JOIN優(yōu)勢：一致性空間比較節(jié)省劣勢網(wǎng)絡(luò)消耗延遲增加DRDS功能介紹-小表異步廣播小表廣播JOIN優(yōu)勢性能高延遲低網(wǎng)絡(luò)消耗小劣勢最終一致性小表更新量不能太巨大DRDS 實(shí)踐DRDS 實(shí)踐分布式查詢優(yōu)化事務(wù)的分布式優(yōu)化從單機(jī)存儲(chǔ)

7、到DRDS遷移流程DRDS 實(shí)踐-分布式查詢優(yōu)化讓請求可以水平擴(kuò)展原則1：盡可能讓所有查詢發(fā)生在盡可能少的下層存儲(chǔ)節(jié)點(diǎn)上，最好是只發(fā)生在一臺(tái)上將跨網(wǎng)絡(luò)請求盡可能減少減少并行查詢時(shí)的機(jī)器消耗原則2：選擇的shardingKey要能夠讓所有存儲(chǔ)節(jié)點(diǎn)均衡的負(fù)載讀寫請求系統(tǒng)可以簡單加機(jī)器來擴(kuò)展沒有系統(tǒng)瓶頸DRDS 實(shí)踐-分布式查詢優(yōu)化CASE1:應(yīng)該選擇哪個(gè)列作為切分條件？按照買家ID的查詢（買家查看自己買了哪些商品）bizOrderIDbuyerIDsellerIDcontent001床上用品102路上用品203銷售路由器304中文書籍405電腦510ipad620筆記本730鉛筆840桌面DRDS

8、 實(shí)踐-分布式查詢優(yōu)化CASE2:應(yīng)該選擇哪個(gè)列作為切分條件？按照買家ID的查詢（買家查看自己買了哪些商品）按照賣家ID的查詢（賣家查看自己賣了哪些商品）Table_bid buyerID % 4bizOrderIDbuyerIDsellerIDcontent510ipadbizOrderIDbuyerIDsellerIDcontent001床上用品102路上用品203銷售路由器304中文書籍405電腦840桌面bizOrderIDbuyerIDsellerIDcontent620筆記本bizOrderIDbuyerIDsellerIDcontent730鉛筆DRDS 實(shí)踐-分布式查詢優(yōu)化異構(gòu)

9、復(fù)制Table_bid buyerID % 4Table_sidsellerID % 4異構(gòu)復(fù)制bizOrderIDbuyerIDsellerIDcontent510ipadbizOrderIDbuyerIDsellerIDcontent001床上用品102路上用品203銷售路由器304中文書籍405電腦840桌面bizOrderIDbuyerIDsellerIDcontent620筆記本bizOrderIDbuyerIDsellerIDcontent730鉛筆bizOrderIDbuyerIDsellerIDcontent510ipad620筆記本730鉛筆840桌面304中文書籍bizOr

10、derIDbuyerIDsellerIDcontent001床上用品405電腦bizOrderIDbuyerIDsellerIDcontent102路上用品bizOrderIDbuyerIDsellerIDcontent203銷售路由器DRDS 實(shí)踐-分布式查詢優(yōu)化CASE3:賣家在商城銷售的所有商品bizOrderIDbuyerIDsellerIDtypecontent5101ipadbizOrderIDbuyerIDsellerIDtypecontent0010床上用品1021路上用品2030銷售路由器3041中文書籍4050電腦8400桌面bizOrderIDbuyerIDsellerI

11、Dtypecontent6200筆記本bizOrderIDbuyerIDsellerIDtypecontent7301鉛筆Table_bid buyerID % 4type平臺(tái)名0商城1專賣店DRDS 實(shí)踐-分布式查詢優(yōu)化小表異步廣播bizOrderIDbuyerIDsellerIDtypecontent5101ipadbizOrderIDbuyerIDsellerIDtypecontent0010床上用品1021路上用品2030銷售路由器3041中文書籍4050電腦8400桌面bizOrderIDbuyerIDsellerIDtypecontent6200筆記本bizOrderIDbuyer

12、IDsellerIDtypecontent7301鉛筆Table_bid buyerID % 4type平臺(tái)名0商城1專賣店type平臺(tái)名0商城1專賣店type平臺(tái)名0商城1專賣店type平臺(tái)名0商城1專賣店DRDS 實(shí)踐-分布式查詢優(yōu)化CASE4:應(yīng)該選擇哪個(gè)列作為切分條件？最近1周內(nèi)所有賣家銷售的商品量？bizOrderIDbuyerIDsellerIDcontentGMT_MODIFIED001床上用品2014-09-01102路上用品2014-09-01203銷售路由器2014-09-01304中文書籍2014-09-01405電腦2014-09-02510ipad2014-09-02

13、620筆記本2014-09-04730鉛筆2014-09-03840桌面2014-09-05DRDS 實(shí)踐-分布式查詢優(yōu)化讓請求可以水平擴(kuò)展原則1：盡可能讓所有查詢發(fā)生在盡可能少的下層存儲(chǔ)節(jié)點(diǎn)上，最好是只發(fā)生在一臺(tái)上將跨網(wǎng)絡(luò)請求盡可能減少減少并行查詢時(shí)的機(jī)器消耗原則2：選擇的shardingKey要能夠讓所有存儲(chǔ)節(jié)點(diǎn)均衡的負(fù)載讀寫請求系統(tǒng)可以簡單加機(jī)器來擴(kuò)展沒有系統(tǒng)瓶頸DRDS 實(shí)踐-事務(wù)的分布式優(yōu)化目標(biāo)：完整的事務(wù)支持ACID支持可按需無限擴(kuò)展快醒醒別做夢了DRDS 實(shí)踐-事務(wù)的分布式優(yōu)化從強(qiáng)一致到最終一致李雷家住長江頭，梅梅家住長江尾，日日思君不見君，送只玫瑰表心意。李雷希望（ACID）：

14、花別丟了，送不到給我退回來（原子性,A）花能瞬時(shí)送到梅梅家（強(qiáng)一致性和強(qiáng)隔離性,C&I）花別在路上壞了(D)DRDS 實(shí)踐-事務(wù)的分布式優(yōu)化Rethink“瞬時(shí)”？ “馬上”？再快也有延遲，光速走過特定距離也需要時(shí)間重新定義一下：當(dāng)李雷去檢查的時(shí)候，要么花在李雷那，要么花在韓梅梅那。DRDS 實(shí)踐-事務(wù)的分布式優(yōu)化方案1：李雷做火車到長江尾親手交給了梅梅方案2：李雷將花交給郵遞員郵遞員做飛機(jī)把花送給韓梅梅李雷電話打了一天，韓梅梅都沒接郵遞員把花交給韓梅梅韓梅梅接起電話，告訴李雷收到花DRDS 實(shí)踐-事務(wù)的分布式優(yōu)化強(qiáng)一致（方案2）優(yōu)勢：編程模型簡單：不用考慮郵遞員運(yùn)輸中的各種并發(fā)問題。劣勢并發(fā)性能低：李雷一天都不用干活了。DRDS 實(shí)踐-事務(wù)的分布式優(yōu)化最終一致李雷將花交給郵遞員郵遞員做飛機(jī)把花送給韓梅梅李雷電話給梅梅，梅梅告訴他還沒收到。李雷去寫作業(yè)，去打排球，去踢足球郵遞員把花交給韓梅梅李雷玩回來，打電話給韓梅梅，梅梅告訴他收到了DRDS 實(shí)踐-事務(wù)的分布式優(yōu)化最終一致優(yōu)勢無阻塞情況，并發(fā)性能好劣勢復(fù)雜度略高：需要考慮玫瑰已經(jīng)發(fā)出，但對(duì)方還沒收到的情況應(yīng)該如何處理。DRDS 實(shí)踐-事務(wù)的分布式優(yōu)化結(jié)合最終一致與強(qiáng)一致單機(jī)可以使用強(qiáng)一致跨機(jī)建議使用最終一致表A表B事務(wù)1事務(wù)2事務(wù)3事務(wù)4事務(wù)