兼容MySQL的Amazon Aurora平臺介紹

1、S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.兼容MySQL的 Amazon Aurora平臺介紹1開源引擎商業(yè)引擎高級監(jiān)控日常維護(hù)簡易規(guī)模伸縮自動故障轉(zhuǎn)移備份與恢復(fù)多區(qū)域復(fù)制關(guān)系數(shù)據(jù)庫服務(wù)平臺隔離與安全行業(yè)合規(guī)自動補(bǔ)丁修復(fù)云原生引擎愿景: Amazon Relational Database Service提供新的開源與商業(yè)數(shù)據(jù)庫選項S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All righ

2、tsreserved.媲美高端商業(yè)數(shù)據(jù)庫的速度與可用性媲美開源數(shù)據(jù)庫的簡單性與成本效益與MySQL及PostgreSQL全面 兼容按使用量計費(fèi)的簡單定價模式以托管服務(wù)形式交付Amazon AuroraAmazon Aurora以開源級成本交付的企業(yè)級數(shù)據(jù)庫S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.Aurora客戶采用情況AWS有史以來增長速度最快的服務(wù)在前百大AWS客戶當(dāng)中，有四分之三選擇使用AuroraS U M M I T 2019, Amazon Web Servic

3、es, Inc. or its affiliates. All rightsreserved.Amazon Aurora: 橫向擴(kuò)展、分布式 架構(gòu)共享存儲卷主副副SQL事務(wù) 緩存SQL事務(wù) 緩存SQL事務(wù) 緩存不再需要妥協(xié)！AZ1AZ2AZ3寫入性能讀取橫向擴(kuò)展可用區(qū)+1容錯機(jī)制即時數(shù)據(jù)庫重做恢復(fù)將Log機(jī)制推送至存儲層4/6寫入仲裁與本地跟蹤S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.Page1T1 T2 T3 T4主副234561Page1日志記錄即是數(shù)據(jù)庫！按需使用記錄

4、異步復(fù)制PAGE1Page1運(yùn)行中的記錄機(jī)制S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.二進(jìn)制日志數(shù)據(jù)雙寫入日志FRM文件寫入類型EBS鏡像EBS鏡像AZ 1AZ 2Amazon EBS主實例副實例1Amazon Elastic Block Store (EBS)2MYSQL副節(jié)點(diǎn)345AZ 1AZ 3主實例AZ 2副實例同步4/6仲裁分布式寫入副實例Amazon S3AMAZON AURORAMySQL I/O配置運(yùn)行Sysbench 30分鐘0.78MM 事務(wù)每事務(wù)7.4

5、次I/O達(dá)到前者的35倍 僅為前者的1/7.7Aurora IO配置運(yùn)行Sysbench 30分鐘27MM事務(wù)每事務(wù)0.95次I/OAmazonS U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.S3MySQL 與 Amazon Aurora 的I/O配置 差異234561QuorumT1T2T3T4PAGE1Page1T1 T2 T3 T4主36041560502606持久性:4606 跟蹤:等等待待TTxx :無T無T21T32T43T4已已提提交交TTxx :T無1T2T3T4

6、無重量級共分享布并存式行儲提刷卷交新運(yùn)行條件下的仲裁與本地跟蹤S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.寫入與讀取吞吐量Aurora MySQL的速度可達(dá)MySQL的5倍050,000100,000150,000200,000250,000MySQL 8.0MySQL 5.6Aurora 5.60100,000200,000300,000400,000500,000600,000700,000800,000MySQL 8.0MySQL 5.6Aurora 5.6MySQL

7、5.7Aurora 5.7MySQL 5.7Aurora 5.7寫入吞吐量讀取吞吐量在R4.16XL實例上運(yùn)行Sysbench處理250份表，每份表包含20萬行S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.SysBench OLTP只寫）10 GiB工作負(fù)載，250份表，每表20萬行不再被迫妥協(xié)！恢復(fù)時間與寫入性能S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.負(fù)

8、載條件下的性能變化SysBench OLTP（只寫）工作負(fù)載與250份表，每表20萬行，采用R4.16XL實例0121086420100200400500600300時間以秒為單位Amazon Aurora 一致性提升200倍寫入響應(yīng)時間（秒）Amazon Aurora MySQL 5.6 on EBSS U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.頁面緩存更新Aurora 主節(jié)點(diǎn)30% 讀取70% 寫入Aurora副節(jié)點(diǎn)100% 新讀取共享多可用區(qū)存儲MySQL 主節(jié)點(diǎn)30%

9、讀取70% 寫入MySQL副節(jié)點(diǎn)30% 讀取70% 寫入單線程二進(jìn)制日志數(shù)據(jù)卷數(shù)據(jù)卷讀取橫向擴(kuò)展使用完整的變更邏輯相同的寫入工作負(fù)載獨(dú)立存儲以物理方式使用delta變更不向副節(jié)點(diǎn)寫入 共享存儲MYSQL 讀取擴(kuò)展AMAZON AURORA 讀取擴(kuò)展S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.“在MySQL當(dāng)中，我們看到復(fù)制延遲達(dá)到近12分鐘。從實際應(yīng)用的角度來 看，這顯然是種近乎荒謬的情況。利用Aurora，4個副本的最大讀取延遲從未 超過20毫秒?！盉inlog Repli

10、ca Lag (sec.)Aurora物理復(fù)制延遲（毫秒）Aurora邏輯復(fù)制延遲（秒）Amazon Aurora MySQL邏輯與物理 復(fù)制延遲S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.降低查詢延遲異步鍵預(yù)取哈希連接批量掃描S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.并行、分布式處理讓處理更接近數(shù)據(jù)減少緩沖池污染數(shù)據(jù)庫節(jié)點(diǎn)存儲節(jié)點(diǎn)下推預(yù)測聚合結(jié)果降低查詢

11、延遲并行查詢S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.眾所周知的決策支持基準(zhǔn)我們對Aurora的并行查詢功能進(jìn)行了測試，并發(fā)現(xiàn)性能提升效果非常顯著。具體來說，我們得以將實例類型從 r3.8xlarge降低至r3.2xlarge。對于這一用例，并行查詢代表著巨大的性能進(jìn)步。云數(shù)據(jù)架構(gòu)師Jyoti Shandil120 x100 x80 x60 x 40 x 20 x 0 xS U M M I T 2019, Amazon Web Services, Inc. or its a

12、ffiliates. All rightsreserved.Q1Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22減少查詢響應(yīng)時間峰值加速約120倍超過10倍加速：22項查詢中的8項并行查詢性能結(jié)果并行查詢性能結(jié)果S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.“可用區(qū)+1”容錯機(jī)制為什么？在大規(guī)模集群體系中，故障總會出現(xiàn)可用區(qū)故障是一種“命中注定”AZ 1AZ 2AZ 3可用區(qū)

13、故障時的 仲裁中斷2/3讀取2/3 寫入AZ 1AZ 2AZ 3可用區(qū)故障 時仲裁仍可 繼續(xù)起效S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.3/6讀取4/6寫入如何實現(xiàn)？6份副本，每可用區(qū)2份2/3仲裁無法滿足需求持續(xù)備份分區(qū)快照日志記錄恢復(fù)點(diǎn)并行保存每個分區(qū)的定期快照，將重做日志引流至Amazon S3持續(xù)執(zhí)行備份，且不影響性能或可用性水平在還原時，將對應(yīng)的分區(qū)快照與日志流檢索至存儲節(jié)點(diǎn)將日志流應(yīng)用于并行與異步分區(qū)快照分區(qū)1分區(qū)2 分區(qū)3時間S U M M I T 2019

14、, Amazon Web Services, Inc. or its affiliates. All rightsreserved.數(shù)據(jù)庫回溯回溯機(jī)制代表將數(shù)據(jù)庫恢復(fù)至某一時間點(diǎn)，而無需使用備份資源從意外DML或DDL操作中回溯回溯不具有破壞性，您可以多次回溯以找尋正確的時間點(diǎn)t0t1t2t0t1t2t3t4S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.t3t4回溯至t1回溯至t3不可見不可見即時崩潰重做恢復(fù)傳統(tǒng)數(shù)據(jù)庫- 重放自上次檢查點(diǎn)之后的日志- 在單線程中慢速重放Amaz

15、on Aurora- 無需檢查點(diǎn)- 無需重放啟動準(zhǔn)備檢查點(diǎn)數(shù)據(jù)重做日志在T0上發(fā)生的崩潰，需要重 新應(yīng)用自上一次檢查點(diǎn)保 存后重做日志中的SQLT0T0在T0上發(fā)生崩潰后，重做日志能夠以并行、異 步方式按需應(yīng)用于各個分區(qū)S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.在多可用區(qū)內(nèi)最多可提供15份可升級的只讀副本 副節(jié)點(diǎn)與主節(jié)點(diǎn)共享存儲不丟失數(shù)據(jù)可配置故障轉(zhuǎn)移順序主節(jié)點(diǎn)S U M M I T 2019, Amazon Web Services, Inc. or its affili

16、ates. All rightsreserved.讀取副節(jié)點(diǎn)讀取副節(jié)點(diǎn)讀取副節(jié)點(diǎn)共享分布式存儲卷讀取副節(jié)點(diǎn)與快速故障轉(zhuǎn)移全局復(fù)制更快的災(zāi)難恢復(fù)速度與數(shù)據(jù)位置強(qiáng)化S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.性能洞察能力儀表板顯示數(shù)據(jù)庫負(fù)載操作簡單支持拖放等直觀操作強(qiáng)大可通過放大進(jìn)行深入觀察確定性能瓶頸來源按首要SQL分類按主機(jī)、用戶、等待事件等分類可調(diào)節(jié)時間范圍小時、天、周、月最高保留近2年數(shù)據(jù)；免費(fèi)保留近7天數(shù)據(jù)最大vCPUCPU瓶頸SQL等待/高CPUS U M M I T

17、 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.簡化管理自動存儲擴(kuò)展，最高64 TB自動實現(xiàn)重新條帶化、鏡像修復(fù)、熱點(diǎn)管理 以及加密最高64 TB讀取方端點(diǎn)具有負(fù)載均衡功能讀取方端點(diǎn)自動規(guī)模伸縮 *新功能*定制化讀取方端點(diǎn)主節(jié)點(diǎn)讀取 副節(jié)點(diǎn)讀取 副節(jié)點(diǎn)讀取 副節(jié)點(diǎn)共享分布式存儲卷讀取方端點(diǎn)讀取方端點(diǎn)#2S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.Amazon Aurora Serve

18、rless . . .自動響應(yīng)您的應(yīng)用程序負(fù)載在10秒以內(nèi)實現(xiàn)容量規(guī)模伸縮新實例默認(rèn)配備warm緩沖池多租戶代理具有高可用性S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.區(qū)域可用區(qū)1App共享分布式存儲卷多租戶NLB/數(shù)據(jù)庫代理層Aurora實例warm池監(jiān)控服務(wù)工作原理S U M M I T 2019, Amazon Web Services, Inc. or its affiliates. All rightsreserved.其在實踐當(dāng)中如何起效？1015029043057071085099011301270141015501690183019702110225023902530267028102950309032303370351036503790393040704210435044904630477049