Amazon Aurora關(guān)系型數(shù)據(jù)庫詳解

1、Amazon Aurora關(guān)系型數(shù)據(jù)庫詳解為云計算而生的關(guān)系型數(shù)據(jù)庫議程Aurora特性Aurora技術(shù)架構(gòu)遷移至AuroraAurora客戶案例議程Aurora特性Aurora技術(shù)架構(gòu)遷移至AuroraAurora客戶案例A m a zo nA u ro r a 的與眾不同高性能和高可擴(kuò)展性高可用性和高耐用性高度安全完全托管5 倍于標(biāo)準(zhǔn) MySQL 的吞吐量3 倍于PostgreSQL 的吞吐量性能相當(dāng)而成本僅為商用DB的1/10 可以跨3個AZ,最多 15 個可讀副本 存儲自增長，單實(shí)例可達(dá) 64TB可用性高于 99.99%具有容錯及自我修復(fù)能力跨3個AZ復(fù)制6個數(shù)據(jù)副本數(shù)據(jù)持續(xù)備份到 S

2、3實(shí)例故障轉(zhuǎn)移小于3 秒通過VPC 進(jìn)行網(wǎng)絡(luò)級 隔離，支持靜態(tài)存儲 及傳輸時加密，集群 中的備份、快照和副 本自動加密無需擔(dān)心硬件、軟件補(bǔ)丁、 設(shè)置、配置或備份等數(shù)據(jù) 庫管理任務(wù)。會自動持續(xù) 監(jiān)控并將其備份到 S3，可 以實(shí)現(xiàn)精細(xì)的時間點(diǎn)恢復(fù)。兼容 MySQL 和 PostgreSQL 的關(guān)系數(shù)據(jù)庫，為云打造。性能和可用性與商用數(shù)據(jù)庫相當(dāng)，成本只有 1/10。與M YS Q L 寫性能比較SysBench Write-Only (writes/sec)DB SizeAmazon AuroraMySQL1 GB107,0008,40010 GB107,0002,400100 GB101,0001

3、,5001 TB41,0001,200SysBench OLTP (writes/sec)Connections Amazon AuroraMySQL5040,00010,00050071,00021,0005,000110,00013,000與M YS Q L 讀性能比較Four client machines with 1,000 threads eachWRITE PERFORMANCEREAD PERFORMANCESingle client with 1,600 threadsMySQL SysBenchR3.8XL with 32 cores and 244 GB RAM性能測試更

4、多的測試可以看：/cn/blogs/china/aurora-test/?nc1=b_rp減少網(wǎng)絡(luò)傳輸緩存計算和存儲分離減少不必要工作更少IO減少延遲優(yōu)化鎖機(jī)制批量處理提高效率異步處理如何實(shí)現(xiàn)高性能？數(shù)據(jù)庫取決于IO網(wǎng)絡(luò)存儲依賴流量AWS 全球區(qū)域https:/www.infrastructure.aws/AWS 基礎(chǔ)架構(gòu)組件AWS 可用區(qū)( A Z ) 設(shè)計通過一個或多個數(shù)據(jù)中心，在基礎(chǔ)架構(gòu)層面 進(jìn)行完全隔離兩個AZ之間相隔幾十公里每個數(shù)據(jù)中心具有各自獨(dú)立的電源系統(tǒng)高達(dá)10萬臺服務(wù)器的規(guī)模不同的數(shù)據(jù)中心之間通過高速網(wǎng)絡(luò)進(jìn)行連接通過訪問infrastructure.aws 了解更多的AWS 全

5、球基礎(chǔ)架構(gòu)設(shè)施AvailabilityZone AAvailability Zone BBeijing Region 北京區(qū)域Availability Zone 可用區(qū)每個region區(qū)域至少有兩個可用區(qū)每個可用區(qū)都由多個數(shù)據(jù)中心組成可用區(qū)之間地理與網(wǎng)絡(luò)都是獨(dú)立設(shè)計與運(yùn)營可用區(qū)間網(wǎng)絡(luò)延時保持在3ms以下可用區(qū)內(nèi)延時保持在0.3ms以下跨可用區(qū)的高可用部署極低成本的城市圈級別的實(shí)時異地容災(zāi)方案Availability Zone AAvailability Zone BNingxia Region 寧夏區(qū)域AvailabilityZone A議程Aurora特性Aurora技術(shù)架構(gòu)遷移至Auror

6、aAurora客戶案例A m a zo nA u ro r a 體系結(jié)構(gòu)( 橫向擴(kuò)展)AZ 1AZ 3PrimaryInstanceAmazon S3AZ 2Replica InstanceASYNC 4/6 QUORUMDISTRIBUTED WRITESReplica InstanceLogging + StorageSQLTransactionsCaching控制層面數(shù)據(jù)層面AmazonS3DynamoDBAmazon SWFRoute 53將日志記錄和存儲層移入多租戶，橫向擴(kuò)展為數(shù)據(jù)庫 優(yōu)化的存儲服務(wù)與EC2VPC、DynamoDB、SWF、Route 53等其他AWS服務(wù)集成，用于控

7、制層面的操作持續(xù)備份與S3集成，并具有11個9的持久性A u ro r a 只讀副本的不同之處Log RecordsBinlogDataDouble-Write BufferFRM Files, MetadataPrimary InstanceReplica InstanceAmazon Elastic Block Store (EBS)S3EBSmirrorEBSEBSmirrorPiTRSequential writeSequential writeMySQL With ReplicaAZ 1AZ 2AZ 1AZ 3Primary InstanceS3Amazon AuroraAZ 2Re

8、plica Instanceasync 4/6 quorumDistributed writes主要改進(jìn)日志結(jié)構(gòu)化存儲對異常值的一致性容忍度顯著提高網(wǎng)絡(luò)I/O的使用效率A u ro r a 存儲節(jié)點(diǎn)的I/ O 處理PrimaryInstanceINCOMING QUEUESTORAGE NODE12346S3 BACKUP78UPDATE QUEUELOG RECORDSACKPOINT IN TIME SNAPSHOTGCDATABLOCKS SCRUBCOALESCE5SORT GROUPPEER TO PEER GOSSIPHOTLOGPeer Storage Nodes實(shí)際運(yùn)行效果 所

9、有步驟都是異步的 僅有步驟1與2處于前臺延時過程中 輸入隊(duì)列比MySQL少46倍 有利于延時敏感型操作 使用磁盤空間緩沖活動中的峰值I/O 控制流 接收記錄并添加到內(nèi)存隊(duì)列中持久化日志記錄并確認(rèn)組織日志記錄并鑒別日志中的縫隙 通過Gossip協(xié)議填補(bǔ)對等節(jié)點(diǎn)中縫隙 將日志記錄合并到新版本的數(shù)據(jù)塊中 定期將日志和新塊中轉(zhuǎn)到S3定期垃圾回收舊塊定期對塊進(jìn)行CRC校驗(yàn)A m a zo nA u ro r a存儲引擎概述數(shù)據(jù)在3 Availability Zones中復(fù)制6份持續(xù)備份到Amazon S3 (11個9的持久性)持續(xù)監(jiān)視節(jié)點(diǎn)和磁盤并自動修復(fù)10GB 的區(qū)段作為修復(fù)和存儲根據(jù)用 量自動增長的

10、基礎(chǔ)，存儲最大擴(kuò)展 到64 TBQuorum system 讀寫;Quorum membership 變更不會阻塞寫AZ 1AZ 2AZ 3Amazon S3Database NodeStorage NodeStorage NodeStorage NodeStorage NodeStorage NodeStorage NodeStorage Monitoring可能問題?Segment 損壞 (磁盤)節(jié) 點(diǎn) 損 壞 ( 主 機(jī) ) AZ 損壞 (網(wǎng)絡(luò)或數(shù)據(jù)中心)優(yōu)化4 out of 6 write quorum3 out of 6 read quorumPeer-to-peer replica

11、tion for repairsAZ 1AZ 2AZ 3SQLTransactionCachingA m a zo n存儲引擎容錯AZ 1AZ 2AZ 3SQLTransactionCachingA m a zo nA u ro r a只讀副本可用性自動檢測并替換失敗的database nodes自動檢測并重啟失敗的database processes只讀副本在主節(jié)點(diǎn)故障時自 動提升 (failover)客戶可以指定fail-over 順序AZ 1AZ 3AZ 2PrimaryNodePrimaryNodePrimary Database NodePrimaryNodePrimaryNodeR

12、ead ReplicaPrimaryNodePrimaryNodeRead ReplicaDatabase and Instance Monitoring性能客戶程序可以將讀流量指向只讀副本讀負(fù)載在多個只讀副本間均衡支持15個只讀副本集群讀寫與只讀終端節(jié)點(diǎn)Availability Zone 1橫向擴(kuò)展讀取性能Availability Zone 2Availability Zone 3ApplicationRead Replica 1自動添加或刪除只讀副本 自動故障轉(zhuǎn)移Read Replica 2Master NodeShared distributed storage volumeA m a

13、zo nA u ro r a 擴(kuò)展與高可用AppRunningFailure DetectionDNS PropagationRecoveryRecoveryDBFailureMYSQLDBFailureAURORA WITH MARIADB DRIVERFailure DetectionDNS Propagation5 - 6s e cRecoveryApp Running5 - 1 0s e cA u ro r a 自動故障接管過程SEGMENT SNAPSHOTLOG RECORDSRECOVERY POINTSEGMENT 1SEGMENT 2SEGMENT 3TIMEA u ro r

14、 a 數(shù)據(jù)庫備份與恢復(fù)并行為每個段定期拍快照，將重做日志流傳輸?shù)絊3存儲桶持續(xù)進(jìn)行備份，并不影響性能或可用性在還原時，從S3返回相應(yīng)的段快照與重做日志流到存儲節(jié)點(diǎn)以并行和異步方式應(yīng)用重做日志流到段快照傳統(tǒng)數(shù)據(jù)庫需要從last checkpoint重放所有日志一般來說從checkpoints開始5分鐘內(nèi)在MySQL 和 PostgreSQL上是Single-threaded需要大量的disk accessesAmazon Aurora啟動時無需重放，存儲系統(tǒng) 事務(wù)感知底層存儲由多個segment組成，不同segment有自己的重做日志應(yīng)用日志操作是并行，分布和異步的Checkpointed Da

15、taLogCrash at T0 requiresa re-application of the SQL in the log since last checkpointT0T0Crash at T0 will result in logs being applied to each segment on demand, in parallel, asynchronouslyA m a zo nA u ro r a緊急崩潰恢復(fù)A u ro r a 只讀副本自動伸縮技術(shù)MASTERREAD REPLICAREAD REPLICAREAD REPLICASHARED DISTRIBUTED STO

16、RAGE VOLUMEREADER END-POINT跨多個可用區(qū)最多可提升15個只讀副本基于重做日志復(fù)制的副本低延時 - 通常10毫秒讀取器端點(diǎn)具有負(fù)載平衡和自動縮放(CPU及連接數(shù))Availability Zone 1Availability Zone 2Availability Zone 3克隆數(shù)據(jù)庫而不復(fù)制數(shù)據(jù)瞬間創(chuàng)建一個數(shù)據(jù)庫克隆僅在發(fā)生寫入時復(fù)制數(shù)據(jù)(COW) 當(dāng)原始數(shù)據(jù)和克隆卷數(shù)據(jù)不同時應(yīng)用場景克隆生產(chǎn)數(shù)據(jù)庫以運(yùn)行測試數(shù)據(jù)庫重組為分析提供一個時間點(diǎn)快照，不影 響生產(chǎn)環(huán)境PRODUCTION DATABASECLONECLONECLONEDEV/TEST APPLICATIONS

17、BENCHMARKSPRODUCTION APPLICATIONSPRODUCTIONAPPLICATIONSA u ro r a 數(shù)據(jù)庫克隆技術(shù)存活c a c h es將 cache 從數(shù)據(jù)庫進(jìn)程中分離出來數(shù)據(jù)庫重啟時Cache 可以依舊保持熱度更快地恢復(fù)全量加載操作實(shí)例崩潰恢復(fù)+ 可存活cache = 更快速容易地從DB失敗中恢復(fù)SQLTransactionsCachingSQLTransactionsCachingSQLTransactionsCachingCaching process 和DB process 分離開來并在數(shù)據(jù)庫重啟時保持 warm數(shù)據(jù)回溯t0t1t2t3t4Rewin

18、d to t1t0t1t2t3t4快速恢復(fù)用戶的錯誤操作使用 Backtrack 允許您將數(shù)據(jù)庫回退到以前的某個時間點(diǎn)，無需從備份還原，即使是大型數(shù)據(jù) 庫也只需要幾秒鐘時間?？梢远啻位謴?fù)，直到需要的時間點(diǎn)Rewind to t3InvisibleInvisible僅為您使用的資源按秒付費(fèi)A u ro r a 無服務(wù)器架構(gòu)( S er v er l e s s )Warm CapacityPoolScalable Database Capacity(Compute + Memory)Shared Distributed StorageServerless 是一種面向 Aurora 的按需擴(kuò)展配置

19、，數(shù)據(jù)庫將根據(jù)您的應(yīng)用程序的需求來自動啟動、 關(guān)閉以及縱向和橫向擴(kuò)展數(shù)據(jù)庫容量?？稍谠浦羞\(yùn)行關(guān)系數(shù)據(jù)庫，而無需管理數(shù)據(jù)庫實(shí)例或集群。Application按需自動啟停Database Endpoint無服務(wù)器化、自動擴(kuò)展議程Aurora特性Aurora技術(shù)架構(gòu)遷移至AuroraAurora客戶案例A u ro r a 適用場景Mysql/PostgreSQL即使優(yōu)化仍然遇到瓶頸優(yōu)化索引優(yōu)化SQL主從讀寫分離拆分?jǐn)?shù)據(jù)庫高并發(fā)讀寫，尤其寫操作的負(fù)載很高需要快速恢復(fù)最小化讀副本的延遲免去手動sharding或者使用sharding中間件帶來的復(fù)雜性和運(yùn)維成本A m a zo nR DS 遷移至A u

20、 ro r a 的不同場景同構(gòu)數(shù)據(jù)庫有一定的停機(jī)時間最小停機(jī)時間異構(gòu)數(shù)據(jù)庫有一定的停機(jī)時間最小停機(jī)時間詳 細(xì) 過 程 可 參 考 ： /cn/blogs/china/every-scene- mysql-database-move-to-amazon-aurora/A m a zo nR DS 遷移至A u ro r a創(chuàng)建RDS快照根據(jù)快照創(chuàng) 建Aurora數(shù)據(jù) 庫應(yīng)用程序開 始使用Aurora 數(shù)據(jù)庫同構(gòu)數(shù)據(jù)庫有一定的停機(jī)時間A m a zo nR DS 遷移至A u ro r a創(chuàng)建Aurora只讀副本把Aurora只讀 副本提升為 主庫應(yīng)用程序開 始使用Aurora 數(shù)據(jù)庫同構(gòu)數(shù)據(jù)庫最

21、小停機(jī)時間自建數(shù)據(jù)庫遷移至A u ro r a為自建數(shù) 據(jù)庫創(chuàng)建 備份把數(shù)據(jù)庫 備份上傳 到S3根據(jù)備份創(chuàng)建Aurora數(shù) 據(jù)庫應(yīng)用程序開始使用Aurora數(shù) 據(jù)庫同構(gòu)數(shù)據(jù)庫有一定的停機(jī)時間自建數(shù)據(jù)庫遷移至A u ro r a創(chuàng)建Aurora從庫自建數(shù)據(jù) 庫與Aurora 從庫進(jìn)行 數(shù)據(jù)同步主從切換， 使得Aurora 從庫變成 新的主庫應(yīng)用程序開始使用Aurora數(shù)據(jù) 庫同構(gòu)數(shù)據(jù)庫，以MySQL為例有一定的停機(jī)時間自建數(shù)據(jù)庫遷移至A uro r a同構(gòu)或者異構(gòu)數(shù)據(jù)庫最小停機(jī)時間遷移關(guān)鍵業(yè)務(wù)系統(tǒng)遷移數(shù)據(jù)倉庫到Amazon Redshift歸檔老數(shù)據(jù)升級小版本合并多個數(shù)據(jù)分片到Amazon Aurora復(fù)制數(shù)據(jù)從而在云端分析數(shù)據(jù)從NoSQL遷移到SQL，或者從SQL遷移到NoSQL，或者從NoSQL遷移到NoSQLAmazon RDSAmazon Red