深入了解PostgreSQL基于AWS云最佳實踐

1、深 入 了 解 PostgreSQL 基于 AWS 云端的最佳實踐議 程原生 PostgreSQL on AWS 最佳實踐Amazon RDS for PostgreSQL 服務(wù)概述及更新介紹Amazon Aurora PostgreSQL 兼容版架構(gòu)及核心功能概覽Amazon Redshift（兼容 PostgreSQL 語法）云數(shù)據(jù)倉庫架構(gòu)概覽數(shù)據(jù)庫遷移及參考資源基于 AWS 云端部署 PostgreSQL 的不同方式借助 AWS 基礎(chǔ)架構(gòu)在 Amazon EC2 上自建 PostgreSQL使用 AWS 的托管服務(wù)Amazon Aurora PostgreSQL 兼容版本Amazon R

2、DS for PostgreSQL Amazon Redshift (兼容 PostgreSQL語法)應(yīng)用程序優(yōu)化 擴展高可用 數(shù)據(jù)庫備份數(shù)據(jù)庫軟件補丁數(shù)據(jù)庫軟件安裝 操作系統(tǒng)補丁 操作系統(tǒng)安裝 服務(wù)器服務(wù)機架電力、制冷、網(wǎng)絡(luò)本地數(shù)據(jù)中心由客戶管理由AWS管理應(yīng)用程序優(yōu)化 擴展高可用 數(shù)據(jù)庫備份數(shù)據(jù)庫軟件補丁數(shù)據(jù)庫軟件安裝 操作系統(tǒng)補丁操作系統(tǒng)安裝服務(wù)器服務(wù) 機架電力、制冷、網(wǎng)絡(luò)云端自建數(shù)據(jù)庫應(yīng)用程序優(yōu)化擴展高可用 數(shù)據(jù)庫備份數(shù)據(jù)庫軟件補丁數(shù)據(jù)庫軟件安裝 操作系統(tǒng)補丁操作系統(tǒng)安裝服務(wù)器服務(wù) 機架電力、制冷、網(wǎng)絡(luò)AWS 數(shù)據(jù)庫服務(wù)如何選擇部署方式？AWS 數(shù)據(jù)庫（SQL/NoSQL）服務(wù)概覽關(guān)系

3、型鍵值文檔緩存圖數(shù)據(jù)庫分類賬Amazon NeptuneAmazon RDSAmazonAurora商業(yè)開源Amazon ElastiCacheAmazon DynamoDBAmazon DocumentDBAmazon QLDB數(shù)據(jù)倉庫Amazon Redshift支持的主流版本11.1-11.410.1-10.99.6.1-9.6.149.5.2-9.5.189.4.7-9.4.239.3.12-9.3.25支持的預(yù)覽版本PostgreSQL 12 測試版 1PostgreSQL 12 測試版 2Amazon RDS for PostgreSQL/rds/databasepreview/A

4、mazon RDS 支持的 PostgreSQL 數(shù)據(jù)庫版本Amazon RDS 支持的 PostgreSQL 擴展和模塊PostgreSQL 支持很多 PostgreSQL 擴展和模塊。擴展和模塊針對 PostgreSQL 引擎提供的功能進行了擴展。以下部分說明了 Amazon RDS 針對主要 PostgreSQL 版本支持的擴展和模塊。數(shù)據(jù)庫預(yù)覽環(huán)境中 Amazon RDS 上支持的 PostgreSQL 版本 12.x 擴展和模塊Amazon RDS 上支持的 PostgreSQL 版本 11.x 擴展和模塊Amazon RDS 上支持的 PostgreSQL 版本 10.x 擴展和模

5、塊Amazon RDS 上支持的 PostgreSQL 版本 9.6.x 擴展和模塊Amazon RDS 上支持的 PostgreSQL 版本 9.5.x 擴展Amazon RDS 上支持的 PostgreSQL 版本 9.4.x 擴展和模塊Amazon RDS 上支持的 PostgreSQL 版本 9.3.x 擴展對 Amazon RDS 上 PostGIS 的 PostgreSQL 擴展支持使用 log_fdw 擴展SHOW rds.extensions;rds-postgres-extensions-requestSePcroimndaaryryAmazon RDS 如何確保高可用性（H

6、A）？多可用區(qū)配置為生產(chǎn)數(shù)據(jù)庫提供企業(yè)級容錯 解決方案每個數(shù)據(jù)庫主機都使用數(shù)據(jù)的完整副本來管 理一組 Amazon EBS 卷實例由外部監(jiān)控，以保持對仲裁的共識通過自動化或通過 Amazon RDS API 發(fā)起 的故障轉(zhuǎn)移通過 DNS 重定向到新的主實例檢測基礎(chǔ)架構(gòu)，而不是數(shù)據(jù)庫引擎問題PSrtiamnadrbyyAvailability Zone 1Availability Zone 2AWS RegionApplicationsSynchronou s replicationAmazon Route 53Amazon RDS 如何獲得讀取可伸縮性？使用 Amazon RDS 只讀副本增加

7、讀取容 量緩解源數(shù)據(jù)庫的壓力每個源數(shù)據(jù)庫最多創(chuàng)建 5 個副本可在 Amazon CloudWatch 或 AmazonRDS 控制臺中監(jiān)控復(fù)制滯后時間支持單區(qū)域或跨區(qū)域只讀副本無法創(chuàng)建級聯(lián)只讀副本RegionAsynchronousreplicationAmazon RDS 如何規(guī)劃災(zāi)難恢復(fù)（DR）？Region 1Availability Zone 2SynchronousreplicationSynchronousreplicationAvailability Zone 3Availability Zone 1Availability Zone 4Region 2Asynchronousr

8、eplication使用跨區(qū)域只讀副本作為備用數(shù)據(jù)庫，以在發(fā) 生災(zāi)難時進行恢復(fù)可以為只讀副本配置多可用區(qū)部署，以減少恢 復(fù)時間Amazon RDS 如何管理備份恢復(fù)？Transaction LogsAmazon S3ApplicationAmazon EBS VolumeStandby InstanceAmazon S3Region 1Region 2Availability Zone 1Availability Zone 2Primary instanceAmazon EBS Volume兩種選擇 - 自動備份和手動快照Amazon RDS 利用存儲在 Amazon S3 中的 Amazon

9、 EBS 快照對于自動備份，事務(wù)日志每 5 分鐘存儲 在 Amazon S3 中以支持時間點恢復(fù)備份無性能損失，單可用區(qū)會暫掛IO快照可以跨區(qū)域復(fù)制或與其他帳戶共享存儲應(yīng)用程序應(yīng)用程序應(yīng)用程序SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄存儲存儲存儲存儲每種架構(gòu)都受整體思維方式的限制傳統(tǒng)分布式數(shù)據(jù)庫堆棧Amazon Aurora 云原生數(shù)據(jù)庫的核心價值5 倍于標(biāo)準(zhǔn) MySQL 的吞吐量3 倍于 PostgreSQL 的吞吐量性能相當(dāng)而成本僅為商用數(shù)據(jù)庫的1/10 可以跨 3 個 AZ,最多 15

10、個可讀副本 存儲 自增長，單實例可達 64TB可用性高于 99.99%具有容錯及自我修復(fù)能力跨 3 個AZ 復(fù)制 6 個數(shù)據(jù)副本數(shù)據(jù)持續(xù)備份到 S3實例故障轉(zhuǎn)移 小于30 秒通過 VPC 進行網(wǎng)絡(luò)級 隔離，支持靜態(tài)存儲 及傳輸時加密，集群 中的備份、快照和副 本自動加密無需擔(dān)心硬件、軟件補丁、 設(shè)置、配置或備份等數(shù)據(jù) 庫管理任務(wù)。會自動持續(xù) 監(jiān)控并將其備份到 S3，可 以實現(xiàn)精細的 時間點恢復(fù)兼容 MySQL 和 PostgreSQL 的關(guān)系數(shù)據(jù)庫，為云打造。 性能和可用性與商用數(shù)據(jù)庫相當(dāng)，成本只有 1/10。高性能和高可擴展性高可用性和高耐用性高度安全完全托管Amazon Aurora 橫向

11、擴展、分布式架構(gòu)共享存儲卷讀/寫SQL事務(wù) 緩存只讀SQL事務(wù) 緩存只讀SQL事務(wù) 緩存AZ1將 Log 機制推送至存儲層4/6 寫入仲裁與本地跟蹤寫入性能讀取橫向擴展可用區(qū)+1容錯機制即時數(shù)據(jù)庫重做恢復(fù)AZ2AZ3不再需要在性能、可用性與持久性之間做出妥協(xié)！Aurora RWPeer Storage NodesCoalesceAmazon Aurora 存儲層工作原理Amazon Aurora 更少的寫操作Amazon Auroraupdate t set y = 6;t-v1 t-v2Blotc-vk3 in MemoryAurora Storaget-v1 t-v2 t-v3no che

12、ckpoint=no FPWPostgreSQLBlotc-vk3 in Memoryt-v1 t-v2Full Blockt-v3WALarchivecheckpoint 4K4Kdatafile8Kupdate t set y = 6;t-v1 t-v2Amazon RDS for PostgreSQL 只讀副本工作原理PostgreSQL RWEBSSnapshotPostgreSQL ROEBSupdateAmazon Aurora 只讀副本工作原理Aurora RWAurora ROupdateAurora Storageupdate in memoryAmazon Aurora 全

13、局數(shù)據(jù)庫Aurora StorageROApplicationR WApplicationROApplicationAvailability zone 1Availability zone 3Availability zone 2Region ARegion BAurora StorageROApplicationApplicationROApplicationAvailability zone 1Availability zone 3Availability zone 2RORWROApplicationRWApplicationRWReporting ApplicationWrite lo

14、g recordsRead blocksAvailability Zone 1Availability Zone 3Availability Zone 2AurorastoragePrimary storageClone storageCloneApplicationAmazon Aurora PostgreSQL 集群緩存管理RWROApplicationApplicationAvailability Zone 1Availability Zone 2Availability Zone 3AurorastorageROROROARsyOncInvalRidaOtion & Updateapg

15、_ccm_enabled=on150,000100,00050,0000200,000250,000300,000400,000350,0000Transactions per Second (TPS)601201802403003604204805406006607207808409009601020 1080 1140 1200SecondsPGBench 20X RO / 1X RW 160GB Cached - Failover at 600 SecondsBaseline CCM Enabled32 seconds340 secondsAurora Serverless 工作原理WA

16、RM POOL OF INSTANCESAPPLICATIONDATABASE END- POINTREQUEST ROUTERAURORAAURORA STORAGE按需啟動，不使用時關(guān)閉自動放大/縮小擴展時對應(yīng)用程序沒有影響每秒支付，最少 1 分鐘Aurora Serverless 使用場景不常用的應(yīng)用程序新應(yīng)用程序可變工作負載不可預(yù)測的工作負載開發(fā)和測試數(shù)據(jù)庫多租戶應(yīng)用程序Aurora Serverless 伴隨工作負載按需動態(tài)擴展1173349658197113129145161177193209225241257273289305321337353369385401417433449

17、465481497513529545561577593609625641657673689705721TPS300025002000150010005000ACU1286432168421高性能易操作和兼 容安全設(shè)計吞吐量是PostgreSQL的 2 到 3 倍每個實例高達64 TB的存儲減少寫抖動準(zhǔn)同步副本自定義只讀終端節(jié)點增強的操作系統(tǒng)監(jiān)控性能洞察在不到30秒的時間內(nèi)進行故障轉(zhuǎn)移自動擴展存儲客戶指定的故障轉(zhuǎn)移順序高可用性連續(xù)備份和時間點恢復(fù)多達15個可讀的故障轉(zhuǎn)移目標(biāo)輕松配置/補丁即時崩潰恢復(fù)PostgreSQL 的所有功能可生存緩沖區(qū)緩存所有 RDS for PostgreSQL 擴展跨

18、區(qū)域快照副本AWS DMS 支持的入站靜態(tài)加密（AWS KMS）傳輸加密（SSL）默認情況下，Amazon VPC行級安全CategoryAmazon RDS PostgreSQLAmazon Aurora PostgreSQLPerformanceGood performance3x or better performanceScalabilityUp to 5 read replicas. Lag in seconds.Up to 15 read replicas. Lag in millisecondsFailoverAround 60 secondsLess than 30 secon

19、dsStorageHigh AvailabilityBackupInstance Types PricingScales up to 64 TB & up to 80k PIOPS Pre-provisionMulti-AZ is available，Pay for 2 DB instances & 2 copies of storage with MAZ Takes daily snapshot during backup window & captures transaction logsT2, T3, M3, M4, M5, R3, R4, R5Pay for database inst

20、ances & storageDatabase Versions 9.3, 9.4, 9.5, 9.6, 10, 11,12(preview)Innovations with AuroraScales up to 64 TB & no IOPS limit Auto-scales in 10 GB increments Writes 6 copies to 3 AZsPay for DB instances and only 1 copy of storageContinuous, asynchronous backup to S3 (no backup windows)T3, R4, R5P

21、ay for database instances, IO & storage 9.6, 10Fast Database Cloning Auto-scaling Read ReplicasQuery Plan Management、Parallel Query ServerlessGlobal DatabasePostgreSQLColumnarMPPOLAPAmazon RedshiftBackupRestore大規(guī)模并行、非共享、列存儲架構(gòu)領(lǐng)導(dǎo)節(jié)點SQL 終端節(jié)點元數(shù)據(jù)存儲協(xié)調(diào)并行 SQL 處理計算節(jié)點本地、列存儲并行執(zhí)行查詢數(shù)據(jù)加載/卸載、備份/恢復(fù)Spectrum 節(jié)點直接針對 S3

22、 執(zhí)行查詢SQL clients/BI16 corestoolsJDBC/ODBC128GB RAM128gb ram16TB disk計算16 co節(jié)res 點1128gb ram16TB disk計算16 co節(jié)res 點2128gb ram計算節(jié)點N16 cores16TB disk領(lǐng)導(dǎo)節(jié)點16TB diskAmazon S3.1234AmazonNRedshiftSpectrumLoadQUnuleoraydAWS Database Migration Service 數(shù)據(jù)庫遷移服務(wù)簡單易用最少停機時間持續(xù)數(shù)據(jù)復(fù)制多數(shù)據(jù)源支持運行可靠2. 關(guān)系型數(shù)據(jù)庫1. 非關(guān)系型數(shù)據(jù)庫3. 其他數(shù)據(jù)

23、源在停機時間盡可能短的狀態(tài)下將您的數(shù)據(jù)庫遷移至 AWS已有超過 180000 個數(shù)據(jù)庫使用 AWS DMS 完成遷移/dms/free-dms/Amazon Aurora Amazon DynamoDB Amazon Redshift Amazon DocumentDB Amazon RDSAWS Database Migration ServiceAmazon S3何時使用 AWS DMS 數(shù)據(jù)庫遷移服務(wù)?遷移遷移關(guān)鍵業(yè)務(wù)系統(tǒng)從 Classic 網(wǎng)絡(luò)遷移到 Amazon VPC遷移數(shù)據(jù)倉庫到 Amazon Redshift歸檔舊數(shù)據(jù)升級小版本合并多個數(shù)據(jù)分片到 Amazon Aurora復(fù)制數(shù)據(jù)從而在云端分析數(shù)據(jù)從 NoSQL 遷移到SQL，或者從 SQL 遷移到 NoSQL，或者從 NoSQL 遷移 到 NoSQLAmazon S3Amazon DynamoDBAmazon RedshiftAmazon S3Amazon Aurora源端目標(biāo)端