AWS數(shù)據(jù)庫(kù)上云最佳實(shí)踐

1、AWS數(shù)據(jù)庫(kù)上云最佳實(shí)踐AWS Database Migration Services 技術(shù)日程Redshift數(shù)據(jù)倉(cāng)庫(kù)EMRHadoop + SparkAthena交互式分析Kinesis DataAnalytics 實(shí)時(shí)ElasticsearchService運(yùn)營(yíng)分析MariaDB, Oracle, SQLServerAuroraMySQL,PostgreSQLRDSMySQL, PostgreSQL,QuickSightSageMakerDynamoDB鍵值ElastiCacheRedis, MemcachedNeptune圖時(shí)間流時(shí)間序列QLDB分類賬數(shù)據(jù)庫(kù)S3/GlacierGlue

2、ETL和數(shù)據(jù)目錄Lake Formation數(shù)據(jù)湖Database Migration Service| Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams數(shù)據(jù)移動(dòng)分析Databases商業(yè)智能和機(jī)器學(xué)習(xí)數(shù)據(jù)湖Managed BlockchainBlockchain TemplatesBlockchainRDS on VMwareDocumentDB文件我們的產(chǎn)品組合廣泛而深入的產(chǎn)品組合，精確構(gòu)建將現(xiàn)有應(yīng)用程序“提取和 更換”至云在云中快速構(gòu)建新的 應(yīng)用程序獲得新的見(jiàn)解三個(gè)階段關(guān)系數(shù)據(jù)庫(kù)非關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)H

3、adoop和SparkRedshiftEMR 運(yùn)營(yíng)分析ElasticSearch ServiceAurora業(yè)務(wù)智能QuickSightRDSDynamoDB DocumentDB客戶想提取和更換至云我的數(shù)據(jù)該如何上云本地?cái)?shù)據(jù)庫(kù)遷移至AWS云上轉(zhuǎn)換數(shù)據(jù)庫(kù)產(chǎn)品 數(shù)據(jù)庫(kù)對(duì)象轉(zhuǎn)換幾乎為零的停機(jī)時(shí)間數(shù)據(jù)庫(kù)遷移服務(wù)AWS SchemaConversion Tool服務(wù)組件定制化遷移現(xiàn)有數(shù)據(jù)持續(xù)復(fù)制服務(wù)遷移階段定制化您的數(shù)據(jù)倉(cāng)庫(kù)把Oracle, SQL Server, Netezza, Greenplum,Vertica, 或 Teradata 轉(zhuǎn)化為 Amazon Redshift定制化定制化您的數(shù)據(jù)庫(kù)

4、把Oracle, SQL Server, 或 Db2 轉(zhuǎn)化為 PostgreSQL, MySQL, 或 Amazon Aurora介紹Amazon AuroraAmazon RedshiftMySQLPostgreSQLSCT用來(lái)轉(zhuǎn)換對(duì)象：介紹遷移現(xiàn)有數(shù)據(jù)不需要停機(jī)不影響原有數(shù)據(jù)不需要安裝代理、插件跨數(shù)據(jù)庫(kù)產(chǎn)品自動(dòng)轉(zhuǎn)換支持?jǐn)?shù)據(jù)合并、拆分不僅僅是關(guān)系型數(shù)據(jù)庫(kù)介紹Amazon RDSAmazon RedshiftAmazon AuroraAmazon DynamoDBAmazon S3SDM日志架構(gòu)SMD特性 - 數(shù)據(jù)合并、拆分SMDAmazon AuroraAmazon AuroraAmazon

5、 RDSAmazon Aurora 跨regionAmazonRDSSMDAmazon S3Dynamodb特性 -不僅僅是關(guān)系數(shù)據(jù)庫(kù)持續(xù)復(fù)制讀取源端日志迅速的同步至目標(biāo)端實(shí)時(shí)數(shù)據(jù)驗(yàn)證特性 - 持續(xù)復(fù)制客戶 場(chǎng)所應(yīng)用程序用戶AWS網(wǎng)絡(luò)VPN特性 幾乎零宕機(jī)遷移啟動(dòng)復(fù)制實(shí)例連至源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)選擇表格、模式或數(shù)據(jù)庫(kù)讓AWS DMS創(chuàng)建表格、加載數(shù) 據(jù)，并使其保持同步在方便時(shí)將應(yīng)用程序切換至目標(biāo)AWS DMS操作界面操作界面操作界面數(shù)據(jù)類型 請(qǐng)?jiān)贒MS官方文檔查閱所支持的數(shù)據(jù)類型。數(shù)據(jù)庫(kù)發(fā)行版本 商業(yè)數(shù)據(jù)庫(kù)版本限制。DDL語(yǔ)句 不同數(shù)據(jù)庫(kù)產(chǎn)品所支持的DDL語(yǔ)句有所差異，比如MySQL作為目標(biāo)時(shí)

6、，不支持TRUNCATE PARTITION、DROP TABLE 和 RENAME TABLE。用戶、模式、庫(kù)之間的轉(zhuǎn)換 不同數(shù)據(jù)庫(kù)產(chǎn)品，對(duì)于用戶、模式、庫(kù)的使用方式有很大差別，比如定位一張表，Oracle是庫(kù).模式.表；MySQL是用戶.庫(kù).表；PostgreSQL是用戶（角色）.庫(kù).模式.表時(shí)間格式 通常字符串類型varchar、數(shù)字類型int的用法大同小異，還請(qǐng)注意不同數(shù)據(jù)庫(kù)產(chǎn) 品對(duì)于時(shí)間類型的格式有差別，需要調(diào)整代碼。最佳實(shí)踐 - 跨數(shù)據(jù)庫(kù)產(chǎn)品最佳實(shí)踐 - 跨數(shù)據(jù)庫(kù)產(chǎn)品最佳實(shí)踐 - 跨數(shù)據(jù)庫(kù)產(chǎn)品表完全加載后，立即開(kāi)始驗(yàn)證對(duì)于持續(xù)復(fù)制的任務(wù)，對(duì)比所有增刪改選用大內(nèi)存實(shí)例詳細(xì)報(bào)告源端與目

7、標(biāo)端不匹配的數(shù)據(jù)行會(huì)把詳細(xì)內(nèi)容記錄在目標(biāo)端表中：awsdms_validation_failures_v1select * from awsdms_validation_failures_v1“;SCOTT PEOPLERowkey:111記錄目標(biāo)丟失key:4source column : NAME, value : Super333 與目標(biāo)列不匹配：lalala最佳實(shí)踐 - 數(shù)據(jù)驗(yàn)證表設(shè)置 添加主鍵。遷移的項(xiàng)目 DMS僅遷移表、數(shù)據(jù)、主鍵索引，適度添加目標(biāo)端二級(jí)索引。并行度 DMS默認(rèn)是8張表并行加載，可以提升此值，同時(shí)根據(jù)復(fù)制實(shí)例的性能情況加大復(fù)制 實(shí)例的機(jī)型，過(guò)大的并行數(shù)量反而會(huì)降低復(fù)制速度。降低目標(biāo)端的瓶頸 關(guān)閉目標(biāo)端的約束、日志記錄、備份，加載完數(shù)據(jù)后再逐步開(kāi)啟。開(kāi)啟多任務(wù)task 對(duì)于同一個(gè)復(fù)制項(xiàng)目，可以開(kāi)啟多task以增加并行度。請(qǐng)注意每個(gè)task所包 含的表，都應(yīng)該處于同一個(gè)事務(wù)中，即不要出現(xiàn)這