《大數(shù)據(jù)與云計(jì)算》課件-6.AMAZON 云計(jì)算

大數(shù)據(jù)與云計(jì)算知識點(diǎn)AMAZON云計(jì)算簡介3什么是彈性計(jì)算云EC24了解什么是簡單存儲服務(wù)S31了解什么是AWS2什么是基礎(chǔ)存儲架構(gòu)DynamoAMAZON云計(jì)算簡介定義AWS簡單來說就是一個(gè)云計(jì)算提供商，他提供了一組覆蓋全球的，囊括了數(shù)據(jù)的計(jì)算、存儲、分析和部署等服務(wù)，可以幫助企業(yè)獲取更多資源，有效降低成本。21發(fā)展歷程特點(diǎn)31996年成立2006年推出第一個(gè)aws服務(wù)成為亞馬遜三大核心業(yè)務(wù)之一什么是AWS全球規(guī)模化付費(fèi)更節(jié)省創(chuàng)新和更快速的平臺安全性更高定義Dynamo是Amazon系統(tǒng)中的底層存儲架構(gòu)。當(dāng)互聯(lián)網(wǎng)的數(shù)據(jù)爆發(fā)式增長，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫難以滿足企業(yè)對數(shù)據(jù)庫的高靈活性、高擴(kuò)展性的要求時(shí)，以分布式、無中心模式的分布式數(shù)據(jù)庫Dynamo應(yīng)運(yùn)而生。主要問題及解決方案問題采取的相關(guān)技術(shù)數(shù)據(jù)均衡分布改進(jìn)的一致性哈希算法數(shù)據(jù)備份參數(shù)可調(diào)的弱quorum機(jī)制數(shù)據(jù)沖突處理向量時(shí)鐘（VectorClock）成員資格及錯(cuò)誤檢測基于Gossip協(xié)議的成員資格和錯(cuò)誤檢測臨時(shí)故障處理Hintedhandoff（數(shù)據(jù)回傳機(jī)制）永久故障處理Merkle哈希樹基礎(chǔ)存儲架構(gòu)DynamoGet（）：返回對象Put（）：存儲和放置對象系統(tǒng)接口無需服務(wù)器增量的可擴(kuò)展性對稱性特點(diǎn)基礎(chǔ)存儲架構(gòu)Dynamo基礎(chǔ)存儲架構(gòu)DynamoDynamo采用的是改進(jìn)的一致性哈希算法。算法：數(shù)據(jù)備份：數(shù)據(jù)的副本備份存儲在哈希環(huán)順時(shí)針方向上該數(shù)據(jù)所在虛擬節(jié)點(diǎn)的后繼節(jié)點(diǎn)中保證一個(gè)副本必須寫入硬盤，其他副本只要寫入節(jié)點(diǎn)的內(nèi)存即返回寫成功每個(gè)虛擬節(jié)點(diǎn)上實(shí)際存儲了分配給它以及分配它的前N-1個(gè)前驅(qū)虛擬節(jié)點(diǎn)的數(shù)據(jù)數(shù)據(jù)的一致性Dynamo采用的是改進(jìn)的一致性哈希算法。CacheACacheCObject1Object2Object3Object4基礎(chǔ)存儲架構(gòu)Dynamo數(shù)據(jù)版本控制Dynamo中將數(shù)據(jù)的增加或刪除這種操作都視為一種增加操作，即每一次操作的結(jié)果都作為一份全新的數(shù)據(jù)保存，這樣也就造成了一份數(shù)據(jù)會(huì)存在多個(gè)版本，分布在不同的節(jié)點(diǎn)上。01

為了解決該問題，Dynamo中采用了向量時(shí)鐘技術(shù)（VectorClock）。02基礎(chǔ)存儲架構(gòu)Dynamo故障檢測和處理永久性故障處理機(jī)制在節(jié)點(diǎn)失效超過了設(shè)定時(shí)間后，如果沒有發(fā)現(xiàn)節(jié)點(diǎn)可以重用，則Dynamo會(huì)認(rèn)定該節(jié)點(diǎn)出現(xiàn)了永久性故障，臨時(shí)故障處理機(jī)制Dynamo中如果某個(gè)節(jié)點(diǎn)由于機(jī)器假死等因素?zé)o法與其他節(jié)點(diǎn)通信，則會(huì)被其他節(jié)點(diǎn)認(rèn)為失效基礎(chǔ)存儲架構(gòu)DynamoDynamo需要從其他數(shù)據(jù)副本進(jìn)行數(shù)據(jù)同步。Dynamo中采用了一種帶有監(jiān)聽的數(shù)據(jù)回傳機(jī)制（HintedHandoff）。EC2全名AmazonElasticComputeCloud，是一種AWS中的虛擬服務(wù)器，又稱實(shí)例。彈性計(jì)算云EC2EC2的優(yōu)勢：更節(jié)省更安全更快捷擴(kuò)展性更強(qiáng)EC2的基本架構(gòu)：Amazon機(jī)器映象（AMI）更安全EC2的基本架構(gòu)主要包括了Amazon機(jī)器映象、實(shí)例、存儲模塊等組成部分，并能與S3等其他Amazon云計(jì)算服務(wù)結(jié)合使用。彈性計(jì)算云EC2實(shí)例彈性塊存儲（EBS）EC2的關(guān)鍵技術(shù)：地理區(qū)域和可用區(qū)域01EC2的通信機(jī)制02彈性負(fù)載均衡03監(jiān)控服務(wù)（CloudWatch）04自動(dòng)縮放（AutoScaling）05服務(wù)管理控制臺06彈性計(jì)算云EC2

簡單存儲服務(wù)S3S3的定義：AmazonS3的全稱是AmazonSimpleStrongService，因?yàn)樗拿Q里有3個(gè)S開頭的單詞，因此簡稱為S3.它是AWS最古老的服務(wù)之一，用戶可以通過它存儲和管理任何數(shù)據(jù)，如圖片、視頻、音樂和文檔。存儲的雙要素1

對象：是S3的基本存儲單元，主要由數(shù)據(jù)和元數(shù)據(jù)組成2

桶：桶是用于存儲對象的容器，其作用類似于文件夾簡單存儲服務(wù)S3基本操作：S3中支持對桶和對象的操作，主要包括：Get、Put、List、Delete和Head。簡單存儲服務(wù)S3S3的安全措施：簡單存儲服務(wù)S3S3向用戶提供包括身份認(rèn)證（Authentication）和訪問控制列表[15]（ACL）的雙重安全機(jī)制。身份認(rèn)證：S3中使用基于HMAC-SHA1的數(shù)字簽名方式來確定用戶身份。訪問控制列表：訪問控制列表（AccessControlList，ACL）是S3提供的可供用戶自行定義的訪問控制策略列表。思考：什么是AWS？什么是基礎(chǔ)存儲架構(gòu)Dynamo?什么是彈性計(jì)算云EC2?

了解什么是簡單存儲服務(wù)S3?知識點(diǎn)AMAZON云計(jì)算服務(wù)3了解簡單隊(duì)列服務(wù)SQS，內(nèi)容推送服務(wù)CloudFront1了解非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB2了解什么是關(guān)系數(shù)據(jù)庫服務(wù)RDSAMAZON云計(jì)算服務(wù)非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系數(shù)據(jù)庫的比較數(shù)據(jù)模型01數(shù)據(jù)處理02接口層03非關(guān)系型數(shù)據(jù)庫服務(wù)SimpleDB和DynamoDB域（Domain）域是用于存放具有一定關(guān)聯(lián)關(guān)系的數(shù)據(jù)的容器，其中的數(shù)據(jù)以UTF-8編碼的字符串形式存儲每個(gè)用戶賬戶中的域名必須是唯一的，且域名長度為3～255個(gè)字符每個(gè)域中數(shù)據(jù)的大小具有一定的限制，因此通常將不同特征的數(shù)據(jù)放入不同的域中；對于Web數(shù)據(jù)等不易劃分的數(shù)據(jù)，可以利用哈希函數(shù)將其散列到不同的域中SimpleDB條目對應(yīng)著一條記錄，通過一系列屬性來描述，即條目是屬性的集合。條目（Item）屬性是條目的特征，每個(gè)屬性都用于對條目某方面特性進(jìn)行概括性描述。屬性（Attribute）值用于描述某個(gè)條目在某個(gè)屬性上的具體內(nèi)容。值（Value）SimpleDB簡介1DynamoDB是Amazon在SimpleDB之后提供的非關(guān)系型數(shù)據(jù)庫服務(wù)。2DynamoDB以表為基本單位，表中的條目同樣不需要預(yù)先定義的模式，即每個(gè)條目可以具有不同的屬性。3與SimpleDB不同，DynamoDB中取消了對表中數(shù)據(jù)大小的限制，這使得用戶可以將表的容量設(shè)置成任意需要的大小，并由系統(tǒng)自動(dòng)分配到多個(gè)服務(wù)器上。4DynamoDB不再固定使用最終一致性數(shù)據(jù)模型，而是允許用戶選擇弱一致性或者強(qiáng)一致性DynamoDBSimpleDB和DynamoDB都是Amazon提供的非關(guān)系型數(shù)據(jù)庫服務(wù)。SimpleDB中限制了每張表的大小，更適合于小規(guī)模負(fù)載的工作；但SimpleDB會(huì)自動(dòng)對所有屬性進(jìn)行索引，提供了更加強(qiáng)大的查詢功能。DynamoDB支持自動(dòng)將數(shù)據(jù)和負(fù)載分布到多個(gè)服務(wù)器上，并未限制存儲在單個(gè)表中數(shù)據(jù)量的大小，適用于較大規(guī)模負(fù)載的工作SimpleDB和DynamoDB的比較RDS的基本原理非關(guān)系數(shù)據(jù)庫在處理ACID類問題時(shí)存在一些先天性的不足，為了滿足相關(guān)應(yīng)用的需求，Amazon提供了相關(guān)數(shù)據(jù)庫服務(wù)（RelationalDatabaseService，RDS）。AmazonRDS將MySQL數(shù)據(jù)庫移植到集群中，在一定的范圍內(nèi)解決了關(guān)系數(shù)據(jù)庫的可擴(kuò)展性問題。可以通過兩種工具對RDS進(jìn)行操作：命令行工具和兼容的MySQL客戶端程序。關(guān)系數(shù)據(jù)庫服務(wù)RDS01簡單隊(duì)列服務(wù)（SimpleQueueService，SQS）是Amazon為了解決其云計(jì)算平臺之間不同組件的通信而專門設(shè)計(jì)開發(fā)的?；靖拍?2SQS由三個(gè)基本部分組成：系統(tǒng)組件（Component）、隊(duì)列（Queue）和消息（Message）。基本模型03消息的格式消息取樣SQS的消息簡單隊(duì)列服務(wù)SQS基本概念內(nèi)容推送服務(wù)CloudFrontCloudFront是基于Amazon云計(jì)算平臺實(shí)現(xiàn)的內(nèi)容分發(fā)網(wǎng)絡(luò)（ContentDeliveryNetwork，CDN）。借助Amazon部署在世界各地的邊緣節(jié)點(diǎn)，用戶可以快速、高效地對由CloudFront提供服務(wù)