大數(shù)據(jù)與云計算-曹莎95課件講解

主講人：曹莎莎大數(shù)據(jù)與云計算知識點AMAZON云計算簡介3什么是彈性計算云EC24了解什么是簡單存儲服務(wù)S31了解什么是AWS2什么是基礎(chǔ)存儲架構(gòu)DynamoAMAZON云計算簡介定義AWS簡單來說就是一個云計算提供商，他提供了一組覆蓋全球的，囊括了數(shù)據(jù)的計算、存儲、分析和部署等服務(wù)，可以幫助企業(yè)獲取更多資源，有效降低成本。21發(fā)展歷程特點31996年成立2006年推出第一個aws服務(wù)成為亞馬遜三大核心業(yè)務(wù)之一什么是AWS全球規(guī)模化付費更節(jié)省創(chuàng)新和更快速的平臺安全性更高定義Dynamo是Amazon系統(tǒng)中的底層存儲架構(gòu)。當(dāng)互聯(lián)網(wǎng)的數(shù)據(jù)爆發(fā)式增長，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫難以滿足企業(yè)對數(shù)據(jù)庫的高靈活性、高擴展性的要求時，以分布式、無中心模式的分布式數(shù)據(jù)庫Dynamo應(yīng)運而生。主要問題及解決方案問題采取的相關(guān)技術(shù)數(shù)據(jù)均衡分布改進(jìn)的一致性哈希算法數(shù)據(jù)備份參數(shù)可調(diào)的弱quorum機制數(shù)據(jù)沖突處理向量時鐘（VectorClock）成員資格及錯誤檢測基于Gossip協(xié)議的成員資格和錯誤檢測臨時故障處理Hintedhandoff（數(shù)據(jù)回傳機制）永久故障處理Merkle哈希樹基礎(chǔ)存儲架構(gòu)DynamoGet（）：返回對象Put（）：存儲和放置對象系統(tǒng)接口無需服務(wù)器增量的可擴展性對稱性特點基礎(chǔ)存儲架構(gòu)Dynamo基礎(chǔ)存儲架構(gòu)DynamoDynamo采用的是改進(jìn)的一致性哈希算法。算法：數(shù)據(jù)備份：數(shù)據(jù)的副本備份存儲在哈希環(huán)順時針方向上該數(shù)據(jù)所在虛擬節(jié)點的后繼節(jié)點中保證一個副本必須寫入硬盤，其他副本只要寫入節(jié)點的內(nèi)存即返回寫成功每個虛擬節(jié)點上實際存儲了分配給它以及分配它的前N-1個前驅(qū)虛擬節(jié)點的數(shù)據(jù)數(shù)據(jù)的一致性Dynamo采用的是改進(jìn)的一致性哈希算法。CacheACacheCObject1Object2Object3Object4基礎(chǔ)存儲架構(gòu)Dynamo數(shù)據(jù)版本控制Dynamo中將數(shù)據(jù)的增加或刪除這種操作都視為一種增加操作，即每一次操作的結(jié)果都作為一份全新的數(shù)據(jù)保存，這樣也就造成了一份數(shù)據(jù)會存在多個版本，分布在不同的節(jié)點上。01

為了解決該問題，Dynamo中采用了向量時鐘技術(shù)（VectorClock）。02基礎(chǔ)存儲架構(gòu)Dynamo故障檢測和處理永久性故障處理機制在節(jié)點失效超過了設(shè)定時間后，如果沒有發(fā)現(xiàn)節(jié)點可以重用，則Dynamo會認(rèn)定該節(jié)點出現(xiàn)了永久性故障，臨時故障處理機制Dynamo中如果某個節(jié)點由于機器假死等因素?zé)o法與其他節(jié)點通信，則會被其他節(jié)點認(rèn)為失效基礎(chǔ)存儲架構(gòu)DynamoDynamo需要從其他數(shù)據(jù)副本進(jìn)行數(shù)據(jù)同步。Dynamo中采用了一種帶有監(jiān)聽的數(shù)據(jù)回傳機制（HintedHandoff）。EC2全名AmazonElasticComputeCloud，是一種AWS中的虛擬服務(wù)器，又稱實例。彈性計算云EC2EC2的優(yōu)勢：更節(jié)省更安全更快捷擴展性更強EC2的基本架構(gòu)：Amazon機器映象（AMI）更安全EC2的基本架構(gòu)主要包括了Amazon機器映象、實例、存儲模塊等組成部分，并能與S3等其他Amazon云計算服務(wù)結(jié)合使用。彈性計算云EC2實例彈性塊存儲（EBS）EC2的關(guān)鍵技術(shù)：地理區(qū)域和可用區(qū)域01EC2的通信機制02彈性負(fù)載均衡03監(jiān)控服務(wù)（CloudWatch）04自動縮放（AutoScaling）05服務(wù)管理控制臺06彈性計算云EC2

簡單存儲服務(wù)S3S3的定義：AmazonS3的全稱是AmazonSimpleStrongService，因為它的名稱里有3個S開頭的單詞，因此簡稱為S3.它是AWS最古老的服務(wù)之一，用戶可以通過它存儲和管理任何數(shù)據(jù)，如圖片、視頻、音樂和文檔。存儲的雙要素1

對象：是S3的基本存儲單元，主要由數(shù)據(jù)和元數(shù)據(jù)組成2

桶：桶是用于存儲對象的容器，其作用類似于文件夾簡單存儲服務(wù)S3基本操作：S3中支持對桶和對象的操作，主要包括：Get、Put、List、Delete和Head。簡單存儲服務(wù)S3S3的安全措施：簡單存儲服務(wù)S3S3向用戶提供包括身份認(rèn)證（Authentication）和訪問控制列表[15]（ACL）的雙重安全機制。身份認(rèn)證：S3中使用基于HMAC-SHA1的數(shù)字簽名方式來確定用戶身份。訪問控制列表：訪問控制列表（AccessCo