云計(jì)算及應(yīng)用課件：簡(jiǎn)單存儲(chǔ)服務(wù)S3

提綱

Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo

彈性計(jì)算云EC2

簡(jiǎn)單存儲(chǔ)服務(wù)S3

簡(jiǎn)單隊(duì)列服務(wù)SQS

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB

關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS

內(nèi)容推送服務(wù)CloudFront

其他Amazon云計(jì)算服務(wù)

AWS應(yīng)用實(shí)例

小結(jié)

基本概念

S3系統(tǒng)構(gòu)架在Dynamo之上，采取的并不是傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)方式，原因：

使文件操作盡量簡(jiǎn)單、高效；

使用關(guān)系數(shù)據(jù)庫(kù)只會(huì)增加系統(tǒng)的復(fù)雜性1.對(duì)象

數(shù)據(jù)（任意類(lèi)型）和元數(shù)據(jù)（描述數(shù)據(jù)的數(shù)據(jù)）

元數(shù)據(jù)是通過(guò)一對(duì)鍵-值（Name-Value）集合來(lái)定義元數(shù)據(jù)名稱(chēng)名稱(chēng)含義last-modified對(duì)象被最后修改的時(shí)間ETag利用MD5哈希算法得出的對(duì)象值Content-Type對(duì)象的MIME（多功能網(wǎng)際郵件擴(kuò)充協(xié)議）類(lèi)型，默認(rèn)為二進(jìn)制/八位組Content-Length對(duì)象數(shù)據(jù)長(zhǎng)度，以字節(jié)為單位系統(tǒng)默認(rèn)元數(shù)據(jù)基本概念

2．鍵

對(duì)象的唯一標(biāo)示符3．桶

存儲(chǔ)對(duì)象容器（最多創(chuàng)建100個(gè)桶，不限桶中數(shù)量）

桶具體命名規(guī)則

建議使用規(guī)則S3的基本結(jié)構(gòu)圖

基本操作

基本操作

根據(jù)Amazon提供的技術(shù)文檔，目前S3支持的主要操作包括：Get、Put、List、Delete和Head操作目標(biāo)GetPutListDeleteHead桶獲取桶中對(duì)象創(chuàng)建或更新桶列出桶中所有鍵刪除桶無(wú)對(duì)象獲取對(duì)象數(shù)據(jù)和元數(shù)據(jù)創(chuàng)建或更新對(duì)象無(wú)刪除對(duì)象獲取對(duì)象元數(shù)據(jù)數(shù)據(jù)一致性模型

S3系統(tǒng)采用冗余存儲(chǔ)優(yōu)勢(shì)：某些服務(wù)器出現(xiàn)故障時(shí)用戶(hù)仍然可以對(duì)其數(shù)據(jù)進(jìn)行操作弊端：用戶(hù)在操作時(shí)可能會(huì)出現(xiàn)如下幾種情況

（1）一個(gè)進(jìn)程寫(xiě)入一個(gè)新的對(duì)象并立即嘗試讀取它，但在該改變被傳送到S3的多個(gè)服務(wù)器前，服務(wù)器對(duì)該操作可能返回“鍵不存在”

（2）一個(gè)進(jìn)程寫(xiě)入一個(gè)新的對(duì)象并立即嘗試列出桶中已有的對(duì)象，但在該改變被傳送到S3的多個(gè)服務(wù)器前，該對(duì)象很可能不會(huì)出現(xiàn)在列表中

（3）一個(gè)進(jìn)程用新數(shù)據(jù)替換現(xiàn)有的對(duì)象并立即嘗試讀取它，但在該改變被傳送到S3的多個(gè)服務(wù)器前，S3可能會(huì)返回以前的數(shù)據(jù)

（4）一個(gè)進(jìn)程刪除現(xiàn)有的對(duì)象并立即嘗試讀取它，但在該改變被傳送到S3的多個(gè)服務(wù)器前，S3可能會(huì)返回被刪除的數(shù)據(jù)

（5）一個(gè)進(jìn)程刪除現(xiàn)有的對(duì)象并立即嘗試列出桶中的所有對(duì)象，但在該改變被傳送到S3的多個(gè)服務(wù)器前，S3可能會(huì)列出被刪除的對(duì)象

為什么出現(xiàn)這些現(xiàn)象？出現(xiàn)這些現(xiàn)象是因?yàn)镾3為了保證用戶(hù)數(shù)據(jù)的一致性而采取的一種折中手段，即在數(shù)據(jù)被充分傳播到所有的存放節(jié)點(diǎn)之前返回給用戶(hù)的仍是原數(shù)據(jù)數(shù)字簽名S3安全措施

1.身份認(rèn)證

基于HMAC-SHA1的數(shù)字簽名方式來(lái)確定用戶(hù)身份S3數(shù)字簽名具體實(shí)現(xiàn)過(guò)程S3安全措施

S3數(shù)字簽名具體實(shí)現(xiàn)過(guò)程權(quán)限允許操作目標(biāo)具體權(quán)限內(nèi)容READ桶列出已有桶對(duì)象讀取數(shù)據(jù)及元數(shù)據(jù)WRITE桶創(chuàng)建、覆寫(xiě)、刪除桶中對(duì)象READ_ACP桶讀取桶的ACL對(duì)象讀取對(duì)象中的ACLWRITE_ACP桶覆寫(xiě)桶的ACP對(duì)象覆寫(xiě)對(duì)象的ACPFULL_CONTROL桶允許進(jìn)行以上所有操作，是S3提供的最高權(quán)限對(duì)象2.訪問(wèn)控制列表

S3提供的可供用戶(hù)自行定義的訪問(wèn)控制策略列表

S3中有三大類(lèi)型的授權(quán)用戶(hù)

1）所有者

2）個(gè)人授權(quán)用戶(hù)

3）組授權(quán)用戶(hù)提綱

Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo

彈性計(jì)算云EC2

簡(jiǎn)單存儲(chǔ)服務(wù)S3

簡(jiǎn)單隊(duì)列服務(wù)SQS

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB

關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS

內(nèi)容推送服務(wù)CloudFront

其他Amazon云計(jì)算服務(wù)

AWS應(yīng)用實(shí)例

小結(jié)

SQS基本模型

簡(jiǎn)單隊(duì)列服務(wù)（SimpleQueueService，SQS）

Amazon為解決其云計(jì)算平臺(tái)之間不同組件的通信而專(zhuān)門(mén)設(shè)計(jì)開(kāi)發(fā)

SQS由三個(gè)基本部分組成

系統(tǒng)組件（Component）

隊(duì)列（Queue）

消息（Message）

SQS基本模型

兩個(gè)重要概念

消息是發(fā)送者創(chuàng)建的具有一定格式的文本數(shù)據(jù)，接收對(duì)象可以是一個(gè)或多個(gè)組件。消息的大小是有限制的，目前Amazon規(guī)定每條消息不得超過(guò)8KB，但是消息的數(shù)量并未做限制

隊(duì)列是存放消息的容器，類(lèi)似于S3中的桶，隊(duì)列的數(shù)目也是任意的，創(chuàng)建隊(duì)列時(shí)用戶(hù)必須給其指定一個(gè)在SQS賬戶(hù)內(nèi)唯一的名稱(chēng)消息消息

1．消息的格式

（1）消息ID（MessageID）

（2）接收句柄（ReceiptHandle）

（3）消息體（Body）

（4）消息體MD5摘要（MD5ofBody）

2．消息取樣

隊(duì)列中的消息冗余存儲(chǔ)，目的是為了保證系統(tǒng)的高可用性

基于加權(quán)隨機(jī)分布（BasedonaWeightedRandomDistribution）的消息取樣

基于加權(quán)隨機(jī)分布的消息取樣

消息消息

3.消息的可見(jiàn)性超時(shí)值及生命周期

可見(jiàn)性超時(shí)值：可見(jiàn)性表明該消息可以被所有的組件查看，可見(jiàn)性超時(shí)值相當(dāng)于一個(gè)計(jì)時(shí)器

計(jì)時(shí)器兩種操作：擴(kuò)展（Extend）和終止（Terminate）

消息可見(jiàn)性超時(shí)值及生命周期身份認(rèn)證

數(shù)字簽名具體實(shí)現(xiàn)過(guò)程提綱

Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo

彈性計(jì)算云EC2

簡(jiǎn)單存儲(chǔ)服務(wù)S3

簡(jiǎn)單隊(duì)列服務(wù)SQS

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB

關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS

內(nèi)容推送服務(wù)CloudFront

其他Amazon云計(jì)算服務(wù)

AWS應(yīng)用實(shí)例

小結(jié)

重要概念

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB（SDB）

主要用于存儲(chǔ)結(jié)構(gòu)化的數(shù)據(jù)，并為這些數(shù)據(jù)提供查找、刪除等基本的數(shù)據(jù)庫(kù)功能

SDB基本結(jié)構(gòu)圖中包含了SDB中以下幾個(gè)最重要的概念

1．用戶(hù)賬戶(hù)（CustomerAccout）

2．域（Domain）數(shù)據(jù)容器

3．條目（Item）一個(gè)實(shí)際的對(duì)象

4．屬性（Attribute）條目的特征

5．值（Value）

每個(gè)條目的某屬性的具體內(nèi)容SDB基本結(jié)構(gòu)圖SDB和關(guān)系型數(shù)據(jù)庫(kù)有很多相同之處，但也有很大的不同

傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)——表結(jié)構(gòu)

SDB樹(shù)狀結(jié)構(gòu)

SDB為了系統(tǒng)的高可用性采取了最終一致性數(shù)據(jù)模型，每次操作設(shè)定了一個(gè)超時(shí)值，同時(shí)SDB也對(duì)關(guān)系數(shù)據(jù)庫(kù)做了一些有益的改進(jìn)

SDB樹(shù)狀組織方式存在的問(wèn)題及解決辦法

SDB主要存在的問(wèn)題支持的操作類(lèi)型不夠存儲(chǔ)方式簡(jiǎn)單解決方式整數(shù)補(bǔ)零

負(fù)整數(shù)集添加正向偏移量

ISO8601對(duì)日期進(jìn)行轉(zhuǎn)換

SimpleDB和其他AWS的結(jié)合使用

提綱

Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo

彈性計(jì)算云EC2

簡(jiǎn)單存儲(chǔ)服務(wù)S3

簡(jiǎn)單隊(duì)列服務(wù)SQS

簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù)SimpleDB

關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS

內(nèi)容推送服務(wù)CloudFront

其他Amazon云計(jì)算服務(wù)

AWS應(yīng)用實(shí)例

小結(jié)

SQL和NoSQL數(shù)據(jù)庫(kù)的對(duì)比

SQLNoSQL數(shù)據(jù)模型數(shù)據(jù)處理接口層

優(yōu)勢(shì)、劣勢(shì)嚴(yán)格約束無(wú)約束一致性、可用性可用、分區(qū)容忍性SQL語(yǔ)言訪問(wèn)API實(shí)現(xiàn)高一致性，ACID能力非常強(qiáng)，移植性很高；但在可擴(kuò)展性方面能力較弱

高可擴(kuò)展性，并發(fā)處理能力強(qiáng)；缺乏數(shù)據(jù)一致性保證，查詢(xún)困難

RDS數(shù)據(jù)庫(kù)原理

Share-Nothing架構(gòu)

AmazonRDS—一種云中的MySQL數(shù)據(jù)庫(kù)系統(tǒng)，采用集群方式將MySQL數(shù)據(jù)庫(kù)移植到云中，在一定的范圍內(nèi)解決了關(guān)系數(shù)據(jù)庫(kù)的可擴(kuò)展性問(wèn)題

MySQL集群采用了Share-Nothing架構(gòu)

集群MySQL通過(guò)表單劃分（Sharding）的方式將一張大表劃分為若干個(gè)小表，分別存儲(chǔ)在不同的數(shù)據(jù)庫(kù)服務(wù)器上，從邏輯上保證了數(shù)據(jù)庫(kù)可擴(kuò)展性RDS數(shù)據(jù)庫(kù)原理

集群MySQL通過(guò)主從備份和讀副本技術(shù)提高可靠性和數(shù)據(jù)處理能力

集群MySQL

RDS的使用

Amazon將RDS中的MySQL服務(wù)器實(shí)例稱(chēng)做DBInsta