亞馬遜云計算AWS(AmazonWebService)

1、亞馬遜云計算aws（amazon web service）概述 amazon的云從哪里來 amazon提供的云計算服務 aws的應用案例 aws的業(yè)務流程 aws的體系架構及關鍵技術amazon的云從哪里來? 一個簡單的想法 iaas：將硬件設備等基礎資源封裝成服務供用戶使用 主要思想：虛擬 優(yōu)勢：動態(tài)申請，資源無限amazon提供的云計算服務 彈性計算云ec2 簡單存儲服務s3 簡單數據庫服務simple db 簡單隊列服務sqs 彈性mapreduce服務 內容推送服務cloudfront 電子商務服務devpay 靈活支付服務fpsaws的應用案例smugmug 為什么選擇aws smu

2、gmug是一家在線照片存儲共享網站，擁有數億照片資源和幾十萬付費用戶。業(yè)務量的急劇增長導致該新興公司無法承受巨額的基礎設施開銷，smugmug選擇了amazon的ec2服務和s3服務。應用aws后，僅需50人即可完成如此大的業(yè)務量。 smugmug的基本架構aws的業(yè)務流程 注冊賬戶 資源申請 創(chuàng)建虛擬節(jié)點 將虛擬節(jié)點映射到物理節(jié)點 分割算法 數據處理 數據同步基礎存儲架構dynamo dynamo在amazon服務平臺中的地位 dynamo架構的主要技術問題問題采取的相關技術采取的相關技術數據均衡分布改進的一致性哈希算法，數據備份數據沖突處理向量時鐘（vector clock）臨時故障處理h

3、inted handoff（數據回傳機制），參數（w,r,n）可調的弱quorum機制永久故障后的恢復merkle哈希樹成員資格以及錯誤檢測基于gossip的成員資格協議和錯誤檢測數據均衡分布的問題 一致性哈希算法 優(yōu)勢： -負載均衡 -屏蔽節(jié)點處理能力差異dynamo的數據沖突處理 最終一致性模型 向量時鐘 （vector clock）dynamo的臨時故障處理機制 讀寫參數w、r、nn：系統(tǒng)中每條記錄的副本數w：每次記錄成功寫操作需要寫入的副本數r：每次記錄讀請求最少需要讀取的副本數。 滿足r+wn，用戶即可自行配置r和w 優(yōu)勢：實現可用性與容錯性之間的平衡dynamo的永久性故障恢復 m

4、erkle哈希樹技術dynamo中merkle哈希樹的葉子節(jié)點是存儲數據所對應的哈希值，父節(jié)點是其所有子節(jié)點的哈希值成員資格及錯誤檢測 基于gossip協議的成員檢測機制彈性計算云ec2 ec2是什么 ec2的主要特性 ec2基本架構及主要概念 ec2應用實戰(zhàn)ec2是什么 ec2（elastic compute cloud） 簡言之，ec2就是一部具有無限采集能力的虛擬計算機，用戶能夠用來執(zhí)行一些處理任務。 ec2的場景描述 ec2的主要特性 靈活性：可自行配置運行的實例類型、數量，還可以選擇實例運行的地理位置?？梢愿鶕脩舻男枨箅S時改變實例的使用數量。 低成本：按小時計費 安全性：ssh、可

5、配置的防火墻機制、監(jiān)控等 易用性：用戶可以根據亞馬遜提供的模塊自由構建自己的應用程序，同時ec2還會對用戶的服務請求自動進行負載平衡 容錯性：彈性ip ec2的幾個重要概念(1) amazon機器映像ami（amazon machine image） 由一個操作系統(tǒng)和當虛擬機啟動時你想要預先載入的任何的應用程序組成。 ami是用戶整個云計算平臺運行的基礎，用戶使用ec2服務的第一步就是要創(chuàng)建一個自己的ami。 公共ami、私有ami、付費ami、共享ami ec2的幾個重要概念(2) 實例instance：用戶創(chuàng)建好ami后，實際運行的系統(tǒng)資源資源smalllargeextra largehi

6、gh-cpu mediumhigh-cpuextra large平臺平臺32位位64位位64位位32位位64位位cpu1ecu4ecu8ecu5ecu20ecu內存內存1.7g7.5g15g1.7g7g存儲容量存儲容量160g850g1690g350g1690g實例類型名實例類型名m1.smallm1.large m1.xlargec1.mediumc1.xlargeec2的幾個重要概念(3) 彈性塊存儲ebs（elastic block store） 卷，每個ebs最多創(chuàng)建20個卷 快照ec2的幾個重要概念(4) 區(qū)域ec2的基本架構ec2應用實戰(zhàn) 注冊用戶，選擇支付方式 使用ec2的幾個前

7、提條件 java runtime environment amazon ec2 command-line tools putty & puttygen 配置工具 運行實例簡單存儲服務s3 s3（simple store service）的設計思路 數據一致性模型s3的設計思路(1) s3為任意類型的文件提供臨時或永久的存儲服務 非傳統(tǒng)關系數據庫存儲模式 簡單、高效 存儲、讀取，非查詢s3的設計思路(2) 基本概念 對象：s3的基本存儲單元（數據、元數據），數據類型任意 鍵：對象的唯一標識符 桶：存儲對象的容器（不能嵌套、在s3中名稱唯一、每個用戶最多創(chuàng)建100個桶）s3的設計思路(3)桶對象對

8、象對象鍵數據元數據訪問控制s3的數據一致性模型 冗余存儲 最終一致性模型簡單隊列服務sqs(1) 目標：解決低耦合系統(tǒng)間的通信問題，支持分布式計算機系統(tǒng)之間的工作流 特點：簡單、無處不在 “在互聯網的所有計算機不用安裝任何軟件或特殊防火墻配置就可以增加或讀消息” 處理端：ec2上的ami簡單隊列服務sqs(2) 機制： 冗余存儲，基于加權隨機分布的消息取樣 并發(fā)管理和故障排除，消息的可見性超時值與生命周期簡單隊列服務sqs(3)簡單數據庫服務simpledb sdb與s3的區(qū)別 sdb與傳統(tǒng)關系數據庫的區(qū)別 sdb的基本結構及主要概念sdb與s3的區(qū)別 s3是專為大型，非結構化的數據塊設計的 simpledb是為復雜的，結構化數據建立的，支持數據的查找、刪除、插入等操作 sdb與關系數據庫的區(qū)別(1) 傳統(tǒng)的關系數據庫表結構 sdb樹狀結構sdb的