云計算期末考試總結(jié)

1、第一章什么是“新摩爾定律”：每18個月全球新增信息量是計算機有史以來全部信息量的總和。云計算具有哪些特點：（1）、超大規(guī)模（2）、虛擬化（3）、高可靠性（4）、通用性（5）、高可伸縮性、（6）、按需服務(wù)（7）、極其廉價云計算按照服務(wù)類型大致分為三類：將基礎(chǔ)設(shè)施作為服務(wù)（Iaas）、將平臺作為服務(wù)（Paas）、將軟件作為服務(wù)（SaaS）什么是Iaas?將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用，如AWS的彈性計算云EC2和簡單存儲服務(wù)S3。什么是Paas?對資源的抽象層次更進(jìn)一步，它提供用戶應(yīng)用程序的運行環(huán)境，典型的如GoogleAppEngine。什么是SaaS?它的針對性更強，它將某些特定應(yīng)用

2、軟件功能封裝成服務(wù)，如Salesforce公司提供的在線客戶關(guān)系管理CRM服務(wù)。云計算技術(shù)體系結(jié)構(gòu)分為四層:物理資源層、資源池層、管理中間件層和SOA構(gòu)建層（管理中間件層和資源池層是云計算技術(shù)的最關(guān)鍵部分）物理資源層包括計算機、存儲器、網(wǎng)絡(luò)設(shè)施、數(shù)據(jù)庫和軟件。資源池層是將大量相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的資源池，如計算資源池、數(shù)據(jù)資源池。構(gòu)建資源池更多的是物理資源的集成和管理工作。管理中間件層負(fù)責(zé)對云計算的資源進(jìn)行管理，并對眾多應(yīng)用任務(wù)進(jìn)行調(diào)度，使資源能夠高效、安全地為應(yīng)用服務(wù)。大數(shù)據(jù)具有4V+1C的特征：（1）、數(shù)據(jù)量大（2）、多樣（3）、快速（4）、價值密度低（5）、復(fù)雜度全球企業(yè)的I

3、T開銷分為三部分：硬件開銷、能耗和管理成本。云計算的優(yōu)勢：云計算與大數(shù)據(jù)之間大數(shù)據(jù)是需求，云計數(shù)據(jù)。什么是云計算：長定義：云計算是一使各種應(yīng)用系統(tǒng)能夠網(wǎng)絡(luò)按需提供可動態(tài)云計算有更低的硬件和網(wǎng)絡(luò)成本、更低管理成本和電力成本以及更高的資源利用率。的關(guān)系：算是手段。沒有大數(shù)據(jù)，就不需要云計算。沒有云計算就無法處理大種商業(yè)計算模型。它將計算任務(wù)分布在大量計算機構(gòu)成的資源池上，根據(jù)需要獲取計算力、存儲空間和信息服務(wù)。短定義：云計算是通過伸縮的廉價計算服務(wù)。云計算的管理中間件層:負(fù)責(zé)資源管理、任務(wù)管理、用戶管理、和安全管理等工作。資源管理：負(fù)責(zé)均衡地使用云資源節(jié)點，檢測節(jié)點的故障并試圖恢復(fù)或屏蔽它，并對資

4、源的使用情況進(jìn)行監(jiān)視統(tǒng)計；任務(wù)管理：負(fù)責(zé)執(zhí)行用戶或應(yīng)用提交的任務(wù)，包括完成用戶任務(wù)映像部署和管理、任務(wù)調(diào)度、任務(wù)管理、生命周期管理。簡述亞馬遜的云計算：AWS率先在全球提供了彈性計算云EC2和簡單服務(wù)存儲服務(wù)S3,為企業(yè)提供計算和存儲服務(wù)。亞馬遜是最大的服務(wù)商，谷歌是最大的云計算技術(shù)的使用者。第二章Google云計算技術(shù)包括:MapReduce、分布式鎖服務(wù)Chubby、分Google文件系統(tǒng)GFS分布式計算編程模型布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable。當(dāng)前主流分布式文件系統(tǒng)有哪些？各有什么優(yōu)缺點?答：RedHat的GFS(GlobalFileSystem)、舊M的GPFSSun的Lustre等。

5、優(yōu)缺點：GFS采用廉價的商品機器構(gòu)建分布式文件系統(tǒng)，同時將GFS的設(shè)計與Google應(yīng)用的特點緊密結(jié)合，簡化實現(xiàn)，GFS將容錯的任務(wù)交給文件系統(tǒng)完成，利用軟件的方法解決系統(tǒng)可靠性問題，使存儲成本下降；GFS將服務(wù)器故障視為正?，F(xiàn)象，并采用多種方法、從多個角度，使用不同的容錯措施，確保數(shù)據(jù)存儲的安全、保證提供不間斷的數(shù)據(jù)存儲服務(wù)。IBMGPFS并行文件系統(tǒng)軟件在設(shè)計上不存在任何性能瓶頸，因此GPFS并行文件系統(tǒng)可以充分發(fā)揮硬件系統(tǒng)好壞，而文件系統(tǒng)軟件系統(tǒng)之間最大的區(qū)數(shù)據(jù)分散在磁盤陣列最可能產(chǎn)生性能瓶頸的性能。換句話說，GPFS并行文件系統(tǒng)的性能完全取決于硬件配置的件本身對性能的影響微乎其微。舊M

6、GPFS并行文件系統(tǒng)與其它并行文的因素MetaDataServer。別在于GPFS不需要專用的元數(shù)據(jù)(MetaData)管理服務(wù)器，所有元中，并可以由任何I/O節(jié)點管理。這樣的設(shè)計避免了并行文件系統(tǒng)中Lustre文件系統(tǒng)為例，它只對元數(shù)據(jù)管理器MDS提供容錯解決方案，而對于具體的數(shù)據(jù)存儲節(jié)點OST來說，則依賴其自身來解決容錯的問題。例如，Lustre推薦OST節(jié)點采用RAID技術(shù)或SAN存儲區(qū)域網(wǎng)來容錯，但由于Lustre自身能提供數(shù)據(jù)存儲的容錯，一旦OST發(fā)生故障就無法恢復(fù)，因此對OST的穩(wěn)定性就提出了相當(dāng)高的要求，從而大大增加了存儲的成本，而且成本會隨著規(guī)模的擴大線性增長GFS容錯機制包含

7、:1、Master容錯：Master上保存了GFS文件系統(tǒng)的三種元數(shù)據(jù)。(1)、命名空間，也就是整個文件系統(tǒng)的目錄結(jié)構(gòu)。(2)、Chunk與文件名的映射表(3)、Chunk副本的位置信息，每一個Chunk默認(rèn)有三個副本。前兩種GFS通過操作日志來提供容錯功能。第三種直接保存各個ChunkServer上，當(dāng)master發(fā)生故障時，迅速恢復(fù)以上元數(shù)據(jù)。為了防止master徹底死機，GFS提供了master遠(yuǎn)程的實時備份。2、ChunkServer容錯：GFS采用副本的方式實現(xiàn)其容錯。如果相關(guān)副本丟失或不可恢復(fù)，master自動將副本復(fù)制到其他ChunkServer.GFS把每一個文件劃分成多個Ch

8、unk,MapReduce與傳統(tǒng)的分布式程序設(shè)計相比的優(yōu)點答：與傳統(tǒng)的分布式程序設(shè)計相比，MapReduce封裝了并行處理、容錯處理、本地化計算、負(fù)載均衡等細(xì)節(jié)，還提供了一個簡單而強大的接口。Chubby的設(shè)計目標(biāo)主要有？Paxos算法在Chubby中起什么作用？（1）、高可用性（2）、高擴展性（3）、支持粗粒度的建議性鎖服務(wù)（4）、服務(wù)信息的直接存儲（5）、支持通報機制（6）、支持緩存機制。Chubby內(nèi)部一致性問題的實現(xiàn)用到Paxos算法什么是分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable?Bigtable是Google開發(fā)的基于GFS和Chubby的分布式存儲系統(tǒng)，它的設(shè)計應(yīng)達(dá)到以下幾個目標(biāo)：（1）

9、、廣泛的適用T（2）、很強的可擴展性（3）、高可用性（4）、簡單性Bigtable是:一個分布式多維映射表，表中的數(shù)據(jù)通過一個行關(guān)鍵字、一個列關(guān)鍵字以及一個時間戳進(jìn)行索引。在Bigtable中Chubby主要有以下幾個作用：（1）選取并保證同一時間內(nèi)只有一個主服務(wù)器（MasterServer）（2）獲取子表的位置信息（3）保存Bigtable的模式信息及訪問控制列表Bigtable主要由三個部分組成：客戶端程序庫、一個主服務(wù)器和多個子表服務(wù)器Paxos算法中節(jié)點被分成了三種類型：proposers>acceptors>和learners,其中proposers提出決議，accept

10、ors批準(zhǔn)決議、learners獲取并使用已經(jīng)通過的決議。一個節(jié)點可以兼有多重類型，滿足三個條件保持?jǐn)?shù)據(jù)的一致性，（1）、決議只有在被Proposers提出后才能批準(zhǔn)（2）、每次只能批準(zhǔn)一個決議（3）、只有決議確定被批準(zhǔn)后learners才能獲取這個決議。Bigtable性能優(yōu)化：1、局部性群組2、壓縮3、布隆過濾器GFS將整個系統(tǒng)的節(jié)點分為哪幾類角色：Client（客戶端卜Master（主服務(wù)器卜ChunkServer（數(shù)據(jù)塊服務(wù)器）。Master是GFS的管理節(jié)點，在邏輯上只有一個，他保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)整個文件系統(tǒng)的管理，是GFS文件系統(tǒng)中的“大腦”。ChunkServer負(fù)責(zé)具體的存

11、儲工作。數(shù)據(jù)以文件的形式存儲在ChunkServer的個數(shù)可以有多個，他的數(shù)目直接決定了GFS的規(guī)模。GFS將文件按照固定大小進(jìn)行分塊，默認(rèn)是64MB,每一塊稱為一個Chunk（數(shù)據(jù)塊），每個Chunk都有一個對應(yīng)的索引號（Index）。GFS具有哪些特點：1、采用中心服務(wù)器模式：GFS采用中心服務(wù)器模式管理整個文件系統(tǒng)，增加新的ChunkServer是一件非常容易的事情。2、不緩存數(shù)據(jù)：緩存機制是提升文件系統(tǒng)的性能的一個重要手段，通用文件系統(tǒng)為了提高性能，一般需要實現(xiàn)復(fù)雜的緩存機制。GFS文件系統(tǒng)根據(jù)應(yīng)用的特點，沒有實現(xiàn)緩存，因為GFS的數(shù)據(jù)在ChunkServer上是以文件的形式存儲。3、

12、在用戶態(tài)下實現(xiàn)4、只提供專用接口什么是MapReduce?Map（映射）Reduce（化簡）是Google提出的一個軟件架構(gòu)，是一種處理海量數(shù)據(jù)的并行編程模式，用于大規(guī)模數(shù)據(jù)集的并行計算。第三章AWS提供的服務(wù)包括：彈性計算云EC2、簡單存儲服務(wù)S3、簡單數(shù)據(jù)庫服務(wù)SimpleDB、簡單隊列服務(wù)SQS、彈性MapReduce服務(wù)、內(nèi)容推送服務(wù)、電子商務(wù)服務(wù)、FPS改進(jìn)的一致性哈希算法優(yōu)點：可以減小數(shù)據(jù)分布不均衡的可能性。采用數(shù)據(jù)分區(qū)后，在添加或刪除設(shè)備節(jié)點時，會引起嬌小的數(shù)據(jù)傳輸?？梢栽诤苄〉臄?shù)據(jù)傳輸代價下，保證整個系統(tǒng)數(shù)據(jù)分布的均衡性。在Dynam。中添加一個新的節(jié)點時，原先各節(jié)點保存的數(shù)據(jù)

13、是否需要改變？如果改變，應(yīng)該如何變化？需要改變；原存儲在前驅(qū)節(jié)點上的那部分?jǐn)?shù)據(jù)會遷移到新的節(jié)點上。而其他節(jié)點保存的數(shù)據(jù)不變。同樣，在刪除節(jié)點時，被刪除節(jié)點的數(shù)據(jù)會遷移到其前驅(qū)節(jié)點上，而對其他節(jié)點沒有影響。私有IP、公有IP和彈性IP的區(qū)別在哪里？EC2的IP地址包括三大類：私有IP、公有IP和彈性IP。EC2的實例一旦被創(chuàng)建，就會動態(tài)地分配兩個IP地址,即私有IP和公有IP。私有IP地址與實例相對應(yīng)，由動態(tài)主機配置協(xié)議（DHCP）分配產(chǎn)生。公有IP地址和私有IP地址之間通過網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT）技術(shù)實現(xiàn)相互之間的轉(zhuǎn)換。公共IP和特定的實例相對應(yīng)，在某個實例終結(jié)或被彈性IP地址替代之前，公共IP

14、地址會一直存在，實仞通過這個公有IP地址和外界通信。實例每次啟動時，公有IP都會發(fā)生變化。彈性IP則是與用戶賬號綁定，使用時可以代替公有IP通過NAT的方式實現(xiàn)與私有IP轉(zhuǎn)換，從而連接到EC2實例。地理區(qū)域和可用區(qū)域有哪些區(qū)另1J?AWS中采用了兩種區(qū)域（Zone）,地理區(qū)域（RegionZone）和可用區(qū)域（AvailabilityZone）。地理區(qū)域是按實際的地理位置劃分的?？捎脜^(qū)域是根據(jù)是否有獨立的供電系統(tǒng)和冷卻系統(tǒng)劃分通常將每個數(shù)據(jù)中心看作一個可用區(qū)域。EC2系統(tǒng)中包含多個地理區(qū)域，而每個地理區(qū)域又包含多個可用區(qū)域。Amazon平臺中，SQS勺目的及組成部分，其中“消息的格式是什么？簡

15、單隊列服務(wù)(SQS)是Amazon為了解決其云計算平臺之間不同組件的通信而設(shè)計開發(fā)的。SQS由三個基本部分組成：系統(tǒng)組件、隊列、消息。系統(tǒng)組件是SQS的服務(wù)對象，而SQS則是組件之間溝通的橋梁。組件有雙重角色，既是消息的發(fā)送者，也可以是消息的接受省?！跋ⅰ备袷剑合⒂梢韵滤牟糠纸M成：消息ID:由系統(tǒng)返回給用戶，用來標(biāo)識隊列中的不同消息。接收句柄：當(dāng)從隊列中接收消息時就會從消息那里得到一個接收句柄，這個句柄可以用來對消息進(jìn)行刪除等操作。消息體：消息的正文部分，需要注意的是消息存放白是文本數(shù)據(jù)并且不能是URL編碼方式。消息體摘要：消息體字符串的MD5校驗和。非關(guān)系型數(shù)據(jù)庫和傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)別1

16、 .數(shù)據(jù)模型關(guān)系數(shù)據(jù)庫對數(shù)據(jù)有嚴(yán)格的約束，包括數(shù)據(jù)之間的關(guān)系和數(shù)據(jù)的完整性。非關(guān)系數(shù)據(jù)庫的key-value存儲形式中，key和value可以使用任意的數(shù)據(jù)類型。2 .數(shù)據(jù)處理：關(guān)系數(shù)據(jù)庫滿足CAP原則的C和A,在P方面很弱，所以在可擴展性方面弱，所以導(dǎo)致其在可擴展性方面面臨很多問題。非關(guān)系型數(shù)據(jù)庫滿足CAP原則的A和P,而在C方面較弱，所以使得其無法滿足ACID要求。3 .接口層關(guān)系型數(shù)據(jù)庫都是以關(guān)系數(shù)據(jù)庫間移植。詢功能，且由于不同綜上所述，關(guān)系數(shù)據(jù)面能力較弱，只能通展性，可以通過增加缺乏數(shù)據(jù)的一致性保查詢。SQL語言對數(shù)據(jù)進(jìn)行訪問的，提供了強大的查詢功能，并便于在各種非關(guān)系型數(shù)據(jù)庫對數(shù)據(jù)庫

17、的操作大多通過API來實現(xiàn)，支持簡單的查數(shù)據(jù)庫之間API的不同而造成移植性較差。庫具有高一致性，在ACID方面很強，移植性很高；但在可擴展性方過提高服務(wù)的配置來提高處理能力。非關(guān)系型數(shù)據(jù)庫具有很高的可擴服務(wù)器數(shù)量來不斷提高存儲規(guī)模，具有很好的并發(fā)處理能力；但由于證，所以處理事務(wù)性問題能力較弱，并且難以處理跨表，跨服務(wù)器的第四章微軟云計算平臺包括幾部分？每部分的作用是什么？當(dāng)前版本的WindowsAzure平臺包括4個組成部分：(1) WindowsAzure。位于云計算平臺最底層，是微軟云計算技術(shù)的核心。它作為微軟云計算操作系統(tǒng)，提供了一個在微軟數(shù)據(jù)中心服務(wù)器上運行應(yīng)用程序和存儲數(shù)據(jù)的Wind

18、ows環(huán)境。(2) SQLAzure。它是云中的關(guān)系數(shù)據(jù)庫，為云中基于SQLAzure的關(guān)系型數(shù)據(jù)提供服務(wù)。(3) WindowsAzureAppFabric。為在云中或本地系統(tǒng)中的應(yīng)用提供基于云的基礎(chǔ)架構(gòu)服務(wù)。部署和管理云基礎(chǔ)架構(gòu)的工作均由AppFabric完成，開發(fā)者只需關(guān)心應(yīng)用邏輯。(4) WindowsAzureMarketplace。為購買云計算環(huán)境下的數(shù)據(jù)和應(yīng)用提供在線服務(wù)。WindowsAzure存儲服務(wù)提供了幾種類型的存儲方式？闡述每種存儲方式主要的存儲對象。答：WindowsAzure存儲服務(wù)目前主要提供了4種主要的數(shù)據(jù)存儲結(jié)構(gòu)：(1) Blob類型。Blob數(shù)據(jù)類型存儲二進(jìn)

19、制數(shù)據(jù)，可以存儲大型的無結(jié)構(gòu)數(shù)據(jù)，容量巨大，能夠滿足海量數(shù)據(jù)存儲需求(2) Table類型。Table數(shù)據(jù)類型能夠提供更加結(jié)構(gòu)化的數(shù)據(jù)存儲，但是它不同于關(guān)系型數(shù)據(jù)庫管理系統(tǒng)中的二維關(guān)系表，查詢語言也不是大家熟悉的關(guān)系查詢語言SQL。(3) Queue類型。Queue類型的作用和微軟消息隊列(MSMQ)相近，用來支持在WindowsAzure應(yīng)用程序組件之間進(jìn)行通信。(4) File類型。File類型使用標(biāo)準(zhǔn)SMB2.1協(xié)議支持WindowsAzure虛擬機和云服務(wù)，可通過裝載的共享在應(yīng)用程序組件之間共享文件數(shù)據(jù)，本地應(yīng)用程序可通過文件存儲API來訪問共享中的文件數(shù)據(jù)。SQLAzure數(shù)據(jù)同步技

20、術(shù)主要有幾種？分別如何實現(xiàn)？答：(1)SQLAzure數(shù)據(jù)庫與SQLServer數(shù)據(jù)庫之間的數(shù)據(jù)同步。用戶選擇這類同步的原因有很多，除了網(wǎng)絡(luò)故障等因素外，數(shù)據(jù)調(diào)度也需要數(shù)據(jù)副本在某一區(qū)域范圍內(nèi)進(jìn)行，同時需要防止某些操作失誤所帶來的數(shù)據(jù)丟失。這時用戶可以通過SQLAzure數(shù)據(jù)庫和SQLServer數(shù)據(jù)庫的信息同步在本地數(shù)據(jù)庫保存副本。(2)SQLAzure數(shù)據(jù)庫之間的同步。某些ISVs(獨立的軟件開發(fā)商)或全球化的企業(yè)需要創(chuàng)建一個應(yīng)用，為了滿足高性能的需求，應(yīng)用的創(chuàng)建者也許會選擇在三個不同的WindowsAzure數(shù)據(jù)中心運行這個應(yīng)用。如果這個應(yīng)用將數(shù)據(jù)存放在SQLAzure數(shù)據(jù)中，需要使用S

21、QLAzure數(shù)據(jù)同步服務(wù)保持三個數(shù)據(jù)中心之間的信息同步。SQLAzure數(shù)據(jù)同步服務(wù)使用“輪輻式”模型，所有的變化將會首先被復(fù)制到SQLAzure數(shù)據(jù)庫hub”上，然后再傳送到其他spoke”以上。這些"spoke”成員可以是一個SQLAzure數(shù)據(jù)庫，也可以是本地SQLServer數(shù)據(jù)庫。上述的同步過程可以同步整個數(shù)據(jù)庫，也可以只同步有更新的數(shù)據(jù)庫表格。SQLAzure和SQLServer的相同點和不同點相同點：SQLAzure是云中的關(guān)系數(shù)據(jù)庫，和本地的SQLServer數(shù)據(jù)庫有很多相識的地方。比如SQLAzure提供了一個表格數(shù)據(jù)流(TDS)接口供基于Transact-SQL

22、的數(shù)據(jù)庫進(jìn)行訪問，這和SQLServer中的實例訪問數(shù)據(jù)庫情況是相似的。不同點：在SQLAzure中，由于物理管理工作是由微軟進(jìn)行的，所以在管理、服務(wù)提供、Transact-SQL支持和編程方式等方面，與SQLServer有所不同。WindowsAzure最新版本包含5個部分：1.計算服務(wù)，2.存儲服務(wù)，3.Fabric控制器，4.內(nèi)容分發(fā)網(wǎng)絡(luò)CDN,5.WindowsAzureConnect.存儲名空間被劃分為三部分：賬戶名，分區(qū)名和對象名SQLAzure關(guān)鍵技術(shù)：1.SQLAzure數(shù)據(jù)庫，2.SQLAzure報表服務(wù)，3.SQLAzure數(shù)據(jù)同步AppFabric關(guān)鍵技術(shù)：1.服務(wù)總線，

23、2.訪問控制，3.高速緩存。WindowsAzure是微軟云計算戰(zhàn)略的核心：云計算操作系統(tǒng)WAS的一個重要特征是能夠存儲和訪問達(dá)到甚至超過EB級的海量數(shù)據(jù)，其產(chǎn)品系統(tǒng)由存儲域和位置服務(wù)構(gòu)成存儲域的層次結(jié)構(gòu)包括哪三層：1、文件流層，2、分區(qū)層，3、前段文件流層包括流管理器和區(qū)塊節(jié)點兩大部分。分區(qū)層包括一個分區(qū)管理器、多個分區(qū)服務(wù)器和一個鎖服務(wù)三個主要的體系結(jié)構(gòu)模塊。分區(qū)管理器：負(fù)責(zé)保存對象表到分區(qū)段的劃分和每個分區(qū)段到相應(yīng)分區(qū)服務(wù)器的分配情況。分區(qū)服務(wù)器：負(fù)責(zé)處理由分區(qū)管理器分配給它的一組分區(qū)段的請求。鎖服務(wù)：Paxos鎖服務(wù)用于分區(qū)服務(wù)器的主服務(wù)器選舉。WAS將分區(qū)B拆成新的分區(qū)段C和D如何實現(xiàn)？步驟1:分區(qū)管理器通知分區(qū)服務(wù)器將段B拆分為C和D。步驟2:分區(qū)服務(wù)器處理B的檢查點，再暫停相應(yīng)的服務(wù)請求。步驟3:分區(qū)服務(wù)器使用一種“MultiModify”的特殊流操作處理B的每個流，并分別生成與B中區(qū)塊順序相同的C和D流子集，再追加C和D的新分區(qū)鍵值范圍到他們的元數(shù)據(jù)流。步驟4:分區(qū)服務(wù)器開始將服務(wù)請求發(fā)送至新的分區(qū)C和D。步驟5:分區(qū)