云計算考試重點

1、1） 云計算是對（并行計算，分布式計算和網格計算）技術的發(fā)展與應用。2） 云計算特點的包括（超大規(guī)模，虛擬化，高可靠性，通用性，高可伸縮性，按需服務，極其廉價）。3） 按照服務類型，云計算大致可分為（將基礎設施作為服務IaaS、將平臺作為服務PaaS和將軟件作為服務SaaS）4） IaaS計算實現(xiàn)機制中，系統(tǒng)管理模塊的核心功能是（負載均衡）5） 云計算體系結構包括（物理資源層、資源池、管理中間件和SOA構建層），最關鍵的兩層是（資源池和管理中間件），其中的（管理中間件）負責資源管理、任務管理、用戶管理和安全管理等工作。6） Google云計算平臺技術架構包括（Google文件系統(tǒng)GFS、分布式

2、計算編程模型MapReduce、分布式鎖服務Chubby、分布式結構化數(shù)據(jù)表Bigtable、分布式存儲系統(tǒng)Megastore以及分布式監(jiān)控系統(tǒng)Dapper）7） Google文件系統(tǒng)GFS分塊默認的塊大小是（64M）8） Google文件系統(tǒng)（GFS）分成固定大小的塊，每個塊都用一個對應的（索引號（Index）。9） Google文件系統(tǒng)（GFS）提供給應用程序的訪問接口是（專用接口）10） GFS的假設和目標是（硬件出錯正常；主要負載時流數(shù)據(jù)讀寫，需要存儲大尺寸的文件）11） Google文件系統(tǒng)（GFS）通過（冗余）方式提高可靠性12） Google文件系統(tǒng)（GFS）中每個數(shù)據(jù)塊默認是在

3、（3）個數(shù)據(jù)塊服務器上冗余13） Google文件系統(tǒng)（GFS）中客戶端直接從（數(shù)據(jù)塊服務器）角色完成數(shù)據(jù)存取。14） 文件體統(tǒng)（GFS）中主服務器節(jié)點 任務是（存儲元數(shù)據(jù)、文件系統(tǒng)目錄管理和與數(shù)據(jù)塊服務器進行周期性通信）15） 在主服務器節(jié)點存儲中，采用日志進行容錯的是（命名空間、Chunk與文件名的映射）16） 在數(shù)據(jù)塊服務器容錯中，每個Block對應 32Bit的校驗碼17） GFS采用用中心服務器模式的原因包括（可以方便增加數(shù)據(jù)塊服務器；不存在元數(shù)據(jù)的一致性問題；方便進行負載均衡）18） Google不緩存數(shù)據(jù)的原因是（OFS的文件操作大部門是流式讀寫；維護緩存與實際數(shù)據(jù)之間的一致性太

4、復雜；不存在大量的重復讀寫；數(shù)據(jù)塊服務器上的數(shù)據(jù)存取使用本地文件系統(tǒng)；）19） GFS中主服務器節(jié)點存儲的元數(shù)據(jù)包括（命名空間；Chunk與文件名間的映射表、Chunk副本的位置信息）20） 單一主服務器（Master）解決性能瓶頸的方法是（減少其在數(shù)據(jù)存儲中的參與程度、不適用Master讀取數(shù)據(jù)、客戶端緩存元數(shù)據(jù)、采用大尺寸的數(shù)據(jù)塊）21） Google云計算技術和開源框架Hadoop如何對應的22）（MapReduce）是Google提出的用于處理海量數(shù)據(jù)的并行編程模式和大規(guī)模數(shù)據(jù)集的并行運算的軟件架構。簡答題云計算和網格計算的異同？MapReduce與傳統(tǒng)的分布式程序設計相比有何優(yōu)點？另

5、外一個文檔上有答案 MapReduce執(zhí)行流程圖(1) MapReduce函數(shù)首先把輸入文件分成M塊(2) 這些分派執(zhí)行程序有一個程序比較特別，他是主程序Master。剩下的執(zhí)行程序都是作為Master分派工作的Worker（工作機）?？偣灿蠱個Map任務和R個Reduce任務需要分派，Master選擇空閑的Worker來分配這些Map或Reduce任務。(3) 一被分配的Map任務的Worker讀取并處理相關的輸入塊。(4) 這些緩存到內存的中間結果將被定時寫到本地硬盤，這些數(shù)據(jù)通過分區(qū)函數(shù)分層R個區(qū)(5) 當Master通知Reduce的Worker關于<key,value>對

6、的位置時，它調用遠程控制過程，從Map Worker的本地硬盤上讀取緩沖的中間數(shù)據(jù)。(6) Reduce Worker根據(jù)每一個唯一的中間key來遍歷所有的排序后的中間數(shù)據(jù)，并且把key和相關的中間結果值集合傳遞給用戶定義的Reduce函數(shù)。(7) 當所有Map任務和Reduce任務都完成時，Master激活用戶程序。設計題試繪制GFS體系結構的示意圖，并對工作流程進行簡要說明另外一個文檔上面有答案GFS將整個系統(tǒng)的節(jié)點分為三類角色：Client（客戶端）、Master（主服務器）和Chunk Server（數(shù)據(jù)塊服務器）。Client提供給應用程序的訪問接口，它是一組專用接口。Master是

7、GFS的管理節(jié)點，在邏輯上有一個，它保存系統(tǒng)的元數(shù)據(jù)，負責整個文件系統(tǒng)的管理。Chunk Server負責具體的存儲工作。數(shù)據(jù)以文件的形式存儲在Chunk Server上，Chunk Server的個數(shù)可以有多個，它的數(shù)量直接決定了GFS的規(guī)模。客戶端在訪問GFS是，首先訪問Master節(jié)點，獲取與之進行交互的Chunk Server信息，然后直接訪問這些Chunk Server，完成數(shù)據(jù)的存取工作。Google Mapduce案例分析（字符串排序）（1） 對原始的數(shù)據(jù)進行分割(Split)，得到N個不同的數(shù)據(jù)分塊（2） 對每一個數(shù)據(jù)塊都啟動一個Map進行處理，采用桶排序的方法，每個Map按照

8、首字母將字符串分配到不同的桶中（3） 對于Map之后得到的中間結果，啟動26個Reduce。按照字母將Map中不同桶中的字符串集合放置到相應的Reduce中進行處理。具體的說：就是將首字母a的字符串放到Reduce1中處理，首字母b的放到Reduce2中處理依此類推。每個Reduce對于其中字符串進行排序，結果直接輸出。由于Map過程中已經做到了首字母有序，Reduce輸出結果就是最終的排序結果。簡答題HDFS的五個守護進程HDFS體系結構圖HDFS集群是一個NameNode和很多個DataNode組成。NameNode主控服務器，管理文件系統(tǒng)的元數(shù)據(jù)，負責維護文件系統(tǒng)的命名空間并協(xié)調客戶端對

9、文件的訪問，記錄命名空間內的任何改動或命名空間本身的屬性改動。DataNode存儲實際的數(shù)據(jù)，負責他們所在物理節(jié)點上存儲管理，HDFS開放文件系統(tǒng)的命名空間以便讓用戶以文件的形式存儲數(shù)據(jù)。客戶端聯(lián)系NameNode以獲取文件的元數(shù)據(jù)，而真正的文件I/O操作是直接和DataNode進行交互的。SecondaryNameNode它不是 namenode 的冗余守護進程，而是提供周期檢查點和清理任務。JobTracker負責調度 DataNode上的工作。每個 DataNode有一個TaskTracker，它們執(zhí)行實際工作。JobTracker和 TaskTracker

10、采用主-從形式，JobTracker跨DataNode分發(fā)工作，而 TaskTracker執(zhí)行任務。JobTracker還檢查請求的工作，如果一個 DataNode由于某種原因失敗，JobTracker會重新調度以前的任務。這個是重點（五個函數(shù)）但是不確定怎么考？Hadoop MapReduce五種函數(shù)（實際是兩個函數(shù)，另外三個是階段），每種函數(shù)的含義輸入分片（input split）階段：在進行map計算之前，mapreduce會根據(jù)輸入文件計算輸入分片（input split），每個輸入分片（input split）針對一個map任務，輸入分片（input split）

11、存儲的并非數(shù)據(jù)本身，而是一個分片長度和一個記錄數(shù)據(jù)的位置的數(shù)組，輸入分片（input split）往往和hdfs的block（塊）關系很密切；map階段：就是程序員編寫好的map函數(shù)了，因此map函數(shù)效率相對好控制，而且一般map操作都是本地化操作也就是在數(shù)據(jù)存儲節(jié)點上進行；Combine（連接）函數(shù)：將Map任務輸出的中間結果集中有相同的key值的多個<key,vlaue>組合成一個<key,list<value>>對。Combine在執(zhí)行完Map函數(shù)后緊接著執(zhí)行，很多情況下直接使用Reduce函數(shù)，Combine能減少中間結果的數(shù)量，從而減少數(shù)據(jù)傳輸?shù)木W

12、絡流量。Partition（分區(qū)）函數(shù)：Combine之后，把產生的中間結果按key的范圍劃分成R（R是預先定義的Reduce任務的個數(shù)）份，劃分的時候通常使用Hash函數(shù)，如Hash(key) mod R,這樣可以保證某一范圍內的key，一定是一個Reduce任務來處理，可以簡化Reduce的過程。reduce階段：和map函數(shù)一樣也是程序員編寫的，最終結果是存儲在hdfs上的。SQL和NoSQL數(shù)據(jù)庫的對比（1） 數(shù)據(jù)模型，SQL數(shù)據(jù)庫對數(shù)據(jù)有嚴格的約束，包括數(shù)據(jù)之間的關系和數(shù)據(jù)的完整性。（2） 數(shù)據(jù)處理：傳統(tǒng)的SQL數(shù)據(jù)庫滿足CAP原則（一致性（Consistency）、可用性（Avai

13、lability）、分區(qū)容忍性（Partition Tolerance）的C和A，所以在P方面很弱，進而導致傳統(tǒng)數(shù)據(jù)庫在可擴展性方面，面臨很多問題。NoSQL數(shù)據(jù)庫滿足CAP原則的A和P，所以在C比較弱，進而使得斐關系型數(shù)據(jù)庫無法滿足ACID要求。（3） 接口層區(qū)別：SQL數(shù)據(jù)庫都是以SQL語言對數(shù)據(jù)庫進行訪問的，目前所有的SQL數(shù)據(jù)都支持SQL語言；NoSQL數(shù)據(jù)庫對數(shù)據(jù)的操作都是通過一些API實現(xiàn)的，支持的查詢功能很簡單，并且不同數(shù)據(jù)庫有不同的API。（4） 優(yōu)勢和劣勢：SQL數(shù)據(jù)庫具有很高的一致性，在ACID方面能力非常強移植性很高，但在可用性方面能力較弱。NoSQL數(shù)據(jù)庫最大的優(yōu)點是非

14、常高的可擴展性，具有很強的并發(fā)處理能力，但缺乏數(shù)據(jù)一致性保證。另外，由于分布在多個服務器行，所以跨表、跨服查詢很難。Google Reduce編程模型（簡單描述如何實現(xiàn)）一個Map函數(shù)就是對一部分原始數(shù)據(jù)進行制定的操作。每個Map函數(shù)都針對不同的原始數(shù)據(jù)，因此Map和Map之間是互相獨立的，這是的他們可以充分并發(fā)。一個Reduce操作就是對每個Map所產生的一部分中間結果進行合并操作，每個Reduce所處理的Map中間結果是互相不交叉的，所有Reduce產生的最終結果經過簡單的連接就形成了完整的結果集，因此Reduce也可以在并發(fā)環(huán)境下之下執(zhí)行開發(fā)者需編寫兩個主要函數(shù) Map: (in_key, in_value) à (keyj, valuej) | j = 1kReduce: (key, value1,valuem)