云計算與并行計算復(fù)習(xí).

1、云計算與分布式系統(tǒng)期末復(fù)習(xí)1. 云計算的概念，來源以及與并行計算的關(guān)系 云計算的概念從 集群、網(wǎng)格和效用計算 發(fā)展而來。 云是虛擬計算機資源池。 云可以處理各種不同的負載， 包括 批處 理式后端作業(yè) 和 交互式用戶界面應(yīng)用 。云通過迅速提供虛擬機或 物理機允許負載被快速配置和劃分。云支持 冗余, 自恢復(fù) ，高可 擴展編程模型，以允許負載從許多不可避免的硬件 / 軟件錯誤中 恢復(fù)。最終， 云計算系統(tǒng)可以通過 實時監(jiān)視資源 來確保分配在需 要時平衡。來源：數(shù)據(jù)爆炸促發(fā)了云計算的思想。 集群和網(wǎng)格計算并行使用大量計算機可以解決任何規(guī)模的問題。 效用計算 和（ a ）將計算資源 作為服務(wù)進行按需付費。

2、云計 算利用動態(tài)資源 為終端用戶傳遞大量服務(wù)。云計算是一種 高吞吐量計算范式 ，它通過大的 數(shù)據(jù)中心 或 服 務(wù)器群 提供服務(wù)。云計算模型使得用戶可以隨時隨地通過他們的 互連設(shè)備訪問共享資源。 云計算避免了大量的數(shù)據(jù)移動，可以帶來更好的網(wǎng)絡(luò)帶寬利用 率。而且，機器虛擬化進一步提高了資源利用率，增加了應(yīng)用程 序靈活性降 低了使用虛擬化數(shù)據(jù)中心資源的總體成本。 云計算使用虛擬化平臺， 通過按需動態(tài)配置硬件、 軟件和數(shù)據(jù)集， 將彈性資源放在一起， 主要思想 是使用 數(shù)據(jù)中心中的服務(wù)器集群 和大規(guī)模數(shù)據(jù)庫 ，將桌面計算移向基于服務(wù)的平臺， 利用其對提 供商和用戶的低成本和簡單性。云應(yīng)用的所有計算任務(wù)被

3、分配到 數(shù)據(jù)中心的服務(wù)器 上。這些服務(wù) 器主要是虛擬集群的虛擬機，由數(shù)據(jù)中心資源產(chǎn)生出來。云平臺是通過虛擬化分布的系統(tǒng)。公有云和私有云都是在 互聯(lián)網(wǎng) 上開發(fā)的。 公有云構(gòu)建在互聯(lián)網(wǎng)之上，任何已付費的用戶都可以訪問。公有云屬于 服務(wù)提供商 ，用戶通過訂閱即可訪問。私有云構(gòu)建在 局域網(wǎng)內(nèi)部 ，屬于一個獨立的組織。由客戶管 理，而且其可訪問范圍限制在所屬客戶及其合作者之中。 混合云由公有云和私有云共同構(gòu)成 公有云促進了標準化， 節(jié)約了資金投入， 為應(yīng)用程序提供了很好 的靈活性；私有云嘗試進行定制化，可以提供更高的有效性、彈 性、安全性和隱私性；混合云則處于兩者中間，在資源共享方面 進行了折中。云的核

4、心是 服務(wù)器集群 （或虛擬機集群） 。集群節(jié)點用作計算 節(jié)點，少量的控制節(jié)點用于管理和監(jiān)視云活動。 用戶作業(yè)的調(diào)度 需要為用戶創(chuàng)建的虛擬集群分配任務(wù)。數(shù)據(jù)中心和超級計算機在網(wǎng)絡(luò)需求方面也不相同。超級計算機使用客戶設(shè)計的高帶寬網(wǎng)絡(luò)，如胖樹或3D環(huán)形網(wǎng)絡(luò)；數(shù)據(jù)中 心網(wǎng)絡(luò) 主要是 基于的商業(yè)網(wǎng)絡(luò)云平臺設(shè)計目標 : 可擴展性 、虛擬化 、有效性 和可靠性2. 云平臺提供的服務(wù)類型6 層的云服務(wù)，范圍從硬件、網(wǎng)絡(luò)和配置到基礎(chǔ)設(shè)施、平臺和軟 件應(yīng)用上三層（基礎(chǔ)設(shè)施即服務(wù)） （平臺即服務(wù)） （軟件即服務(wù)） 硬件即服務(wù)（） 網(wǎng)絡(luò)即服務(wù)（ ） 位置即服務(wù)（配置即服務(wù)） （）。數(shù)據(jù)中心的虛擬化資源形成互聯(lián)網(wǎng)云，

5、向付費用戶提供硬件， 軟 件，存儲，網(wǎng)絡(luò)和服務(wù)以運行他們的應(yīng)用。云計算提供了一個虛擬化的按需動態(tài)供應(yīng)硬件， 軟件和數(shù)據(jù)集的 彈性資源平臺 . 基礎(chǔ)設(shè)施即服務(wù)（）:這個模型將用戶需要的基礎(chǔ)設(shè)施（即服務(wù)器，存儲，網(wǎng)絡(luò)和數(shù)據(jù)中心構(gòu)造 ） 組合在一起。用戶可以在使 用客戶機操作系統(tǒng)的多個虛擬機上配置和運行指定的應(yīng)用。 平臺即服務(wù) （）: 這個模型使用戶能夠在一個虛擬的平臺上配 置用戶制定的應(yīng)用。包括中間件，數(shù)據(jù)庫，開發(fā)工具和一些運行 時支持 （ 如 2.0 和） 。3. 軟件即服務(wù) （）: 這是指面向數(shù)千付費云用戶的初始瀏覽器的 應(yīng)用軟件。模型應(yīng)用于業(yè)務(wù)流程，工業(yè)應(yīng)用，客戶關(guān)系管理，企 業(yè)資源計劃，人

6、力資源和合作應(yīng)用。3.的核心技術(shù)（包括默認文件？大小）谷歌的云計算應(yīng)用程序 的構(gòu)成要素包括 存儲大量數(shù)據(jù)的 、為應(yīng)用 程序開發(fā)者提供的 編程框架 、用于分布式應(yīng)用程序鎖服務(wù)的和為 訪問結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的 存儲服務(wù)。（：對一組數(shù)據(jù)元素進行某種重復(fù)式的處理 : 對中間結(jié)果進行某 種進一步的結(jié)果整理） （把 與 分開了）（設(shè)計思想 ）上升到架構(gòu) :統(tǒng)一架構(gòu)， 為程序員 隱藏系統(tǒng)層細節(jié)。是一個基于分布式集群的大型分布式文件系統(tǒng) , 為計算框 架提供底層數(shù)據(jù)存儲和數(shù)據(jù)可靠性支撐。上保存了文件系統(tǒng)的 三種元數(shù)據(jù) : 命名空間 , 即整個分布式文件系統(tǒng)的目錄結(jié)構(gòu)。 與文件名的映射表3副本的位置信息， 每

7、個 默認有 3 個副本。中 每個數(shù)據(jù)塊劃分缺省為 64。每個數(shù)據(jù)塊會分別在 3 個不同的 地方復(fù)制副本；每一個數(shù)據(jù)塊，僅當 3 個副本都成功時，才認為 數(shù)據(jù)保存成功。每個數(shù)據(jù)塊再劃分為 64 的子塊，每個子塊有一 個 32 位的校驗和。：是一個文件系統(tǒng)， 難以提供對結(jié)構(gòu)化數(shù)據(jù)的存儲和訪問管理。 為此在之上又設(shè)計了一個結(jié)構(gòu)化數(shù)據(jù)存儲和訪問管理系統(tǒng) , 為應(yīng) 用程序提供比單純文件系統(tǒng)更方便，更高層的數(shù)據(jù)操作能力。 對存儲在表中的數(shù)據(jù)不做任何解釋， 一律視為字符串， 具體數(shù)據(jù) 結(jié)構(gòu)的實現(xiàn)由用戶自行定義。查詢模型 （64）-> 結(jié)果數(shù)據(jù)字符串。支持查詢，插入和刪除操作。4. 怎樣分析與計算系統(tǒng)的

8、可用性可用性表示系統(tǒng)對用戶可用的時間百分比， 即系統(tǒng)正常運行的時 間百分比?？捎眯苑治觯?)是所有集群，網(wǎng)絡(luò)，P2P網(wǎng)絡(luò)和云計算系統(tǒng)所期望的。如果 系統(tǒng)有一個長的平均故障時間 ( ) 和短的修復(fù)時間 ( ), 那么 這個系統(tǒng)就是高度可用的。系統(tǒng)可用性形式化定義如下 :系統(tǒng)可用性 () (大多數(shù)集群通過轉(zhuǎn)移故障節(jié)點來達到高可用性 的目的)。5. 虛擬化的基本概念，硬件虛擬化的基本類型，虛擬化軟件， 目前市場上開源的版本所支持的指令集虛擬化： 虛擬化是一種計算機體系結(jié)構(gòu)技術(shù)，其中，多個虛擬機共享同 一臺物理硬件機器。 虛擬化的思想是分離軟硬件以產(chǎn)生更好的系 統(tǒng)性能。虛擬化技術(shù)通過在同一個硬件主機上

9、多路復(fù)用虛擬機的方式來 共享昂貴的硬件資源硬件虛擬化 :硬件虛擬化分為 : 全虛擬化和基于主機的虛擬化。全虛擬化 不需要修改主機操作系統(tǒng)。 它依賴于二進制翻譯來陷入 和虛擬化一些敏感， 不可虛擬化的指令執(zhí)行。 客戶操作系統(tǒng)和他 們的應(yīng)用由非臨界和臨界指令構(gòu)成。在基于主機的系統(tǒng)虛擬化中， 主機操作系統(tǒng)和客戶操作系統(tǒng)同時存在，虛擬化軟件層處于兩者之間。 主機操作系統(tǒng)仍舊負責管理 硬件。客戶操作系統(tǒng)安裝并運行在虛擬化層之上。特定的應(yīng)用可運行在虛擬機中。半虛擬化：半虛擬化需要修改客戶操作系統(tǒng)。半虛擬化虛擬機在用戶程序 中提供了特殊的，要求真正修改操作系統(tǒng)。完全虛擬化：的完全虛擬化與半虛擬化的區(qū)別是，

10、完全虛擬化需要支持硬件虛 擬化，而半虛擬化不需要支持硬件虛擬化。也就是，支持了硬件虛擬化，配置完成后就是完全虛擬化， 不支 持就是半虛擬化。三種實現(xiàn)技術(shù)：1、模擬軟件 通過模擬器模擬所有的指令，不 通知虛擬化出來的操作系統(tǒng) 它的運行環(huán)境。2、虛擬化一部分特權(quán)指令或者使用二進制日志轉(zhuǎn)換技術(shù)。3、讓支持硬件虛擬化。被虛擬化出來的操作系統(tǒng)上執(zhí)行的指令，會運行在被虛擬化出來的硬件上，就是完全虛擬化。，內(nèi)存和設(shè)備的虛擬化（虛擬機監(jiān)視器）,它負責管理計算機系統(tǒng)的硬件資源。每次應(yīng)用程序訪問硬件時，都會捕獲該訪問請求、內(nèi)存和設(shè)備的虛擬化為支持虛擬化，處理器利用硬件輔助虛擬化， 引入一種特殊的運行模式和指令，使

11、得 和客戶操作系統(tǒng)可運行在不同模式中，客 戶操作系統(tǒng)及其應(yīng)用程序的所有敏感指令會陷入到中。虛擬化的硬件支持現(xiàn)代操作系統(tǒng)和處理器允許多個進程同時運行。如果處理器中沒有保護機制，那么不同進程的所有指令都可以直接訪問硬件，很容易導(dǎo)致系統(tǒng)崩潰。因此，所有處理器都至少需要兩種模式（用 戶模式和管理模式）來確保對臨界區(qū)硬件的受控訪問。運行在管 理模式的指令稱為特權(quán)指令，其他指令為非特權(quán)指令。虛擬化虛擬機的非特權(quán)指令直接在物理主機中運行關(guān)鍵指令可以分為三類：特權(quán)指令、控制敏感指令 和行為敏感指 令。特權(quán)指令需要在特權(quán)模式中執(zhí)行，當在特權(quán)模式之外執(zhí)行特 權(quán)指令時會發(fā)生陷入。 控制敏感指令 嘗試改變使用資源的配

12、置。 行為敏感指令 根據(jù)資源的配置情況會有不同的行為， 包括在虛擬 內(nèi)存中進行的負載和存儲操作。運行在管理模式時，支持在用戶模式運行虛擬機的特權(quán)指令和非特權(quán)指令，則該體系結(jié)構(gòu)是可虛擬化的。 的所有控制敏感指令和 行為敏感指令都是特權(quán)指令的體系結(jié)構(gòu)是天然可虛擬化的。 內(nèi)存虛擬化客戶操作系統(tǒng)和分別維護從虛擬內(nèi)存到物理內(nèi)存的映射和從物理內(nèi)存到機器內(nèi)存的映射，共兩級映射?？蛻舨僮飨到y(tǒng)仍舊負責 從虛擬地址到虛擬機的物理內(nèi)存地址的映射， 負責將客戶物理內(nèi) 存映射到實際的機器內(nèi)存上 虛擬化虛擬化包括 管理虛擬設(shè)備 和共享的物理硬件 之間請求的路由選 擇。實現(xiàn)虛擬化有三種方式 :全設(shè)備模擬 : 一個設(shè)備的所有

13、功能或總線結(jié)構(gòu)（如設(shè)備枚舉、 識別、中斷和）都可以在軟件中復(fù)制。半虛擬化 : 是所采用的方法，是廣為熟知的分離式驅(qū)動模型， 由前端驅(qū)動和后端驅(qū)動兩部分構(gòu)成。前端驅(qū)動運行在 U 中，而 后端驅(qū)動運行在 0 中，它們通過一塊共享內(nèi)存交互。直接虛擬化 : 讓虛擬機直接訪問設(shè)備硬件。它能獲得近乎本地 的性能，并且開銷不高。6. 實現(xiàn)原理（怎樣實現(xiàn)硬件虛擬化的監(jiān)控） ，內(nèi)存虛擬化的基本 機制，虛擬化實現(xiàn)方式的實現(xiàn)原理 :是一個基于的半虛擬化系統(tǒng)，是 2.6.20 內(nèi)核的一部分。內(nèi)存管 理和調(diào)度由存在的內(nèi)核執(zhí)行， 則負責其余部分， 這使得比其他需 要控制整個機器的簡單許多。 是一個基于硬件輔助的半虛擬化工

14、 具，對性能進行了改進，且支持未修改的客戶操作系統(tǒng)，如和其 他變種。，內(nèi)存和設(shè)備的虛擬化（ 虛擬機監(jiān)視器 ）, 它負責管理計算機系統(tǒng)的硬件資源。每次應(yīng)用程序訪問硬件時，都會捕獲該訪問請求、內(nèi)存和設(shè)備的虛擬化為支持虛擬化，處理器利用硬件輔助虛擬化， 引入一種特殊的運 行模式和指令，使得 和客戶操作系統(tǒng)可運行在不同模式中，客戶操作系統(tǒng)及其應(yīng)用程序的所有敏感指令會陷入到中。虛擬化的硬件支持現(xiàn)代操作系統(tǒng)和處理器允許多個進程同時運行。如果處理器中沒有保護機制，那么不同進程的所有指令都可以直接訪問硬件，很容易導(dǎo)致系統(tǒng)崩潰。因此，所有處理器都至少需要兩種模式（用 戶模式和管理模式）來確保對臨界區(qū)硬件的受控訪

15、問。運行在管 理模式的指令稱為特權(quán)指令，其他指令為非特權(quán)指令。虛擬化虛擬機的非特權(quán)指令直接在物理主機中運行關(guān)鍵指令可以分為三類：特權(quán)指令、控制敏感指令 和行為敏感指 令。特權(quán)指令需要在特權(quán)模式中執(zhí)行，當在特權(quán)模式之外執(zhí)行特 權(quán)指令時會發(fā)生陷入。 控制敏感指令 嘗試改變使用資源的配置。 行為敏感指令 根據(jù)資源的配置情況會有不同的行為， 包括在虛擬 內(nèi)存中進行的負載和存儲操作。運行在管理模式時，支持在用戶模式運行虛擬機的特權(quán)指令和非 特權(quán)指令，則該體系結(jié)構(gòu)是可虛擬化的。 的所有控制敏感指令和 行為敏感指令都是特權(quán)指令的體系結(jié)構(gòu)是天然可虛擬化的。虛擬化虛擬化包括 管理虛擬設(shè)備 和共享的物理硬件 之間

16、請求的路由選 擇。內(nèi)存虛擬化 客戶操作系統(tǒng)和分別維護從虛擬內(nèi)存到物理內(nèi)存的映射和從物 理內(nèi)存到機器內(nèi)存的映射， 共兩級映射。 客戶操作系統(tǒng)仍舊負責 從虛擬地址到虛擬機的物理內(nèi)存地址的映射， 負責將客戶物理內(nèi) 存映射到實際的機器內(nèi)存上內(nèi)存虛擬化機制 客戶操作系統(tǒng)和分別維護從虛擬內(nèi)存到物理內(nèi)存的映射和從物 理內(nèi)存到機器內(nèi)存的映射，共兩級映射。進一步，也應(yīng)該支持虛 擬化，并且對客戶操作系統(tǒng)透明， 客戶操作系統(tǒng)仍舊負責從虛擬 地址到虛擬機的物理內(nèi)存地址的映射， 但是客戶操作系統(tǒng)并不能 直接訪問實際硬件內(nèi)存， 負責將客戶物理內(nèi)存映射到實際的機器 內(nèi)存上。8、虛擬化實現(xiàn)方式虛擬化包括管理虛擬設(shè)備和共享的物

17、理硬件之間請求的路由 選擇。實現(xiàn)虛擬化有三種方式：全設(shè)備模擬 : 一個設(shè)備的所有功能或總線結(jié)構(gòu)（如設(shè)備枚 舉、識別、中斷和）都可以在軟件中復(fù)制。半虛擬化 : 是所采用的方法，是廣為熟知的分離式驅(qū)動模 型，由前端驅(qū)動和后端驅(qū)動兩部分構(gòu)成。 前端驅(qū)動運行在 U 中， 而后端驅(qū)動運行在 0 中，它們通過一塊共享內(nèi)存交互。直接虛擬化 : 讓虛擬機直接訪問設(shè)備硬件。 它能獲得近乎本 地的性能，并且開銷不高。內(nèi)存虛擬化的頁表機制由于客戶操作系統(tǒng)的每個頁表在中都有一個獨立頁表與之對 應(yīng)，中的頁表稱為影子頁表。 嵌套的頁表在虛擬內(nèi)存系統(tǒng)中額外 增加了一層映射。 負責由操作系統(tǒng)定義的虛擬地址到物理地址的 轉(zhuǎn)換。

18、然后，使用定義的其他頁表將物理內(nèi)存地址轉(zhuǎn)換為機器地 址。使用影子頁表進行虛擬內(nèi)存到機器內(nèi)存的地址轉(zhuǎn)換。 當客戶 操作系統(tǒng)修改了虛擬內(nèi)存到物理內(nèi)存的映射時， 會及時更新影子 頁表。4. 內(nèi)存遷移的實現(xiàn)功能內(nèi)存的遷移實現(xiàn)的功能 內(nèi)存遷移在虛擬機遷移時很重要，因此內(nèi)存遷移一個重要的 功能是實現(xiàn)虛擬機的遷移， 可以將虛擬機的內(nèi)存實例從一個物理 節(jié)點遷移至另一個物理節(jié)點5. 云平臺處理的應(yīng)用類型6. 互聯(lián)網(wǎng)配置云系統(tǒng)的方式（私有云，） 公有云、私有云、混合云7. 單一系統(tǒng)鏡像包括哪些內(nèi)容（1）單系統(tǒng)鏡像特征 : 單一系統(tǒng) 、單一控制、對稱性、位置透 明性（2）單系統(tǒng)鏡像（）包括單一入口、單文件層次、單一

19、空間、 單一網(wǎng)絡(luò)機制、 單一控制點、 單一作業(yè)管理系統(tǒng)、 單一內(nèi)存空間 和單一進程空間。（3）額外特征：單一作業(yè)管理系統(tǒng) 所有集群作業(yè)能夠由任意節(jié)點提交到單 一作業(yè)管理系統(tǒng)。單一用戶接口 用戶通過單一圖形界面使用集群。 單一進程空間 各節(jié)點的所有用戶進程形成單一進程空間， 并 且共享統(tǒng)一進程認證機制。集群化的中間件 在集群應(yīng)用的三個層次上， 中間件支持各種 特征。管理級 該級處理用戶應(yīng)用程序，并且提供 作業(yè)管理系統(tǒng)。編程級 該級提供單一文件層次（、 、）和分布式共享內(nèi)存實現(xiàn)級 該級支持單一進程空間、檢查點機 制、進程遷移和單一空間。8. 虛擬化軟件層的基本功能虛擬化實現(xiàn)的層次引入虛擬化后， 不

20、同用戶應(yīng)用程序由自身的操作系統(tǒng) （即客戶操 作系統(tǒng)） 管理，并且那些客戶操作系統(tǒng)可以獨立于主機操作系統(tǒng) 同時運行在同一個硬件上， 這通常是通過新添加一個稱為虛擬化層的軟件來完成，該 虛擬化層 稱為或虛擬機監(jiān)視器（ ，）指令集體系結(jié)構(gòu)級 ：代碼解釋和動態(tài)二進制翻譯硬件抽象級 ：虛擬化一個計算機硬件資源操作系統(tǒng)級 ：在單一物理服務(wù)器上創(chuàng)建隔離的容器和操作系統(tǒng)實 例庫支持級 ：庫接口的虛擬化應(yīng)用程序級 ：進程級虛擬化、高級語言（ ，）虛擬機虛擬化軟件層的主要功能是將一個主機的物理硬件虛擬化為 可被各虛擬機互斥使用的虛擬資源。 （這可以在不同的操作層實 現(xiàn)） 虛擬化軟件通過在計算機系統(tǒng)的不同層插入虛擬化層來創(chuàng)建虛 擬機抽象。通常的虛擬化層包括指令集體系結(jié)構(gòu)（ ）級、硬件 抽象級、操作系統(tǒng)級、庫支持級和應(yīng)用程序級編程題傳統(tǒng)串行處理方式?jīng)]有讀取文件/* , |*/*/( ) ;();( 0