計算機系統(tǒng)結構第11章

1、1 1/36/36第11章 機群系統(tǒng)張晨曦張晨曦 劉依劉依www.GotoS2 2/36/3611.1 機群的基本結構11.2 機群的特點11.3 機群的分類11.4 典型的機群系統(tǒng)3 3/36/36目前流行的高性能并行計算機系統(tǒng)結構通?？梢苑殖?類：并行向量處理機（PVP）對稱多處理機（SMP）大規(guī)模并行處理機（MPP）分布共享存儲多處理機（DSM）機群（Cluster）q優(yōu)勢：優(yōu)勢：低廉的價格、極強的靈活性和可縮放性低廉的價格、極強的靈活性和可縮放性q成為近年來發(fā)展勢頭最為強勁的系統(tǒng)結構成為近年來發(fā)展勢頭最為強勁的系統(tǒng)結構全球全球Top500Top500中機群計算機的數(shù)量和比例中機群計算機

2、的數(shù)量和比例時間時間 1997.6 1997.6 1997.11 1997.11 1998.6 1998.6 1998.11 1998.11 1999.6 1999.6 1999.11 1999.11 2000.6 2000.6 2000.11 2000.11 數(shù)量數(shù)量 1 11 11 12 26 67 711112828比例比例 0.2% 0.2% 0.2% 0.2% 0.2% 0.2% 0.4% 0.4% 1.2% 1.2% 1.4% 1.4% 2.2% 2.2% 5.6% 5.6% 時間時間2001.6 2001.6 2001.11 2001.11 2002.6 2002.6 2002.

3、11 2002.11 2003.6 2003.6 2003.11 2003.11 2004.6 2004.6 2004.11 2004.11 數(shù)量數(shù)量3232434381819393149149208208289289294294比例比例6.4% 6.4% 8.6% 8.6% 16.2% 16.2% 18.6% 18.6% 29.8% 29.8% 41.6% 41.6% 57.8% 57.8% 58.8% 58.8% 時間時間2005.6 2005.6 2005.11 2005.11 2006.6 2006.6 2006.11 2006.11 2007.62007.62007.112007.1

4、12008.62008.6數(shù)量數(shù)量304304361361364364361361374374406406400400比例比例60.8% 60.8% 72.2% 72.2% 72.8% 72.8% 72.2% 72.2% 74.8%74.8%81.2%81.2%80%80%5 5/36/361. 機群一種價格低廉、易于構建、可擴放性極強的并行計算機系統(tǒng)。由多臺同構或異構的獨立計算機通過高性能網(wǎng)絡或局域網(wǎng)互連在一起，協(xié)同完成特定的并行計算任務。從用戶的角度來看，機群就是一個單一、集中的計算資源。11.1.1 機群的硬件組成11.1 機群的基本結構6 6/36/3611.1 機群的基本結構一個簡單

5、PC機群的邏輯結構q4 4臺臺PCPC機通過交換機連接在一起。機通過交換機連接在一起。qNICNIC表示網(wǎng)絡接口，表示網(wǎng)絡接口，PCIPCI表示表示I/OI/O總線?？偩€。q這是一種無共享的結構，大多數(shù)機群都采用這種結構。這是一種無共享的結構，大多數(shù)機群都采用這種結構。q如果將圖中的交換機換為共享磁盤，則可以得到如果將圖中的交換機換為共享磁盤，則可以得到共享磁共享磁盤結構的機群系統(tǒng)盤結構的機群系統(tǒng)。 7 7/36/3611.1 機群的基本結構一個包含一個包含4 4個結點的簡單個結點的簡單PCPC機群機群8 8/36/3611.1 機群的基本結構w構成機群的每臺計算機都被稱為一個結點。每個結點都

6、是一個完整的系統(tǒng)，擁有本地磁盤和操作系統(tǒng)，可以作為一個單獨的計算資源供用戶使用。除了PC機外，機群的結點還可以是工作站，甚至是規(guī)模較大的對稱多處理機。結點分類q 計算結點計算結點q 管理登錄結點管理登錄結點q I/O結點結點9 9/36/3611.1 機群的基本結構w機群的各個結點一般通過商品化網(wǎng)絡連接在一起。w網(wǎng)絡接口與結點的I/O總線以松散耦合的方式相連。11.1.2 機群的軟件1. 機群操作系統(tǒng)：在各結點的操作系統(tǒng)之上建立一層操作系統(tǒng)來管理整個機群。2. 機群操作系統(tǒng)的功能 提供硬件管理、資源共享以及網(wǎng)絡通信 實現(xiàn)單一系統(tǒng)映象1010/36/3611.1 機群的基本結構qSingle S

7、ystem ImageSingle System Image，簡稱，簡稱SSISSIq一項重要功能一項重要功能q機群的一個重要特征機群的一個重要特征1111/36/3611.1 機群的基本結構wSSI有4重含義單一系統(tǒng)單一控制q邏輯上，最終用戶或系統(tǒng)用戶使用的服務都來自機群邏輯上，最終用戶或系統(tǒng)用戶使用的服務都來自機群中唯一一個位置；中唯一一個位置；q系統(tǒng)管理員通過一個唯一的控制點配置機群的所有軟、系統(tǒng)管理員通過一個唯一的控制點配置機群的所有軟、硬件組件。硬件組件。對稱性：用戶可以從任一個結點上獲得機群服務。位置透明：用戶不必了解真正提供服務的物理設備的具體位置。 1212/36/3611.1

8、 機群的基本結構w機群系統(tǒng)中的SSI至少應該提供以下三種服務：單一登錄q即用戶可以通過機群中的任何一個結點登錄，而且即用戶可以通過機群中的任何一個結點登錄，而且在整個作業(yè)執(zhí)行過程中只需登錄一次，不必因作業(yè)在整個作業(yè)執(zhí)行過程中只需登錄一次，不必因作業(yè)被分派到其它結點上執(zhí)行而重新登錄。被分派到其它結點上執(zhí)行而重新登錄。單一文件系統(tǒng)q在機群系統(tǒng)中，有一些對整個機群所有結點而言都在機群系統(tǒng)中，有一些對整個機群所有結點而言都相同的軟件，它們沒有必要在每一個結點上重復安相同的軟件，它們沒有必要在每一個結點上重復安裝。裝。q執(zhí)行并行作業(yè)時要求每個結點都可以訪問到這些軟執(zhí)行并行作業(yè)時要求每個結點都可以訪問到這

9、些軟件，但它們在整個機群系統(tǒng)中應該只有一個備份。件，但它們在整個機群系統(tǒng)中應該只有一個備份。1313/36/3611.1 機群的基本結構單一作業(yè)管理系統(tǒng)q用戶可以透明地從任一結點提交作業(yè)，作業(yè)可以以用戶可以透明地從任一結點提交作業(yè)，作業(yè)可以以批處理、交互或并行的方式被調(diào)度執(zhí)行。批處理、交互或并行的方式被調(diào)度執(zhí)行。qPBSPBS、LSFLSF、CondorCondor和和JOSSJOSS都是目前比較具有代表性都是目前比較具有代表性的作業(yè)管理系統(tǒng)。的作業(yè)管理系統(tǒng)。 w并行編程模型以及相關的并行編程環(huán)境 比較流行的并行編程工具： MPI、PVM、OpenMP、HPF 機群系統(tǒng)的軟件框架 1414/3

10、6/3611.1 機群的基本結構機群系統(tǒng)的軟件框架機群系統(tǒng)的軟件框架1515/36/361. 機群系統(tǒng)的優(yōu)點系統(tǒng)開發(fā)周期短 q結點采用商品化的結點采用商品化的PCPC機、工作站，通過商用網(wǎng)絡連接。機、工作站，通過商用網(wǎng)絡連接。q系統(tǒng)開發(fā)的重點系統(tǒng)開發(fā)的重點：通信子系統(tǒng)和并行編程環(huán)境：通信子系統(tǒng)和并行編程環(huán)境可靠性高 每個結點都是獨立的每個結點都是獨立的PCPC機或工作站機或工作站 可擴放性強 q機群的計算能力隨著結點數(shù)量的增加而增大機群的計算能力隨著結點數(shù)量的增加而增大q機群結構靈活（結點之間以松耦合方式連接）機群結構靈活（結點之間以松耦合方式連接）q機群系統(tǒng)的硬件容易擴充和替換，可以靈活配置

11、。機群系統(tǒng)的硬件容易擴充和替換，可以靈活配置。 11.2 機群的特點1616/36/3611.2 機群的特點性能價格比高 用戶編程方便w機群的迅猛發(fā)展還得益于微處理器技術、網(wǎng)絡技術和并行程序設計技術的進步。微處理器技術的進步使得微處理器的性能不斷提高，價格不斷下降 ；2.機群系統(tǒng)更容易融合到已有的網(wǎng)絡系統(tǒng)中，而且隨著網(wǎng)絡技術的進步和高性能通信協(xié)議的引入，機群結點間的通信帶寬進一步提高，通信延遲進一步縮短，逐步緩解了由于結點松散耦合引起的機群系統(tǒng)通信瓶頸問題。 1717/36/3611.2 機群的特點隨著PVM、MPI、HPF、OpenMP等并行編程模型的應用與成熟，使得在機群系統(tǒng)上開發(fā)并行應用

12、更加方便。 w機群的不足之處 由于機群由多臺完整的計算機組成，它的維護相當于要同時去管理多個計算機系統(tǒng)，因此維護工作量較大，維護費用也較高。 1818/36/361. 根據(jù)組成機群的各個結點和網(wǎng)絡是否相同，分為： 同構、異構2. 根據(jù)結點是PC還是工作站，分為： PC機群、工作站機群 3. 以機群系統(tǒng)的使用目的為依據(jù)，分為： 高可用性機群、負載均衡機群以及高性能機群 （最常用的分類方法（最常用的分類方法 ）11.3 機群的分類1919/36/3611.3 機群的分類w高可用性機群 主要目的：當系統(tǒng)中某些結點出現(xiàn)故障的情況下，仍能繼續(xù)對外提供服務。 采用冗余機制q當系統(tǒng)中某個結點由于軟、硬件故障

13、而失效時，該結當系統(tǒng)中某個結點由于軟、硬件故障而失效時，該結點上的任務將在最短的時間內(nèi)被遷移到機群內(nèi)另一個點上的任務將在最短的時間內(nèi)被遷移到機群內(nèi)另一個具有相同功能與結構的結點上繼續(xù)執(zhí)行。具有相同功能與結構的結點上繼續(xù)執(zhí)行。q對于用戶而言，系統(tǒng)可以一直為其提供服務。對于用戶而言，系統(tǒng)可以一直為其提供服務。適用于Web服務器、醫(yī)學監(jiān)測儀、銀行POS系統(tǒng)等要求持續(xù)提供服務的應用。 2020/36/3611.3 機群的分類w負載均衡機群主要目的：提供與結點個數(shù)成正比的負載能力要求：機群能夠根據(jù)系統(tǒng)中各個結點的負載情況實時地進行任務分配。專門設置了一個重要的監(jiān)控結點，負責監(jiān)控其余每個工作結點的負載和狀

14、態(tài)，并根據(jù)監(jiān)控結果將任務分派到不同的結點上。適合大規(guī)模網(wǎng)絡應用 如如WebWeb服務器或服務器或FTPFTP服務器、大工作量的串行或服務器、大工作量的串行或批處理作業(yè)（如數(shù)據(jù)分析）批處理作業(yè)（如數(shù)據(jù)分析）2121/36/3611.3 機群的分類負載均衡機群適用于提供靜態(tài)數(shù)據(jù)的服務；而高可用性機群既適用于提供靜態(tài)數(shù)據(jù)的服務，又適用于提供動態(tài)數(shù)據(jù)的服務。 w高性能計算機群主要目的：降低高性能計算的成本6.通過高速的商用互連網(wǎng)絡，將數(shù)十臺乃至上千臺PC機或工作站連接在一起，可以提供接近甚至超過傳統(tǒng)并行計算機系統(tǒng)的計算能力，但其價格卻僅是具有相同計算能力的傳統(tǒng)并行計算機系統(tǒng)的幾十分之一。 2222/3

15、6/3611.3 機群的分類w按照構建方式將機群分為：（一種比較常用的分類方法）（一種比較常用的分類方法）專用機群q吞吐率較高，響應時間較短。吞吐率較高，響應時間較短。q專用機群的結點往往是同構的，一般采用集中控制，專用機群的結點往往是同構的，一般采用集中控制，由一個（或一組）管理員統(tǒng)一管理，而且用戶一般需由一個（或一組）管理員統(tǒng)一管理，而且用戶一般需要通過一臺終端機來訪問它。要通過一臺終端機來訪問它。 企業(yè)機群q各結點之間一般通過標準的各結點之間一般通過標準的LANLAN或或WANWAN互連互連q通信開銷較大、延遲較長通信開銷較大、延遲較長q企業(yè)機群的各個結點一般是異構的企業(yè)機群的各個結點一

16、般是異構的 2323/36/36美國加州大學Berkeley分校開發(fā) 具有很多優(yōu)點：采用商用千兆以太網(wǎng)和主動消息通信協(xié)議支持有效的通信。通過用戶級整合機群軟件GLUNIX提供單一系統(tǒng)映象、資源管理和可用性，開發(fā)了一種新的無服務器網(wǎng)絡文件系統(tǒng)xFS，以支持可擴放性和單一文件層次的高可用性。 11.4 典型機群系統(tǒng)簡介11.4.1 Berkeley NOW2424/36/3611.4 典型機群系統(tǒng)簡介1. 主動消息 實現(xiàn)低開銷通信的一種異步通信機制基本思想q在消息頭部控制信息中攜帶一個用戶級子例程（稱作在消息頭部控制信息中攜帶一個用戶級子例程（稱作消息處理程序）的地址。消息處理程序）的地址。q當消

17、息頭到達目的結點時，調(diào)用消息處理程序通過網(wǎng)當消息頭到達目的結點時，調(diào)用消息處理程序通過網(wǎng)絡獲取剩下的數(shù)據(jù)，并把它們集成到正在進行的計算絡獲取剩下的數(shù)據(jù)，并把它們集成到正在進行的計算中。中。q主動消息相當高效和靈活，以至于各種系統(tǒng)都逐漸地主動消息相當高效和靈活，以至于各種系統(tǒng)都逐漸地用它作為基本的通信機制。用它作為基本的通信機制。 2525/36/3611.4 典型機群系統(tǒng)簡介wGLUNIX 運行在工作站標準UNIX上的一個軟件層，屬于自包含軟件。主要思想q機群操作系統(tǒng)應由底層和高層組成；機群操作系統(tǒng)應由底層和高層組成；q底層是執(zhí)行在核模式下的結點商用操作系統(tǒng)，高層是底層是執(zhí)行在核模式下的結點商

18、用操作系統(tǒng)，高層是能提供機群所需的一些功能的用戶級操作系統(tǒng)。能提供機群所需的一些功能的用戶級操作系統(tǒng)。q特別地，這一軟件層能夠提供機群內(nèi)結點的單一系統(tǒng)特別地，這一軟件層能夠提供機群內(nèi)結點的單一系統(tǒng)映象，使得所有的處理器、存儲器、網(wǎng)絡容量和磁盤映象，使得所有的處理器、存儲器、網(wǎng)絡容量和磁盤帶寬均可以被分配給串行和并行應用。帶寬均可以被分配給串行和并行應用。 2626/36/3611.4 典型機群系統(tǒng)簡介w無服務器文件系統(tǒng)xFS一個無服務器的分布式文件系統(tǒng)；將文件服務的功能分布到機群的所有結點上，以提供低延遲高帶寬的文件系統(tǒng)服務功能；主要采用廉價冗余磁盤陣列、協(xié)同文件緩存和分布式管理等技術。 27

19、27/36/3611.4 典型機群系統(tǒng)簡介1. 目標 1GFlops的計算處理能力和10GB的存儲容量價格不能過高2. 一個具有16個結點的機群（Thomas SterlingThomas Sterling與與Don BeckerDon Becker二人構建）二人構建）硬件：Intel的DX4處理器以及10Mb/s的以太網(wǎng)軟件：基于Linux系統(tǒng)以及其它一些GNU軟件 11.4.2 Beowulf2828/36/3611.4 典型機群系統(tǒng)簡介將這個系統(tǒng)命名為Beowulfq這種基于這種基于COTSCOTS（Commodity Off The ShelfCommodity Off The She

20、lf）思想的）思想的技術也迅速由技術也迅速由NASANASA傳播到其它科研機構。傳播到其它科研機構。q這類機群被稱為這類機群被稱為BeowulfBeowulf機群機群。 （Beowulf Class Cluster ComputersBeowulf Class Cluster Computers）wBeowulf并不是一套具體的軟件包或是一種新的網(wǎng)絡拓撲結構，它只是一種思想。 在達到既定目標的前提下，把注意力集中在獲取更高的性能價格比上。 2929/36/3611.4 典型機群系統(tǒng)簡介1. 使用低成本、小配置（28個處理器）的SMP來構建機群系統(tǒng)逐漸成為主流。這種結構的系統(tǒng)被統(tǒng)稱為CLUMPs

21、 （CLUster of MultiProcessorsCLUster of MultiProcessors）由于SMP結點內(nèi)部與SMP結點之間通信能力往往不一致，CLUMPs一般使用專門的通信協(xié)議和通信算法。 11.4.3 LAMP3030/36/3611.4 典型機群系統(tǒng)簡介wLAMP（Local Area MultiProcessor）由NEC實驗室構建，基于Pentium Pro PC機、SMP機群共有16個結點 每個結點包含兩個每個結點包含兩個Pentium Pro 200MHzPentium Pro 200MHz的的CPUCPU以以及及256MB256MB內(nèi)存。內(nèi)存。操作系統(tǒng)使用了

22、支持SMP的Linux 2.0.34內(nèi)核版本，提供MPICH 1.1.0并行程序開發(fā)環(huán)境。同一個SMP結點內(nèi)的兩個CPU之間采用基于共享存儲器的消息傳遞機制進行通信，而結點間通信則通過Myrinet完成。3131/36/3611.4 典型機群系統(tǒng)簡介1. 深藍：采用30個RS/6000工作站（帶有專門設計的480片國際象棋芯片）的IBM SP2機群 2. 異步的MIMD，具有分布式存儲器系統(tǒng)結構。11.4.4 IBM SP23232/36/3611.4 典型機群系統(tǒng)簡介結點：一臺RS/6000工作站，帶有自己的存儲器和本地磁盤。結點中采用的處理器：一臺6流出的超標量處理機 每個時鐘周期可以執(zhí)行每個時鐘周期可以執(zhí)行6 6條指令，包括條指令，包括2 2條讀數(shù)寫條讀數(shù)寫數(shù)指令，數(shù)指令，2 2條浮點乘或加指令，條浮點乘或加指令，1 1條變址增量指令和條變址增量指令和1 1條條分支指令。分支指令。每個結點配有一套完整的AIX操作系統(tǒng)（IBM的