計算機(jī)系統(tǒng)結(jié)構(gòu)第11章

1、1 1/36/36第11章 機(jī)群系統(tǒng)張晨曦張晨曦 劉依劉依www.GotoS2 2/36/3611.1 機(jī)群的基本結(jié)構(gòu)11.2 機(jī)群的特點11.3 機(jī)群的分類11.4 典型的機(jī)群系統(tǒng)3 3/36/36目前流行的高性能并行計算機(jī)系統(tǒng)結(jié)構(gòu)通?？梢苑殖?類：并行向量處理機(jī)（PVP）對稱多處理機(jī)（SMP）大規(guī)模并行處理機(jī)（MPP）分布共享存儲多處理機(jī)（DSM）機(jī)群（Cluster）q優(yōu)勢：優(yōu)勢：低廉的價格、極強(qiáng)的靈活性和可縮放性低廉的價格、極強(qiáng)的靈活性和可縮放性q成為近年來發(fā)展勢頭最為強(qiáng)勁的系統(tǒng)結(jié)構(gòu)成為近年來發(fā)展勢頭最為強(qiáng)勁的系統(tǒng)結(jié)構(gòu)全球全球Top500Top500中機(jī)群計算機(jī)的數(shù)量和比例中機(jī)群計算機(jī)

2、的數(shù)量和比例時間時間 1997.6 1997.6 1997.11 1997.11 1998.6 1998.6 1998.11 1998.11 1999.6 1999.6 1999.11 1999.11 2000.6 2000.6 2000.11 2000.11 數(shù)量數(shù)量 1 11 11 12 26 67 711112828比例比例 0.2% 0.2% 0.2% 0.2% 0.2% 0.2% 0.4% 0.4% 1.2% 1.2% 1.4% 1.4% 2.2% 2.2% 5.6% 5.6% 時間時間2001.6 2001.6 2001.11 2001.11 2002.6 2002.6 2002.

3、11 2002.11 2003.6 2003.6 2003.11 2003.11 2004.6 2004.6 2004.11 2004.11 數(shù)量數(shù)量3232434381819393149149208208289289294294比例比例6.4% 6.4% 8.6% 8.6% 16.2% 16.2% 18.6% 18.6% 29.8% 29.8% 41.6% 41.6% 57.8% 57.8% 58.8% 58.8% 時間時間2005.6 2005.6 2005.11 2005.11 2006.6 2006.6 2006.11 2006.11 2007.62007.62007.112007.1

4、12008.62008.6數(shù)量數(shù)量304304361361364364361361374374406406400400比例比例60.8% 60.8% 72.2% 72.2% 72.8% 72.8% 72.2% 72.2% 74.8%74.8%81.2%81.2%80%80%5 5/36/361. 機(jī)群一種價格低廉、易于構(gòu)建、可擴(kuò)放性極強(qiáng)的并行計算機(jī)系統(tǒng)。由多臺同構(gòu)或異構(gòu)的獨立計算機(jī)通過高性能網(wǎng)絡(luò)或局域網(wǎng)互連在一起，協(xié)同完成特定的并行計算任務(wù)。從用戶的角度來看，機(jī)群就是一個單一、集中的計算資源。11.1.1 機(jī)群的硬件組成11.1 機(jī)群的基本結(jié)構(gòu)6 6/36/3611.1 機(jī)群的基本結(jié)構(gòu)一個簡單

5、PC機(jī)群的邏輯結(jié)構(gòu)q4 4臺臺PCPC機(jī)通過交換機(jī)連接在一起。機(jī)通過交換機(jī)連接在一起。qNICNIC表示網(wǎng)絡(luò)接口，表示網(wǎng)絡(luò)接口，PCIPCI表示表示I/OI/O總線?？偩€。q這是一種無共享的結(jié)構(gòu)，大多數(shù)機(jī)群都采用這種結(jié)構(gòu)。這是一種無共享的結(jié)構(gòu)，大多數(shù)機(jī)群都采用這種結(jié)構(gòu)。q如果將圖中的交換機(jī)換為共享磁盤，則可以得到如果將圖中的交換機(jī)換為共享磁盤，則可以得到共享磁共享磁盤結(jié)構(gòu)的機(jī)群系統(tǒng)盤結(jié)構(gòu)的機(jī)群系統(tǒng)。 7 7/36/3611.1 機(jī)群的基本結(jié)構(gòu)一個包含一個包含4 4個結(jié)點的簡單個結(jié)點的簡單PCPC機(jī)群機(jī)群8 8/36/3611.1 機(jī)群的基本結(jié)構(gòu)w構(gòu)成機(jī)群的每臺計算機(jī)都被稱為一個結(jié)點。每個結(jié)點都

6、是一個完整的系統(tǒng)，擁有本地磁盤和操作系統(tǒng)，可以作為一個單獨的計算資源供用戶使用。除了PC機(jī)外，機(jī)群的結(jié)點還可以是工作站，甚至是規(guī)模較大的對稱多處理機(jī)。結(jié)點分類q 計算結(jié)點計算結(jié)點q 管理登錄結(jié)點管理登錄結(jié)點q I/O結(jié)點結(jié)點9 9/36/3611.1 機(jī)群的基本結(jié)構(gòu)w機(jī)群的各個結(jié)點一般通過商品化網(wǎng)絡(luò)連接在一起。w網(wǎng)絡(luò)接口與結(jié)點的I/O總線以松散耦合的方式相連。11.1.2 機(jī)群的軟件1. 機(jī)群操作系統(tǒng)：在各結(jié)點的操作系統(tǒng)之上建立一層操作系統(tǒng)來管理整個機(jī)群。2. 機(jī)群操作系統(tǒng)的功能 提供硬件管理、資源共享以及網(wǎng)絡(luò)通信 實現(xiàn)單一系統(tǒng)映象1010/36/3611.1 機(jī)群的基本結(jié)構(gòu)qSingle S

7、ystem ImageSingle System Image，簡稱，簡稱SSISSIq一項重要功能一項重要功能q機(jī)群的一個重要特征機(jī)群的一個重要特征1111/36/3611.1 機(jī)群的基本結(jié)構(gòu)wSSI有4重含義單一系統(tǒng)單一控制q邏輯上，最終用戶或系統(tǒng)用戶使用的服務(wù)都來自機(jī)群邏輯上，最終用戶或系統(tǒng)用戶使用的服務(wù)都來自機(jī)群中唯一一個位置；中唯一一個位置；q系統(tǒng)管理員通過一個唯一的控制點配置機(jī)群的所有軟、系統(tǒng)管理員通過一個唯一的控制點配置機(jī)群的所有軟、硬件組件。硬件組件。對稱性：用戶可以從任一個結(jié)點上獲得機(jī)群服務(wù)。位置透明：用戶不必了解真正提供服務(wù)的物理設(shè)備的具體位置。 1212/36/3611.1

8、 機(jī)群的基本結(jié)構(gòu)w機(jī)群系統(tǒng)中的SSI至少應(yīng)該提供以下三種服務(wù)：單一登錄q即用戶可以通過機(jī)群中的任何一個結(jié)點登錄，而且即用戶可以通過機(jī)群中的任何一個結(jié)點登錄，而且在整個作業(yè)執(zhí)行過程中只需登錄一次，不必因作業(yè)在整個作業(yè)執(zhí)行過程中只需登錄一次，不必因作業(yè)被分派到其它結(jié)點上執(zhí)行而重新登錄。被分派到其它結(jié)點上執(zhí)行而重新登錄。單一文件系統(tǒng)q在機(jī)群系統(tǒng)中，有一些對整個機(jī)群所有結(jié)點而言都在機(jī)群系統(tǒng)中，有一些對整個機(jī)群所有結(jié)點而言都相同的軟件，它們沒有必要在每一個結(jié)點上重復(fù)安相同的軟件，它們沒有必要在每一個結(jié)點上重復(fù)安裝。裝。q執(zhí)行并行作業(yè)時要求每個結(jié)點都可以訪問到這些軟執(zhí)行并行作業(yè)時要求每個結(jié)點都可以訪問到這

9、些軟件，但它們在整個機(jī)群系統(tǒng)中應(yīng)該只有一個備份。件，但它們在整個機(jī)群系統(tǒng)中應(yīng)該只有一個備份。1313/36/3611.1 機(jī)群的基本結(jié)構(gòu)單一作業(yè)管理系統(tǒng)q用戶可以透明地從任一結(jié)點提交作業(yè)，作業(yè)可以以用戶可以透明地從任一結(jié)點提交作業(yè)，作業(yè)可以以批處理、交互或并行的方式被調(diào)度執(zhí)行。批處理、交互或并行的方式被調(diào)度執(zhí)行。qPBSPBS、LSFLSF、CondorCondor和和JOSSJOSS都是目前比較具有代表性都是目前比較具有代表性的作業(yè)管理系統(tǒng)。的作業(yè)管理系統(tǒng)。 w并行編程模型以及相關(guān)的并行編程環(huán)境 比較流行的并行編程工具： MPI、PVM、OpenMP、HPF 機(jī)群系統(tǒng)的軟件框架 1414/3

10、6/3611.1 機(jī)群的基本結(jié)構(gòu)機(jī)群系統(tǒng)的軟件框架機(jī)群系統(tǒng)的軟件框架1515/36/361. 機(jī)群系統(tǒng)的優(yōu)點系統(tǒng)開發(fā)周期短 q結(jié)點采用商品化的結(jié)點采用商品化的PCPC機(jī)、工作站，通過商用網(wǎng)絡(luò)連接。機(jī)、工作站，通過商用網(wǎng)絡(luò)連接。q系統(tǒng)開發(fā)的重點系統(tǒng)開發(fā)的重點：通信子系統(tǒng)和并行編程環(huán)境：通信子系統(tǒng)和并行編程環(huán)境可靠性高 每個結(jié)點都是獨立的每個結(jié)點都是獨立的PCPC機(jī)或工作站機(jī)或工作站 可擴(kuò)放性強(qiáng) q機(jī)群的計算能力隨著結(jié)點數(shù)量的增加而增大機(jī)群的計算能力隨著結(jié)點數(shù)量的增加而增大q機(jī)群結(jié)構(gòu)靈活（結(jié)點之間以松耦合方式連接）機(jī)群結(jié)構(gòu)靈活（結(jié)點之間以松耦合方式連接）q機(jī)群系統(tǒng)的硬件容易擴(kuò)充和替換，可以靈活配置

11、。機(jī)群系統(tǒng)的硬件容易擴(kuò)充和替換，可以靈活配置。 11.2 機(jī)群的特點1616/36/3611.2 機(jī)群的特點性能價格比高 用戶編程方便w機(jī)群的迅猛發(fā)展還得益于微處理器技術(shù)、網(wǎng)絡(luò)技術(shù)和并行程序設(shè)計技術(shù)的進(jìn)步。微處理器技術(shù)的進(jìn)步使得微處理器的性能不斷提高，價格不斷下降 ；2.機(jī)群系統(tǒng)更容易融合到已有的網(wǎng)絡(luò)系統(tǒng)中，而且隨著網(wǎng)絡(luò)技術(shù)的進(jìn)步和高性能通信協(xié)議的引入，機(jī)群結(jié)點間的通信帶寬進(jìn)一步提高，通信延遲進(jìn)一步縮短，逐步緩解了由于結(jié)點松散耦合引起的機(jī)群系統(tǒng)通信瓶頸問題。 1717/36/3611.2 機(jī)群的特點隨著PVM、MPI、HPF、OpenMP等并行編程模型的應(yīng)用與成熟，使得在機(jī)群系統(tǒng)上開發(fā)并行應(yīng)用

12、更加方便。 w機(jī)群的不足之處 由于機(jī)群由多臺完整的計算機(jī)組成，它的維護(hù)相當(dāng)于要同時去管理多個計算機(jī)系統(tǒng)，因此維護(hù)工作量較大，維護(hù)費用也較高。 1818/36/361. 根據(jù)組成機(jī)群的各個結(jié)點和網(wǎng)絡(luò)是否相同，分為： 同構(gòu)、異構(gòu)2. 根據(jù)結(jié)點是PC還是工作站，分為： PC機(jī)群、工作站機(jī)群 3. 以機(jī)群系統(tǒng)的使用目的為依據(jù)，分為： 高可用性機(jī)群、負(fù)載均衡機(jī)群以及高性能機(jī)群 （最常用的分類方法（最常用的分類方法 ）11.3 機(jī)群的分類1919/36/3611.3 機(jī)群的分類w高可用性機(jī)群 主要目的：當(dāng)系統(tǒng)中某些結(jié)點出現(xiàn)故障的情況下，仍能繼續(xù)對外提供服務(wù)。 采用冗余機(jī)制q當(dāng)系統(tǒng)中某個結(jié)點由于軟、硬件故障

13、而失效時，該結(jié)當(dāng)系統(tǒng)中某個結(jié)點由于軟、硬件故障而失效時，該結(jié)點上的任務(wù)將在最短的時間內(nèi)被遷移到機(jī)群內(nèi)另一個點上的任務(wù)將在最短的時間內(nèi)被遷移到機(jī)群內(nèi)另一個具有相同功能與結(jié)構(gòu)的結(jié)點上繼續(xù)執(zhí)行。具有相同功能與結(jié)構(gòu)的結(jié)點上繼續(xù)執(zhí)行。q對于用戶而言，系統(tǒng)可以一直為其提供服務(wù)。對于用戶而言，系統(tǒng)可以一直為其提供服務(wù)。適用于Web服務(wù)器、醫(yī)學(xué)監(jiān)測儀、銀行POS系統(tǒng)等要求持續(xù)提供服務(wù)的應(yīng)用。 2020/36/3611.3 機(jī)群的分類w負(fù)載均衡機(jī)群主要目的：提供與結(jié)點個數(shù)成正比的負(fù)載能力要求：機(jī)群能夠根據(jù)系統(tǒng)中各個結(jié)點的負(fù)載情況實時地進(jìn)行任務(wù)分配。專門設(shè)置了一個重要的監(jiān)控結(jié)點，負(fù)責(zé)監(jiān)控其余每個工作結(jié)點的負(fù)載和狀

14、態(tài)，并根據(jù)監(jiān)控結(jié)果將任務(wù)分派到不同的結(jié)點上。適合大規(guī)模網(wǎng)絡(luò)應(yīng)用 如如WebWeb服務(wù)器或服務(wù)器或FTPFTP服務(wù)器、大工作量的串行或服務(wù)器、大工作量的串行或批處理作業(yè)（如數(shù)據(jù)分析）批處理作業(yè)（如數(shù)據(jù)分析）2121/36/3611.3 機(jī)群的分類負(fù)載均衡機(jī)群適用于提供靜態(tài)數(shù)據(jù)的服務(wù)；而高可用性機(jī)群既適用于提供靜態(tài)數(shù)據(jù)的服務(wù)，又適用于提供動態(tài)數(shù)據(jù)的服務(wù)。 w高性能計算機(jī)群主要目的：降低高性能計算的成本6.通過高速的商用互連網(wǎng)絡(luò)，將數(shù)十臺乃至上千臺PC機(jī)或工作站連接在一起，可以提供接近甚至超過傳統(tǒng)并行計算機(jī)系統(tǒng)的計算能力，但其價格卻僅是具有相同計算能力的傳統(tǒng)并行計算機(jī)系統(tǒng)的幾十分之一。 2222/3

15、6/3611.3 機(jī)群的分類w按照構(gòu)建方式將機(jī)群分為：（一種比較常用的分類方法）（一種比較常用的分類方法）專用機(jī)群q吞吐率較高，響應(yīng)時間較短。吞吐率較高，響應(yīng)時間較短。q專用機(jī)群的結(jié)點往往是同構(gòu)的，一般采用集中控制，專用機(jī)群的結(jié)點往往是同構(gòu)的，一般采用集中控制，由一個（或一組）管理員統(tǒng)一管理，而且用戶一般需由一個（或一組）管理員統(tǒng)一管理，而且用戶一般需要通過一臺終端機(jī)來訪問它。要通過一臺終端機(jī)來訪問它。 企業(yè)機(jī)群q各結(jié)點之間一般通過標(biāo)準(zhǔn)的各結(jié)點之間一般通過標(biāo)準(zhǔn)的LANLAN或或WANWAN互連互連q通信開銷較大、延遲較長通信開銷較大、延遲較長q企業(yè)機(jī)群的各個結(jié)點一般是異構(gòu)的企業(yè)機(jī)群的各個結(jié)點一

16、般是異構(gòu)的 2323/36/36美國加州大學(xué)Berkeley分校開發(fā) 具有很多優(yōu)點：采用商用千兆以太網(wǎng)和主動消息通信協(xié)議支持有效的通信。通過用戶級整合機(jī)群軟件GLUNIX提供單一系統(tǒng)映象、資源管理和可用性，開發(fā)了一種新的無服務(wù)器網(wǎng)絡(luò)文件系統(tǒng)xFS，以支持可擴(kuò)放性和單一文件層次的高可用性。 11.4 典型機(jī)群系統(tǒng)簡介11.4.1 Berkeley NOW2424/36/3611.4 典型機(jī)群系統(tǒng)簡介1. 主動消息 實現(xiàn)低開銷通信的一種異步通信機(jī)制基本思想q在消息頭部控制信息中攜帶一個用戶級子例程（稱作在消息頭部控制信息中攜帶一個用戶級子例程（稱作消息處理程序）的地址。消息處理程序）的地址。q當(dāng)消

17、息頭到達(dá)目的結(jié)點時，調(diào)用消息處理程序通過網(wǎng)當(dāng)消息頭到達(dá)目的結(jié)點時，調(diào)用消息處理程序通過網(wǎng)絡(luò)獲取剩下的數(shù)據(jù)，并把它們集成到正在進(jìn)行的計算絡(luò)獲取剩下的數(shù)據(jù)，并把它們集成到正在進(jìn)行的計算中。中。q主動消息相當(dāng)高效和靈活，以至于各種系統(tǒng)都逐漸地主動消息相當(dāng)高效和靈活，以至于各種系統(tǒng)都逐漸地用它作為基本的通信機(jī)制。用它作為基本的通信機(jī)制。 2525/36/3611.4 典型機(jī)群系統(tǒng)簡介wGLUNIX 運行在工作站標(biāo)準(zhǔn)UNIX上的一個軟件層，屬于自包含軟件。主要思想q機(jī)群操作系統(tǒng)應(yīng)由底層和高層組成；機(jī)群操作系統(tǒng)應(yīng)由底層和高層組成；q底層是執(zhí)行在核模式下的結(jié)點商用操作系統(tǒng)，高層是底層是執(zhí)行在核模式下的結(jié)點商

18、用操作系統(tǒng)，高層是能提供機(jī)群所需的一些功能的用戶級操作系統(tǒng)。能提供機(jī)群所需的一些功能的用戶級操作系統(tǒng)。q特別地，這一軟件層能夠提供機(jī)群內(nèi)結(jié)點的單一系統(tǒng)特別地，這一軟件層能夠提供機(jī)群內(nèi)結(jié)點的單一系統(tǒng)映象，使得所有的處理器、存儲器、網(wǎng)絡(luò)容量和磁盤映象，使得所有的處理器、存儲器、網(wǎng)絡(luò)容量和磁盤帶寬均可以被分配給串行和并行應(yīng)用。帶寬均可以被分配給串行和并行應(yīng)用。 2626/36/3611.4 典型機(jī)群系統(tǒng)簡介w無服務(wù)器文件系統(tǒng)xFS一個無服務(wù)器的分布式文件系統(tǒng)；將文件服務(wù)的功能分布到機(jī)群的所有結(jié)點上，以提供低延遲高帶寬的文件系統(tǒng)服務(wù)功能；主要采用廉價冗余磁盤陣列、協(xié)同文件緩存和分布式管理等技術(shù)。 27

19、27/36/3611.4 典型機(jī)群系統(tǒng)簡介1. 目標(biāo) 1GFlops的計算處理能力和10GB的存儲容量價格不能過高2. 一個具有16個結(jié)點的機(jī)群（Thomas SterlingThomas Sterling與與Don BeckerDon Becker二人構(gòu)建）二人構(gòu)建）硬件：Intel的DX4處理器以及10Mb/s的以太網(wǎng)軟件：基于Linux系統(tǒng)以及其它一些GNU軟件 11.4.2 Beowulf2828/36/3611.4 典型機(jī)群系統(tǒng)簡介將這個系統(tǒng)命名為Beowulfq這種基于這種基于COTSCOTS（Commodity Off The ShelfCommodity Off The She

20、lf）思想的）思想的技術(shù)也迅速由技術(shù)也迅速由NASANASA傳播到其它科研機(jī)構(gòu)。傳播到其它科研機(jī)構(gòu)。q這類機(jī)群被稱為這類機(jī)群被稱為BeowulfBeowulf機(jī)群機(jī)群。 （Beowulf Class Cluster ComputersBeowulf Class Cluster Computers）wBeowulf并不是一套具體的軟件包或是一種新的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，它只是一種思想。 在達(dá)到既定目標(biāo)的前提下，把注意力集中在獲取更高的性能價格比上。 2929/36/3611.4 典型機(jī)群系統(tǒng)簡介1. 使用低成本、小配置（28個處理器）的SMP來構(gòu)建機(jī)群系統(tǒng)逐漸成為主流。這種結(jié)構(gòu)的系統(tǒng)被統(tǒng)稱為CLUMPs

21、 （CLUster of MultiProcessorsCLUster of MultiProcessors）由于SMP結(jié)點內(nèi)部與SMP結(jié)點之間通信能力往往不一致，CLUMPs一般使用專門的通信協(xié)議和通信算法。 11.4.3 LAMP3030/36/3611.4 典型機(jī)群系統(tǒng)簡介wLAMP（Local Area MultiProcessor）由NEC實驗室構(gòu)建，基于Pentium Pro PC機(jī)、SMP機(jī)群共有16個結(jié)點 每個結(jié)點包含兩個每個結(jié)點包含兩個Pentium Pro 200MHzPentium Pro 200MHz的的CPUCPU以以及及256MB256MB內(nèi)存。內(nèi)存。操作系統(tǒng)使用了

22、支持SMP的Linux 2.0.34內(nèi)核版本，提供MPICH 1.1.0并行程序開發(fā)環(huán)境。同一個SMP結(jié)點內(nèi)的兩個CPU之間采用基于共享存儲器的消息傳遞機(jī)制進(jìn)行通信，而結(jié)點間通信則通過Myrinet完成。3131/36/3611.4 典型機(jī)群系統(tǒng)簡介1. 深藍(lán)：采用30個RS/6000工作站（帶有專門設(shè)計的480片國際象棋芯片）的IBM SP2機(jī)群 2. 異步的MIMD，具有分布式存儲器系統(tǒng)結(jié)構(gòu)。11.4.4 IBM SP23232/36/3611.4 典型機(jī)群系統(tǒng)簡介結(jié)點：一臺RS/6000工作站，帶有自己的存儲器和本地磁盤。結(jié)點中采用的處理器：一臺6流出的超標(biāo)量處理機(jī) 每個時鐘周期可以執(zhí)行每個時鐘周期可以執(zhí)行6 6條指令，包括條指令，包括2 2條讀數(shù)寫條讀數(shù)寫數(shù)指令，數(shù)指令，2 2條浮點乘或加指令，條浮點乘或加指令，1 1條變址增量指令和條變址增量指令和1 1條條分支指令。分支指令。每個結(jié)點配有一套完整的AIX操作系統(tǒng)（IBM的