系統(tǒng)結(jié)構(gòu)第9章

第9章機群計算機1整理ppt9.1機群的根本概念和結(jié)構(gòu)9.2機群的特點9.3機群的分類9.4典型機群系統(tǒng)簡介2整理ppt目前流行的高性能并行計算機系統(tǒng)結(jié)構(gòu)通?？梢苑殖?類：并行向量處理機〔PVP〕對稱多處理機〔SMP〕大規(guī)模并行處理機〔MPP〕分布共享存儲多處理機〔DSM〕機群〔Cluster〕優(yōu)勢：低廉的價格、極強的靈活性和可擴縮性成為近年來開展勢頭最為強勁的系統(tǒng)結(jié)構(gòu)3整理ppt全球Top500中機群計算機的數(shù)量和比例時間1997.61997.111998.61998.111999.61999.112000.62000.11數(shù)量1112671128比例0.2%0.2%0.2%0.4%1.2%1.4%2.2%5.6%時間2001.62001.112002.62002.112003.62003.112004.62004.11數(shù)量32438193149208289294比例6.4%8.6%16.2%18.6%29.8%41.6%57.8%58.8%時間2005.62005.112006.62006.11數(shù)量304361364361比例60.8%72.2%72.8%72.2%4整理ppt機群一種價格低廉、易于構(gòu)建、可擴縮性極強的并行計算機系統(tǒng)。由多臺同構(gòu)或異構(gòu)的獨立計算機通過高性能網(wǎng)絡(luò)或局域網(wǎng)互連在一起，協(xié)同完成特定的并行計算任務(wù)。從用戶的角度來看，機群就是一個單一、集中的計算資源。9.1.1機群的根本概念和結(jié)構(gòu)9.1機群的根本概念和結(jié)構(gòu)5整理ppt一個簡單PC機群的邏輯結(jié)構(gòu)4臺PC機通過交換機連接在一起。NIC表示網(wǎng)絡(luò)接口，PCI表示I/O總線。這是一種無共享的結(jié)構(gòu)，大多數(shù)機群都采用這種結(jié)構(gòu)。如果將以下圖中的交換機換為共享磁盤，那么可以得到共享磁盤的機群系統(tǒng)結(jié)構(gòu)。6整理ppt一個包含4個結(jié)點的簡單PC機群7整理ppt構(gòu)成機群的每臺計算機都被稱為一個結(jié)點。每個結(jié)點都是一個完整的系統(tǒng)，擁有本地磁盤和操作系統(tǒng)，可以作為一個單獨的計算資源供用戶使用。除了PC機外，機群的結(jié)點還可以是工作站，甚至是規(guī)模較大的對稱多處理機。機群的各個結(jié)點一般通過商品化網(wǎng)絡(luò)連接在一起。網(wǎng)絡(luò)接口與結(jié)點的I/O總線以松散耦合的方式相連。

8整理ppt機群操作系統(tǒng)：在各結(jié)點的操作系統(tǒng)之上建立一層操作系統(tǒng)來管理整個機群。機群操作系統(tǒng)的功能提供硬件管理、資源共享以及網(wǎng)絡(luò)通信實現(xiàn)單一系統(tǒng)映象SingleSystemImage，SSI一項重要功能機群的一個重要特征9.1.2機群的軟件模型9整理pptSSI包含四重含義單一系統(tǒng)單一控制邏輯上，最終用戶或系統(tǒng)用戶使用的效勞都來自機群中唯一的位置。系統(tǒng)管理員通過一個唯一的控制點配置機群的所有軟、硬件組件。對稱性：用戶可以從任一個結(jié)點上獲得機群效勞。位置透明：用戶不必了解真正提供效勞的物理設(shè)備的具體位置。10整理ppt簡單機群系統(tǒng)中的SSI至少應(yīng)該提供以下三種效勞：單一登錄即用戶可以通過機群中的任何一個結(jié)點登錄，而且在整個作業(yè)執(zhí)行過程中只需登錄一次，不必因作業(yè)被分派到其他結(jié)點上執(zhí)行而重新登錄。單一文件系統(tǒng)在機群系統(tǒng)中，有一些對整個機群所有結(jié)點而言都相同的軟件，它們沒有必要在每一個結(jié)點上重復(fù)安裝。另外執(zhí)行并行作業(yè)時要求每個結(jié)點都可以訪問到可執(zhí)行文件，即這些軟件和可執(zhí)行文件在整個機群系統(tǒng)中應(yīng)該只有一個唯一的副本。11整理ppt單一作業(yè)管理系統(tǒng)用戶可以透明地從任一結(jié)點提交作業(yè)，作業(yè)可以以批處理、交互或并行的方式被調(diào)度執(zhí)行。PBS、LSF、Condor和JOSS都是目前比較具有代表性的作業(yè)管理系統(tǒng)。并行編程模型以及相關(guān)的并行編程環(huán)境比較流行的并行編程工具：MPI、PVM、OpenMP、HPF機群系統(tǒng)的軟件框架12整理ppt機群系統(tǒng)的軟件框架13整理ppt機群系統(tǒng)的優(yōu)點:系統(tǒng)開發(fā)周期短結(jié)點采用商品化的PC機、工作站，通過商用網(wǎng)絡(luò)連接。系統(tǒng)開發(fā)的重點：通信子系統(tǒng)和并行編程環(huán)境可靠性高每個結(jié)點都是獨立的PC機或工作站可擴縮性強機群的計算能力隨著結(jié)點數(shù)量的增加而增大機群結(jié)構(gòu)靈活〔結(jié)點之間以松耦合方式連接〕機群系統(tǒng)的硬件容易擴充和替換，可以靈活配置。9.2機群的特點14整理ppt性能價格比高用戶編程方便機群的迅猛開展還得益于微處理器技術(shù)、網(wǎng)絡(luò)技術(shù)和并行程序設(shè)計技術(shù)的進步。微處理器技術(shù)的進步使得微處理器的性能不斷提高，價格不斷下降。機群系統(tǒng)更容易融和到已有的網(wǎng)絡(luò)系統(tǒng)中，而且隨著網(wǎng)絡(luò)技術(shù)的進步和高性能通信協(xié)議的引入，機群結(jié)點間的通信帶寬進一步提高，通信延遲進一步縮短，逐步緩解了由于結(jié)點松散耦合引起的機群系統(tǒng)通信瓶頸問題。15整理ppt隨著PVM、MPI、HPF、OpenMP等并行編程模型的應(yīng)用與成熟，使得在機群系統(tǒng)上開發(fā)并行應(yīng)用更加方便。機群的缺乏之處由于機群由多臺完整的計算機組成，它的維護相當于要同時去管理多個計算機系統(tǒng)，因此維護工作量較大，維護費用也較高。16整理ppt根據(jù)組成機群的各個結(jié)點和網(wǎng)絡(luò)是否相同，分為：同構(gòu)、異構(gòu)根據(jù)結(jié)點是PC還是工作站，分為：PC機群、工作站機群以機群系統(tǒng)的使用目的為依據(jù)，分為：高可用性機群、負載均衡機群以及高性能機群〔最常用的分類方法〕9.3機群的分類17整理ppt高可用性機群主要目的：當系統(tǒng)中某些結(jié)點出現(xiàn)故障的情況下，仍能繼續(xù)對外提供效勞。采用冗余機制當系統(tǒng)中某個結(jié)點由于軟、硬件故障而失效時，該結(jié)點上的任務(wù)將在最短的時間內(nèi)被遷移到機群內(nèi)另一個具有相同功能與結(jié)構(gòu)的結(jié)點上繼續(xù)執(zhí)行。對于用戶而言，系統(tǒng)可以一直為其提供效勞。適用于Web效勞器、醫(yī)學監(jiān)測儀、銀行POS系統(tǒng)等要求持續(xù)提供效勞的應(yīng)用。18整理ppt負載均衡機群主要目的：提供與結(jié)點個數(shù)成正比的負載能力要求：機群能夠根據(jù)系統(tǒng)中各個結(jié)點的負載情況實時地進行任務(wù)分配。專門設(shè)置了一個重要的監(jiān)控結(jié)點，負責監(jiān)控其余每個工作結(jié)點的負載和狀態(tài)，并根據(jù)監(jiān)控結(jié)果將任務(wù)分派到不同的結(jié)點上。適合大規(guī)模網(wǎng)絡(luò)應(yīng)用如Web效勞器或FTP效勞器、大工作量的串行或批處理作業(yè)〔如數(shù)據(jù)分析〕19整理ppt負載均衡機群適用于提供靜態(tài)數(shù)據(jù)的效勞；而高可用性機群既適用于提供靜態(tài)數(shù)據(jù)的效勞，又適用于提供動態(tài)數(shù)據(jù)的效勞。高性能計算機群主要目的：降低高性能計算的本錢它通過高速的商用互連網(wǎng)絡(luò)，將數(shù)十臺乃至上千臺PC機或工作站連接在一起，可以提供接近甚至超過傳統(tǒng)并行計算機系統(tǒng)的計算能力，但其價格卻僅是具有相同計算能力的傳統(tǒng)并行計算機系統(tǒng)的幾十分之一。20整理ppt按照構(gòu)建方式將機群分為：〔一種比較常用的分類方法〕專用機群吞吐率較高，響應(yīng)時間較短。專用機群的結(jié)點往往是同構(gòu)的，一般采用集中控制，由一個〔或一組〕管理員統(tǒng)一管理，而且用戶一般需要通過一臺終端機來訪問它。企業(yè)機群各結(jié)點之間一般通過標準的LAN或WAN互連通信開銷較大、延遲較長企業(yè)機群的各個結(jié)點一般是異構(gòu)的21整理ppt美國加州大學Berkeley分校開發(fā)優(yōu)點：采用商用千兆以太網(wǎng)和主動消息通信協(xié)議支持有效的通信。通過用戶級整合機群軟件GLUNIX提供單一系統(tǒng)映象、資源管理和可用性，開發(fā)了一種新的無效勞器網(wǎng)絡(luò)文件系統(tǒng)xFS，以支持可擴縮性和單一文件層次的高可用性。9.4典型機群系統(tǒng)簡介9.4.1BerkeleyNOW22整理ppt主動消息實現(xiàn)低開銷通信的一種異步通信機制根本思想在消息頭部控制信息中攜帶一個用戶級子例程〔稱作消息處理程序〕的地址。當消息頭到達目的結(jié)點時，調(diào)用消息處理程序通過網(wǎng)絡(luò)獲取剩下的數(shù)據(jù)，并把它們集成到正在進行的計算中。主動消息相當高效和靈活，以至于各種系統(tǒng)都逐漸地用它作為根本的通信機制。23整理pptGLUNIX

運行在工作站標準UNIX上的一個軟件層，屬于自包含軟件。主要思想機群操作系統(tǒng)應(yīng)由底層和高層組成。其中底層是執(zhí)行在核模式下的結(jié)點商用操作系統(tǒng)，高層是能提供機群所需的一些功能的用戶級操作系統(tǒng)。特別地，這一軟件層能夠提供機群內(nèi)結(jié)點的單一系統(tǒng)映象，使得所有的處理器、存儲器、網(wǎng)絡(luò)容量和磁盤帶寬均可以被分配給串行和并行應(yīng)用。24整理ppt無效勞器文件系統(tǒng)xFS一個無效勞器的分布式文件系統(tǒng)。將文件效勞的功能分布到機群的所有結(jié)點上，以提供低延遲高帶寬的文件系統(tǒng)效勞功能。主要采用廉價冗余磁盤陣列、協(xié)同文件緩存和分布式管理等技術(shù)。25整理ppt目標1GFlops的計算處理能力和10GB的存儲容量價格不能過高一個具有16個結(jié)點的機群〔ThomasSterling與DonBecker二人構(gòu)建〕硬件：Intel的DX4處理器以及10Mbps的以太網(wǎng)軟件：基于Linux系統(tǒng)以及其他一些GNU軟件9.4.2Beowulf26整理ppt將這個系統(tǒng)命名為Beowulf這種基于COTS〔CommodityOffTheShelf〕思想的技術(shù)也迅速由NASA傳播到其他科研機構(gòu)。這類機群被稱為Beowulf機群?！睟eowulfClassClusterComputers〕Beowulf并不是一套具體的軟件包或是一種新的網(wǎng)絡(luò)拓撲結(jié)構(gòu)，它只是一種思想。在到達既定目標的前提下，把注意力集中在獲取更高的性能價格比上。27整理ppt使用低本錢、小配置〔2～8個處理器〕的SMP來構(gòu)建機群系統(tǒng)逐漸成為主流。這種結(jié)構(gòu)的系統(tǒng)被統(tǒng)稱為CLUMPs〔CLUsterofMultiProcessors〕由于SMP結(jié)點內(nèi)部與SMP結(jié)點之間通信能力往往不一致，CLUMPs一般使用專門的通信協(xié)議和通信算法。9.4.3LAMP28整理pptLAMP〔LocalAreaMultiProcessor〕由NEC實驗室構(gòu)建，基于PentiumProPC機、SMP機群共有16個結(jié)點每個結(jié)點包含兩個PentiumPro200MHz的CPU以及256MB內(nèi)存。操作系統(tǒng)使用了支持SMP的Linux2.0.34內(nèi)核版本，提供MPICH1.1.0并行程序開發(fā)環(huán)境。同一個SMP結(jié)點內(nèi)的兩個CPU之間采用基于共享存儲器的消息傳遞機制進行通信，而結(jié)點間通信那么通過Myrinet完成。29整理ppt深藍：采用30個RS/6000工作站〔帶有專門設(shè)計的480片國際象棋芯片〕的IBMSP2機群異步的MIMD，具有分布式存儲器系統(tǒng)結(jié)構(gòu)。9.4.4IBMSP230整理ppt結(jié)點：一臺RS/6000工作站，帶有自己的存儲器和本地磁盤。結(jié)點中采用的處理器：一臺6流出的超標量處理機每個時鐘周期可以執(zhí)行6條指令，包括2條讀數(shù)寫數(shù)指令，2條浮點乘或加指令，1條變址增量指令和1條分支指令。每個結(jié)點配有一套完整的AIX操作系統(tǒng)〔IBM的UNIX〕。結(jié)點間的互連網(wǎng)絡(luò)接口是松散耦合的，通過結(jié)點本身的I/O微通道〔MCC〕接到網(wǎng)絡(luò)上，而不是通過本身的存儲器總線。31整理pptSP2的結(jié)點數(shù)可以從2個到512個不等，除了每個結(jié)點采用RS/6000工作站外，整個SP2系統(tǒng)還需要配置另外一臺RS/6000工作站作為系統(tǒng)控制臺。SP2的結(jié)點可分為3類：寬結(jié)點、細結(jié)點、細2結(jié)點它們都有：1個指令Cache1個數(shù)據(jù)Cache1個分支指令和轉(zhuǎn)移控制部件2個整數(shù)部件2個浮點部件32整理ppt但它們在存儲器容量、數(shù)據(jù)寬度和I/O總線插槽個數(shù)上有所不同。例如：在存儲器容量方面寬結(jié)點：64～2048M