高性能計(jì)算集群HPCCLUSTER

1、高性能計(jì)算集群(HPC CLUSTER)1.1什么是高性能計(jì)算集群 ？簡單的說，高性能計(jì)算(High-Performance Computing)是計(jì)算機(jī)科學(xué)的一個(gè)分支，它致力于開發(fā)超級計(jì)算機(jī)，研究并行算法和開發(fā)相關(guān)軟件。高性能集群主要用于處理復(fù)雜的計(jì)算問題，應(yīng)用在需要大規(guī)?？茖W(xué)計(jì)算的環(huán)境中，如天氣預(yù)報(bào)、石油勘探與油藏模擬、分子模擬、基因測序等。高性能集群上運(yùn)行的應(yīng)用程序一般使用并行算法，把一個(gè)大的普通問題根據(jù)一定的規(guī)則分為許多小的子問題，在集群內(nèi)的不同節(jié)點(diǎn)上進(jìn)行計(jì)算，而這些小問題的處理結(jié)果，經(jīng)過處理可合并為原問題的最終結(jié)果。由于這些小問題的計(jì)算一般是可以并行完成的，從而可以縮短問題的處理時(shí)間

2、。高性能集群在計(jì)算過程中，各節(jié)點(diǎn)是協(xié)同工作的，它們分別處理大問題的一部分，并在處理中根據(jù)需要進(jìn)行數(shù)據(jù)交換，各節(jié)點(diǎn)的處理結(jié)果都是最終結(jié)果的一部分。高性能集群的處理能力與集群的規(guī)模成正比，是集群內(nèi)各節(jié)點(diǎn)處理能力之和，但這種集群一般沒有高可用性。1.2高性能計(jì)算分類高性能計(jì)算的分類方法很多。這里從并行任務(wù)間的關(guān)系角度來對高性能計(jì)算分類。1.2.1 高吞吐計(jì)算(High-throughput Computing)有一類高性能計(jì)算，可以把它分成若干可以并行的子任務(wù)，而且各個(gè)子任務(wù)彼此間沒有什么關(guān)聯(lián)。因?yàn)檫@種類型應(yīng)用的一個(gè)共同特征是在海量數(shù)據(jù)上搜索某些特定模式，所以把這類計(jì)算稱為高吞吐計(jì)算。所謂的Inte

3、rnet計(jì)算都屬于這一類。按照 Flynn的分類，高吞吐計(jì)算屬于 SIMD (Single Instruction/Multiple Data,單指令流-多數(shù)據(jù)流)的范疇。1.2.2 分布計(jì)算(Distributed Computing)另一類計(jì)算剛好和高吞吐計(jì)算相反，它們雖然可以給分成若干并行的子任務(wù)，但是子任務(wù)間聯(lián)系很緊密，需要大量的數(shù)據(jù)交換。按照 Flynn的分類，分布式的高性能計(jì)算屬于 MIMD(Multiple Instruction/Multiple Data ，多指令流-多數(shù)據(jù)流)的范疇。1.3高性能計(jì)算集群系統(tǒng)的特點(diǎn)可以采用現(xiàn)成的通用硬件設(shè)備或特殊應(yīng)用的硬件設(shè)備，研制周期短；可

4、實(shí)現(xiàn)單一系統(tǒng)映像，即操作控制、IP登錄點(diǎn)、文件結(jié)構(gòu)、存儲空間、I/O空間、作業(yè)管理系統(tǒng)等等的單一化；高性能(因?yàn)镃PUdz理能力與磁盤均衡分布，用高速網(wǎng)絡(luò)連接后具有并行吞吐能力)；高可用性，本身互為冗余節(jié)點(diǎn)，能夠?yàn)橛脩籼峁┎婚g斷的服務(wù)，由于系統(tǒng)中包括了多個(gè)結(jié)點(diǎn)，當(dāng)一個(gè)結(jié)點(diǎn)出現(xiàn)故障的時(shí)候，整個(gè)系統(tǒng)仍然能夠繼續(xù)為用戶提供服務(wù)；高可擴(kuò)展性，在集群系統(tǒng)中可以動(dòng)態(tài)地加入新的服務(wù)器和刪除需要淘汰的服務(wù)器，從而能夠最大限度地?cái)U(kuò)展系統(tǒng)以滿足不斷增長的應(yīng)用的需要；安全性，天然的防火墻；資源可充分利用，集群系統(tǒng)的每個(gè)結(jié)點(diǎn)都是相對獨(dú)立的機(jī)器，當(dāng)這些機(jī)器不提供服務(wù)或者不需要使用的 時(shí)候，仍然能夠被充分利用。而大型主機(jī)

5、上更新下來的配件就難以被重新利用了。具有極高的性能價(jià)格比，和傳統(tǒng)的大型主機(jī)相比，具有很大的價(jià)格優(yōu)勢；1.4 Linux高性能集群系統(tǒng)當(dāng)論及Linux高性能集群時(shí)，許多人的第一反映就是Beowulf。起初，Beowulf只是一個(gè)著名的科學(xué)計(jì)算集群系統(tǒng)。以后的很多集群都采用Beowulf類似的架構(gòu)，所以，實(shí)際上，現(xiàn)在Beowulf已經(jīng)成為一類廣為接受的高性能集群的類型。盡管名稱各異，很多集群系統(tǒng)都是 Beowulf集群的衍生物。當(dāng)然也存在有別于Beowulf的集群系統(tǒng)，COW和Mosix就是另兩類著名的集群系統(tǒng)。1.4.1 Beowulf 集群簡單的說，Beowulf是一種能夠?qū)⒍嗯_計(jì)算機(jī)用于并行

6、計(jì)算的體系結(jié)構(gòu)。通常 Beowulf系統(tǒng) 由通過以太網(wǎng)或其他網(wǎng)絡(luò)連接的多個(gè)計(jì)算節(jié)點(diǎn)和管理節(jié)點(diǎn)構(gòu)成。管理節(jié)點(diǎn)控制整個(gè)集群系 統(tǒng)，同時(shí)為計(jì)算節(jié)點(diǎn)提供文件服務(wù)和對外的網(wǎng)絡(luò)連接。它使用的是常見的硬件設(shè)備，象普通PC、以太網(wǎng)卡和集線器。它很少使用特別定制的硬件和特殊的設(shè)備。Beowulf集群的軟件也是隨處可見的，象 Linux、PVM和MPI。1.4.2 COW 集群象Beowulf 一樣，COW (Cluster Of Workstation )也是由最常見的硬件設(shè)備和軟件系統(tǒng)搭建 而成。通常也是由一個(gè)控制節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)構(gòu)成。COW和Beowulf的主要區(qū)別在于：COW中的計(jì)算節(jié)點(diǎn)主要都是閑置的計(jì)

7、算資源，如辦公室中的桌面工作站，它們就是普通的 PC,采用普通的局域網(wǎng)進(jìn)行連接。因?yàn)檫@些計(jì)算節(jié)點(diǎn)白天會(huì)作為工作站使用，所以主要的 集群計(jì)算發(fā)生在晚上和周末等空閑時(shí)間。而Beowulf中的計(jì)算節(jié)點(diǎn)都是專職于并行計(jì)算，并且進(jìn)行了性能優(yōu)化。Beowulf采用高速網(wǎng)(InfiniBand, SCI, Myrinet )上的消息傳遞(PVM或MPI)進(jìn)行進(jìn)程間通信(IPC)。因?yàn)镃OW中的計(jì)算節(jié)點(diǎn)主要的目的是桌面應(yīng)用，所以它們都具有顯示器、鍵盤和鼠標(biāo)等外設(shè)。而Beowulf的計(jì)算節(jié)點(diǎn)通常沒有這些外設(shè)，對這些計(jì)算節(jié)點(diǎn)的訪問通常是在管理節(jié)點(diǎn)上通過網(wǎng)絡(luò)或串口線實(shí)現(xiàn)的。1.4.3 Mosix 集群實(shí)際上把Mos

8、ix集群放在高性能集群這一節(jié)是相當(dāng)牽強(qiáng)的，但是和Beowulf等其他集群相比，Mosix集群確實(shí)是種非常特別的集群，它致力于在Linux系統(tǒng)上實(shí)現(xiàn)集群系統(tǒng)的單一系統(tǒng)映象SSI(Single System Image)。Mosix集群將網(wǎng)絡(luò)上運(yùn)行 Linux的計(jì)算機(jī)連接成一個(gè)集群系 統(tǒng)。系統(tǒng)自動(dòng)均衡節(jié)點(diǎn)間的負(fù)載。因?yàn)镸osix是在Linux系統(tǒng)內(nèi)核中實(shí)現(xiàn)的集群，所以用戶態(tài)的應(yīng)用程序不需要任何修改就可以在Mosix集群上運(yùn)行。通常用戶很少會(huì)注意到Linux和Mosix的差別。對于他來說，Mosix集群就是運(yùn)行Linux的一臺PC。盡管現(xiàn)在存在著不少的問題，Mosix始終是引人注目的集群系統(tǒng)2如何架

9、構(gòu)高性能計(jì)算集群在搭建高性能計(jì)算集群(HPC CLUSTER)之前，我們首先要根據(jù)具體的應(yīng)用需求，在節(jié)點(diǎn) 的部署、高速互連網(wǎng)絡(luò)的選擇、以及集群管理和通訊軟件，三個(gè)方面作出配置。2. 1節(jié)點(diǎn)的部署根據(jù)功能，我們可以把集群中的節(jié)點(diǎn)劃分為6種類型：用戶節(jié)點(diǎn)(User Node)同控制節(jié)點(diǎn)(Control Node)同管理節(jié)點(diǎn)(Management Node)|.| 存儲節(jié)點(diǎn)(Storage Node)安裝節(jié)點(diǎn)(Installation Node)|計(jì)算節(jié)點(diǎn)(Compute Node)雖然由多種類型的節(jié)點(diǎn)，但并不是說一臺計(jì)算機(jī)只能是一種類型的節(jié)點(diǎn)。一臺計(jì)算機(jī)所扮演的節(jié)點(diǎn)類型要由集群的實(shí)際需求和計(jì)算機(jī)的

10、配置決定。在小型集群系統(tǒng)中，用戶節(jié)點(diǎn)、控制節(jié)點(diǎn)、管理節(jié)點(diǎn)、存儲節(jié)點(diǎn)和安裝節(jié)點(diǎn)往往就是同一臺計(jì)算機(jī)。下面我們分別解釋這些類型節(jié)點(diǎn)的作用。2.1. 1 用戶節(jié)點(diǎn)(User Node)用戶節(jié)點(diǎn)是外部世界訪問集群系統(tǒng)的網(wǎng)關(guān)。用戶通常登錄到這個(gè)節(jié)點(diǎn)上編譯并運(yùn)行作業(yè)。用戶節(jié)點(diǎn)是外部訪問集群系統(tǒng)強(qiáng)大計(jì)算或存儲能力的唯一入口，是整個(gè)系統(tǒng)的關(guān)鍵點(diǎn)。為了保證用戶節(jié)點(diǎn)的高可用性，應(yīng)該采用硬件冗余的容錯(cuò)方法，如采用雙機(jī)熱備份。至少應(yīng)該采用RAID(Redundant Array of Independent Disks)技術(shù)保證用戶節(jié)點(diǎn)的數(shù)據(jù)安全性。2.1.2 控制節(jié)點(diǎn)(Control Node)控制節(jié)點(diǎn)主要承擔(dān)兩種

11、任務(wù)：為計(jì)算節(jié)點(diǎn)提供基本的網(wǎng)絡(luò)服務(wù)，如DHCP、DNS和NFS;調(diào)度計(jì)算節(jié)點(diǎn)上的作業(yè)，通常集群的作業(yè)調(diào)度程序(如PBS)應(yīng)該運(yùn)行在這個(gè)節(jié)點(diǎn)上。通?？刂乒?jié)點(diǎn)是計(jì)算網(wǎng)絡(luò)中的關(guān)鍵點(diǎn)，如果它失效，所有的計(jì)算節(jié)點(diǎn)都會(huì)失效。所以控制節(jié)點(diǎn)也應(yīng)該有硬件冗余保護(hù)。2.1.3 管理節(jié)點(diǎn)(Management Node)管理節(jié)點(diǎn)是集群系統(tǒng)各種管理措施的控制節(jié)點(diǎn)。管理網(wǎng)絡(luò)的控制點(diǎn)，監(jiān)控集群中各個(gè)節(jié)點(diǎn)和網(wǎng)絡(luò)的運(yùn)行狀況。通常的集群的管理軟件也運(yùn)行在這個(gè)節(jié)點(diǎn)上。2.1.4 存儲節(jié)點(diǎn)(Storage Node)如果集群系統(tǒng)的應(yīng)用運(yùn)行需要大量的數(shù)據(jù)，還需要一個(gè)存儲節(jié)點(diǎn)。顧名思義，存儲節(jié)點(diǎn)就是集群系統(tǒng)的數(shù)據(jù)存儲器和數(shù)據(jù)服務(wù)器。如

12、果需要存儲TB級的數(shù)據(jù)，一個(gè)存儲節(jié)點(diǎn)是不夠的。這時(shí)候你需要一個(gè)存儲網(wǎng)絡(luò)。通常存儲節(jié)點(diǎn)需要如下配置：ServerRAID保護(hù)數(shù)據(jù)的安全性；高速網(wǎng)保證足夠的數(shù)據(jù)傳輸速度。2.1.5 安裝節(jié)點(diǎn)(Installation Node)安裝節(jié)點(diǎn)提供安裝集群系統(tǒng)的各種軟件，包括操作系統(tǒng)、各種運(yùn)行庫、管理軟件和應(yīng)用。它還必須開放文件服務(wù)，如 FTP或NFS。2.1.6 計(jì)算節(jié)點(diǎn)(Computing Node)計(jì)算節(jié)點(diǎn)是整個(gè)集群系統(tǒng)的計(jì)算核心。它的功能就是執(zhí)行計(jì)算。你需要根據(jù)你的需要和預(yù)算來決定采用什么樣的配置。理想的說，最好一個(gè)計(jì)算節(jié)點(diǎn)一個(gè)CPU。但是如果考慮到預(yù)算限制，也可以采用 SMP。從性價(jià)比角度說，兩

13、個(gè) CPU的SMP優(yōu)于3或4個(gè)CPU的SMP 機(jī)器。 因?yàn)橐粋€(gè)計(jì)算節(jié)點(diǎn)的失效通常不會(huì)影響其他節(jié)點(diǎn)，所以計(jì)算節(jié)點(diǎn)不需要冗余的硬件保護(hù)。2.1.7集群中節(jié)點(diǎn)的部署 雖然由多種類型的節(jié)點(diǎn)，但并不是說一臺計(jì)算機(jī)只能是一種類型的節(jié)點(diǎn)。一臺計(jì)算機(jī)所扮演的節(jié)點(diǎn)類型要由集群的實(shí)際需求和計(jì)算機(jī)的配置決定。在小型集群系統(tǒng)中，用戶節(jié)點(diǎn)、控制節(jié)點(diǎn)、管理節(jié)點(diǎn)、存儲節(jié)點(diǎn)和安裝節(jié)點(diǎn)往往就是同一臺計(jì)算機(jī)，這臺計(jì)算機(jī)通常成為主節(jié)點(diǎn)(Master Node) o在這種情況下，集群就是由多個(gè)計(jì)算節(jié)點(diǎn)和一個(gè)主節(jié)點(diǎn)構(gòu)成。 在大型的集群系統(tǒng)中如何部署這些節(jié)點(diǎn)是個(gè)比較復(fù)雜的問題，通常要綜合應(yīng)用需求，拓?fù)浣Y(jié)構(gòu)和預(yù)算等因素決定。2.2高速互連

14、網(wǎng)絡(luò) 網(wǎng)絡(luò)是集群最關(guān)鍵的部分.它的容量和性能直接影響了整個(gè)系統(tǒng)對高性能計(jì)算(HPC)的適用性。根據(jù)我們的調(diào)查，大多數(shù)高性能科學(xué)計(jì)算任務(wù)都是通信密集型的，因此如何盡可能的縮短節(jié)點(diǎn)間的通信延退和提高吞吐量是一個(gè)核心問題。2. 2. 1快速以太網(wǎng)快速以太網(wǎng)是運(yùn)行于 UTP或光纜上的100Mb/S的高速局域網(wǎng)的總稱。由于 TCP/IP運(yùn)行時(shí) 對CPU的占用較多，并且理論上的傳輸速度和延退都比較差，現(xiàn)在我們在HPC集群中計(jì)算網(wǎng)絡(luò)的選擇上基本不考慮這個(gè)方案了。2. 2. 2千兆以太網(wǎng)(Giganet)Giganet是用于Linux平臺的虛擬接口 (VI)體系結(jié)構(gòu)卡的第一家供應(yīng)商，提供 cLAN卡 和交換機(jī)

15、。VI體系結(jié)構(gòu)是獨(dú)立于平臺的軟件和硬件系統(tǒng)，它由Intel開發(fā)，用于創(chuàng)建群集。它使用自己的網(wǎng)絡(luò)通信協(xié)議在服務(wù)器之間直接交換數(shù)據(jù)，而不是使用IP,并且它并不打算成為WAN可路由的系統(tǒng)。Giganet產(chǎn)品當(dāng)前可以在節(jié)點(diǎn)之間提供1 Gbps單向通信，理論最小延退為 7微秒，實(shí)測延退為 50-60微秒左右，并且運(yùn)行時(shí)對 CPU的占用也比較大。2. 2 . 3 IEEE SCIIEEE標(biāo)準(zhǔn)SCI的延退更少(理論值 1.46微秒，實(shí)測值3-4微秒)，并且其單向速度可達(dá) 到10Gb/秒，與InfiniBand 4X的理論值一樣。SCI是基于環(huán)拓?fù)涞木W(wǎng)絡(luò)系統(tǒng)，不像以太網(wǎng)是星形拓?fù)?。這將使在較大規(guī)模的節(jié)點(diǎn)之間通

16、信速度更快。更有用的是環(huán)面拓?fù)渚W(wǎng)絡(luò)，它在節(jié)點(diǎn)之間有許多環(huán)形結(jié)構(gòu)。兩維環(huán)面可以用n乘m的網(wǎng)格表示，其中在每一行和每一列都有一個(gè)環(huán)形網(wǎng)絡(luò)。三維環(huán)面也類似， 可以用三維立體節(jié)點(diǎn)網(wǎng)格表示，每一層上有一個(gè)環(huán)形網(wǎng)絡(luò)。密集超級計(jì)算并行系統(tǒng)使用環(huán)面拓?fù)渚W(wǎng)絡(luò)，為成百上千個(gè)節(jié)點(diǎn)之間的通信提供相對最快的路徑。 什么是SCI互連技術(shù)？|.|符合ANSI/IEEE 1596-1992的SCI技術(shù)定義了點(diǎn)到點(diǎn)高速通信端口和數(shù)據(jù)包協(xié)議集；|.| SCI作為一種開放總線技術(shù)，實(shí)現(xiàn)了高帶寬( 10Gbit/s )、低延遲(1.46微秒)的網(wǎng)絡(luò)通訊；|.| SCI端口是雙向連接的，保證了數(shù)據(jù)讀、寫操作可以同步進(jìn)行；|.| 支持多

17、種 CPl型(Intel 、AMD Sun、Alpha);間支持多種流行操作系統(tǒng)( Windows200Q NT RedHat Linux、SuSE Linux、Solaris 、Lynx、Tru64Unix、VxWorks)；|.| SCI協(xié)議支持共享存儲器系統(tǒng)，并包含Cache 一致性協(xié)議集；|.|網(wǎng)絡(luò)拓?fù)潇`活，可支持星型網(wǎng)，一維環(huán)形網(wǎng)(Ring)及二維，三維環(huán)形網(wǎng)格拓?fù)?；|.|為執(zhí)行關(guān)鍵任務(wù)應(yīng)用而設(shè)計(jì)，支持熱插拔和多冗余結(jié)構(gòu)。2. 2. 4 Myrinet 互連技術(shù)Myrinet提供網(wǎng)卡和交換機(jī)，其單向互連速度最高可達(dá)到1.28 Gbps。網(wǎng)卡有兩種形式，銅線型和光纖型。銅線型LAN可以

18、在10英尺距離內(nèi)以全速進(jìn)行通信，而在長達(dá)60英尺距離內(nèi)以半速進(jìn)行操作。光纖型Myrinet 可以在6.25 英里長的單模光纖或者 340英尺長的多模光纖上全速運(yùn)行。Myrinet只提供直接點(diǎn)到點(diǎn)、基于集線器或基于交換機(jī)的網(wǎng)絡(luò)配置，但在可以連接到一起的交換光纖數(shù)量方面沒有限制。 添加交換光纖只會(huì)增加節(jié)點(diǎn)間的延遲。兩個(gè)直接連接的節(jié)點(diǎn)之間的平均延遲是5到18微秒，比以太網(wǎng)快。由于Myrinet板上集成可編程微處理器，能滿足一些研究者的特定需要。2. 2. 5 InfiniBand互連技術(shù)Infin i Band 是由Infin i Band協(xié)會(huì)開發(fā)的體系結(jié)構(gòu)技術(shù)，它是一種用于實(shí)現(xiàn)基于通道的交換式技術(shù)

19、的通用I/O規(guī)范。由于IB的理論帶寬極高一一30Gbit/S,因此備受業(yè)內(nèi)關(guān)注。InfiniBand 的解決方案包括一個(gè)連接多個(gè)獨(dú)立處理器和I/O平臺的系統(tǒng)區(qū)域網(wǎng)絡(luò)，它所定義的通信和管理結(jié)構(gòu)同時(shí)支持I/O和處理器與處理器之間的通信。InfiniBand 系統(tǒng)可以是只有少量I/O設(shè)備的單處理器服 務(wù)器，也可以是大型的并行超級計(jì)算機(jī)。InfiniBand規(guī)范定義了 3個(gè)基本組件：一個(gè)主機(jī)信道適配器（HCA一個(gè)目標(biāo)信道適配器（TCA）.一個(gè)網(wǎng)絡(luò)交換機(jī)InfiniBand技術(shù)通過連接 HCAsTCAs交換機(jī)和路由器而發(fā)揮作用 （見圖1 ）。位于頁節(jié)點(diǎn)的InfiniBand設(shè)備是產(chǎn)生和使用信息包的信道適

20、配器。HTA=主機(jī)通道適心?踞目株：|內(nèi)存控豐0器HOATCA=目標(biāo)遇道適配盤iCA- HCA 3 TCk圖1； IntimBand體系架構(gòu)模型HCA 和TCA可以提供一個(gè)無需CPU預(yù)的高可靠端一至一端連接。HCA主留在處理器節(jié)點(diǎn)并提供從系 統(tǒng)內(nèi)存到InfiniBand 網(wǎng)絡(luò)的通路。它也有一個(gè)可編程的直接內(nèi)存訪問（ DMA引擎。該引擎具有特殊保護(hù) 和地址翻譯特性，從而使 DM湄作可以本地進(jìn)行或者通過另一個(gè) HCA< TCA遠(yuǎn)程進(jìn)行。TCA駐留在I/O單元，并提供I/O設(shè)備（如一個(gè)磁盤驅(qū)動(dòng)器）或 I/O網(wǎng)絡(luò)（如以太網(wǎng)或光纖通道）與InfiniBand網(wǎng)絡(luò)的連接。它實(shí)現(xiàn)了 InfiniBan

21、d協(xié)議的物理層、鏈接層和傳輸層。交換機(jī)放置在信道適配器之間。它們使幾個(gè)甚至幾千個(gè)InfiniBand頁節(jié)點(diǎn)可以在任意位置互連進(jìn)一個(gè)單一網(wǎng)絡(luò)，該網(wǎng)絡(luò)同時(shí)支持多個(gè)連接。交換機(jī)既不產(chǎn)生，也不使用信息包。它們只是根據(jù)信息包中路由器報(bào) 頭的目的地地址，將其傳送過去。交換機(jī)對于節(jié)點(diǎn)而言是透明的，同時(shí)信息包完整無損地經(jīng)過交換機(jī)網(wǎng)。與目前的通信協(xié)議如 TCP/IP相比，InfiniBan d技術(shù)的一個(gè)主要變化是 InfiniBand硬件承擔(dān)了原來由CPU完成的許多I/O通信工作，因此在處理并發(fā)的多路通信任務(wù)時(shí)沒有現(xiàn)有通信協(xié)議所固有的額外開銷。 在無需系統(tǒng)核心層介入的情況下，它就能夠提供零數(shù)據(jù)拷貝的傳輸，并使用

22、硬件提供高可靠性和容錯(cuò)性的 通信，最終改善了系統(tǒng)的帶寬、延遲和可靠性等問題。2. 3集群管理和通訊軟件國內(nèi)和國際上有多種集群管理和通訊軟件可供我們挑選，一些是由HPC集成商自己編寫的專用軟件，捆綁硬件銷售的，也有專業(yè)的軟件公司提供的通用軟件包。我們推薦全球知名的HPC軟件公司一一挪威Scali公司的產(chǎn)品。挪威Scali公司的基于Linux操作系統(tǒng)的集群管理軟件，符合 MPI 1.2標(biāo)準(zhǔn)。利用圖形化 管理界面，高性能通訊庫以及集成第三方的軟件工具，用戶可以方便地對集群各節(jié)點(diǎn)計(jì)算機(jī)進(jìn)行任務(wù)分配及監(jiān)控管理工作，并可通過它提供的一系列軟件接口開發(fā)自己的應(yīng)用軟件產(chǎn) 品，從而降低了整個(gè)系統(tǒng)的開發(fā)時(shí)間和成本

23、，并保證系統(tǒng)配置和升級的靈活性。Scali軟件的最大特點(diǎn)是支持多種高速互連網(wǎng)絡(luò)：從千兆以太網(wǎng)，SCI,Myrinet,到InfiniBand都可以支持。管理軟件特點(diǎn)性能優(yōu)化：對零長度信息包，傳輸延遲小于3.5微秒，在64位/66MHz的PCI總線上，持續(xù)傳輸帶寬超過300兆字節(jié)/秒；支持多進(jìn)程：可以充分利用 ScaMPI,能夠同時(shí)進(jìn)行請求服務(wù)和通訊管理操作；容錯(cuò)性：ScaMPI能迅速發(fā)現(xiàn)暫時(shí)的網(wǎng)絡(luò)錯(cuò)誤，重新選擇互連排列或改變路由；自動(dòng)選擇物理傳送路徑：ScaMPI可自動(dòng)為MPI選擇最佳的傳送方式， 共享存儲，利用SCI將各結(jié)點(diǎn)連接；UNIX命令復(fù)制：命令行自變量應(yīng)用程序可自動(dòng)提供全部MPI程序

24、，避免冗余分析；MIM D支持：ScaMPI支持多指令流多數(shù)據(jù)流；圖形化前端：可視的圖形界面，方便的操作和管理；調(diào)試：ScaMPI支持許多調(diào)試程序和分析工具，提供調(diào)試功能ScaMPI完全支持Etnus的TotalView 分布式調(diào)試程序和Pallas的Vampir MPI分析工具，被選中的程序能夠利用GNUir局?jǐn)?shù)據(jù)庫進(jìn)行調(diào)試。S系列我們在S系列集群計(jì)算機(jī)中的高速互連網(wǎng)絡(luò)采用SCI技術(shù)。高帶寬（10Gbit/s）、低延退（1.46微秒）正是SCI的技術(shù)特點(diǎn)。特別是 SCI網(wǎng)絡(luò)的環(huán)型網(wǎng)格和超立方體拓?fù)浣Y(jié)構(gòu)，保 障了集群的高可靠性和系統(tǒng)擴(kuò)展時(shí)成本的線形增長。節(jié)點(diǎn)規(guī)模：2-256個(gè)節(jié)點(diǎn)（2004年7

25、月后，可支持至8000個(gè)節(jié)點(diǎn)）應(yīng)用要求：分布計(jì)算，子任務(wù)之間聯(lián)系很緊密，需要大量的數(shù)據(jù)交換，特別強(qiáng)調(diào)帶寬和延退這兩個(gè)關(guān)鍵指標(biāo)。應(yīng)用領(lǐng)域：地震預(yù)測預(yù)報(bào)、石油勘探、氣候模擬與天氣預(yù)報(bào)、人體基因與遺傳工程、海洋 環(huán)流和超導(dǎo)模擬、海量存儲、科學(xué)計(jì)算等。硬件系統(tǒng)配置清單:名稱說明配置單位數(shù)量主機(jī)柜專用服務(wù)器標(biāo)準(zhǔn)機(jī) 柜電源控制器，電源系統(tǒng)（3*20A）,風(fēng)扇，機(jī)柜網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)控制機(jī)，前面板 LCD觸摸屏個(gè)系統(tǒng)通訊網(wǎng) 絡(luò)Cisco2950-12 witch100M Ethernet個(gè)視頻切換機(jī)KVM套存儲系統(tǒng)NAS/RAIDVIA C3處理器，緩存 256MB SDRAM三個(gè)10/100以太網(wǎng)端口和一個(gè)可

26、選的 Gigabit以太網(wǎng)端口，可支持8塊Ultar DMA100硬盤可選UDMA 13皺盤，環(huán)境監(jiān)控單元300W熱更換冗余電源臺計(jì)算節(jié)點(diǎn)INTEL/SuperMicro2X PW Xeon2.4G, 1G 內(nèi)存，集成 100/1000 網(wǎng)卡，標(biāo) 準(zhǔn)光驅(qū)，軟驅(qū)，顯卡，73G SCSI硬盤臺控制節(jié)點(diǎn)INTEL/SuperMicro2X PW Xeon2.4G, 1G 內(nèi)存，73G SCSI 硬盤，集成100/1000網(wǎng)卡，標(biāo)準(zhǔn)光驅(qū)，軟驅(qū)，顯卡臺高速互連網(wǎng)Dolphin D33X高帶寬(667MBytes/s )、低延遲(1.46微秒)的網(wǎng)絡(luò) 通訊卡塊其它顯示器15寸純平個(gè)1鼠標(biāo)、鍵盤、套1軟件系

27、統(tǒng)配置清單:名稱說明版本號備注單位數(shù)量監(jiān)控系統(tǒng)系統(tǒng)監(jiān)控軟件Ver2.0用于系統(tǒng)監(jiān)控套1操作系統(tǒng)RedHatVer8.0/套1應(yīng)用軟件/套1其它系統(tǒng)MPI ( Message Passing Interface )、Mosix/最新1集群管理系統(tǒng)Scali 集群管理軟件(for InfiniBand)Ver3.1用于系統(tǒng)管理套1I系列我們在I系列集群計(jì)算機(jī)中的高速互連網(wǎng)絡(luò)采用現(xiàn)在備受業(yè)內(nèi)關(guān)注的InfiniBand 技術(shù)。憑借極高的理論帶寬 30Gbit/S( InfiniBand 12X), 和較低的 CPU占用，InfiniBand 必將在未來的 H P C市場占據(jù) 重要地位。節(jié)點(diǎn)規(guī)模:2-1

28、024個(gè)節(jié)點(diǎn)(目前，我們可以提供 8-PORT 24-PORT 96-PORT的舊 交換機(jī)，大于96 個(gè)節(jié)點(diǎn)需要級聯(lián))應(yīng)用要求：強(qiáng)調(diào)超大通訊帶寬。應(yīng)用領(lǐng)域：地震預(yù)測預(yù)報(bào)、石油勘探、氣候模擬與天氣預(yù)報(bào)、科學(xué)計(jì)算等。硬件系統(tǒng)配置清單:名稱說明配置單位數(shù)it主機(jī)柜專用服務(wù)器標(biāo)準(zhǔn)機(jī) 柜電源控制器，電源系統(tǒng)(3*20A),風(fēng)扇，機(jī)柜網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)控制機(jī)， 前面板LCD蟲摸屏個(gè)系統(tǒng)通訊網(wǎng)絡(luò)Cisco2950-12 witch100M Ethernet個(gè)視頻切換機(jī)KVM套存儲系 統(tǒng)NAS/RAIDVIA C3處理器，緩存256MB SDRAM三個(gè)10/100以太網(wǎng)端口和一 個(gè)可選的Gigabit以太網(wǎng)端口，

29、可支持 8塊Ultar DMA10簸盤可選UDMA 13碘盤，環(huán)境監(jiān)控單元300W熱更換冗余電源臺計(jì)算節(jié) 點(diǎn)INTEL/SuperMicro2X PW Xeon2.4G 1G內(nèi)存，集成100/1000網(wǎng)卡，標(biāo)準(zhǔn)光驅(qū)，軟驅(qū)， 顯卡，73G SCSI硬盤臺控制節(jié) 點(diǎn)INTEL/SuperMicro2X PW Xeon2.4G, 1G 內(nèi)存，36G SCSI 硬盤，集成 100/1000 網(wǎng)卡，標(biāo)準(zhǔn)光驅(qū)，軟驅(qū)，顯卡臺高速互連網(wǎng)SBS IB Switch8-port 舊 Switch或 24-port 舊 Switch或 96-port 舊 Switch臺SBS HCA card舊 4X-PCIX, IB4X-PCI, IB 4X-PMC塊其它顯示器15寸純平個(gè)1鼠標(biāo)、鍵盤、套1軟件系統(tǒng)酉己置清單：名稱說明版本號單位數(shù)量監(jiān)控系統(tǒng)系統(tǒng)監(jiān)控軟件Ver2.0用于系統(tǒng)監(jiān)控套1操作系統(tǒng)RedHatVer8.0/套1應(yīng)用軟件/套1