完整word版-高性能計(jì)算集群(HPCCLUSTER)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上高性能計(jì)算集群(HPC CLUSTER)1.1什么是高性能計(jì)算集群?簡(jiǎn)單的說(shuō)，高性能計(jì)算(High-Performance Computing)是計(jì)算機(jī)科學(xué)的一個(gè)分支，它致力于開發(fā)超級(jí)計(jì)算機(jī)，研究并行算法和開發(fā)相關(guān)軟件。高性能集群主要用于處理復(fù)雜的計(jì)算問(wèn)題，應(yīng)用在需要大規(guī)?？茖W(xué)計(jì)算的環(huán)境中，如天氣預(yù)報(bào)、石油勘探與油藏模擬、分子模擬、基因測(cè)序等。高性能集群上運(yùn)行的應(yīng)用程序一般使用并行算法，把一個(gè)大的普通問(wèn)題根據(jù)一定的規(guī)則分為許多小的子問(wèn)題，在集群內(nèi)的不同節(jié)點(diǎn)上進(jìn)行計(jì)算，而這些小問(wèn)題的處理結(jié)果，經(jīng)過(guò)處理可合并為原問(wèn)題的最終結(jié)果。由于這些小問(wèn)題的計(jì)算一般是可以并行

2、完成的，從而可以縮短問(wèn)題的處理時(shí)間。高性能集群在計(jì)算過(guò)程中，各節(jié)點(diǎn)是協(xié)同工作的，它們分別處理大問(wèn)題的一部分，并在處理中根據(jù)需要進(jìn)行數(shù)據(jù)交換，各節(jié)點(diǎn)的處理結(jié)果都是最終結(jié)果的一部分。高性能集群的處理能力與集群的規(guī)模成正比，是集群內(nèi)各節(jié)點(diǎn)處理能力之和，但這種集群一般沒(méi)有高可用性。 1.2 高性能計(jì)算分類高性能計(jì)算的分類方法很多。這里從并行任務(wù)間的關(guān)系角度來(lái)對(duì)高性能計(jì)算分類。1.2.1 高吞吐計(jì)算(High-throughput Computing)有一類高性能計(jì)算，可以把它分成若干可以并行的子任務(wù)，而且各個(gè)子任務(wù)彼此間沒(méi)有什么關(guān)聯(lián)。因?yàn)檫@種類型應(yīng)用的一個(gè)共同特征是在海量數(shù)據(jù)上搜索某些特定模式，所以把

3、這類計(jì)算稱為高吞吐計(jì)算。所謂的Internet計(jì)算都屬于這一類。按照Flynn的分類，高吞吐計(jì)算屬于SIMD（Single Instruction/Multiple Data,單指令流-多數(shù)據(jù)流）的范疇。1.2.2 分布計(jì)算(Distributed Computing)另一類計(jì)算剛好和高吞吐計(jì)算相反，它們雖然可以給分成若干并行的子任務(wù)，但是子任務(wù)間聯(lián)系很緊密，需要大量的數(shù)據(jù)交換。按照Flynn的分類，分布式的高性能計(jì)算屬于MIMD（Multiple Instruction/Multiple Data，多指令流-多數(shù)據(jù)流）的范疇。1.3高性能計(jì)算集群系統(tǒng)的特點(diǎn) 可以采用現(xiàn)成的

4、通用硬件設(shè)備或特殊應(yīng)用的硬件設(shè)備，研制周期短； 可實(shí)現(xiàn)單一系統(tǒng)映像，即操作控制、IP登錄點(diǎn)、文件結(jié)構(gòu)、存儲(chǔ)空間、I/O空間、作業(yè)管理系統(tǒng)等等的  單一化； 高性能（因?yàn)镃PU處理能力與磁盤均衡分布，用高速網(wǎng)絡(luò)連接后具有并行吞吐能力）； 高可用性，本身互為冗余節(jié)點(diǎn)，能夠?yàn)橛脩籼峁┎婚g斷的服務(wù)，由于系統(tǒng)中包括了多個(gè)結(jié)點(diǎn)，當(dāng)一個(gè)結(jié)  點(diǎn)出現(xiàn)故障的時(shí)候，整個(gè)系統(tǒng)仍然能夠繼續(xù)為用戶提供服務(wù)； 高可擴(kuò)展性，在集群系統(tǒng)中可以動(dòng)態(tài)地加入新的服務(wù)器和刪除需要淘汰的服務(wù)器，從而能夠最大限度地  擴(kuò)展系統(tǒng)以滿足不斷增長(zhǎng)的應(yīng)用的需要； 安全性，天然的防火墻； 資源可充分利用，集群系統(tǒng)的每

5、個(gè)結(jié)點(diǎn)都是相對(duì)獨(dú)立的機(jī)器，當(dāng)這些機(jī)器不提供服務(wù)或者不需要使用的  時(shí)候，仍然能夠被充分利用。而大型主機(jī)上更新下來(lái)的配件就難以被重新利用了。 具有極高的性能價(jià)格比，和傳統(tǒng)的大型主機(jī)相比，具有很大的價(jià)格優(yōu)勢(shì)；1.4 Linux高性能集群系統(tǒng)當(dāng)論及Linux高性能集群時(shí)，許多人的第一反映就是Beowulf。起初，Beowulf只是一個(gè)著名的科學(xué)計(jì)算集群系統(tǒng)。以后的很多集群都采用Beowulf類似的架構(gòu)，所以，實(shí)際上，現(xiàn)在Beowulf已經(jīng)成為一類廣為接受的高性能集群的類型。盡管名稱各異，很多集群系統(tǒng)都是Beowulf集群的衍生物。當(dāng)然也存在有別于Beowulf的集群系統(tǒng)，COW和Mosix

6、就是另兩類著名的集群系統(tǒng)。1.4.1 Beowulf集群簡(jiǎn)單的說(shuō)，Beowulf是一種能夠?qū)⒍嗯_(tái)計(jì)算機(jī)用于并行計(jì)算的體系結(jié)構(gòu)。通常Beowulf系統(tǒng)由通過(guò)以太網(wǎng)或其他網(wǎng)絡(luò)連接的多個(gè)計(jì)算節(jié)點(diǎn)和管理節(jié)點(diǎn)構(gòu)成。管理節(jié)點(diǎn)控制整個(gè)集群系統(tǒng)，同時(shí)為計(jì)算節(jié)點(diǎn)提供文件服務(wù)和對(duì)外的網(wǎng)絡(luò)連接。它使用的是常見的硬件設(shè)備，象普通PC、以太網(wǎng)卡和集線器。它很少使用特別定制的硬件和特殊的設(shè)備。Beowulf集群的軟件也是隨處可見的，象Linux、PVM和MPI。 1.4.2 COW集群象Beowulf一樣，COW（Cluster Of Workstation）也是由最常見的硬件設(shè)備和軟件系統(tǒng)搭建而成。通常也是由一個(gè)控制節(jié)

7、點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)構(gòu)成。COW和Beowulf的主要區(qū)別在于：COW中的計(jì)算節(jié)點(diǎn)主要都是閑置的計(jì)算資源，如辦公室中的桌面工作站，它們就是普通的PC，采用普通的局域網(wǎng)進(jìn)行連接。因?yàn)檫@些計(jì)算節(jié)點(diǎn)白天會(huì)作為工作站使用，所以主要的集群計(jì)算發(fā)生在晚上和周末等空閑時(shí)間。而Beowulf中的計(jì)算節(jié)點(diǎn)都是專職于并行計(jì)算，并且進(jìn)行了性能優(yōu)化。Beowulf采用高速網(wǎng)（InfiniBand, SCI, Myrinet）上的消息傳遞（PVM或MPI）進(jìn)行進(jìn)程間通信（IPC）。 因?yàn)镃OW中的計(jì)算節(jié)點(diǎn)主要的目的是桌面應(yīng)用，所以它們都具有顯示器、鍵盤和鼠標(biāo)等外設(shè)。而Beowulf的計(jì)算節(jié)點(diǎn)通常沒(méi)有這些外設(shè)，對(duì)這些計(jì)算節(jié)點(diǎn)

8、的訪問(wèn)通常是在管理節(jié)點(diǎn)上通過(guò)網(wǎng)絡(luò)或串口線實(shí)現(xiàn)的。 1.4.3 Mosix集群實(shí)際上把Mosix集群放在高性能集群這一節(jié)是相當(dāng)牽強(qiáng)的，但是和Beowulf等其他集群相比，Mosix集群確實(shí)是種非常特別的集群， 它致力于在Linux系統(tǒng)上實(shí)現(xiàn)集群系統(tǒng)的單一系統(tǒng)映象SSI(Single System Image)。Mosix集群將網(wǎng)絡(luò)上運(yùn)行Linux的計(jì)算機(jī)連接成一個(gè)集群系統(tǒng)。系統(tǒng)自動(dòng)均衡節(jié)點(diǎn)間的負(fù)載。因?yàn)镸osix是在Linux系統(tǒng)內(nèi)核中實(shí)現(xiàn)的集群，所以用戶態(tài)的應(yīng)用程序不需要任何修改就可以在Mosix集群上運(yùn)行。通常用戶很少會(huì)注意到Linux和Mosix的差別。對(duì)于他來(lái)說(shuō)，Mosix集群就是運(yùn)行L

9、inux的一臺(tái)PC。盡管現(xiàn)在存在著不少的問(wèn)題，Mosix始終是引人注目的集群系統(tǒng)2 如何架構(gòu)高性能計(jì)算集群在搭建高性能計(jì)算集群（HPC CLUSTER）之前，我們首先要根據(jù)具體的應(yīng)用需求，在節(jié)點(diǎn)的部署、高速互連網(wǎng)絡(luò)的選擇、以及集群管理和通訊軟件，三個(gè)方面作出配置。2. 1節(jié)點(diǎn)的部署根據(jù)功能，我們可以把集群中的節(jié)點(diǎn)劃分為6種類型： 用戶節(jié)點(diǎn)(User Node)控制節(jié)點(diǎn)(Control Node)管理節(jié)點(diǎn)(Management Node)存儲(chǔ)節(jié)點(diǎn)(Storage Node)安裝節(jié)點(diǎn)(Installation Node)計(jì)算節(jié)點(diǎn)(Compute Node)雖然由多種類型的節(jié)點(diǎn)，但并不是說(shuō)一臺(tái)計(jì)算機(jī)

10、只能是一種類型的節(jié)點(diǎn)。一臺(tái)計(jì)算機(jī)所扮演的節(jié)點(diǎn)類型要由集群的實(shí)際需求和計(jì)算機(jī)的配置決定。在小型集群系統(tǒng)中，用戶節(jié)點(diǎn)、控制節(jié)點(diǎn)、管理節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)和安裝節(jié)點(diǎn)往往就是同一臺(tái)計(jì)算機(jī)。下面我們分別解釋這些類型節(jié)點(diǎn)的作用。2.1. 1用戶節(jié)點(diǎn)(User Node)用戶節(jié)點(diǎn)是外部世界訪問(wèn)集群系統(tǒng)的網(wǎng)關(guān)。用戶通常登錄到這個(gè)節(jié)點(diǎn)上編譯并運(yùn)行作業(yè)。用戶節(jié)點(diǎn)是外部訪問(wèn)集群系統(tǒng)強(qiáng)大計(jì)算或存儲(chǔ)能力的唯一入口，是整個(gè)系統(tǒng)的關(guān)鍵點(diǎn)。為了保證用戶節(jié)點(diǎn)的高可用性，應(yīng)該采用硬件冗余的容錯(cuò)方法，如采用雙機(jī)熱備份。至少應(yīng)該采用RAID(Redundant Array of Independent Disks)技術(shù)保證用戶節(jié)點(diǎn)的數(shù)據(jù)安

11、全性。2.1.2 控制節(jié)點(diǎn)(Control Node)控制節(jié)點(diǎn)主要承擔(dān)兩種任務(wù): 為計(jì)算節(jié)點(diǎn)提供基本的網(wǎng)絡(luò)服務(wù)，如DHCP、DNS和NFS; 調(diào)度計(jì)算節(jié)點(diǎn)上的作業(yè)，通常集群的作業(yè)調(diào)度程序(如PBS)應(yīng)該運(yùn)行在這個(gè)節(jié)點(diǎn)上。通常控制節(jié)點(diǎn)是計(jì)算網(wǎng)絡(luò)中的關(guān)鍵點(diǎn)，如果它失效，所有的計(jì)算節(jié)點(diǎn)都會(huì)失效。所以控制節(jié)點(diǎn)也應(yīng)該有硬件冗余保護(hù)。2.1.3 管理節(jié)點(diǎn)(Management Node)管理節(jié)點(diǎn)是集群系統(tǒng)各種管理措施的控制節(jié)點(diǎn)。管理網(wǎng)絡(luò)的控制點(diǎn)，監(jiān)控集群中各個(gè)節(jié)點(diǎn)和網(wǎng)絡(luò)的運(yùn)行狀況。通常的集群的管理軟件也運(yùn)行在這個(gè)節(jié)點(diǎn)上。2.1.4 存儲(chǔ)節(jié)點(diǎn)(Storage Node)如果集群系統(tǒng)的應(yīng)用運(yùn)行需要大量的數(shù)據(jù)，

12、還需要一個(gè)存儲(chǔ)節(jié)點(diǎn)。顧名思義，存儲(chǔ)節(jié)點(diǎn)就是集群系統(tǒng)的數(shù)據(jù)存儲(chǔ)器和數(shù)據(jù)服務(wù)器。如果需要存儲(chǔ)TB級(jí)的數(shù)據(jù)，一個(gè)存儲(chǔ)節(jié)點(diǎn)是不夠的。這時(shí)候你需要一個(gè)存儲(chǔ)網(wǎng)絡(luò)。通常存儲(chǔ)節(jié)點(diǎn)需要如下配置：ServerRAID保護(hù)數(shù)據(jù)的安全性; 高速網(wǎng)保證足夠的數(shù)據(jù)傳輸速度。2.1.5 安裝節(jié)點(diǎn)(Installation Node)安裝節(jié)點(diǎn)提供安裝集群系統(tǒng)的各種軟件，包括操作系統(tǒng)、各種運(yùn)行庫(kù)、管理軟件和應(yīng)用。它還必須開放文件服務(wù)，如FTP或NFS。2.1.6 計(jì)算節(jié)點(diǎn)(Computing Node)計(jì)算節(jié)點(diǎn)是整個(gè)集群系統(tǒng)的計(jì)算核心。它的功能就是執(zhí)行計(jì)算。你需要根據(jù)你的需要和預(yù)算來(lái)決定采用什么樣的配置。理想的說(shuō)，最好一個(gè)計(jì)算

13、節(jié)點(diǎn)一個(gè)CPU。但是如果考慮到預(yù)算限制，也可以采用SMP。從性價(jià)比角度說(shuō)，兩個(gè)CPU的SMP優(yōu)于3或4個(gè)CPU的SMP機(jī)器。因?yàn)橐粋€(gè)計(jì)算節(jié)點(diǎn)的失效通常不會(huì)影響其他節(jié)點(diǎn)，所以計(jì)算節(jié)點(diǎn)不需要冗余的硬件保護(hù)。2.1.7 集群中節(jié)點(diǎn)的部署雖然由多種類型的節(jié)點(diǎn)，但并不是說(shuō)一臺(tái)計(jì)算機(jī)只能是一種類型的節(jié)點(diǎn)。一臺(tái)計(jì)算機(jī)所扮演的節(jié)點(diǎn)類型要由集群的實(shí)際需求和計(jì)算機(jī)的配置決定。在小型集群系統(tǒng)中，用戶節(jié)點(diǎn)、控制節(jié)點(diǎn)、管理節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)和安裝節(jié)點(diǎn)往往就是同一臺(tái)計(jì)算機(jī)，這臺(tái)計(jì)算機(jī)通常成為主節(jié)點(diǎn)(Master Node)。在這種情況下，集群就是由多個(gè)計(jì)算節(jié)點(diǎn)和一個(gè)主節(jié)點(diǎn)構(gòu)成。在大型的集群系統(tǒng)中如何部署這些節(jié)點(diǎn)是個(gè)比較復(fù)雜的

14、問(wèn)題，通常要綜合應(yīng)用需求，拓?fù)浣Y(jié)構(gòu)和預(yù)算等因素決定。 2.2 高速互連網(wǎng)絡(luò)網(wǎng)絡(luò)是集群最關(guān)鍵的部分.它的容量和性能直接影響了整個(gè)系統(tǒng)對(duì)高性能計(jì)算(HPC)的適用性。根據(jù)我們的調(diào)查,大多數(shù)高性能科學(xué)計(jì)算任務(wù)都是通信密集型的,因此如何盡可能的縮短節(jié)點(diǎn)間的通信延遲和提高吞吐量是一個(gè)核心問(wèn)題。221快速以太網(wǎng)快速以太網(wǎng)是運(yùn)行于UTP或光纜上的100Mb/S的高速局域網(wǎng)的總稱。由于TCP/IP運(yùn)行時(shí)對(duì)CPU的占用較多，并且理論上的傳輸速度和延遲都比較差，現(xiàn)在我們?cè)贖PC集群中計(jì)算網(wǎng)絡(luò)的選擇上基本不考慮這個(gè)方案了。222千兆以太網(wǎng)（Giganet）Giganet 是用于 Linux 平臺(tái)的虛擬接口 (VI)

15、 體系結(jié)構(gòu)卡的第一家供應(yīng)商，提供 cLAN 卡和交換機(jī)。VI 體系結(jié)構(gòu)是獨(dú)立于平臺(tái)的軟件和硬件系統(tǒng)，它由 Intel 開發(fā)，用于創(chuàng)建群集。它使用自己的網(wǎng)絡(luò)通信協(xié)議在服務(wù)器之間直接交換數(shù)據(jù)，而不是使用 IP，并且它并不打算成為 WAN 可路由的系統(tǒng)。Giganet 產(chǎn)品當(dāng)前可以在節(jié)點(diǎn)之間提供 1 Gbps 單向通信，理論最小延遲為 7 微秒，實(shí)測(cè)延遲為50-60微秒左右，并且運(yùn)行時(shí)對(duì)CPU的占用也比較大。223 IEEE SCIIEEE 標(biāo)準(zhǔn) SCI 的延遲更少（理論值1.46微秒, 實(shí)測(cè)值3-4微秒），并且其單向速度可達(dá)到 10Gb秒, 與InfiniBand 4X的理論值一樣。SCI 是基于

16、環(huán)拓?fù)涞木W(wǎng)絡(luò)系統(tǒng)，不像以太網(wǎng)是星形拓?fù)?。這將使在較大規(guī)模的節(jié)點(diǎn)之間通信速度更快。更有用的是環(huán)面拓?fù)渚W(wǎng)絡(luò)，它在節(jié)點(diǎn)之間有許多環(huán)形結(jié)構(gòu)。兩維環(huán)面可以用 n 乘 m 的網(wǎng)格表示，其中在每一行和每一列都有一個(gè)環(huán)形網(wǎng)絡(luò)。三維環(huán)面也類似，可以用三維立體節(jié)點(diǎn)網(wǎng)格表示，每一層上有一個(gè)環(huán)形網(wǎng)絡(luò)。密集超級(jí)計(jì)算并行系統(tǒng)使用環(huán)面拓?fù)渚W(wǎng)絡(luò)，為成百上千個(gè)節(jié)點(diǎn)之間的通信提供相對(duì)最快的路徑。什么是SCI互連技術(shù)？符合ANSI/IEEE 1596-1992的SCI技術(shù)定義了點(diǎn)到點(diǎn)高速通信端口和數(shù)據(jù)包協(xié)議集；SCI作為一種開放總線技術(shù)，實(shí)現(xiàn)了高帶寬（10Gbit/s）、低延遲（1.46微秒）的網(wǎng)絡(luò)通訊；SCI端口是雙向連接的，保

17、證了數(shù)據(jù)讀、寫操作可以同步進(jìn)行；支持多種CPU類型(Intel、AMD、Sun、Alpha)；支持多種流行操作系統(tǒng)（Windows2000、NT、RedHat Linux、SuSE Linux、 Solaris、Lynx、Tru64 Unix、VxWorks）；SCI協(xié)議支持共享存儲(chǔ)器系統(tǒng)，并包含Cache一致性協(xié)議集；網(wǎng)絡(luò)拓?fù)潇`活，可支持星型網(wǎng)，一維環(huán)形網(wǎng)(Ring)及二維,三維環(huán)形網(wǎng)格拓?fù)洌粸閳?zhí)行關(guān)鍵任務(wù)應(yīng)用而設(shè)計(jì)，支持熱插拔和多冗余結(jié)構(gòu)。224 Myrinet互連技術(shù)    Myrinet 提供網(wǎng)卡和交換機(jī)，其單向互連速度最高可達(dá)到 1.

18、28 Gbps。網(wǎng)卡有兩種形式，銅線型和光纖型。銅線型 LAN 可以在 10 英尺距離內(nèi)以全速進(jìn)行通信，而在長(zhǎng)達(dá) 60 英尺距離內(nèi)以半速進(jìn)行操作。光纖型 Myrinet 可以在 6.25 英里長(zhǎng)的單模光纖或者 340 英尺長(zhǎng)的多模光纖上全速運(yùn)行。Myrinet 只提供直接點(diǎn)到點(diǎn)、基于集線器或基于交換機(jī)的網(wǎng)絡(luò)配置，但在可以連接到一起的交換光纖數(shù)量方面沒(méi)有限制。添加交換光纖只會(huì)增加節(jié)點(diǎn)間的延遲。兩個(gè)直接連接的節(jié)點(diǎn)之間的平均延遲是 5 到 18 微秒，比以太網(wǎng)快。由于Myrinet板上集成可編程微處理器，能滿足一些研究者的特定需要。225 InfiniBand互連技術(shù)  

19、;  InfiniBand 是由 InfiniBand 協(xié)會(huì)開發(fā)的體系結(jié)構(gòu)技術(shù)，它是一種用于實(shí)現(xiàn)基于通道的交換式技術(shù)的通用I/O規(guī)范。由于IB的理論帶寬極高30Gbit/S, 因此備受業(yè)內(nèi)關(guān)注。InfiniBand 的解決方案包括一個(gè)連接多個(gè)獨(dú)立處理器和I/O平臺(tái)的系統(tǒng)區(qū)域網(wǎng)絡(luò)，它所定義的通信和管理結(jié)構(gòu)同時(shí)支持I/O和處理器與處理器之間的通信。InfiniBand 系統(tǒng)可以是只有少量I/O設(shè)備的單處理器服務(wù)器，也可以是大型的并行超級(jí)計(jì)算機(jī)。 InfiniBand 規(guī)范定義了3個(gè)基本組件：一個(gè)主機(jī)信道適配器（HCA）

20、 一個(gè)目標(biāo)信道適配器（TCA）一個(gè)網(wǎng)絡(luò)交換機(jī)    InfiniBand技術(shù)通過(guò)連接HCAs、TCAs、交換機(jī)和路由器而發(fā)揮作用（見圖1）。位于頁(yè)節(jié)點(diǎn)的InfiniBand設(shè)備是產(chǎn)生和使用信息包的信道適配器。    HCA 和 TCA 可以提供一個(gè)無(wú)需CPU干預(yù)的高可靠端至端連接。HCA駐留在處理器節(jié)點(diǎn)并提供從系統(tǒng)內(nèi)存到 InfiniBand 網(wǎng)絡(luò)的通路。它也有一個(gè)可編程的直接內(nèi)存訪問(wèn)（DMA）引擎。該引擎具有特殊保護(hù)和地址翻譯特性，從而使DMA操作可以本地進(jìn)行或者

21、通過(guò)另一個(gè)HCA或TCA遠(yuǎn)程進(jìn)行。TCA駐留在I/O單元，并提供I/O設(shè)備（如一個(gè)磁盤驅(qū)動(dòng)器）或I/O網(wǎng)絡(luò)（如以太網(wǎng)或光纖通道）與 InfiniBand 網(wǎng)絡(luò)的連接。它實(shí)現(xiàn)了 InfiniBand 協(xié)議的物理層、鏈接層和傳輸層。交換機(jī)放置在信道適配器之間。它們使幾個(gè)甚至幾千個(gè) InfiniBand 頁(yè)節(jié)點(diǎn)可以在任意位置互連進(jìn)一個(gè)單一網(wǎng)絡(luò)，該網(wǎng)絡(luò)同時(shí)支持多個(gè)連接。交換機(jī)既不產(chǎn)生，也不使用信息包。它們只是根據(jù)信息包中路由器報(bào)頭的目的地地址，將其傳送過(guò)去。交換機(jī)對(duì)于節(jié)點(diǎn)而言是透明的，同時(shí)信息包完整無(wú)損地經(jīng)過(guò)交換機(jī)網(wǎng)。  

22、  與目前的通信協(xié)議如TCP/IP相比，InfiniBan d技術(shù)的一個(gè)主要變化是 InfiniBand 硬件承擔(dān)了原來(lái)由CPU完成的許多I/O通信工作，因此在處理并發(fā)的多路通信任務(wù)時(shí)沒(méi)有現(xiàn)有通信協(xié)議所固有的額外開銷。在無(wú)需系統(tǒng)核心層介入的情況下，它就能夠提供零數(shù)據(jù)拷貝的傳輸，并使用硬件提供高可靠性和容錯(cuò)性的通信，最終改善了系統(tǒng)的帶寬、延遲和可靠性等問(wèn)題。23集群管理和通訊軟件    國(guó)內(nèi)和國(guó)際上有多種集群管理和通訊軟件可供我們挑選，一些是由 HPC 集成商自己編寫的專用軟件，捆綁硬件

23、銷售的，也有專業(yè)的軟件公司提供的通用軟件包。我們推薦全球知名的HPC軟件公司挪威 Scali公司的產(chǎn)品。    挪威 Scali 公司的基于Linux操作系統(tǒng)的集群管理軟件，符合MPI 1.2標(biāo)準(zhǔn)。利用圖形化管理界面，高性能通訊庫(kù)以及集成第三方的軟件工具，用戶可以方便地對(duì)集群各節(jié)點(diǎn)計(jì)算機(jī)進(jìn)行任務(wù)分配及監(jiān)控管理工作，并可通過(guò)它提供的一系列軟件接口開發(fā)自己的應(yīng)用軟件產(chǎn)品，從而降低了整個(gè)系統(tǒng)的開發(fā)時(shí)間和成本，并保證系統(tǒng)配置和升級(jí)的靈活性。    Scali 軟件的最大特點(diǎn)是支持多種

24、高速互連網(wǎng)絡(luò)：從千兆以太網(wǎng)，SCI,Myrinet,到 InfiniBand 都可以支持。管理軟件特點(diǎn) 性能優(yōu)化：對(duì)零長(zhǎng)度信息包，傳輸延遲小于3.5微秒，在64位/66MHz的PCI總線上，持續(xù)傳輸帶寬超  過(guò)300兆字節(jié)/秒； 支持多進(jìn)程：可以充分利用ScaMPI，能夠同時(shí)進(jìn)行請(qǐng)求服務(wù)和通訊管理操作； 容錯(cuò)性：ScaMPI能迅速發(fā)現(xiàn)暫時(shí)的網(wǎng)絡(luò)錯(cuò)誤，重新選擇互連排列或改變路由； 自動(dòng)選擇物理傳送路徑：ScaMPI可自動(dòng)為MPI選擇最佳的傳送方式，共享存儲(chǔ)，利用SCI將各結(jié)點(diǎn)連接； UNIX命令復(fù)制：命令行自變量應(yīng)用程序可自動(dòng)提供全部MPI程序，避免冗余分析； MI

25、MD支持：ScaMPI支持多指令流多數(shù)據(jù)流； 圖形化前端：可視的圖形界面，方便的操作和管理； 調(diào)試：ScaMPI支持許多調(diào)試程序和分析工具，提供調(diào)試功能ScaMPI 完全支持 Etnus 的 TotalView 分   布式調(diào)試程序和Pallas的Vampir MPI分析工具，被選中的程序能夠利用GNU全局?jǐn)?shù)據(jù)庫(kù)進(jìn)行調(diào)試。S系列我們?cè)赟系列集群計(jì)算機(jī)中的高速互連網(wǎng)絡(luò)采用SCI技術(shù)。高帶寬（10Gbit/s）、低延遲（1.46微秒）正是SCI的技術(shù)特點(diǎn)。特別是SCI網(wǎng)絡(luò)的環(huán)型網(wǎng)格和超立方體拓?fù)浣Y(jié)構(gòu)，保障了集群的高可靠性和系統(tǒng)擴(kuò)展時(shí)成本的

26、線形增長(zhǎng)。    節(jié)點(diǎn)規(guī)模： 2-256個(gè)節(jié)點(diǎn)（2004年7月后，可支持至8000個(gè)節(jié)點(diǎn)）     應(yīng)用要求：分布計(jì)算，子任務(wù)之間聯(lián)系很緊密，需要大量的數(shù)據(jù)交換，特別強(qiáng)調(diào)帶寬和延遲這兩個(gè)關(guān)鍵指標(biāo)。    應(yīng)用領(lǐng)域：地震預(yù)測(cè)預(yù)報(bào)、石油勘探、氣候模擬與天氣預(yù)報(bào)、人體基因與遺傳工程、海洋環(huán)流和超導(dǎo)模擬、海量存儲(chǔ)、科學(xué)計(jì)算等。 硬件系統(tǒng)配置清單：名稱說(shuō)明配置單位數(shù)量主機(jī)柜專用服務(wù)器標(biāo)準(zhǔn)機(jī)柜電源控制器，電源系統(tǒng)(3*20A)，風(fēng)扇，機(jī)柜網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)控制機(jī)，前面板LCD觸摸屏個(gè)系統(tǒng)通訊

27、網(wǎng)絡(luò) Cisco2950-12 witch100M Ethernet個(gè)視頻切換機(jī)KVM套存儲(chǔ)系統(tǒng)NAS/RAIDVIA C3處理器，緩存 256MB SDRAM，三個(gè)10/100以太網(wǎng)端口和一個(gè)可選的Gigabit以太網(wǎng)端口，可支持8塊Ultar DMA100硬盤可選UDMA 133硬盤，環(huán)境監(jiān)控單元 300W熱更換冗余電源臺(tái)計(jì)算節(jié)點(diǎn)INTEL/SuperMicro2×P Xeon2.4G，1G內(nèi)存，集成100/1000網(wǎng)卡，標(biāo)準(zhǔn)光驅(qū)，軟驅(qū)，顯卡，73G SCSI硬盤臺(tái)控制節(jié)點(diǎn)INTEL/SuperMicro2×P Xeon2.4G，1G內(nèi)存，73G SCSI 硬盤，集成1

28、00/1000網(wǎng)卡，標(biāo)準(zhǔn)光驅(qū)，軟驅(qū)，顯卡臺(tái)高速互連網(wǎng)Dolphin D33X高帶寬（667MBytes/s）、低延遲（1.46微秒）的網(wǎng)絡(luò)通訊卡塊其它顯示器15寸純平個(gè)1鼠標(biāo)、鍵盤、套1軟件系統(tǒng)配置清單：名  稱說(shuō)  明版本號(hào)備注單位數(shù)量監(jiān)控系統(tǒng)系統(tǒng)監(jiān)控軟件Ver2.0用于系統(tǒng)監(jiān)控套1操作系統(tǒng)RedHatVer8.0/套1應(yīng)用軟件 / 套1其它系統(tǒng)MPI（Message Passing Interface）、Mosix/最新套1集群管理系統(tǒng)Scali集群管理軟件(for InfiniBand)Ver3.1用于系統(tǒng)管理套1I系列  &#

29、160; 我們?cè)贗系列集群計(jì)算機(jī)中的高速互連網(wǎng)絡(luò)采用現(xiàn)在備受業(yè)內(nèi)關(guān)注的InfiniBand技術(shù)。憑借極高的理論帶寬30Gbit/S( InfiniBand 12X), 和較低的CPU占用，InfiniBand必將在未來(lái)的 市場(chǎng)占據(jù)重要地位。    節(jié)點(diǎn)規(guī)模：2-1024個(gè)節(jié)點(diǎn)（目前，我們可以提供8-PORT，24-PORT，96-PORT的IB交換機(jī)，大于96個(gè)節(jié)點(diǎn)需要級(jí)聯(lián)）    應(yīng)用要求：強(qiáng)調(diào)超大通訊帶寬。    應(yīng)用領(lǐng)域：地震預(yù)測(cè)預(yù)報(bào)、石油勘探、氣候

30、模擬與天氣預(yù)報(bào)、科學(xué)計(jì)算等。 硬件系統(tǒng)配置清單：名  稱說(shuō)  明配  置單位數(shù)量主機(jī)柜專用服務(wù)器標(biāo)準(zhǔn)機(jī)柜電源控制器，電源系統(tǒng)(3*20A)，風(fēng)扇，機(jī)柜網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)控制機(jī)，前面板LCD觸摸屏個(gè) 系統(tǒng)通 訊網(wǎng)絡(luò)Cisco2950-12 witch100M Ethernet個(gè) 視頻切換機(jī)KVM 套 存儲(chǔ)系統(tǒng)NAS/RAIDVIA C3處理器，緩存 256MB SDRAM，三個(gè)10/100以太網(wǎng)端口和一個(gè)可選的Gigabit以太網(wǎng)端口，可支持8塊Ultar DMA100硬盤可選UDMA 133硬盤，環(huán)境監(jiān)控單元300W熱更換冗余電

31、源臺(tái) 計(jì)算節(jié)點(diǎn)INTEL/SuperMicro2×P Xeon2.4G，1G內(nèi)存，集成100/1000網(wǎng)卡，標(biāo)準(zhǔn)光驅(qū)，軟驅(qū)，顯卡，73G SCSI硬盤臺(tái) 控制節(jié)點(diǎn)INTEL/SuperMicro2×P Xeon2.4G，1G內(nèi)存，36G SCSI 硬盤，集成100/1000網(wǎng)卡，標(biāo)準(zhǔn)光驅(qū)，軟驅(qū)，顯卡臺(tái) 高速互連網(wǎng)SBS IB Switch8-port IB Switch或24-port IB Switch或96-port IB Switch臺(tái) SBS HCA cardIB4X-PCIX, IB4X-PCI, IB4X-PMC塊其它顯示器15寸純平個(gè)1鼠標(biāo)、鍵盤、 套1軟件系統(tǒng)配置清單： 名 稱說(shuō) 明版本號(hào)備注單位數(shù)量監(jiān)控系統(tǒng)系統(tǒng)監(jiān)控軟件Ver2.0用于系統(tǒng)監(jiān)控套1操作系統(tǒng)RedHatVer8.0/套1應(yīng)用軟件 / 套1其它系統(tǒng)MPI（Message Passing Interface）、Mosix/最新套1集群管理系統(tǒng)Scali集群管理軟件(for InfiniBand)Ver3.1用于系統(tǒng)管理套1G系列