HP 高性能計(jì)算系統(tǒng)技術(shù)方案建議書

1、 高性能計(jì)算系統(tǒng)高性能計(jì)算系統(tǒng)技術(shù)方案建議書技術(shù)方案建議書 中國惠普有限公司中國惠普有限公司 2021/6/222021/6/22 目錄目錄 第一章第一章 概述概述.3 1.1 高性能計(jì)算環(huán)境發(fā)展的趨勢.3 1.1.1 更高、更全面的性能要求.3 1.1.2 向通用化方向發(fā)展.4 1.1.3 更加嚴(yán)格的預(yù)算約束.4 1.1.4 使用商品化部件.5 1.2 高性能計(jì)算應(yīng)用的特點(diǎn).5 1.3 高性能計(jì)算主機(jī)性能評價體系.6 第二章第二章 設(shè)計(jì)方案設(shè)計(jì)方案.9 2.1 系統(tǒng)設(shè)計(jì)原則.9 2.2 總體方案結(jié)構(gòu).10 2.3 smp 計(jì)算服務(wù)器方案 .12 2.3.1 cpu 內(nèi)存配置數(shù)量計(jì)算.12 2

2、.3.2 smp 計(jì)算服務(wù)器型號及配置.13 2.3.3 基于 epic 的安騰芯片技術(shù).15 2.3.4 高性能計(jì)算環(huán)境 hp-ux 11i tcoe.18 2.3.5 計(jì)算任務(wù)提交及管理.19 2.3.6 hp rx8620 計(jì)算服務(wù)器的特點(diǎn)和優(yōu)勢.20 2.4 cluster計(jì)算集群方案.21 2.4.1 hp cluster 計(jì)算集群結(jié)構(gòu).21 2.4.2 cluster 節(jié)點(diǎn)系統(tǒng)配置.24 2.4.3 節(jié)點(diǎn)互連、管理和用戶網(wǎng)絡(luò).26 2.4.4 cluster 計(jì)算集群節(jié)點(diǎn)管理.27 2.4.5 cluster 計(jì)算集群作業(yè)管理.28 2.4.6 hp cluster 計(jì)算集群的特點(diǎn)

3、和優(yōu)勢.29 2.5 高性能計(jì)算外接存儲需求分析.30 2.6 hp 方案的優(yōu)勢 .31 附件附件 hp 的的 hpc 應(yīng)用及成功案例應(yīng)用及成功案例.33 1 hp 的基礎(chǔ)研究和國防研究 hpc 解決方案.35 2 hp 面向計(jì)算機(jī)輔助工程 (cae)的 hpc 解決方案.38 2.1 hp 基于網(wǎng)絡(luò)的一體化和虛擬化 cae 解決方案.38 2.2 hp 全面和豐富的 cae 應(yīng)用軟件.40 2.3 hp 面向 cae 的 hpc 解決方案在中國國內(nèi)的應(yīng)用.42 2.4 hp 面向 cae 的 hpc 解決方案的成功應(yīng)用實(shí)例.43 第一章第一章 概述概述 hp 公司非常榮幸能為高性能計(jì)算中心系

4、統(tǒng)建設(shè)提出建議。作為全球 最大的計(jì)算機(jī)廠商之一，hp 公司具有一流的產(chǎn)品、技術(shù)和服務(wù)。在本方案建議 書中，hp 公司推薦了先進(jìn)的系統(tǒng)建設(shè)方案，考慮了系統(tǒng)的實(shí)用性、高可用性、 安全性、可管理性以及靈活擴(kuò)展能力。 hp 公司憑借先進(jìn)的技術(shù)和出色的支持服務(wù)，相信通過雙方的合作，可使 高性能計(jì)算中心系統(tǒng)項(xiàng)目順利實(shí)施，從而為用戶提供一個健壯、安全、 高可用的運(yùn)行環(huán)境，并進(jìn)一步建立長期的友好合作關(guān)系。 高性能計(jì)算系統(tǒng)是提高一個科研機(jī)構(gòu)研究水平的重要基礎(chǔ)設(shè)施，也是一個 國家科技與經(jīng)濟(jì)實(shí)力的標(biāo)志。它不僅是一個高速處理的計(jì)算機(jī)系統(tǒng)、更重要的 是在其之上運(yùn)行的各種應(yīng)用對科學(xué)領(lǐng)域產(chǎn)生非常深遠(yuǎn)的影響。20 世紀(jì) 90

5、 年代 中后期以來，許多高性能計(jì)算應(yīng)用領(lǐng)域越來越多地希望利用半導(dǎo)體和計(jì)算機(jī)技 術(shù)發(fā)展的新成果通過更大規(guī)模、更精確的數(shù)值模擬和數(shù)字計(jì)算來進(jìn)行新產(chǎn)品設(shè) 計(jì)和科學(xué)研究，提高科學(xué)研究水平、廠商市場競爭力以至國家的綜合國力。另 一方面，人們也要求利用工業(yè)標(biāo)準(zhǔn)芯片等開放性的技術(shù)降低投資、加速開發(fā)， 在規(guī)定經(jīng)費(fèi)預(yù)算和時間框架內(nèi)完成規(guī)模越來越大的計(jì)算任務(wù)。高性能和高經(jīng)濟(jì) 效益相結(jié)合已經(jīng)成為高性能計(jì)算領(lǐng)域最引人注目的發(fā)展趨勢。 1.11.1 高性能計(jì)算環(huán)境發(fā)展的趨勢高性能計(jì)算環(huán)境發(fā)展的趨勢 1.1.11.1.1 更高、更全面的性能要求更高、更全面的性能要求 高性能技術(shù)計(jì)算是利用數(shù)值模擬和數(shù)字技術(shù)方法探索和預(yù)測未

6、知世界的技 術(shù)。這一技術(shù)廣泛應(yīng)用于核武器研究和核材料儲存仿真、生物信息技術(shù)、醫(yī)療 和新藥研究、計(jì)算化學(xué)、gis、cae、全球性長期氣象、天氣和災(zāi)害預(yù)報、工藝 過程改進(jìn)和環(huán)境保護(hù)等許多領(lǐng)域。近年來，隨著研究的深入和競爭的加劇，各 個領(lǐng)域越來越多地使用模擬的方法來解決科研和生產(chǎn)中的實(shí)際問題。模擬的模 型越來越大、計(jì)算的精度越來越高、對超級計(jì)算機(jī)性能要求也越來越高。例如， 在一個 3 維模型中，如果把從每個方向取 100 個分點(diǎn)增加取到 1000 個分點(diǎn)，對 計(jì)算機(jī)資源的需求將增加 1000 倍以上。高性能計(jì)算應(yīng)用不僅規(guī)模越來越大，而 且往往必須在規(guī)定的時間內(nèi)完成任務(wù)否則就失去了計(jì)算的價值（如天氣預(yù)

7、報、 傳染病防治） 。這就對計(jì)算機(jī)系統(tǒng)的計(jì)算能力、系統(tǒng)帶寬、內(nèi)存容量、存儲設(shè)備 和 i/o 吞吐能力以及應(yīng)用軟件的開發(fā)技術(shù)都提出了更高、更全面的要求。 1.1.21.1.2 向通用化方向發(fā)展向通用化方向發(fā)展 過去人們一般把計(jì)算機(jī)應(yīng)用分為科學(xué)計(jì)算、信息處理和自動控制等類型。 其中，以信息處理為主的應(yīng)用統(tǒng)稱企業(yè)應(yīng)用，是市場容量最大的應(yīng)用領(lǐng)域。早 期的企業(yè)應(yīng)用與高性能計(jì)算應(yīng)用有很大的差別，涉及的計(jì)算比較簡單、使用的 數(shù)據(jù)量也不大，對計(jì)算機(jī)系統(tǒng)的主要要求是能夠支持大量用戶（包括網(wǎng)上用戶） 進(jìn)行事務(wù)處理如信息輸入、查詢和統(tǒng)計(jì)等，而對于計(jì)算能力、存儲容量要求也 不高。因此，高性能計(jì)算應(yīng)用往往使用與企業(yè)應(yīng)用

8、不同的系統(tǒng)，影響了產(chǎn)品批 量的擴(kuò)大。當(dāng)前，人類正在從工業(yè)化社會進(jìn)入信息社會，技術(shù)的持續(xù)創(chuàng)新、市 場需求的瞬息萬變、競爭空間的迅速擴(kuò)大，要求企業(yè)采用 internet、電子商務(wù)、 電子商務(wù)企業(yè)等現(xiàn)代化手段，來適應(yīng)時代的發(fā)展。許多新型的企業(yè)應(yīng)用對計(jì)算 能力、存儲容量和系統(tǒng)帶寬的要求都越來越高、越來越迫切，高性能計(jì)算 應(yīng)用 和其他類型應(yīng)用的界限也日益淡化。當(dāng)前，幾乎所有應(yīng)用領(lǐng)域都需要使用能夠 提供高計(jì)算能力、系統(tǒng)帶寬和存儲容量的計(jì)算機(jī)系統(tǒng)，促使用戶選擇相同的系 統(tǒng)滿足各種類型的需求，為利用大批量、低成本的通用產(chǎn)品滿足高性能計(jì)算應(yīng) 用需求創(chuàng)造了有利的條件。 1.1.31.1.3 更加嚴(yán)格的預(yù)算約束更加

9、嚴(yán)格的預(yù)算約束 隨著競爭的加劇和應(yīng)用的普及，高性能計(jì)算不再是一個不惜工本的應(yīng)用領(lǐng) 域，許多項(xiàng)目的預(yù)算約束越來越嚴(yán)格。這就要求廠商生產(chǎn)全系列的產(chǎn)品滿足不 同規(guī)模應(yīng)用的需求、更加可靠地保護(hù)用戶原有投資、加速 it 投資回報，而且也 要求實(shí)現(xiàn)資源按需供應(yīng)和更大范圍的資源共享，推動了網(wǎng)格和公用服務(wù)等新的 計(jì)算模式的發(fā)展。 1.1.41.1.4 使用商品化部件使用商品化部件 為了促進(jìn)高性能計(jì)算廣泛應(yīng)用必須降低成本，否則很難為更多的用戶所接 受。由于高端的高性能計(jì)算系統(tǒng)（特別是超級計(jì)算機(jī)）需要使用許多計(jì)算節(jié)點(diǎn) 和互聯(lián)設(shè)備等部件，因此必須保持每個部件的低成本。早期的超級計(jì)算機(jī)系統(tǒng) 使用專門定制的處理器和互聯(lián)

10、設(shè)備等部件價格非常昂貴。以后，cray research 公司的 t3d 和 cray t3e 開始使用商品化的 alpha 處理器。當(dāng)前商品化處理 器和服務(wù)器性能日益提高、價格也日趨下降，為利用它們建立高端和超級計(jì)算 機(jī)系統(tǒng)提供了良好的基礎(chǔ)。為此，美國政府還推出了 asci 計(jì)劃，力圖降低超 級計(jì)算機(jī)系統(tǒng)的成本，其主要途徑是盡可能采用商品化市售(cots)硬件和軟件 部件，把力量集中在發(fā)展主流計(jì)算機(jī)工業(yè)不能有效地提供的專門技術(shù)。目前已 經(jīng)很少再有廠商使用專門的部件如向量處理器來建立超級計(jì)算機(jī)系統(tǒng)。今后的 發(fā)展趨勢是在高端和超級計(jì)算機(jī)系統(tǒng)中盡可能普遍地采用商品化和大批量的工 業(yè)標(biāo)準(zhǔn)部件，包括處

11、理器、互聯(lián)設(shè)備、i/o、存儲、操作系統(tǒng)、語言、編譯程序、 編程工具和應(yīng)用軟件。人們注意到，基于開放性 ia32 體系結(jié)構(gòu)的 xeon 和 pentium 4 處理器的超級計(jì)算機(jī)已經(jīng)在 top500 占有重要地位。新興的 itanium 處理器系列（ipf）必將以其開放性、大批量和 64 位尋址和處理能力，對超級 計(jì)算機(jī)水平的提高產(chǎn)生劃時代的影響，以遠(yuǎn)比 32 位體系結(jié)構(gòu)時代高的性能和性 價比來滿足日益增長的需求。 我們深信，通過采用 hp 的高性能計(jì)算系統(tǒng) ，必將加速在高性能計(jì) 算領(lǐng)域取得更加豐碩的科研成果。 1.1.2 2 高性能計(jì)算應(yīng)用的特點(diǎn)高性能計(jì)算應(yīng)用的特點(diǎn) 在傳統(tǒng)意義上高性能計(jì)算應(yīng)用

12、是屬于 cpu 和內(nèi)存密集型的應(yīng)用,它對所運(yùn)行 的計(jì)算機(jī)體系結(jié)構(gòu)(超級計(jì)算機(jī)體系結(jié)構(gòu))提出了幾個主要的要求: 浮點(diǎn)計(jì)算能 力(尤其是 64 位雙精度浮點(diǎn)運(yùn)算),內(nèi)存帶寬和內(nèi)存容量及體系框架。 所有這些因素都是相互關(guān)聯(lián)的。高性能計(jì)算通常利用各種數(shù)學(xué)方程式來建 立模型和模擬物理現(xiàn)象。隨著各種模型越來越大，越來越復(fù)雜，數(shù)據(jù)集的規(guī)模 也急劇增長。例如，一個 100*100*100 的柵格包含 100 萬個元素，該模型僅占 用 32mb 內(nèi)存，如果此柵格的分辨率提高 10 倍，這一模型就變?yōu)?1000*1000*1000，包含 10 億個元素，此模型的原始數(shù)據(jù)將占用 32gb 的內(nèi)存！ 因此不論是分布式

13、內(nèi)存還是共享式內(nèi)存，要將此數(shù)據(jù)傳輸至內(nèi)存中，由 cpu 處 理，就需要高帶寬，高容量，低延遲的體系結(jié)構(gòu)，當(dāng)然還需要強(qiáng)大的 cpu 進(jìn)行 計(jì)算。 而超級計(jì)算機(jī)主要用來處理這樣龐大的工作負(fù)載。這樣的負(fù)載所要求的超 級計(jì)算機(jī)一定是采用快速的 cpu，高性能的內(nèi)存和 i/o 子系統(tǒng)，旨在實(shí)現(xiàn)最高 的運(yùn)算速度。同樣這樣的負(fù)載所要求的超級計(jì)算機(jī)還必須采用多級別并行處理 技術(shù)，能夠利用幾十個甚至幾千個處理器來處理一項(xiàng)任務(wù)；這樣的并行處理技 術(shù)也需要超級計(jì)算機(jī)要采用高性能的互連設(shè)備和系統(tǒng)設(shè)計(jì)，以較高的成本去換 取最高的性能。 1.31.3 高性能計(jì)算主機(jī)性能高性能計(jì)算主機(jī)性能評價體系評價體系 衡量主機(jī)系統(tǒng)或處

14、理器計(jì)算處理能力的測試體系(benchmark)也有多種，如 spec、linpack 等, 尤其是通過 linpack 值更可以衡量一個主機(jī)系統(tǒng)或一個處 理器芯片的實(shí)際運(yùn)算能力, 而不僅僅是虛的理論峰值能力。 過去，人們使用系統(tǒng)能夠達(dá)到的執(zhí)行指令最大速率如每秒執(zhí)行百萬指令數(shù) /浮點(diǎn)操作數(shù)(mips/mflops)來量度計(jì)算機(jī)硬件性能。但是，這些量度指標(biāo)的實(shí) 用價值十分有限，它們只能給出理論上最大的性能，并沒有全面反映計(jì)算機(jī)系 統(tǒng)的實(shí)際性能如內(nèi)存帶寬、內(nèi)存延遲和 i/o 性能等。此外，硬件性能量度和系 統(tǒng)體系結(jié)構(gòu)都是非標(biāo)準(zhǔn)的，使得人們很難使用它們作為服務(wù)器選型的性能指標(biāo)。 因此，出現(xiàn)了計(jì)算機(jī)系

15、統(tǒng)性能基準(zhǔn)測試的概念，即由某些中立的非盈利機(jī)構(gòu)開 發(fā)出一組經(jīng)過精心統(tǒng)籌設(shè)計(jì)和組合的程序，來量度計(jì)算機(jī)系統(tǒng)運(yùn)行這組程序的 性能指標(biāo)。此類程序一般稱為基準(zhǔn)測試程序。不同的計(jì)算機(jī)系統(tǒng)都運(yùn)行同一組 基準(zhǔn)測試程序，就可以相對客觀地比較計(jì)算機(jī)系統(tǒng)的性能。目前有許多專門設(shè) 計(jì)基準(zhǔn)測試程序和管理各種計(jì)算機(jī)系統(tǒng)基準(zhǔn)測試指標(biāo)的機(jī)構(gòu)，其中最著名的是 spec 和 tpc。 基準(zhǔn)測試可以分為三類： 1) 系統(tǒng)基準(zhǔn)測試指標(biāo)：用于測試計(jì)算機(jī)各子系統(tǒng)的性能，其中主要有： spec cpu2000 用于處理器子系統(tǒng)的指標(biāo)； mccaplin stream 用于測試內(nèi)存帶寬指標(biāo)； tpc-c 用于測試在線事務(wù)處理指標(biāo)性能指標(biāo)；

16、 2) 標(biāo)準(zhǔn)應(yīng)用基準(zhǔn)測試指標(biāo)：用于測試計(jì)算機(jī)系統(tǒng)執(zhí)行某種標(biāo)準(zhǔn)的應(yīng)用的 性能指標(biāo)，其中主要有： spec web 99 用于測量計(jì)算機(jī)執(zhí)行 web 應(yīng)用的性能指標(biāo)； spec mail2000 用于測量計(jì)算機(jī)執(zhí)行電子郵件應(yīng)用的性能指標(biāo)； spec jbb2000，spec jvm98 用于測量計(jì)算機(jī)執(zhí)行 java 應(yīng)用性能 指標(biāo)； linpack 用于測量計(jì)算機(jī)進(jìn)行線性代數(shù)計(jì)算的性能指標(biāo)（也常作為 測量計(jì)算機(jī)浮點(diǎn)計(jì)算速度的基準(zhǔn)測試指標(biāo)） ； spec hpc96 用于測量計(jì)算機(jī)執(zhí)行高性能計(jì)算應(yīng)用的性能指標(biāo)； spec sfs97 用于測量計(jì)算機(jī)執(zhí)行網(wǎng)絡(luò)文件系統(tǒng)應(yīng)用的性能指標(biāo)； tpc-d 專門用

17、于測量計(jì)算機(jī)執(zhí)行數(shù)據(jù)倉庫應(yīng)用的性能指標(biāo)； spec glperf 和 spec viewperf 專門用于測量計(jì)算機(jī)執(zhí)行圖形和 圖象顯示方面應(yīng)用的性能指標(biāo)； 3) 實(shí)際應(yīng)用基準(zhǔn)測試指標(biāo)：許多重要的獨(dú)立軟件開發(fā)商(isv)都制訂了計(jì) 算機(jī)系統(tǒng)運(yùn)行本公司開發(fā)的軟件產(chǎn)品的基準(zhǔn)測試指標(biāo)。例如，在數(shù)據(jù) 庫應(yīng)用方面 oracle、informix、 sybase 公司的基準(zhǔn)測試指標(biāo)；在企 業(yè)應(yīng)用方面 sap、sas、peoplesoft、baan 等公司的基準(zhǔn)測試指標(biāo)；在 高性能計(jì)算方面運(yùn)行 amber、charmm、fluent、ls-dyna、marc、ansys 等著名應(yīng)用軟件的指標(biāo)等； 一般地說，

18、系統(tǒng)基準(zhǔn)測試指標(biāo)測試的計(jì)算機(jī)子系統(tǒng)的性能，而其他兩類基準(zhǔn) 測試指標(biāo)則主要測試計(jì)算機(jī)執(zhí)行某種或某個特殊應(yīng)用的性能?；鶞?zhǔn)測試指標(biāo)在 用戶服務(wù)器選型工作中具有重要的作用，許多用戶都根據(jù)它們來決定設(shè)備選型。 但是“全信書不如無書” 。對基準(zhǔn)測試必須持一分為二的觀點(diǎn)。一方面，雖然基 準(zhǔn)測試的環(huán)境和用戶的實(shí)際應(yīng)用環(huán)境不完全相同，但是它們畢竟比較客觀地反 映了計(jì)算機(jī)系統(tǒng)某一方面的性能，對性能評估和搞好服務(wù)器選型工作都有相當(dāng) 大的參考價值；另一方面，任何基準(zhǔn)測試指標(biāo)都是在人為設(shè)定的特殊條件下得 到的。雖然，設(shè)計(jì)基準(zhǔn)測試的機(jī)構(gòu)盡了很大的努力使得基準(zhǔn)測試條件盡可能符 合實(shí)際、具有代表性，但真實(shí)的應(yīng)用環(huán)境規(guī)模大、軟

19、件類型多其組合更是千變 萬化。基準(zhǔn)測試的條件不可能完全反映實(shí)際應(yīng)用的復(fù)雜性，基準(zhǔn)測試指標(biāo)不可 避免地具有某種片面性。因此，在進(jìn)行設(shè)備選型時必須盡可能了解所使用的各 項(xiàng)基準(zhǔn)測試指標(biāo)的實(shí)際含義，包含產(chǎn)生它們的環(huán)境和測試方法等。為了避免片 面性，對服務(wù)器系統(tǒng)的性能指標(biāo)、特性和廠商進(jìn)行全面考察，將是搞好服務(wù)器 選型工作比較科學(xué)和可靠的方法。 第二章第二章 設(shè)計(jì)方案設(shè)計(jì)方案 2.1 系統(tǒng)設(shè)計(jì)原則系統(tǒng)設(shè)計(jì)原則 幫助用戶建立一套既能最大限度地滿足用戶實(shí)際需要且技術(shù)又處于領(lǐng)先地 位的高性能計(jì)算環(huán)境是 hp 公司為高性能計(jì)算用戶設(shè)計(jì)方案的基本出發(fā)點(diǎn)。hp 認(rèn)為，高性能計(jì)算系統(tǒng)應(yīng)具有處理大規(guī)模的復(fù)雜運(yùn)算，尤其是浮

20、點(diǎn)運(yùn)算 的能力 。它將為提供優(yōu)化工程設(shè)計(jì)、分析、驗(yàn)證的手段，最終實(shí)現(xiàn)提高 設(shè)計(jì)質(zhì)量、縮短開發(fā)周期、降低開發(fā)成本。 方案設(shè)計(jì)以用戶現(xiàn)場測試結(jié)果為基礎(chǔ)，根據(jù)用戶對未來應(yīng)用模式及業(yè)務(wù)量 需求預(yù)測為前提，強(qiáng)調(diào)高性能以及可行、合理和低風(fēng)險。架構(gòu)設(shè)計(jì)和系統(tǒng)選型 遵循以下原則： 1先進(jìn)性 本系統(tǒng)方案所采用的技術(shù)既要符合業(yè)界的發(fā)展方向,又要在未來幾年內(nèi)仍具 有很高的技術(shù)先進(jìn)性，保持在同類系統(tǒng)中的領(lǐng)先地位。這樣有利于提高整個系 統(tǒng)的計(jì)算與處理能力 。 2. 有限投資獲取最大計(jì)算性能 在有限的投資前提下，高性能計(jì)算系統(tǒng)應(yīng)具有優(yōu)秀的處理能力，它不僅具 有符合要求的峰值性能 (peak performance)， 更

21、重要的是應(yīng)具有穩(wěn)定的應(yīng)用 性能（sustained performance） 。各種復(fù)雜的研究課題在本系統(tǒng)中能夠得到 準(zhǔn)確，快速的計(jì)算結(jié)果 。 3. 可擴(kuò)展性 系統(tǒng)應(yīng)具有很強(qiáng)的擴(kuò)展能力 。 隨著對計(jì)算機(jī)系統(tǒng)性能的要求不斷提高， 該計(jì)算機(jī)系統(tǒng)應(yīng)具有擴(kuò)展能力， 并且容易實(shí)現(xiàn) 。 4. 開放性和兼容性 本計(jì)算機(jī)系統(tǒng)應(yīng)符合公認(rèn)的工業(yè)標(biāo)準(zhǔn)， 包括體系結(jié)構(gòu)，硬件，i/o, 網(wǎng)絡(luò)， 操作系統(tǒng)，開發(fā)環(huán)境和開發(fā)工具等 。這樣，便于和其他平臺上的系統(tǒng)互操作 。 5應(yīng)用軟件豐富 本系統(tǒng)的平臺上應(yīng)具有豐富的軟件資源， 能夠提供研究課題的解決方案和 相應(yīng)的軟件系統(tǒng) 。hp 公司與高性能計(jì)算方面的獨(dú)立軟件開發(fā)商緊密合作，

22、例 如：fluent,ansys 等專業(yè)工程軟件商,red hat,etnus,pallas,platform 等專業(yè) 平臺軟件商, 不僅提供處理節(jié)點(diǎn)間的協(xié)調(diào)和通信的中間件，使整個系統(tǒng)節(jié)點(diǎn)能 夠真正實(shí)現(xiàn)合作，負(fù)載均衡，還能針對不同應(yīng)用需求，提供一系列并行計(jì)算應(yīng) 用。 6. 良好的技術(shù)支持 由于本系統(tǒng)是比較復(fù)雜的計(jì)算機(jī)環(huán)境， 在使用過程中不可避免的會遇到一 些技術(shù)問題。 當(dāng)遇到這些問題時能夠得到有效的支持， 使問題得以圓滿的解 決 。 7性能價格比優(yōu)越 由于本系統(tǒng)比較龐大，價格因素也比較重要。 本系統(tǒng)在性能價格比方面在 同類系統(tǒng)中應(yīng)具有明顯的優(yōu)勢，對于三院三部來說在采購大型系統(tǒng)中應(yīng)該考慮 的重要

23、因素。 8管理簡單 盡量減少數(shù)據(jù)中心的設(shè)備管理難度。 2.2 總體方案結(jié)構(gòu)總體方案結(jié)構(gòu) 針對系統(tǒng)高性能計(jì)算應(yīng)用的特點(diǎn),結(jié)合與相關(guān)業(yè)務(wù)處室的溝通。從滿 足應(yīng)用需求的角度出發(fā)，我們建議建立一個高可擴(kuò)展、易管理的混合 smp 與 cluster 結(jié)構(gòu)的高性能計(jì)算環(huán)境，整體方案架構(gòu)如下： 我們推薦采用 1 臺 hp 高檔 unix 服務(wù)器 hp integrity rx8620 作為 smp 計(jì) 算服務(wù)器，主要運(yùn)行 ansys、nastran、marc 計(jì)算應(yīng)用。smp 計(jì)算服務(wù)器采用高 性能 hp-ux 11i tcoe 高性能計(jì)算操作系統(tǒng)環(huán)境，并運(yùn)行 hp workload manager(wlm

24、)動態(tài)資源管理工具對任務(wù)的資源分配進(jìn)行管理和調(diào)度。 另外，采用 64 節(jié)點(diǎn)、通過 infiniband 高速互連的 linux 高性能計(jì)算集群 （128 顆 cpu，512g 內(nèi)存） ，主要運(yùn)行 fluent、fastran 或 ls-dyna 計(jì)算應(yīng)用。 高性能計(jì)算集群配置 1 個管理節(jié)點(diǎn)及 2 個 i/o 節(jié)點(diǎn)，并通過用戶網(wǎng)絡(luò)和管理網(wǎng) 絡(luò)進(jìn)行互聯(lián)。 cluster 管理節(jié)點(diǎn)運(yùn)行 cluster management utility(cmu)管理軟件實(shí)現(xiàn) cluster 中所有節(jié)點(diǎn)的集中管理、配置、激活/關(guān)閉等，并通過 openpbs 軟件對 用戶提交的任務(wù)進(jìn)行作業(yè)管理。 smp 計(jì)算服務(wù)器

25、和 cluster 管理節(jié)點(diǎn)通過 1000base-t 千兆以太網(wǎng)連接到三 部的骨干網(wǎng)中，各室工作組通過該網(wǎng)絡(luò)申請計(jì)算資源和提交任務(wù)。 待三院三部存儲區(qū)域網(wǎng)絡(luò)（san）建成后，smp 計(jì)算服務(wù)器和 cluster i/o 節(jié)點(diǎn)可通過擴(kuò)展的光纖通道卡連接到 san 中，滿足高性能計(jì)算環(huán)境對存儲性能 和空間的巨大需求。 2.3 smp 計(jì)算服務(wù)器方案計(jì)算服務(wù)器方案 2.3.12.3.1 cpucpu 內(nèi)存配置數(shù)量計(jì)算內(nèi)存配置數(shù)量計(jì)算 根據(jù)以上分析，smp 計(jì)算服務(wù)器主要用于結(jié)構(gòu)類計(jì)算任務(wù)，包括結(jié)構(gòu)的設(shè) 計(jì)、分析和仿真等。smp 服務(wù)器的選型應(yīng)與用戶現(xiàn)場測試服務(wù)器具有相同的結(jié) 構(gòu)和相同的產(chǎn)品系列機(jī)型

26、，即采用基于 itanium2 芯片的 hp integrity（安騰） 服務(wù)器系列產(chǎn)品，并根據(jù)未來幾年內(nèi)三院三部的計(jì)算需求配置適當(dāng)?shù)男吞柡?cpu 內(nèi)存數(shù)量。 從測試結(jié)果上看，ansys 類應(yīng)用對系統(tǒng)資源和開銷是最大的，而用戶使用 ansys 來進(jìn)行部件和系統(tǒng)設(shè)計(jì)也是最多的，因此按此類應(yīng)用的峰值性能需求來 計(jì)算出系統(tǒng)的配置，當(dāng)然還應(yīng)根據(jù)任務(wù)的并發(fā)情況來適當(dāng)調(diào)整。根據(jù)用戶計(jì)算 需求的預(yù)測，該 smp 計(jì)算服務(wù)器應(yīng)至少達(dá)到以下性能： 1) 同時運(yùn)行 5-6 個 ansys 系統(tǒng)級任務(wù)（每個 600 萬單元） ，計(jì)算時間不超 過 12 小時（夜間運(yùn)行） ； 2) 部件級 ansys 任務(wù)（每個 2

27、00 萬單元）的計(jì)算時間在 1-2 小時內(nèi)（白 天運(yùn)行） ； 用戶目前此類應(yīng)用用戶有 5 人，按未來 10 人來規(guī)劃。白天考慮 4-5 個部件 級的并發(fā)。 計(jì)算依據(jù)上述要求和實(shí)測數(shù)據(jù)： ansys 實(shí)際測試結(jié)果：1 個 7 萬單元任務(wù)，4 個 1.3ghz cpu，8gb ram，運(yùn)行時間：2 分 15 秒； 本次選擇 1.5ghz 的芯片，性能比測試機(jī)配置芯片性能高； ansys 提供標(biāo)準(zhǔn)題的計(jì)算要求：600 萬單元的任務(wù)，要求 20gb 內(nèi)存； 系統(tǒng)級并發(fā)任務(wù)對系統(tǒng)級并發(fā)任務(wù)對 cpucpu 數(shù)目要求如下：數(shù)目要求如下： 6 任務(wù)*(600 萬/7 萬)*(1.3ghz/1.5ghz)*(

28、2 分鐘/720 分鐘)*4cpu=4.95cpu 結(jié)論：對于在 12 小時內(nèi)完成 6 個系統(tǒng)級任務(wù)，按每個任務(wù)分配 1 個 cpu， 共需 6 個 1.5ghz cpu 即可實(shí)現(xiàn)。如果每個系統(tǒng)級任務(wù)分配 2 個 cpu，共占用 12 顆 cpu，只需不到 6 個小時即可完成計(jì)算。 部件級并發(fā)任務(wù)對部件級并發(fā)任務(wù)對 cpucpu 數(shù)目要求如下：數(shù)目要求如下： 5 任務(wù)*(200 萬/7 萬)*(1.3ghz/1.5ghz)*(2 分鐘/90 分鐘)*4cpu=11cpu 按每個任務(wù)分配 2-3 個 cpu，共需 11 個 1.5ghz cpu。 結(jié)論：對于在 1.5 小時內(nèi)完成 5 個系統(tǒng)級任

29、務(wù)，共需 11 個 1.5ghz cpu 即 可實(shí)現(xiàn)。 整個系統(tǒng)配置整個系統(tǒng)配置 cpucpu 數(shù)目如下：數(shù)目如下： 按照白天在 1.5 個小時內(nèi)完成 5 個并發(fā)部件級任務(wù)和晚上并發(fā) 6 個系統(tǒng)級 人物的最大要求，考慮其他應(yīng)用如 nastran、marc、ls-dyna 任務(wù)的并發(fā)計(jì)算要 求，建議本次 smp 系統(tǒng)的 cpu 配置總數(shù)為 12 個。 系統(tǒng)對內(nèi)存的要求如下：系統(tǒng)對內(nèi)存的要求如下： 我們以 ansys 應(yīng)用對內(nèi)存的要求作為估算標(biāo)準(zhǔn)。1700 萬單元 ansys 標(biāo)準(zhǔn)題 的內(nèi)存要求約為 60gb。對于本系統(tǒng)來說，系統(tǒng)最大負(fù)荷時的并發(fā)任務(wù)量總計(jì)最 大為 6 x 600 萬單元，因此，我

30、們建議本次 smp 系統(tǒng)內(nèi)存配置為 128gb。 2.3.22.3.2 smpsmp 計(jì)算服務(wù)器型號及配置計(jì)算服務(wù)器型號及配置 根據(jù)以上分析，我們配置 16cpu 和 128gb 內(nèi)存的 hp integrity rx8620 安 騰服務(wù)器作為 smp 計(jì)算服務(wù)器，并安裝在 2 米高機(jī)柜內(nèi)。 hp integrity rx8620 具有 51.2gb/s 系統(tǒng)帶寬、64gb/s 內(nèi)存帶寬和 8.5gb/s 的 i/o 總線帶寬，非常適合做高性能計(jì)算服務(wù)器，并最多可支持 32 個 cpu 及擴(kuò)展至 256gb 內(nèi)存。 hp integrity rx8620 如下圖所示： 除了滿足上述用戶的計(jì)算要

31、求外，配置 16cpu 和 128gb 內(nèi)存的 rx8620 計(jì)算 服務(wù)器還可勝任超過單任務(wù) 3000 萬以上單元的系統(tǒng)部件的計(jì)算，并在 4-12 小 時內(nèi)得到計(jì)算結(jié)果。 hp integrity rx8620 計(jì)算服務(wù)器的配置如下： 服務(wù)器型號 hp integrity rx8620-32 處理器 12*itanium2 1.5ghz/4mb 內(nèi)存128gb hd syncdram 內(nèi)存 硬盤4*146gb 硬盤 網(wǎng)絡(luò)接口（內(nèi)置）1*10/100/1000base-t，接用戶網(wǎng)絡(luò) 1*10/100/1000base-t，接管理網(wǎng)絡(luò) 擴(kuò)展網(wǎng)卡1*10/100/1000base-t，接所骨干網(wǎng)

32、dvd-rom1*dvd+rw 機(jī)柜1*rack system/e 41u，pdu 電源風(fēng)扇n+1 熱拔插電源風(fēng)扇 軟件配置- hp-ux 11i v2 tcoe 操作系統(tǒng)（無限用戶許可） - hp workload manager(wlm)動態(tài)資源管理器 - hp mirrordisk/ux 磁盤鏡像軟件 - c/c+/fortran 編譯器 配置的 hp integrity rx8620 還有 13 個可擴(kuò)展的 pci-x 插槽，未來可配置 2 塊 fiber channel 2gb 適配器分別連接至 san(存儲區(qū)域網(wǎng)絡(luò))上，以獲得高性 能的數(shù)據(jù)訪問及所需的及可擴(kuò)展的存儲空間。 hp i

33、ntegrity rx8620 最多可擴(kuò)展 32 個 pci-x 插槽，滿足 i/o 擴(kuò)展的需要。 2.3.32.3.3 基于基于 epicepic 的安騰芯片技術(shù)的安騰芯片技術(shù) 針對高性能計(jì)算應(yīng)用對高性能的需求，hp 在系統(tǒng)設(shè)計(jì)上允許通過使用不斷 更新的 ipf 系列產(chǎn)品、采用先進(jìn)的芯片組、使用更高性能的基礎(chǔ)節(jié)點(diǎn)、支持更 多的節(jié)點(diǎn)和提供更高的帶寬等多種途徑擴(kuò)展系統(tǒng)的規(guī)模，提供高性能和最大的 性能擴(kuò)展空間，滿足當(dāng)前和為適應(yīng)當(dāng)前飛速發(fā)展的計(jì)算需要, 一個高性能計(jì)算 的全新時代應(yīng)運(yùn)而生, 而 hp 正是以其基于第二代 itanium2 處理器的安騰服務(wù) 器執(zhí)業(yè)界之牛耳。未來各種高端應(yīng)用的需要。 具

34、有革命意義的安騰處理器家族架構(gòu)由 hp 與 intel 共同研制開發(fā), 它基于 全新的 epic 體系結(jié)構(gòu), 降低了平臺的成本, 提高了其性能和可擴(kuò)展性. 基于 itanium2 的 hp 系統(tǒng)的速度比上一代產(chǎn)品快兩倍, 輕松超越 ia-32 和基于標(biāo)準(zhǔn) rsic 的系統(tǒng)的性能. 基于 itanium2 的惠普服務(wù)器能夠提供更強(qiáng)大的功能, 更 多的應(yīng)用, 附加的特性, 以及更廣泛的解決方案。 ia64 體系結(jié)構(gòu)在吸收 risc 體系結(jié)構(gòu)經(jīng)驗(yàn)教訓(xùn)基礎(chǔ)上另辟蹊徑，一開始 就走開放性的道路，充分利用現(xiàn)代芯片制造工藝發(fā)展成果、提供足夠的資源； 同時，通過力爭成為新的高端工業(yè)標(biāo)準(zhǔn)、擴(kuò)大批量來降低成本。它

35、的基本設(shè)計(jì) 思想是：提供一種新的機(jī)制、充分利用硬軟件協(xié)同能力來提高指令并行度：一 方面大力開發(fā)先進(jìn)的編譯程序，消除程序中的條件轉(zhuǎn)移指令、并基于猜測機(jī)制 越過轉(zhuǎn)移和存儲指令界限調(diào)度指令的執(zhí)行次序，把程序員利用串行語義編寫的 源程序轉(zhuǎn)換成由可并行執(zhí)行指令段序列組成的目標(biāo)程序；另一方面使得處理器 具有足夠資源和智能，來紀(jì)錄編譯程序所發(fā)現(xiàn)的程序中可并行執(zhí)行指令段之間 的劃分信息，并保證在程序運(yùn)行過程中發(fā)現(xiàn)猜測和調(diào)度有錯時仍然給出正確結(jié) 果。對 ia64 體系結(jié)構(gòu)處理器來說，所執(zhí)行的目標(biāo)程序中可并行執(zhí)行的指令段 已經(jīng)由編譯程序顯性地標(biāo)識出來了、指令間的數(shù)據(jù)相關(guān)性和過程相關(guān)性也已經(jīng) 由編譯程序消除了，使得

36、處理器只需使用相對簡單的邏輯來實(shí)現(xiàn)很高的指令級 并行度（ilp） 。相反，傳統(tǒng)的 risc 處理器沒有足夠的資源來紀(jì)錄編譯程序所產(chǎn) 生許多有用的信息，也沒有充分利用現(xiàn)代編譯程序強(qiáng)大的對程序執(zhí)行過程的調(diào) 度能力。雖然在 risc 體系結(jié)構(gòu)下，設(shè)計(jì)師們也使用編譯程序來優(yōu)化目標(biāo)程序、 為處理器提高 ilp 創(chuàng)造條件。但是，處理器所執(zhí)行的基本上是隱性并行和包含 大量相關(guān)性的目標(biāo)程序，發(fā)現(xiàn)并行、線路預(yù)測、動態(tài)調(diào)度等提高 ilp 的無序執(zhí) 行技術(shù)、完全是由處理器硬件利用復(fù)雜的芯片邏輯來實(shí)現(xiàn)的。盡管兩種體系結(jié) 構(gòu)之間存在著許多差別，但是執(zhí)行顯性并行或者隱性并行目標(biāo)程序是其中最主 要的本質(zhì)差別。所以最初發(fā)明這

37、種新體系結(jié)構(gòu)的惠普公司把它稱為顯性并行指 令計(jì)算（epic）體系結(jié)構(gòu)。 ipf 編譯程序 觀察更寬的范圍 可并行執(zhí)行記錄 機(jī)器code 編譯程序 原始的源代碼 編譯 硬件 功能部件 . . . . . . . . . . . . 更加有效地利用執(zhí)行資源 e ep pi ic c 體體系系結(jié)結(jié)構(gòu)構(gòu)設(shè)設(shè)計(jì)計(jì)思思想想 編編譯譯程程序序通通過過發(fā)發(fā)現(xiàn)現(xiàn)并并行行、重重新新調(diào)調(diào)度度把把原原始始源源代代碼碼轉(zhuǎn)轉(zhuǎn)換換成成一一個個由由機(jī)機(jī) 器器代代碼碼組組成成的的可可執(zhí)執(zhí)行行記記錄錄； 可可執(zhí)執(zhí)行行記記錄錄中中的的指指令令字字包包含含編編譯譯程程序序所所產(chǎn)產(chǎn)生生的的各各種種調(diào)調(diào)度度信信息息，允允 許許全全面面控

38、控制制處處理理器器的的整整個個操操作作過過程程； 處處理理器器硬硬件件以以豐豐富富的的資資源源、簡簡捷捷的的機(jī)機(jī)制制、高高主主頻頻、低低延延遲遲，反反演演 可可執(zhí)執(zhí)行行記記錄錄，最最終終實(shí)實(shí)現(xiàn)現(xiàn)高高并并行行度度、高高性性能能； 為為利利用用先先進(jìn)進(jìn)編編譯譯技技術(shù)術(shù)、生生產(chǎn)產(chǎn)工工藝藝、設(shè)設(shè)計(jì)計(jì)思思想想，進(jìn)進(jìn)一一步步提提高高性性能能、 留留有有充充分分的的余余地地 除了強(qiáng)有力的編譯程序外，ia64 體系結(jié)構(gòu)微處理器必須提供足夠的資源 來實(shí)現(xiàn) epic 設(shè)計(jì)思想、提高并行度和實(shí)現(xiàn)高性能，包括： 新穎的指令集：允許編譯程序產(chǎn)生由并行指令段組成的目標(biāo)程序，并紀(jì)錄 指令段間的劃分； 大寄存器空間：為編譯程

39、序通過寄存器換名等技術(shù)消除相關(guān)性、產(chǎn)生盡可 能在寄存器中進(jìn)行運(yùn)算的優(yōu)質(zhì)目標(biāo)程序提供充分的余地； 具有足夠長度的指令：便于在指令中訪問大寄存器空間中多個寄存器和消 除程序中轉(zhuǎn)移指令； 足夠的指令發(fā)送端口和派送網(wǎng)絡(luò)：用于提高每個時鐘周期發(fā)送到指令數(shù)和 提高發(fā)送到速度和效率； 多種類型的新型寄存器：允許編譯程序越過條件轉(zhuǎn)移和存儲指令的界限調(diào) 度目標(biāo)程序中訪問內(nèi)存指令的位置、消除相關(guān)性，并彌補(bǔ)調(diào)整位置所產(chǎn)生的錯 誤； 更多的浮點(diǎn)執(zhí)行部件：有利于處理器實(shí)現(xiàn)高并行度的浮點(diǎn)計(jì)算； 更多的整數(shù)和多媒體運(yùn)算執(zhí)行部件：有利于處理器實(shí)現(xiàn)高并行度的整數(shù)和 多媒體信息處理； 更多的芯片上高速緩存：有利于提高緩存命中率、

40、降低內(nèi)存延遲； epic 體系結(jié)構(gòu)處理器提供的寄存器資源體系結(jié)構(gòu)處理器提供的寄存器資源 ia64 的 epic 體系結(jié)構(gòu)是對傳統(tǒng) risc 體系結(jié)構(gòu)的重大革新，許多方面突 破了 risc 體系結(jié)構(gòu)的局限、發(fā)展了 risc 體系結(jié)構(gòu)，為利用新制造工藝和技術(shù)、 按照摩爾定律預(yù)示的速度提高處理器性能提供了可靠的保證。 i it ta an ni iu um m 2 2 處 處理理器器特特別別適適合合于于高高性性能能計(jì)計(jì)算算領(lǐng)領(lǐng)域域 innovative features to support superior hpc performance 6.4 gb/s bus6.4 gb/s bus 1024

41、 tb1024 tb 8 8 1.0 ghz1.0 ghz 1 2 3 4 5 6 7 8 9 1011 registers resourcesregisters resources 128 fp, integer, 8 branch, 128 fp, integer, 8 branch, 64 predicate, and 96 rotating64 predicate, and 96 rotating 6 instructions / cycle6 instructions / cycle 3 mb3 mb 6 integer, 6 integer, 3 branch3 branch 2

42、fp, 2 fp, 1 simd1 simd 2 load and 2 load and 2 store2 store handles large, complex handles large, complex workloads, accelerates loop workloads, accelerates loop unrolling and branch unrolling and branch intensive code execution. intensive code execution. 5050- -bit physical and 64bit physical and 6

43、4- -bit bit virtual addressingvirtual addressingsupport for 4gb page size support for 4gb page size large, low latency, onlarge, low latency, on- -die die cache accelerates data cache accelerates data throughputthroughput short pipeline to minimize short pipeline to minimize miss predict penalties m

44、iss predict penalties powerful branch arch to powerful branch arch to support predication and support predication and speculation to reduce speculation to reduce branch branch mispredicts mispredicts high memory bandwidth for high memory bandwidth for increased calculations / secincreased calculatio

45、ns / sec flexible memory model flexible memory model speeds performance by speeds performance by minimizing unnecessary minimizing unnecessary cache line transfers cache line transfers parallel issue ports avoids parallel issue ports avoids reservation stallsreservation stalls dual 80dual 80- -bit b

46、it fmacsfmacs w/ 128w/ 128- -bit bit support for efficient single and support for efficient single and dual precision multiplydual precision multiply- -addadd high precision math / high precision math / transcendental library for transcendental library for complex scientific calculations complex sci

47、entific calculations memorymemory 2.3.42.3.4 高性能計(jì)算環(huán)境高性能計(jì)算環(huán)境 hp-uxhp-ux 11i11i tcoetcoe hp integrity rx8620 采用 hp_ux 11i v2(現(xiàn)在成為唯一可支持安騰芯片 的 64 位 unix 操作系統(tǒng))操作系統(tǒng)(tcoe)提供高性能計(jì)算環(huán)境的基礎(chǔ),并配合相 應(yīng)的系統(tǒng)管理軟件、語言編譯器、并行模式、相關(guān)數(shù)學(xué)庫,還可支持目前流行的 各種第三方高性能計(jì)算商業(yè)軟件包和應(yīng)用軟件包,例如 platform 的 lsf(負(fù)載平 衡軟件)和 checkpoint, etnus 的 totalview, p

48、allas 的 vampir 及 gaussian 等 等,這些可根據(jù)實(shí)際要求靈活配置, 以運(yùn)行高性能計(jì)算應(yīng)用程序和商業(yè)軟件(含 數(shù)據(jù)庫軟件)。 hp_ux11i 系統(tǒng)下的 c,c+和 fortran 編譯器展示出卓越的實(shí)際應(yīng)用性能, 操作系統(tǒng)庫充分利用了 itanium2 架構(gòu)的先進(jìn)技術(shù),其中包括: mlibmlib。一系列子程序, 為科學(xué)和技術(shù)計(jì)算提供了常用數(shù)學(xué)軟件, 并針對 itanium2 架構(gòu)進(jìn)行了優(yōu)化; hphp mpimpi。實(shí)現(xiàn)對 itanium2 架構(gòu)信息傳遞接口的高性能, 為開發(fā)人員提供了 api 和軟件庫來支持下有效,可移植的并行信息傳遞的應(yīng)用, 是分布式計(jì)算的理 想選擇

49、。 2.3.52.3.5 計(jì)算任務(wù)提交及管理計(jì)算任務(wù)提交及管理 所有向 hp integrity rx8620 計(jì)算服務(wù)器提交的任務(wù)其所需的 cpu 內(nèi)存等 系統(tǒng)資源是通過 hp workload manager(wlm)動態(tài)資源管理工具來進(jìn)行管理的。 hp workload manager(wlm)是一個非常簡單、高效、易用的資源分區(qū)和管 理工具，通過它，系統(tǒng)管理員可根據(jù)計(jì)算服務(wù)器的資源情況及提交任務(wù)的優(yōu)先 級給使用用戶靈活分配和調(diào)度 cpu、內(nèi)存及 i/o 等系統(tǒng)資源，當(dāng)更高優(yōu)先級的 任務(wù)提交后，hp wlm 可動態(tài)調(diào)整系統(tǒng)資源的分配，保證高優(yōu)先級的任務(wù)獲得所 需的資源。 hp wlm 動

50、態(tài)資源管理可通過本地或遠(yuǎn)程終端進(jìn)行管理，其界面如下圖所示。 2.3.62.3.6 hphp rx8620rx8620 計(jì)算服務(wù)器的特點(diǎn)和優(yōu)勢計(jì)算服務(wù)器的特點(diǎn)和優(yōu)勢 hp integrity rx8620 是具有非常高性能價格比的 smp 計(jì)算服務(wù)器，非常 適合三院三部的結(jié)構(gòu)類計(jì)算任務(wù)的運(yùn)算。其特點(diǎn)和優(yōu)勢如下： 1)1) 業(yè)已經(jīng)測試證明的結(jié)構(gòu)類高性能計(jì)算架構(gòu)業(yè)已經(jīng)測試證明的結(jié)構(gòu)類高性能計(jì)算架構(gòu) 用戶現(xiàn)場測試結(jié)果表明，hp integrity 安騰服務(wù)器的架構(gòu)最適合作為 ansys、nastran、marc 等應(yīng)用的計(jì)算平臺。 2)2) 優(yōu)越的系統(tǒng)架構(gòu)和優(yōu)越的系統(tǒng)架構(gòu)和 cpucpu 芯片技術(shù)優(yōu)勢

51、芯片技術(shù)優(yōu)勢 與用戶現(xiàn)場測試服務(wù)器的架構(gòu)相同的 hp integrity rx8620 高端 smp 服務(wù) 器，提供更高的系統(tǒng)帶寬、內(nèi)存總線帶寬和 i/o 總線帶寬?；谶@樣的架構(gòu)， hp integrity rx8620 可為計(jì)算應(yīng)用帶來更高的性能和更好的加速比。 另外，hp integrity rx8620 采用基于 epic（顯式并行指令計(jì)算）技術(shù)的 itanium2 mp 芯片（注：非 itanium2 dp 芯片） ，擁有更大的內(nèi)存帶寬和系統(tǒng)帶 寬。與 risc 和超標(biāo)量技術(shù)不同，epic 技術(shù)是在程序編譯階段即實(shí)現(xiàn)指令的并 行，這為強(qiáng)調(diào)并行的高性能任務(wù)實(shí)現(xiàn)更高的計(jì)算性能提供了基礎(chǔ)。

52、 3)3) 多操作系統(tǒng)支持以及硬件分區(qū)技術(shù)給用戶更多的靈活性多操作系統(tǒng)支持以及硬件分區(qū)技術(shù)給用戶更多的靈活性 hp integrity rx8620 可支持 hp-ux、linux 和 windows 等操作系統(tǒng)，并支 持在同一機(jī)箱內(nèi)劃分成 1 至 4 個完全電隔離的硬件分區(qū)（npars） 。這樣，在需 要的情況下，用戶可靈活配置不同大小的硬分區(qū)及分別運(yùn)行相同或不同的操作 系統(tǒng)，從而給與用戶最大的系統(tǒng)使用靈活性。 4)4) 易管理的高性能計(jì)算環(huán)境易管理的高性能計(jì)算環(huán)境 hp-uxhp-ux 11i11i tcoetcoe hp-ux 11i tcoe 提供高性能、高可靠及安全的 unix 操作

53、系統(tǒng)基礎(chǔ)環(huán)境， 并提供 hp 高性能 c/c+和 fortran 編譯器、數(shù)學(xué)庫 mlib 和 mpi 工具。 通過 hp workload manager(wlm)動態(tài)資源管理工具，管理員可根據(jù) smp 計(jì) 算服務(wù)器的資源情況及任務(wù)的優(yōu)先級給不同使用用戶靈活分配和調(diào)度 cpu、內(nèi) 存及 i/o 等系統(tǒng)資源，hp wlm 動態(tài)資源管理工具簡單、高效、易用。 5)5) 投資保護(hù)優(yōu)勢投資保護(hù)優(yōu)勢 hp integrity rx8620 基于工業(yè)標(biāo)準(zhǔn)架構(gòu)，擁有良好的可擴(kuò)展能力（其中 內(nèi)存可最大擴(kuò)展到 256gb） ，并支持在機(jī)箱內(nèi)升級到下一代 itanium2 芯片，最 大可容納 32 顆 cpu，

54、可實(shí)現(xiàn)最大程度的投資保護(hù)。 2.4 cluster 計(jì)算集群方案計(jì)算集群方案 2.4.12.4.1 hphp clustercluster 計(jì)算集群結(jié)構(gòu)計(jì)算集群結(jié)構(gòu) hp 公司作為高性能科學(xué)計(jì)算集群技術(shù)的領(lǐng)導(dǎo)者，可提供最強(qiáng)大的、易于管 理的一系列現(xiàn)有的 linux 集群解決方案?；萜战Y(jié)合了 linux 的優(yōu)勢、最好的軟 件、內(nèi)部互連、工業(yè)標(biāo)準(zhǔn)的計(jì)算機(jī)平臺、惠普集群技術(shù)專家、支持和服務(wù)向用 戶提供具有增加容量和能力的 linux 集群系統(tǒng)。 linux 集群系統(tǒng)也叫做 beowulf cluster 集群系統(tǒng)。 hp beowulf 集群的邏輯架構(gòu)如下： beowulf 機(jī)群定義 計(jì)計(jì)算算節(jié)節(jié)點(diǎn)

55、點(diǎn)1 計(jì)計(jì)算算節(jié)節(jié)點(diǎn)點(diǎn)2 計(jì)計(jì)算算節(jié)節(jié)點(diǎn)點(diǎn)3 計(jì)計(jì)算算節(jié)節(jié)點(diǎn)點(diǎn)4 計(jì)計(jì)算算節(jié)節(jié)點(diǎn)點(diǎn)5 計(jì)計(jì)算算節(jié)節(jié)點(diǎn)點(diǎn) n 內(nèi)部互連 管管理理工工作作站站 開開發(fā)發(fā)環(huán)環(huán)境境 編譯器 工具 調(diào)試工具 管理工具 批批處處理理系系 統(tǒng)統(tǒng) 作作業(yè)業(yè)調(diào)調(diào)度度 文文件件系系 統(tǒng)統(tǒng) 客客戶戶應(yīng)應(yīng)用用標(biāo)標(biāo)準(zhǔn)準(zhǔn)應(yīng)應(yīng)用用 數(shù)數(shù)學(xué)學(xué)庫庫 并并行行庫庫 操操作作系系統(tǒng)統(tǒng)/設(shè)設(shè)備備驅(qū)驅(qū)動動 網(wǎng)網(wǎng)格格 軟軟件件 硬硬件件 硬件部分應(yīng)包括：硬件部分應(yīng)包括： 計(jì)算節(jié)點(diǎn) 管理節(jié)點(diǎn) i/o 節(jié)點(diǎn) 互連系統(tǒng) 軟件部分應(yīng)包括：軟件部分應(yīng)包括： 操作系統(tǒng) 集群管理軟件 開發(fā)環(huán)境 數(shù)學(xué)庫、并行庫 作業(yè)管理系統(tǒng) 文件系統(tǒng) 和 客戶應(yīng)用軟件 標(biāo)準(zhǔn)應(yīng)用軟件

56、根據(jù)用戶的需求分析，按 hp beowulf 集群的邏輯架構(gòu)，我們?yōu)楸卷?xiàng)目設(shè) 計(jì)的 cluster 計(jì)算集群方案如下： 上述 cluster 高性能集群主要為 fluent、fastran 等流體類應(yīng)用提供計(jì)算 環(huán)境，另外，根據(jù)用戶現(xiàn)場測試的結(jié)果，ls-dyna 應(yīng)用在此 smp 和 cluster 架 構(gòu)上均有非常出色的表現(xiàn)，用戶也可選擇在此 cluster 計(jì)算集群中來運(yùn)行此類 應(yīng)用。 2.4.22.4.2 clustercluster 節(jié)點(diǎn)系統(tǒng)配置節(jié)點(diǎn)系統(tǒng)配置 根據(jù)用戶需求，配置高性能 計(jì)算節(jié)點(diǎn)配置計(jì)算節(jié)點(diǎn)配置 配置 64 臺計(jì)算節(jié)點(diǎn)。每臺配置如下： 計(jì)算結(jié)點(diǎn) 處理器 2*opteron

57、 2.6ghz 內(nèi)存4gb 內(nèi)存 硬盤1*60gb sata 硬盤 網(wǎng)絡(luò)接口（內(nèi)置）1*10/100/1000base-t，接用戶網(wǎng)絡(luò) 1*10/100/1000base-t，接管理網(wǎng)絡(luò) 網(wǎng)絡(luò)互連接口 1*infiniband adapter 遠(yuǎn)程管理 integrated lights out (ilo) 軟件配置 redhat el3 u2 x86-64 ws i/oi/o 節(jié)點(diǎn)配置節(jié)點(diǎn)配置 配置 2 臺 i/o 節(jié)點(diǎn)，每臺配置如下： i/o 節(jié)點(diǎn) 處理器 2*opteron 2.6 ghz 內(nèi)存4gb 內(nèi)存 硬盤2*146gb scsi ultra320 硬盤 網(wǎng)絡(luò)接口（內(nèi)置）1*10/

58、100/1000base-t，接用戶網(wǎng)絡(luò) 1*10/100/1000base-t，接管理網(wǎng)絡(luò) 擴(kuò)展網(wǎng)卡1*10/100/1000base-t，接所骨干網(wǎng) 遠(yuǎn)程管理 integrated lights out (ilo) 軟件配置 redhat el3 u2 x86-64 es 用戶數(shù)據(jù)中心建立以前，用戶數(shù)據(jù)及應(yīng)用程序臨時存放在 4 個 146gb 硬盤 中。用戶數(shù)據(jù)中心建立后，可擴(kuò)展配置 2 個 2gb 光纖通道卡接到 san 存儲網(wǎng)絡(luò) 中，屆時，所有 cluster 計(jì)算集群的用戶數(shù)據(jù)、應(yīng)用等均放到 san 里。 管理節(jié)點(diǎn)配置管理節(jié)點(diǎn)配置 采用 1 臺管理節(jié)點(diǎn)，配置如下： 管理節(jié)點(diǎn) 處理器

59、2*opteron 2.6 ghz 內(nèi)存8gb 內(nèi)存 硬盤2*146gb scsi ultra320 硬盤 網(wǎng)絡(luò)接口（內(nèi)置）1*10/100/1000base-t，接用戶網(wǎng)絡(luò) 1*10/100/1000base-t，接管理網(wǎng)絡(luò) 擴(kuò)展網(wǎng)卡1*10/100/1000base-t，接所骨干網(wǎng) 高速通訊網(wǎng)絡(luò) infiniband 遠(yuǎn)程管理 integrated lights out (ilo) 軟件配置 - cluster management utility (cmu) - openpbs - mpi,pvm - c/c+/fortran compilers and mlib for amd - r

60、edhat el3 u2 x86-64 es 管理節(jié)點(diǎn)通過 cmu 管理計(jì)算節(jié)點(diǎn)，并通過 openpbs 進(jìn)行作業(yè)的調(diào)度管理。 2.4.32.4.3 節(jié)點(diǎn)互連、管理和用戶網(wǎng)絡(luò)節(jié)點(diǎn)互連、管理和用戶網(wǎng)絡(luò) hp cluster 高性能集群系統(tǒng)的計(jì)算節(jié)點(diǎn)通過高速的 infiniband 互連技術(shù) 實(shí)現(xiàn)互聯(lián)，高速的 infiniband 互連網(wǎng)絡(luò)主要用于計(jì)算節(jié)點(diǎn)之間進(jìn)行 mpi 通訊， 交換節(jié)點(diǎn)應(yīng)用進(jìn)程信息和計(jì)算數(shù)據(jù)。infiniband 互連采用 64 端口的 infiniband 交換機(jī)。 整個高性能集群的每個節(jié)點(diǎn)連接分別連接到兩個網(wǎng)絡(luò)，管理網(wǎng)絡(luò)和用戶網(wǎng) 絡(luò)。管理網(wǎng)絡(luò)主要用于節(jié)點(diǎn)管理信息的傳輸，用戶