低成本高性能計(jì)算的實(shí)現(xiàn)與測(cè)試

1、低成本高性能計(jì)算的實(shí)現(xiàn)與測(cè)試 昆明理工大學(xué)云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室譚偉良2008-11-272實(shí)驗(yàn)室介紹 昆明理工大學(xué)云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室是云南省在信息技術(shù)方向唯一的一所省級(jí)重點(diǎn)實(shí)驗(yàn)室。目前擁有教授級(jí)研究人員19人,中職21人,普通計(jì)算機(jī)人員80多名。多年來(lái)，在社會(huì)各界的大力支持下，云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室在承擔(dān)、完成科研項(xiàng)目方面及實(shí)驗(yàn)室的開(kāi)放運(yùn)行、隊(duì)伍建設(shè)、培養(yǎng)人才、實(shí)驗(yàn)室管理等方面，都取得了不少成績(jī)，其科研的規(guī)模和水平均已具備較強(qiáng)的實(shí)力。 研究所擁有一個(gè)由21臺(tái)曙光服務(wù)器構(gòu)成的理論峰值每秒超過(guò)1萬(wàn)億次浮點(diǎn)運(yùn)算能力的高性能計(jì)算集群,2臺(tái)Sun的小型機(jī),4臺(tái)Sun服務(wù)器,

2、4臺(tái)Dell的服務(wù)器,6臺(tái)HP服務(wù)器,7臺(tái)IBM服務(wù)器,臺(tái)機(jī)40臺(tái)，筆記本15臺(tái),擁有四個(gè)網(wǎng)絡(luò)出口：校園網(wǎng)1G,網(wǎng)通150M,電信150M,聯(lián)通150M。3概要相關(guān)介紹環(huán)境搭建性能測(cè)試心得體會(huì)4相關(guān)介紹 目前，HPC的應(yīng)用范圍越來(lái)越廣，除了一些特殊的應(yīng)用需要高性能計(jì)算外，一些如：數(shù)據(jù)挖掘應(yīng)用、圖像處理業(yè)務(wù)、基因測(cè)序比對(duì)處理等領(lǐng)域也越來(lái)越需要高性能計(jì)算?？茖W(xué)計(jì)算領(lǐng)域科學(xué)計(jì)算領(lǐng)域更快的速度更高的精度更大的范圍信息服務(wù)領(lǐng)域信息服務(wù)領(lǐng)域更好地整合、提高可管理性更高的吞吐率更高的可靠性5面臨的問(wèn)題 但是，想要得到一個(gè)高性能解決方案，往往意味著要投入大量的金錢(qián)。國(guó)內(nèi)：曙光4000A（10萬(wàn)億次運(yùn)算能力），

3、市場(chǎng)價(jià)格約為1億人民幣。 曙光5000A （200萬(wàn)億次運(yùn)算能力），市場(chǎng)價(jià)格約為2億人民幣。國(guó)外能達(dá)到相同計(jì)算規(guī)模的超級(jí)計(jì)算機(jī)，價(jià)格大約是國(guó)內(nèi)的56倍。一個(gè)小規(guī)模的高性能解決方案，也需要花上百萬(wàn)乃至上千萬(wàn)的成本投入。6低成本高性能計(jì)算的產(chǎn)生 一方面是有限的成本投入，一方面是對(duì)高性能計(jì)算的迫切需要。怎樣在這兩者之間取得一個(gè)平衡點(diǎn)？ 因此，構(gòu)建一個(gè)低成本、高性能的解決方案由此產(chǎn)生。7多種結(jié)構(gòu)的比較多種結(jié)構(gòu)的比較 結(jié)構(gòu)結(jié)構(gòu)特性特性SMPSMPDSMDSMMPPMPPClusterCluster可擴(kuò)展性可擴(kuò)展性最差最差差差強(qiáng)強(qiáng)很強(qiáng)很強(qiáng)易管理性易管理性很強(qiáng)很強(qiáng)很強(qiáng)很強(qiáng)一般一般較差較差網(wǎng)絡(luò)能力網(wǎng)絡(luò)能力無(wú)需

4、網(wǎng)絡(luò)無(wú)需網(wǎng)絡(luò)無(wú)需網(wǎng)絡(luò)無(wú)需網(wǎng)絡(luò)很強(qiáng)很強(qiáng)強(qiáng)強(qiáng)并行編程并行編程方式方式共享變量共享變量共享變量、共享變量、消息傳遞消息傳遞消息傳遞消息傳遞消息傳遞消息傳遞價(jià)格價(jià)格貴貴昂貴昂貴昂貴昂貴較低較低8環(huán)境搭建硬件環(huán)境搭建軟件環(huán)境搭建低成本考慮：1）從硬件上降低成本2）從軟件上降低成本3）從日常維護(hù)費(fèi)用上降低成本高性能考慮：1）使用高頻、多核CPU2）使用優(yōu)化的數(shù)學(xué)庫(kù)3）優(yōu)化網(wǎng)絡(luò)環(huán)境9硬件環(huán)境搭建硬件選購(gòu)：1）計(jì)算節(jié)點(diǎn)： 對(duì)大量集群環(huán)境配置的經(jīng)驗(yàn)性研究顯示小型SMP平臺(tái)最適合構(gòu)建HPC集群，并且現(xiàn)在的多核技術(shù)已經(jīng)達(dá)到平民化的程度，因此使用多路處理器的節(jié)點(diǎn)成為首選。10選用AMD處理器 在很多領(lǐng)域中，需要對(duì)大量

5、的數(shù)據(jù)進(jìn)行處理。 這種模式對(duì)每個(gè)節(jié)點(diǎn)上的性能及I/O吞吐量提出了很高要求。AMD皓龍?zhí)幚砥鞯闹边B架構(gòu)和超傳輸總線（HyperTransport）技術(shù)，保證了低內(nèi)存延時(shí)和緩存的一致性，避免了系統(tǒng)擴(kuò)展帶來(lái)的性能瓶頸，可實(shí)現(xiàn)處理器核心之間的高速數(shù)據(jù)交換，提升節(jié)點(diǎn)性能，滿足了應(yīng)用的需求。以及其相對(duì)低廉的價(jià)格，是搭建一個(gè)低成本解決方案的重要因素。（更適合多核單節(jié)點(diǎn)的情況）112）網(wǎng)絡(luò) 一般在大中型集群中，往往會(huì)使用InfiniBand，Myrinet等高速網(wǎng)絡(luò)。但是他們的價(jià)格都不菲，針對(duì)于小型的集群搭建，使用千兆網(wǎng)絡(luò)已經(jīng)能夠滿足小型集群的網(wǎng)絡(luò)通訊的需要。12網(wǎng)絡(luò)比較1314硬件材料清單21臺(tái)曙光A620

6、r-F服務(wù)器每臺(tái)服務(wù)器的主要參數(shù)： 2個(gè)AMD Opteron 2352 2.1G CPU 4G內(nèi)存 250G SATA2硬盤(pán) 600W 2U單電源 曙光A系列雙路主板一臺(tái)華為千兆交換機(jī)若干千兆網(wǎng)線15與同配置的其它服務(wù)器對(duì)比與HP、SUN的服務(wù)器相比，使用曙光服務(wù)器更具有價(jià)格優(yōu)勢(shì)。比曙光服務(wù)器高至少一倍的價(jià)格。16網(wǎng)絡(luò)拓?fù)?7實(shí)際運(yùn)行中的機(jī)器18軟件環(huán)境基本搭建（盡可能使用開(kāi)源軟件）操作系統(tǒng)：RHEL4 U5并行環(huán)境：MPI 1.2.7作業(yè)管理：OpenPBS 2.3.16 監(jiān)控軟件：Ganglia 3.0.6數(shù)學(xué)庫(kù)：GotoBLAS、Atlas、ACML19考慮因素 考慮到成本與實(shí)際環(huán)境的

7、因素，我們使用開(kāi)源軟件對(duì)我們這個(gè)集群進(jìn)行管理和相關(guān)的應(yīng)用。 因?yàn)殚_(kāi)源軟件自身的局限性，不可能提供很好的集群管理機(jī)制。因此在較大規(guī)模集群方案中，如果還是使用開(kāi)源的軟件去對(duì)集群進(jìn)行管理，日常的維護(hù)工作量就會(huì)明顯增多。（建議使用專門(mén)的集群管理軟件：CSM（Linux）、 SUN Cluster 3.0、 DCMM系統(tǒng)監(jiān)控DCMS集群管理 ） 20軟件 系統(tǒng)配置有標(biāo)準(zhǔn)的C、C+、Fortran和Java等主流編譯器，將來(lái)還要在這基礎(chǔ)上安裝其它的并行編程環(huán)境，如PVM、HPF、OpenMP、串行程序自動(dòng)并行化工具、并行調(diào)試器、并行程序監(jiān)控工具和并行數(shù)學(xué)庫(kù)函數(shù)。還可以安裝一些針對(duì)與某些領(lǐng)域的應(yīng)用軟件，如A

8、ccelrys Material Studio材料計(jì)算軟件等。21開(kāi)發(fā)模式支持串行程序、消息傳遞程序、SMP多線程程序、HPF數(shù)據(jù)并行程序、分布式共享虛存等多種編程模型。根據(jù)所提供的編程環(huán)境，能夠很快的進(jìn)行并行程序的開(kāi)發(fā)。22適用于VO的函數(shù)庫(kù)以及軟件數(shù)學(xué)庫(kù)：MKL、ACML、GotoBLAS、Atlas、BLAS、FFTW、IMSL 、Lapack 等編程環(huán)境：MPICH（MPI）/PVM ，C、C+、Fortran77、Fortran90、 Fortran99等程序的編譯器可用軟件：MM5大規(guī)模天氣數(shù)值預(yù)報(bào)模擬軟件等其它：Matlab在多核及集群計(jì)算機(jī)上的并行計(jì)算工具箱3.3：Parall

9、el Computing Toolbox 3.323性能測(cè)試測(cè)試軟件：Linpack（hpl 1.0a）測(cè)試數(shù)學(xué)庫(kù)：GotoBLAS 1.26、Atlas 3.6.0、MKL 10、ACML 4.0。24測(cè)試結(jié)果根據(jù)曙光工程師曹振南先生在如何做Linpack測(cè)試及性能優(yōu)化所提供的思路，進(jìn)行了相關(guān)的測(cè)試。分別對(duì)單節(jié)點(diǎn)，雙節(jié)點(diǎn)，四節(jié)點(diǎn)，八節(jié)點(diǎn)，全部節(jié)點(diǎn)進(jìn)行了測(cè)試。在單節(jié)點(diǎn)上，能達(dá)到75%的運(yùn)算效率，但在多節(jié)點(diǎn)上，就達(dá)不到這個(gè)效率（如：網(wǎng)絡(luò)因素）。 優(yōu)化前：總體運(yùn)算速度達(dá)到3000億次，效率約為22%。 進(jìn)一步優(yōu)化：預(yù)計(jì)總體運(yùn)算速度會(huì)達(dá)到7000億次，效率約為50%25工作效率的提高使用一臺(tái)普通的計(jì)

10、算機(jī)要進(jìn)行40個(gè)小時(shí)的運(yùn)算，理論上在本集群環(huán)境內(nèi)可以縮短至1個(gè)小時(shí)。26測(cè)試結(jié)果（續(xù)）不同數(shù)學(xué)庫(kù)：GotoBLASMKLacmlAtlas不同的MPI：MPI 1 MPI 227測(cè)試注意問(wèn)題因?yàn)槲覀兪鞘褂煤诵氖荁arceiona的AMD 四核處理器，在使用GotoBLAS數(shù)學(xué)庫(kù)時(shí)，必須使用最新的1.26版本。使用GotoBLAS數(shù)學(xué)庫(kù)測(cè)試，在單節(jié)點(diǎn)上配置運(yùn)行測(cè)試參數(shù)時(shí)，只需要配置如下：mpirun np 1 xhpl。則會(huì)同時(shí)調(diào)用8個(gè)核心進(jìn)行計(jì)算。而使用其它數(shù)學(xué)庫(kù)，要讓8核同時(shí)進(jìn)行計(jì)算，則需要明確配置8進(jìn)程，如： mpirun np 8 xhpl 。28相關(guān)數(shù)據(jù)對(duì)比以單位成本上所能獲取的運(yùn)算速

11、度作對(duì)比。曙光4000A： 0.001億次/秒/元 曙光5000A： 0.01億次/秒/元 優(yōu)化前：0.01億次/秒/元 優(yōu)化后：0.02億次/秒/元 29優(yōu)點(diǎn)1.建設(shè)成本低廉，運(yùn)算速度能達(dá)到中型計(jì)算的規(guī)模。2.建設(shè)周期短。3.結(jié)構(gòu)易于變化，容易適應(yīng)需求的改動(dòng)。因此很容易通過(guò)擴(kuò)展，升級(jí)，獲得更好的性能。4.目前通過(guò)Web進(jìn)行監(jiān)控，預(yù)計(jì)會(huì)通過(guò)web進(jìn)行遠(yuǎn)程管理等工作。5.維護(hù)工作量少，運(yùn)行成本低。30心得1.經(jīng)過(guò)以上的對(duì)比，怎樣去選擇一個(gè)合理的方案去搭建一個(gè)低價(jià)格高性能的集群需要多方面的考慮。2.如果確實(shí)需要達(dá)到比較大的運(yùn)算速度，采用更好的網(wǎng)絡(luò)環(huán)境，更多的運(yùn)算節(jié)點(diǎn)和更快的cpu是最直接的方式。313.單臺(tái)內(nèi)集成更多的運(yùn)算核心會(huì)得到更好的效果，但是瓶頸在于CPU訪問(wèn)內(nèi)存的帶寬并不能隨著CPU個(gè)數(shù)的增加而有效增長(zhǎng)，所以怎樣在價(jià)格和性能上做一個(gè)很好的平衡，將是必