高性能并行計算臺平及并行計算環(huán)境概述

1、高性能并行計算平臺及并行計算環(huán)境概述中國水利水電科學研究院 信息網(wǎng)絡中心2005年8月11日Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.1內(nèi) 容 提 要1、前言2、高性能并行計算平臺建設3、水利水電高性能計算實踐4、結語Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.21、前言Eva

2、luation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.3什么是高性能并行計算？科學家和工程師可以用它來解決一些程序規(guī)模龐大、運算時間長以及數(shù)據(jù)量大的科研課題。并行計算是提高服務器計算速度和處理能力的一種有效手段。計算機按照編好的程序對計算問題進行分解，并把分解的任務塊通過一定的方式交給不同的處理器去求解。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyrigh

3、t 2004-2011 Aspose Pty Ltd.4國際發(fā)展動態(tài)2005年6月22日公布的全球高性能計算機top500，第一名是IBM的Blue Gene/L，Linpack測試值為每秒136.8萬億次，第二名是IBM的Blue Gene/W，Linpack測試值為每秒91萬億次。日本第一的高性能計算機，Earth Simulator（地球模擬器），Linpack測試值為35.6萬億次。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.5

4、國內(nèi)發(fā)展動態(tài)中國的第一名，中國氣象局的高性能計算機，Linpack值為每秒10.3萬億次。曙光系列、神威系列、銀河系列、深騰系列中科院計算所、曙光公司和上海超級計算中心三方共同研制的曙光4000A，Linpack測試值為每秒8.061萬億次。聯(lián)想公司為中科院網(wǎng)絡信息中心生產(chǎn)的深騰6800，共有1060顆1.3Ghz的安騰2處理器，Linpack測試值為每秒4.183萬億次。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.6院內(nèi)需求分析 隨著

5、工程規(guī)模的逐漸擴大、復雜問題求解分析的日益深入，其科學計算的“瓶頸”日趨嚴重，即使對模型和算法進行簡化，一次計算仍需要幾個小時、幾天甚至數(shù)十天的時間，這一現(xiàn)狀嚴重制約了我院水利水電學科的發(fā)展，許多工程師、教授提出的理論和設想都因為計算能力受到限制而無法實施。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.7課題1：小灣壩踵應力誘導縫研究小灣拱壩壩底縫計算采用網(wǎng)格有20萬個單元，總共24萬多個節(jié)點。單機上運行模擬計算程序時，一個計算步需要將近

6、45個小時，一個工況一般有3040個計算步，總共有幾十種工況。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.8課題2：混凝土三維細觀力學模型的研究模型1：濕篩試件靜動態(tài)彎拉強度細觀力學分析研究中對試件進行劃分，用4面體單元將細網(wǎng)格6面體單元過渡到兩邊粗網(wǎng)格6面體單元，共有24257節(jié)點，29952個單元，其中骨料2160個單元，固化水泥砂漿體3805單元，粘結界面14515單元以及宏觀均勻混凝土9472個單元。以上三維計算是在內(nèi)存1G，C

7、PU為2.8G的PC機上進行的。靜力計算耗時163小時39分，約7天時間；動力計算耗時196小時25分鐘，約8天時間。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.9模型2：全級配試件靜動態(tài)彎拉強度三維細觀力學分析剖分后的單元有骨料單元、融入小骨料后的固化水泥砂漿單元和兩者之間的界面單元，共有24257個節(jié)點，113920個單元。計算時間：在以上配置相同的PC機上，三維靜力計算耗時209小時50分鐘，約9天時間；動力計算耗時291小時57

8、分鐘，約12天時間。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.10問 題要實現(xiàn)三維細觀力學數(shù)值計算，計算速度這一難題必須克服，通常，針對一個模型研究人員需要反復調整參數(shù)進行數(shù)值計算，一個算例耗時數(shù)天甚至數(shù)周簡直無法忍受。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.11 上述種種

9、計算和數(shù)據(jù)的處理對計算環(huán)境提出了新的要求，如果以傳統(tǒng)的個人PC機作為計算平臺，計算的時間和效率遠遠滿足不了科研的需求，甚至會由于內(nèi)存、CPU等硬件的限制而無法進行計算。因此我院急需建設一個高性能并行計算平臺，更好的為科研項目服務。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.12二、高性能并行計算平臺建設Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.C

10、opyright 2004-2011 Aspose Pty Ltd.13硬件平臺建設初步構想采用Sun公司提供的Sun Fire Supercluster解決方案。24臺高性能的Sun Fire 6800服務器作為集群節(jié)點。每臺服務器達到滿配置，即24個1.2Ghz UltraSPARCIII CPU，192GB內(nèi)存。節(jié)點之間采用Sun Fire Link Interconnect 技術通過光纖互聯(lián)。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty

11、Ltd.14IWHR 高性能并行計算平臺硬件體系結構Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.15Sun Fire 6800 技術指標硬件完全冗余，可以從任何硬件故障中恢復。最多24個CPU，最大192GB內(nèi)存，32PCI或者16cPCI插槽。每臺Sun Fire 6800機器最多分為4個域，每個域相當于一臺獨立的服務器。具有很好的線性擴充能力，24個CPU運行時的Linpack值是1個CPU運行時的23.3倍。Evaluation

12、only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.16Sun Fire Link InterconnectSun Fire Link 為一套高帶寬、低延遲的互聯(lián)系統(tǒng)，可以擴展Sun Fire6800 系統(tǒng)的可用性。一個Sun Fire Link系統(tǒng)最多可以由8個Sun Fire 6800服務器節(jié)點組成，每個節(jié)點由Sun Fire Link光纖網(wǎng)絡連接在一起，一整套軟件支持。Sun Management Center可以為Sun Fire Link 網(wǎng)絡資源的配置、

13、監(jiān)視與管理提供最佳可用性。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.17我院Sun Fire 6800現(xiàn)有配置CPU 數(shù)量4 * 1200Mhz內(nèi)存容量8 GB （16 X 512MB DIMMs)I/O板4個，PCI擴展槽共32個Sun Storage 3510 SCSI 磁盤陣列可提供539GB 的存儲空間Evaluation only.Created with Aspose.Slides for .NET 3.5 Client

14、Pro.Copyright 2004-2011 Aspose Pty Ltd.18 目前，本院的高性能并行計算平臺建設處于初步試驗階段，待并行計算技術在我院應用成熟以后，可以很方便的對該平臺進行硬件升級，以獲得更高的性能和計算能力。現(xiàn) 狀Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.19軟件平臺建設操作系統(tǒng)開發(fā)環(huán)境編譯器數(shù)學函數(shù)庫高性能并行計算軟件作業(yè)管理接口并行程序運行環(huán)境并行數(shù)學函數(shù)庫并行程序調試分析工具資源管理系統(tǒng)Evaluatio

15、n only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.20IWHR 高性能并行計算平臺軟件體系結構Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.21操作系統(tǒng)：Solaris 9 64位的Unix操作系統(tǒng)具有杰出的穩(wěn)定性和可維護性單一服務器上最多可支持106個CPU支持多線程，最多100萬個進程。支持多種應用軟

16、件，如 Sun Cluster軟件、Sun 管理中心軟件、Sun Studio 編譯環(huán)境Sun Grid Engine等等。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.22開發(fā)環(huán)境：Sun Studio 9主要組件包含如下：C CompilerC+ CompilerFortran CompilerSun Performance LibraryDistributed make utility, dmakedbx Command-Line

17、DebuggerPerformance Analysis ToolsIntegrated Development Environment (IDE)Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.23Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.24Evaluation only.Cr

18、eated with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.25編譯器 對于科研課題的計算程序而言，編譯器的優(yōu)劣對生成的程序的執(zhí)行效率有著非常明顯的影響，現(xiàn)在在Unix下的免費編譯器軟件主要是GNU計劃提供的GCC，該編譯器可以編譯C、C+、F77 等語言編寫的程序。Sun Fire 6800 服務器配套的編譯器是Sun 公司開發(fā)的商業(yè)編譯軟件-Sun Studio 9，該編譯器在Solaris上編譯運行的效率比GNU的免費軟件要高30%40%。Evaluation only.Creat

19、ed with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.26數(shù)學函數(shù)庫：Sun Performance Library它是Sun公司基于以下標準的線性代數(shù)庫而生成的，具有相同的函數(shù)名和接口，但是在Sun的服務器上運行得更快更精確。LAPACK ：用來解決線性代數(shù)問題BLAS1：用來解決向量-向量運算問題BLAS2：用來解決矩陣-向量運算問題BLAS3：用來解決矩陣-矩陣運算問題 F和VF：快速傅立葉轉換Evaluation only.Created with Aspose.Slides f

20、or .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.27高性能并行計算軟件Sun HPC ClusterTools 5.0作業(yè)管理接口Sun ClusterTools Runtime Environment（CRE）并行計算運行環(huán)境Sun MPI and MPI I/O并行數(shù)學函數(shù)庫Sun S3L( Scalable Scientific Subroutine Library)并行程序調試分析工具Sun PrismSun MPProfEvaluation only.Created with Aspose.Slides for .N

21、ET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.28作業(yè)管理接口：Sun CRE執(zhí)行程序（mprun)殺死程序（mpkill) 顯示作業(yè)信息顯示節(jié)點信息Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.29并行計算運行環(huán)境Sun MPI and MPI I/OSun MPI 是一個高度優(yōu)化的MPI版本。它支持MPI1.2 標準和 MPI2.0 標準。支持多線程編程。與Sun CRE 集

22、成。完全支持Fortran77、C和C+ ，支持一些基本的Fortran90 語法。通過共享內(nèi)存通信會獲得更好的性能。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.30并行數(shù)學函數(shù)庫：Sun S3L它是建立在Sun MPI之上的，給用戶提供了一系列廣泛應用的并行函數(shù)庫。如LU分解、最小二乘法運算、矩陣轉置等等。支持Fortran77、Fortran90、C和C+Sun S3L 子程序調用Sun Performance Library 來在

23、節(jié)點上進行運算。Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.31并行程序調試分析工具Prism和MPProfPrism是一個圖形編程環(huán)境，使用戶能夠對并行程序進行調試和性能監(jiān)控。MPProf是一個用來查看Sun MPI程序的分析工具。運行它可以獲得程序的一些時間信息：在所有進程里MPI函數(shù)庫調用所花費的時間占程序運行時間的百分比；每個進程在MPI函數(shù)庫調用上花費的時間百分比；MPI 函數(shù)庫調用的次數(shù)、程序花費的時間；Evaluation

24、 only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.32資源管理系統(tǒng)(Resource Management)Sun HPC ClusterTools 5 software可以和下面三種分布式資源管理系統(tǒng)集成，用來管理資源的分配、并行作業(yè)的控制和監(jiān)視，以及作業(yè)信息的統(tǒng)計。Sun Grid Engine：Codine 5.2 Load Sharing Facility: LSF 4.xPortable Batch System: PBS 2.3.15 and PBS

25、 Pro 5.0Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.33集成方法Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.34IWHR 高性能并行計算平臺軟件體系結構Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.35三、高性能并行計算實踐Evaluation only.Created with Aspose.Slides for .NET 3.5 Client Pro.Copyright 2004-2011 Aspose Pty Ltd.36課題一 在結構材料