并行計算概述

并行計算概述第一頁，共二十九頁，2022年，8月28日如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每一條指令所需時間優(yōu)化算法（或者優(yōu)化編譯）用多個處理機(jī)(器)同時解決一個問題并行計算2并行計算概述第二頁，共二十九頁，2022年，8月28日并行計算概述3并行:古老的思想!“...并行計算并不是什么新的思想,只是將它擴(kuò)展應(yīng)用于計算機(jī)而已”.作者也不認(rèn)為這種擴(kuò)展應(yīng)用會存在什么無法克服的困難.但也不要期待有效的并行編程方法與技術(shù)能夠在一夜之間誕生.期間還需要有許多的工作和實(shí)驗要做.畢竟,今天的編程技術(shù)(串行)是若干年來艱苦的探索才取得的.現(xiàn)在編程工作似乎成了一種令人單調(diào)乏味的工作,事實(shí)上,并行編程的出現(xiàn)將會使重新恢復(fù)編程工作者們的探索精神...”(Gill,S.(1958),“ParallelProgramming”

TheComputerJournal,vol.1,April,pp.2-10.)ParallelProgrammingwithMPIbyPeterPacheco(2000)第三頁，共二十九頁，2022年，8月28日并行計算--高性能計算并行計算(ParallelComputing）

高端計算(High-endParallelComputing)

高性能計算(HighPerformanceComputing)

超級計算(SuperComputing)

任何高性能計算和超級計算都離不開使用并行技術(shù)Thesimultaneoususeofmorethanonecomputertosolveaproblem.由由運(yùn)行在多個部件上的小任務(wù)合作來求解一個規(guī)模很大的計算問題的一種方法4第四頁，共二十九頁，2022年，8月28日什么是高性能并行計算機(jī)由多個計算單元組成，運(yùn)算速度快、存儲容量大、可靠性高的計算機(jī)系統(tǒng)。也稱為：巨型計算機(jī)、超級計算機(jī)目前任何高性能計算和超級計算都離不開使用并行技術(shù)，所以高性能計算機(jī)肯定是并行計算機(jī)。5第五頁，共二十九頁，2022年，8月28日并行計算的概念6第六頁，共二十九頁，2022年，8月28日串行計算與并行計算并行計算概述7第七頁，共二十九頁，2022年，8月28日為什么要做并行計算？

－－應(yīng)用需求8第八頁，共二十九頁，2022年，8月28日9第九頁，共二十九頁，2022年，8月28日計算科學(xué)與傳統(tǒng)的兩種科學(xué)，即理論科學(xué)和實(shí)驗科學(xué)，并列被認(rèn)為是人類認(rèn)識自然的三大支柱，他們彼此相輔相成地推動科學(xué)發(fā)展與社會進(jìn)步。在許多情況下，或者是理論模型復(fù)雜甚至理論尚未建立，或者實(shí)驗費(fèi)用昂貴甚至無法進(jìn)行時，計算就成了求解問題的唯一或主要的手段。為什么要做并行計算？

－－應(yīng)用需求10第十頁，共二十九頁，2022年，8月28日為什么要做并行計算？人類對計算及性能的要求是無止境的從系統(tǒng)的角度：集成系統(tǒng)資源，以滿足不斷增長的對性能和功能的要求

從應(yīng)用的角度：適當(dāng)分解應(yīng)用，以實(shí)現(xiàn)更大規(guī)?；蚋?xì)致的計算11第十一頁，共二十九頁，2022年，8月28日為什么要做并行計算？問題:科學(xué)和工程問題的數(shù)值模擬與仿真計算密集數(shù)據(jù)密集網(wǎng)絡(luò)密集三種混合要求:在合理的時限內(nèi)完成計算任務(wù)秒級 制造業(yè)分鐘級 短時天氣預(yù)報(當(dāng)天)小時級 中期天氣預(yù)報(3~10日)盡可能快 長期天氣預(yù)報(氣候)可計算 湍流模擬12第十二頁，共二十九頁，2022年，8月28日13第十三頁，共二十九頁，2022年，8月28日其發(fā)展歷程可以簡單的分為兩個時代專用時代

包括向量機(jī)，MPP系統(tǒng)，SGINUMA系統(tǒng)，SUN大型SMP系統(tǒng)，也包括我國的神威，銀河，曙光1000等。

之所以稱為“專用”，并不是說它們只能運(yùn)行某種應(yīng)用，是指它們的組成部件是專門設(shè)計的，它們的CPU板，內(nèi)存板，I/O板，甚至操作系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。普及時代

高性能計算機(jī)價格下降，應(yīng)用門檻降低，應(yīng)用開始普及。兩個技術(shù)趨勢起到重要作用。

商品化趨勢使得大量生產(chǎn)的商品部件接近了高性能計算機(jī)專有部件

標(biāo)準(zhǔn)化趨勢使得這些部件之間能夠集成一個系統(tǒng)中，其中X86處理器、以太網(wǎng)、內(nèi)存部件、Linux都起到?jīng)Q定性作用。

機(jī)群系統(tǒng)是高性能計算機(jī)的一種，它的技術(shù)基礎(chǔ)和工業(yè)基礎(chǔ)都是商品化和標(biāo)準(zhǔn)化。14第十四頁，共二十九頁，2022年，8月28日Top500中的超級計算機(jī)地球模擬器ASCIQASCIWhite15第十五頁，共二十九頁，2022年，8月28日EarthSimulatorEarthsimulatorcenterNecRmax:35.86Tflops8*8*640第十六頁，共二十九頁，2022年，8月28日EarthSimulator第十七頁，共二十九頁，2022年，8月28日EarthSimulator第十八頁，共二十九頁，2022年，8月28日ASCIQ1024nodes8cpu/node10240Gflops7727Gflops第十九頁，共二十九頁，2022年，8月28日ASCIwhiteLLNLIBMSPpower3Rmax7.22Tflops第二十頁，共二十九頁，2022年，8月28日曙光1000曙光1000有36個結(jié)點(diǎn)機(jī);峰值計算速度為浮點(diǎn)25.6億次/秒，實(shí)際達(dá)到15.8億次/秒；內(nèi)存容量為1024兆字節(jié)；基于Wormhole機(jī)制的二維Mesh通訊網(wǎng)，結(jié)點(diǎn)與網(wǎng)絡(luò)通訊總帶寬為2.88GB/秒；采用基于UNIX的并行操作系統(tǒng)和并行文件系統(tǒng)；第二十一頁，共二十九頁，2022年，8月28日并行計算機(jī)-CRAYSystemName Jaguar1059000GFlopsSystemFamily CrayXTOperatingSystemCNLInterconnect XT4InternalInterconnectProcessor AMDOpteronQuadCore2300MHz(9.2GFlops)第二十二頁，共二十九頁，2022年，8月28日并行計算機(jī)-IBMSystemName Roadrunner1105000GFlopsSystemFamily IBMClusterOperatingSystemLinuxInterconnect InfinibandProcessor PowerXCell8i3200MHz(12.8GFlops)第二十三頁，共二十九頁，2022年，8月28日并行計算機(jī)-DAWNINGSystemName Dawning5000A 180600GFlopsSystemFamily DawningClusterOperatingSystemWindowsHPCserver2008andSUSEInterconnect InfinibandDDRProcessor AMDOpteronQuadCore1900MHz(7.6GFlops)第二十四頁，共二十九頁，2022年，8月28日并行計算機(jī)所用的處理器AMDOpteronXeonNoconaIntelItaniumCompaqAlphaHPPA-RISCSunUltraSPARCIBMPOWER5+,POWER6IBMBlueGeneprocessorMIPSR10000龍芯第二十五頁，共二十九頁，2022年，8月28日最新TOP500cpu分布第二十六頁，共二十九頁，2022年，8月28日并行機(jī)處理器-AMDPERFORMANCE1-WAYPERFORMANCE2-WAYPERFORMANCE4-WAYAND8-WAYAMDOpteron?200Series&2000SeriesProcessorsDesignedfor2-wayServer/WorkstationsolutionsFirstnativex86dual-coresolutionfor2-waycomputingAMDOpteron?100Series&1000SeriesProcessorsDesignedfor1-wayServer/WorkstationsolutionsFirstnativex86dual-coresolutionfor1-waycomputingAMDOpteron?800Series&8000SeriesProcessorsDesignedfor4-wayand8-wayServersolutionsFirstnativex86dual-coresolutionfor4-way/8-waycomputingAMDOpteron?ProcessorsforServersandWorkstations第二十七頁，共二十九頁，2022年，8月28日并行機(jī)處理器-Intel數(shù)據(jù)要求苛刻雙核英特爾?

至強(qiáng)?7000系列處理器

最大限度提高性能、可靠性和可擴(kuò)展性雙核英特爾?

安騰?

處理器9000大型機(jī)級服務(wù)器,具有頂級的靈活性和可靠性RISC與大型機(jī)