并行計(jì)算機(jī)與并行計(jì)算

并行計(jì)算機(jī)與并行計(jì)算第1頁(yè)，共41頁(yè)，2023年，2月20日，星期一情況介紹分子反應(yīng)動(dòng)力學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室交叉分子束動(dòng)力學(xué)課題組理論與計(jì)算化學(xué)國(guó)際合作中心研究員2人，其中一位為中國(guó)科學(xué)院院士，高級(jí)訪問學(xué)者1人，博士后研究人員6人，博士研究生18人，碩士研究生4人與多個(gè)國(guó)際學(xué)術(shù)團(tuán)隊(duì)有很好的合作，與紐約大學(xué)化學(xué)系張?jiān)鲚x教授合作建立理論與計(jì)算化學(xué)國(guó)際合作研究中心第2頁(yè)，共41頁(yè)，2023年，2月20日，星期一主要研究工作實(shí)驗(yàn)方面：

交叉分子束對(duì)光解，碰撞反應(yīng)，立體化學(xué)動(dòng)力學(xué)的研究激光誘導(dǎo)熒光方法對(duì)光解，立體化學(xué)動(dòng)力學(xué)的研究飛秒激光對(duì)超快動(dòng)力學(xué)過程的研究理論方面：

準(zhǔn)經(jīng)典軌線方法對(duì)反應(yīng)動(dòng)態(tài)學(xué)的研究量子力學(xué)方法對(duì)反應(yīng)動(dòng)態(tài)學(xué)的研究復(fù)雜體系勢(shì)能面的構(gòu)造，擬和量子化學(xué)及其他方法對(duì)分子結(jié)構(gòu)，物質(zhì)特性，化學(xué)反應(yīng)過程的研究1997-2001年，發(fā)表文章84篇，其中英文66篇第3頁(yè)，共41頁(yè)，2023年，2月20日，星期一HPCServer第4頁(yè)，共41頁(yè)，2023年，2月20日，星期一并行計(jì)算機(jī)與并行計(jì)算為什么要建造并行計(jì)算機(jī)并行計(jì)算機(jī)的類型什么是并行計(jì)算，并行進(jìn)程的特性及并行模型的分類工作站集群(COW)的基本結(jié)構(gòu)中國(guó)科學(xué)院十五計(jì)劃中關(guān)于并行計(jì)算部分第5頁(yè)，共41頁(yè)，2023年，2月20日，星期一為什么要建造并行計(jì)算機(jī)第6頁(yè)，共41頁(yè)，2023年，2月20日，星期一什么是超級(jí)計(jì)算環(huán)境超級(jí)計(jì)算（Supercomputing），從技術(shù)的意義上說，是為了在問題的求解上具有更快的速度、更高的精度、更大的規(guī)模、更好的性能價(jià)格比而采用的非主流計(jì)算的設(shè)施和方式。

第7頁(yè)，共41頁(yè)，2023年，2月20日，星期一計(jì)算速度的要求問題:科學(xué)和工程問題的數(shù)值模擬與仿真計(jì)算密集數(shù)據(jù)密集網(wǎng)絡(luò)密集三種混合要求:在合理的時(shí)限內(nèi)完成計(jì)算任務(wù)秒級(jí) 制造業(yè)分鐘級(jí) 短時(shí)天氣預(yù)報(bào)(當(dāng)天)小時(shí)級(jí) 中期天氣預(yù)報(bào)(3~10日)盡可能快 長(zhǎng)期天氣預(yù)報(bào)(氣候)可計(jì)算 湍流模擬第8頁(yè)，共41頁(yè)，2023年，2月20日，星期一問題的規(guī)模第9頁(yè)，共41頁(yè)，2023年，2月20日，星期一計(jì)算機(jī)的規(guī)模:TOP10(2001年7月)第10頁(yè)，共41頁(yè)，2023年，2月20日，星期一IBMBuildsWorld'sFastestSupercomputertoSimulateNuclearTestingforU.S.EnergyDepartment第11頁(yè)，共41頁(yè)，2023年，2月20日，星期一以動(dòng)物的食物鏈為例第12頁(yè)，共41頁(yè)，2023年，2月20日，星期一第13頁(yè)，共41頁(yè)，2023年，2月20日，星期一打破高性能計(jì)算的壁壘210021002100210021002100210021002100單處理器共享存儲(chǔ)局域并行機(jī)群廣域并行機(jī)群G

F

L

O

P

S第14頁(yè)，共41頁(yè)，2023年，2月20日，星期一并行計(jì)算機(jī)分類第15頁(yè)，共41頁(yè)，2023年，2月20日，星期一Flynn分類法SISD（單指令流單數(shù)據(jù)流）系統(tǒng)SIMD（單指令流多數(shù)據(jù)流）系統(tǒng)MISD（多指令流單數(shù)據(jù)流）系統(tǒng)MIMD（多指令流多數(shù)據(jù)流）系統(tǒng)五種物理機(jī)模型:實(shí)際的機(jī)器體系結(jié)構(gòu)

PVP(ParallelVectorProcessor,并行向量機(jī))

SMP(SymmetricMultiprocessor,對(duì)稱多處理機(jī))

MPP(MassivelyParallelProcessor,大規(guī)模并行處理機(jī))

COW(ClusterofWorkstation,工作站機(jī)群)

DSM(DistributedSharedMemory,分布共享存儲(chǔ)多處理機(jī))第16頁(yè)，共41頁(yè)，2023年，2月20日，星期一幾種我們常見的并行計(jì)算機(jī)CPUCPUCPU…總線或交叉開關(guān)SM(a)SMP,物理上單一地址空間CPUCPUCPU…定制網(wǎng)絡(luò)LMLMLM虛擬分布共享存儲(chǔ)(DSM)(b)DSM,邏輯上單一地址空間P/CP/CP/C…定制/標(biāo)準(zhǔn)網(wǎng)絡(luò)LMLMLM(c)Cluster/COW,物理/邏輯上多地址空間SMPMPPMPP…WANLMDSMSM(d)Grid(ClusterofClusters)第17頁(yè)，共41頁(yè)，2023年，2月20日，星期一什么是并行計(jì)算，并行進(jìn)程的表述及并行模型的分類第18頁(yè)，共41頁(yè)，2023年，2月20日，星期一什么是并行計(jì)算進(jìn)程1發(fā)送信息進(jìn)程2接收信息傳統(tǒng)的串行計(jì)算，分為“指令”和“數(shù)據(jù)”兩個(gè)部分，并在程序執(zhí)行時(shí)“獨(dú)立地申請(qǐng)和占有”內(nèi)存空間，且所有計(jì)算均局限于該內(nèi)存空間。

并行計(jì)算將進(jìn)程相對(duì)獨(dú)立的分配于不同的節(jié)點(diǎn)上，由各自獨(dú)立的操作系統(tǒng)調(diào)度，享有獨(dú)立的CPU和內(nèi)存資源（內(nèi)存可以共享）；進(jìn)程間相互信息交換通過消息傳遞；

進(jìn)程1

進(jìn)程2

第19頁(yè)，共41頁(yè)，2023年，2月20日，星期一并行算法的表述在并行算法的表述中，所有描述串行算法的語(yǔ)句及進(jìn)程均可調(diào)用，而只是為了表達(dá)并行性而引入幾條所謂的并行語(yǔ)句當(dāng)幾個(gè)算法步要并行執(zhí)行時(shí)，我們可以寫作

Dostepitojinparallel

step

i

step

i+1 …

stepj或者是：當(dāng)幾個(gè)處理器同時(shí)執(zhí)行相同的操作時(shí)，我們可以寫作

foralliparalleldo . . . endfor第20頁(yè)，共41頁(yè)，2023年，2月20日，星期一例如n=2**k個(gè)數(shù)的求和輸入：n=2**k個(gè)數(shù)存入數(shù)組A中輸出：S=sigma(A(i))begin(1)fori=1to4paralleldo B(i)A(i)endfor(2)forh=1tologn=2do fori=1ton/2**h=1paralleldo B(i)B(2i-1)+B(2i) endforendfor(3)SB(i)end把每一個(gè)A(i)賦給B(i)n=4,k=2,就是4個(gè)數(shù)的加和h=1to2h=1I=1to2(4/2**1) B(1)B(1)+B(2)B(2)B(3)+B(4)h=2I=1to1(4/2**2) B(1)B(1)+B(2)SB(1)若有2**2=4個(gè)處理器，則在1(h)級(jí)可能的并行運(yùn)算數(shù)目為4/2**1=2.則運(yùn)算任務(wù)分?jǐn)偨o前兩個(gè)處理器第21頁(yè)，共41頁(yè)，2023年，2月20日，星期一硬件結(jié)構(gòu)抽象模型(自然模型)共享存儲(chǔ)的模型和語(yǔ)言(適于PVP,SMP,DSM)X3H5,PthreadOpenMP消息傳遞的模型和語(yǔ)言(適于MPP,Cluster,COW)MPI(Fortran,C,Gamess,Vasp)PVM(Fortran,C)數(shù)據(jù)并行的模型和語(yǔ)言(適于在MPP/Cluster上實(shí)現(xiàn)SPMD應(yīng)用)Fortran90HPF(HighPerformanceFortran)并行模型的分類第22頁(yè)，共41頁(yè)，2023年，2月20日，星期一基于程序構(gòu)造的模型CSPLinda（Fortran,C,Gaussian）Global(Molpro，Columbus)基于問題描述的模型GAMMAUNITY基于并行計(jì)算理論的模型PRAMBSPLogP第23頁(yè)，共41頁(yè)，2023年，2月20日，星期一Yale大學(xué)NicholasCarriero和DavidGelernter于1986年基于分散數(shù)據(jù)結(jié)構(gòu)和共享存儲(chǔ)系統(tǒng)的并行計(jì)算模型.

Linda模型定義了一個(gè)功能強(qiáng)大的邏輯存儲(chǔ)器(TS)和在其上的一組核心操作(in,out,read,eval),它們能夠方便地嵌入到不同的語(yǔ)言(如,C,Fortran)中而構(gòu)成相應(yīng)的并行語(yǔ)言(C-Linda和Fortran-Linda等)該模型同時(shí)還支持動(dòng)態(tài)程序設(shè)計(jì)和兩種不同的編程風(fēng)格(Master/Slaver和Divide-and-Conquer),為用戶開發(fā)不同類型的應(yīng)用程序提供了靈活的手段.Linda模型第24頁(yè)，共41頁(yè)，2023年，2月20日，星期一（進(jìn)程從TS中提取任務(wù)或數(shù)據(jù)進(jìn)行計(jì)算,并將結(jié)果或生成的新任務(wù)放入TS中.并行執(zhí)行的進(jìn)程之間通過TS進(jìn)行間接的通信和同步.TS是一個(gè)可被多個(gè)進(jìn)程共享的、能同時(shí)存放數(shù)據(jù)和任務(wù)的數(shù)據(jù)箱）TS共享數(shù)據(jù)箱進(jìn)程2進(jìn)程4進(jìn)程3進(jìn)程1第25頁(yè)，共41頁(yè)，2023年，2月20日，星期一Linda模型的應(yīng)用－LindainGaussianHF:SPOptFreqMP2:SpOptFreqDFT:SPOptFreq－可以將串行代碼改編為并行代碼支持C和Fortran語(yǔ)言第26頁(yè)，共41頁(yè)，2023年，2月20日，星期一

MPI已經(jīng)成為一種標(biāo)準(zhǔn)，應(yīng)用越來越廣泛。而最流行的MPI工具集當(dāng)屬mpich〔/mpi/mpich〕，是目前高效率的超大規(guī)模并行計(jì)算（1000個(gè)處理器）最可信賴的平臺(tái)。在當(dāng)前所有的消息傳遞軟件中,最重要最流行的是MPI,它能運(yùn)行在所有的并行平臺(tái)上,包括SMP和PVP.二者已經(jīng)在WindowsNT和Windows95這樣的非Unix平臺(tái)上實(shí)現(xiàn).程序設(shè)計(jì)語(yǔ)言支持C,Fortran和Java.在國(guó)產(chǎn)的三大并行機(jī)系列神威、銀河和曙光上都實(shí)現(xiàn)了對(duì)MPI和支持.MPI(MessagePassingInterface)MPI模型目標(biāo):是提供一個(gè)實(shí)際可用的、可移植的、高效的和靈活的消息傳遞接口標(biāo)準(zhǔn).MPI以語(yǔ)言獨(dú)立的形式來定義這個(gè)接口庫(kù),并提供了與C、Fortran和Java語(yǔ)言的綁定.這個(gè)定義不包含任何專用于某個(gè)特別的制造商、操作系統(tǒng)或硬件的特性.由于這個(gè)原因,MPI在并行計(jì)算界被廣泛地接受.第27頁(yè)，共41頁(yè)，2023年，2月20日，星期一MPI并行程序設(shè)計(jì)平臺(tái)由標(biāo)準(zhǔn)消息傳遞函數(shù)及相關(guān)輔助函數(shù)構(gòu)成，多個(gè)進(jìn)程通過調(diào)用這些函數(shù)（類似調(diào)用子程序），進(jìn)行通信；一個(gè)程序同時(shí)啟動(dòng)多份，形成多個(gè)獨(dú)立的進(jìn)程，在不同的處理機(jī)上運(yùn)行，擁有獨(dú)立的內(nèi)存空間，進(jìn)程間通信通過調(diào)用MPI函數(shù)來實(shí)現(xiàn)；每個(gè)進(jìn)程開始執(zhí)行時(shí)，將獲得一個(gè)唯一的序號(hào)（rank）。例如啟動(dòng)P個(gè)進(jìn)程，序號(hào)依次為0，1，…，P-1；MPI并行進(jìn)程的實(shí)現(xiàn)第28頁(yè)，共41頁(yè)，2023年，2月20日，星期一消息傳遞是相對(duì)于進(jìn)程間通信方式而言的，與具體并行機(jī)存儲(chǔ)模式無關(guān)，任何支持進(jìn)程間通信的并行機(jī)，均可支持消息傳遞并行程序設(shè)計(jì)；幾乎有共享和分布存儲(chǔ)并行計(jì)算環(huán)境均支持進(jìn)程間的消息傳遞通信；進(jìn)程0發(fā)送一個(gè)整數(shù)給進(jìn)程1；進(jìn)程1將該數(shù)加1，傳遞給進(jìn)程2；進(jìn)程2再將該數(shù)加1，再傳遞給進(jìn)程3；依次類推，最后，進(jìn)程N(yùn)-1將該數(shù)傳遞給進(jìn)程0，由進(jìn)程1負(fù)責(zé)廣播該數(shù)給所有進(jìn)程，并打印輸出。進(jìn)程1傳遞信息進(jìn)程3傳遞信息進(jìn)程2傳遞信息進(jìn)程0傳遞信息第29頁(yè)，共41頁(yè)，2023年，2月20日，星期一在商品化的并行機(jī)上,MPI的環(huán)境一般是由系統(tǒng)管理人員事先設(shè)置好的，

用戶不需要變動(dòng)它.而在用戶自已配置的NOW(工作站機(jī)群)上運(yùn)行MPI程序

則需要設(shè)置以下配置文件：

(1)由于加載程序到結(jié)點(diǎn)上運(yùn)行需要調(diào)用了Unix系統(tǒng)的rsh命令，所以

需要在每個(gè)結(jié)點(diǎn)上設(shè)置.rhosts文件，以使rsh能正確執(zhí)行；

(2)由于NOW環(huán)境的異構(gòu)性，需要在啟動(dòng)時(shí)指定運(yùn)行結(jié)點(diǎn)的體系結(jié)構(gòu)；

若未指定，是指使用與啟動(dòng)并行程序的結(jié)點(diǎn)具有相同體系結(jié)構(gòu)的結(jié)點(diǎn).

在啟動(dòng)并行程序的機(jī)器里，具有相同體系結(jié)構(gòu)的幾臺(tái)機(jī)器的名字存放

在一個(gè)名為$MPICH/util/machines/machines.<arch>的文件中，一臺(tái)

機(jī)器的名字占有文件的一行，其中$MPICH是一個(gè)環(huán)境變量，指明MPICH

軟件安裝后所在的目錄.并行程序加載運(yùn)行時(shí)是按照文件中機(jī)器名字的

先后順序依次加載的.

商業(yè)機(jī)中的MPI第30頁(yè)，共41頁(yè)，2023年，2月20日，星期一程序用以下并行C編譯器mpcc來編譯:執(zhí)行下列命令將可執(zhí)行程序myprog加載到n個(gè)節(jié)點(diǎn)上:mpccmyprog.c–omyprogmpirunmyprog–npn

MPI進(jìn)程是重型的單線進(jìn)程.它們擁有不同的地址空間.因此,一個(gè)進(jìn)程不能直接訪問另一個(gè)進(jìn)程地址空間中的變量.進(jìn)程間的通信用消息傳遞來實(shí)現(xiàn).MPI的編譯與運(yùn)行第31頁(yè)，共41頁(yè)，2023年，2月20日，星期一工作站集群(COW)的基本結(jié)構(gòu)第32頁(yè)，共41頁(yè)，2023年，2月20日，星期一

COW簡(jiǎn)介工作站機(jī)群（ClusterofWorkstation）是將一群工作站用某種結(jié)構(gòu)的網(wǎng)絡(luò)互聯(lián)起來，充分利用各工作站的資源，統(tǒng)一調(diào)度、協(xié)調(diào)處理，以實(shí)現(xiàn)高效并行計(jì)算。通信原語(yǔ)庫(kù)以及并行程序設(shè)計(jì)環(huán)境工具:

MPI、PVM、linda互聯(lián)網(wǎng)絡(luò)：

LAN（MyricomMyrinet/Gigabite/Ethernet）節(jié)點(diǎn)：

高檔微機(jī)，對(duì)稱多處理機(jī)SMP操作系統(tǒng)：

Unix、Linux、NT、改進(jìn)和修改的操作系統(tǒng)通信協(xié)議：

TCP/IP、特定的協(xié)議第33頁(yè)，共41頁(yè)，2023年，2月20日，星期一

基本實(shí)現(xiàn)原理1網(wǎng)絡(luò)文件系統(tǒng)NFS(Unix、Linux)、網(wǎng)絡(luò)驅(qū)動(dòng)器(Windows)，MFS(Mosixkernel)...2網(wǎng)絡(luò)信息服務(wù)NIS(Unix、Linux)、NIS+(Solaris)、域（NT）3并行開發(fā)環(huán)境及編譯器MPI、PVM，Linda,HPF,GNUGCC/G77

…4數(shù)學(xué)庫(kù)

FreeScalapack...5通信軟件

FreeMyricomGM6作業(yè)管理

GNUOpenPBS7系統(tǒng)管理

GNUSCMS8監(jiān)控管理

GNUOSCAR9負(fù)載均衡

Mosix第34頁(yè)，共41頁(yè)，2023年，2月20日，星期一?

軟件配置：操作系統(tǒng)：每一個(gè)節(jié)點(diǎn)都裝有多用戶，多任務(wù)的RH7.2linux(2.4.19)網(wǎng)絡(luò)文件系統(tǒng)：NFS，MFS網(wǎng)絡(luò)信息系統(tǒng)：NIS編譯器：GNUC,GNUFortran77,AbsoftF95F90F77,PGIF90F77CC++并行開發(fā)環(huán)境：LINDA,MPI負(fù)載均衡：Mosix數(shù)據(jù)并行語(yǔ)言高性能編譯器和運(yùn)行庫(kù)：HF77,PGIHPF，F(xiàn)reeScalapack計(jì)算軟件：ParallelizedGaussian98A.9(withLindasupport),Gamess,Molpro,各種自編程序和交流程序HPCServer第35頁(yè)，共41頁(yè)，2023年，2月20日，星期一中國(guó)科學(xué)院十五計(jì)劃中關(guān)于并行計(jì)算部分第36頁(yè)，共41頁(yè)，2023年，2月20日，星期一中國(guó)科學(xué)院網(wǎng)絡(luò)信息中心高性能計(jì)算研究室現(xiàn)有計(jì)算設(shè)備：－PowerChallengeXL并行對(duì)稱多處理系統(tǒng)－日立SR2201