并行計(jì)算概述課件

并行計(jì)算

ParallelComputing基本概念并行計(jì)算

ParallelComputing基本概念2023/9/192如何滿足不斷增長(zhǎng)的計(jì)算力需求？用速度更快的硬件，也就是減少每一條指令所需時(shí)間優(yōu)化算法（或者優(yōu)化編譯）用多個(gè)處理機(jī)(器)同時(shí)解決一個(gè)問(wèn)題并行計(jì)算2023/8/62如何滿足不斷增長(zhǎng)的計(jì)算力需求？用速度更快的2023/9/193串行計(jì)算與并行計(jì)算2023/8/63串行計(jì)算與并行計(jì)算2023/9/194并行的層次程序級(jí)并行子程序級(jí)并行語(yǔ)句級(jí)并行操作級(jí)并行微操作級(jí)并行并行粒度粗細(xì)2023/8/64并行的層次程序級(jí)并行并行粒度粗細(xì)2023/9/195FLOPSFloatingpointnumberOperationsPerSecond--每個(gè)時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算的次數(shù)理論峰值＝CPU主頻＊每時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算數(shù)＊CPU數(shù)目部分處理器每時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算數(shù)：2023/8/65FLOPSFloatingpointn2023/9/1962023/8/662023/9/197Top500—2007年11月高居榜首的依然是來(lái)自IBM的“藍(lán)色基因/L”。自從2004年11月以來(lái)，該系統(tǒng)已經(jīng)連續(xù)三年遙遙領(lǐng)先，而且計(jì)算能力不斷提升，Linpack基準(zhǔn)測(cè)試性能478.2TFlop/s(每秒478.2萬(wàn)億次運(yùn)算)，而半年前還是280.6TFlop/s拿下亞軍位置的還是IBM，不過(guò)換成了一臺(tái)落成不久的“藍(lán)色基因/P”。位于德國(guó)尤里希研究中心的這套新系統(tǒng)運(yùn)算能力167.3TFlop/s，不過(guò)按照IBM的設(shè)計(jì)規(guī)劃，藍(lán)色基因/P的性能將有望突破1TFlop/s大關(guān)，即每秒一千萬(wàn)億次運(yùn)算。2023/8/67Top500—2007年11月高居榜首的依2023/9/198Top500—2007年11月第三名也是個(gè)新面孔，同時(shí)也是新墨西哥計(jì)算應(yīng)用中心(NMCAC)的第一套超級(jí)計(jì)算機(jī)，由SGI基于AltixICE8200打造，計(jì)算能力126.9TFlop/s。同時(shí)印度史上首次殺入了TOP10行列，印度計(jì)算研究實(shí)驗(yàn)室的HPClusterPlatform3000BL460c以117.9TFlop/s的性能拿到了第四位2023/8/68Top500—2007年11月第三名也是個(gè)2023/9/199供應(yīng)商－系統(tǒng)數(shù)量2023/8/69供應(yīng)商－系統(tǒng)數(shù)量2023/9/1910供應(yīng)商－計(jì)算能力2023/8/610供應(yīng)商－計(jì)算能力2023/9/1911國(guó)家分布－系統(tǒng)數(shù)量2023/8/611國(guó)家分布－系統(tǒng)數(shù)量2023/9/1912國(guó)家分布－計(jì)算能力2023/8/612國(guó)家分布－計(jì)算能力2023/9/1913體系結(jié)構(gòu)－系統(tǒng)數(shù)量2023/8/613體系結(jié)構(gòu)－系統(tǒng)數(shù)量2023/9/1914體系結(jié)構(gòu)－計(jì)算能力2023/8/614體系結(jié)構(gòu)－計(jì)算能力2023/9/1915應(yīng)用領(lǐng)域－系統(tǒng)數(shù)量2023/8/615應(yīng)用領(lǐng)域－系統(tǒng)數(shù)量2023/9/1916應(yīng)用領(lǐng)域－計(jì)算能力2023/8/616應(yīng)用領(lǐng)域－計(jì)算能力2023/9/1917操作系統(tǒng)－系統(tǒng)數(shù)量2023/8/617操作系統(tǒng)－系統(tǒng)數(shù)量2023/9/1918操作系統(tǒng)－計(jì)算能力2023/8/618操作系統(tǒng)－計(jì)算能力2023/9/1919處理器家族－系統(tǒng)數(shù)量2023/8/619處理器家族－系統(tǒng)數(shù)量2023/9/1920處理器家族－計(jì)算能力2023/8/620處理器家族－計(jì)算能力2023/9/1921系統(tǒng)數(shù)量2023/8/621系統(tǒng)數(shù)量2023/9/1922計(jì)算能力2023/8/622計(jì)算能力2023/9/19232007年中國(guó)高性能計(jì)算機(jī)性能TOP100

2023/8/6232007年中國(guó)高性能計(jì)算機(jī)性能TOP102023/9/1924并行化方法域分解（Domaindecomposition）任務(wù)分解（Taskdecomposition）流水線（Pipelining）2023/8/624并行化方法域分解（Domaindeco2023/9/1925域分解First,decidehowdataelementsshouldbedivided amongprocessorsSecond,decidewhichtaskseachprocessorshouldbedoingExample:Vectoraddition2023/8/625域分解First,decidehow2023/9/1926域分解Findthelargestelementofanarray2023/8/626域分解Findthelargest2023/9/1927域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/8/627域分解Findthelargest2023/9/1928域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/8/628域分解Findthelargest2023/9/1929域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/8/629域分解Findthelargest2023/9/1930域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/8/630域分解Findthelargest2023/9/1931域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/8/631域分解Findthelargest2023/9/1932域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU

32023/8/632域分解Findthelargest2023/9/1933域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/8/633域分解Findthelargest2023/9/1934域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/8/634域分解Findthelargest2023/9/1935域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/8/635域分解Findthelargest2023/9/1936域分解FindthelargestelementofanarrayCPU0CPU1CPU2CPU32023/8/636域分解Findthelargest2023/9/1937域分解FindthelargestelementofanarrayCPU0CPU1CPU

2CPU

32023/8/637域分解Findthelargest2023/9/1938任務(wù)（功能）分解First,dividetasksamongprocessorsSecond,decidewhichdataelementsaregoingtobeaccessed(readand/orwritten)bywhichprocessorsExample:Event-handlerforGUI2023/8/638任務(wù)（功能）分解First,divid2023/9/1939任務(wù)分解f()s()r()q()h()g()2023/8/639任務(wù)分解f()s()r()q()h()g2023/9/1940任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU

12023/8/640任務(wù)分解f()s()r()q()h()g2023/9/1941任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/8/641任務(wù)分解f()s()r()q()h()g2023/9/1942任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/8/642任務(wù)分解f()s()r()q()h()g2023/9/1943任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/8/643任務(wù)分解f()s()r()q()h()g2023/9/1944任務(wù)分解f()s()r()q()h()g()CPU0CPU2CPU12023/8/644任務(wù)分解f()s()r()q()h()g2023/9/1945流水線Specialkindoftaskdecomposition“Assemblyline”parallelismExample:3DrenderingincomputergraphicsRasterizeClipProjectModelInputOutput2023/8/645流水線Specialkindoft2023/9/1946ProcessingOneDataSet(Step1)RasterizeClipProjectModel2023/8/646ProcessingOneData2023/9/1947ProcessingOneDataSet(Step2)RasterizeClipProjectModel2023/8/647ProcessingOneData2023/9/1948ProcessingOneDataSet(Step3)RasterizeClipProjectModel2023/8/648ProcessingOneData2023/9/1949ProcessingOneDataSet(Step4)RasterizeClipProjectModelThepipelineprocesses1datasetin4steps2023/8/649ProcessingOneData2023/9/1950ProcessingTwoDataSets(Step1)RasterizeClipProjectModel2023/8/650ProcessingTwoData2023/9/1951ProcessingTwoDataSets(Time2)RasterizeClipProjectModel2023/8/651ProcessingTwoData2023/9/1952ProcessingTwoDataSets(Step3)RasterizeClipProjectModel2023/8/652ProcessingTwoData2023/9/1953ProcessingTwoDataSets(Step4)RasterizeClipProjectModel2023/8/653ProcessingTwoData2023/9/1954ProcessingTwoDataSets(Step5)RasterizeClipProjectModelThepipelineprocesses2datasetsin5steps2023/8/654ProcessingTwoData2023/9/1955PipeliningFiveDataSets(Step1)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/8/655PipeliningFiveData2023/9/1956PipeliningFiveDataSets(Step2)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/8/656PipeliningFiveData2023/9/1957PipeliningFiveDataSets(Step3)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU32023/8/657PipeliningFiveData2023/9/1958PipeliningFiveDataSets(Step4)Dataset0Dataset1Dataset2Dataset3Dataset4CPU0CPU1CPU2CPU320