class1-并行計(jì)算簡介

并行程序設(shè)計(jì)任課教師：主要內(nèi)容

并行計(jì)算介紹

Linux

操作系統(tǒng)與編程環(huán)境

并行編程環(huán)境－－MPI/OpenMP(重點(diǎn))并行程序性能評(píng)價(jià)與優(yōu)化

C

編程介紹

并行算法設(shè)計(jì)（數(shù)值計(jì)算）（重點(diǎn)）1.

什么是并行計(jì)算?傳統(tǒng)上，一般的軟件設(shè)計(jì)都是串行式計(jì)算：

軟件在一臺(tái)只有一個(gè)CPU的電腦上運(yùn)行；問題被分解成離散的指令序列；指令被一條接一條的執(zhí)行；在任何時(shí)間CPU上最多只有一條指令在運(yùn)行在最簡單的情形下，并行計(jì)算是使用多個(gè)計(jì)算資源去解決可計(jì)算問題。

用多核CPU來運(yùn)行；問題被分解成離散的部分可以被同時(shí)解決；每一部分被細(xì)分成一系列指令；每一部分的指令可以在不同的CPU上同時(shí)的執(zhí)行；計(jì)算資源可以包括：多核CPU；任意數(shù)量的CPU用網(wǎng)絡(luò)連接起來；或者以上兩者結(jié)合；可并行計(jì)算問題通常展示出如下的特性：能分解成可以同時(shí)解決的離散的工作塊；同一時(shí)刻可以執(zhí)行多條程序指令；通常用多個(gè)計(jì)算資源解決問題所花的時(shí)間要比單個(gè)計(jì)算資源要短；并行計(jì)算的用途在歷史上，并行計(jì)算被認(rèn)為是高端計(jì)算，并用于為復(fù)雜的科學(xué)計(jì)算和基于真實(shí)世界的工程問題建模。大氣層、地球、環(huán)境物理學(xué)應(yīng)用、核能、原子能、凝聚態(tài)、高壓、溶解、光電子；生物科學(xué)、生物工程、基因?qū)W化學(xué)、分子科學(xué)地理和地震學(xué)機(jī)械工程、從彌補(bǔ)術(shù)到空間飛行器電氣工程、電路設(shè)計(jì)、微電子學(xué)計(jì)算機(jī)科學(xué)、數(shù)學(xué)

今天，商務(wù)應(yīng)用是推動(dòng)快速計(jì)算機(jī)發(fā)展的更大的推動(dòng)力。這些應(yīng)用需要用復(fù)雜的方法處理大量數(shù)據(jù)。例如：數(shù)據(jù)庫、數(shù)據(jù)挖掘BigData石油勘探

網(wǎng)絡(luò)搜索引擎、基于網(wǎng)絡(luò)的商務(wù)服務(wù)醫(yī)學(xué)成像和診斷制藥設(shè)計(jì)國有企業(yè)或跨國企業(yè)的管理金融經(jīng)濟(jì)建模虛擬現(xiàn)實(shí)

（娛樂，游戲主機(jī)等）網(wǎng)絡(luò)視頻和多媒體技術(shù)協(xié)同工作環(huán)境創(chuàng)：戰(zhàn)紀(jì)簡介20世紀(jì)80年代，電子軟體天才凱文·弗林創(chuàng)建了英康公司，將人類帶入一個(gè)全新的時(shí)代?？墒窃谳x煌的時(shí)代開創(chuàng)不久后，凱文神秘失蹤。在此之后，凱文年幼的兒子薩姆繼承了父親的位置，實(shí)際工作則由其他工作人員主持。薩姆天資聰穎，充滿冒險(xiǎn)精神，經(jīng)常給英康的高層們?nèi)莵砺闊?。這一天，他得知一間荒廢已久的工作室內(nèi)竟傳來父親的訊息。薩姆前去探查，結(jié)果竟進(jìn)入一個(gè)全數(shù)字化的虛擬世界。這個(gè)世界的掌控者克魯與父親有著同樣的容貌，卻野心勃勃，邪惡無比。薩姆被迫卷入一場充滿陰謀的電子爭霸戰(zhàn)中……渲染與超級(jí)計(jì)算機(jī)1985年，工業(yè)光魔又在《年輕的福爾摩斯》中創(chuàng)造了史上第一個(gè)計(jì)算機(jī)動(dòng)畫渲染角色：彩色玻璃騎士。雖然影片中計(jì)算機(jī)生成的鏡頭只有短短30秒時(shí)間，以當(dāng)時(shí)的計(jì)算機(jī)技術(shù)卻花費(fèi)了6個(gè)月時(shí)間來完成?！栋⒎策_(dá)》推動(dòng)超級(jí)計(jì)算機(jī)的電影制作

電影《阿凡達(dá)》經(jīng)過14年的醞釀，耗資5億美元（約合人民幣27.2億元），提供2D、3D和IMAX-3D三種制式供觀眾選擇，可以說這是一部電影史上的豐碑。Weta

Digital公司負(fù)責(zé)該部影片視覺特效的公司，在為《阿凡達(dá)》制作炫目三維效果時(shí)也必須打破自己的一些紀(jì)錄。據(jù)資料顯示，2006年Weta

Digital開始著手《阿凡達(dá)》方面的工作時(shí)，公司的

“渲染墻”大約包含

4,400個(gè)CPU核心，存儲(chǔ)系統(tǒng)大約有100TB。到《阿凡達(dá)》制作結(jié)束時(shí)，公司的渲染墻中大約有35,000個(gè)CPU核心，存儲(chǔ)系統(tǒng)也達(dá)到3000TB。整個(gè)《阿凡達(dá)》渲染任務(wù)之繁重，逼迫Weta

Digital公司計(jì)算能力增長了10倍，最終按時(shí)完成客戶要求。Weta

Digital

公司采用了超級(jí)計(jì)算機(jī)集群平臺(tái)作為其解決方案，操作系統(tǒng)是我們熟知的Linux，在TOP

500超級(jí)計(jì)算機(jī)中排名也從最初的400多上升到了190多名?！栋⒎策_(dá)》所使用的超級(jí)計(jì)算機(jī)總內(nèi)存有

104TB，內(nèi)聯(lián)采用的是萬兆以太網(wǎng)。整個(gè)超級(jí)計(jì)算機(jī)的每一個(gè)節(jié)點(diǎn)型號(hào)是BL2x220c，它在一個(gè)刀片內(nèi)放兩臺(tái)服務(wù)器，每服務(wù)器有兩個(gè)4核CPU，節(jié)點(diǎn)CPU核心選擇Intel服務(wù)器專用Xeon處理器。這套超級(jí)計(jì)算機(jī)渲染環(huán)境在2008年擁有4096個(gè)CPU內(nèi)核，到2009年增加到5936個(gè)CPU內(nèi)核，龐大的超級(jí)計(jì)算機(jī)集群已經(jīng)成為除了導(dǎo)演和演員之外全片最大的貢獻(xiàn)者。它們用自己穩(wěn)定的工作，根據(jù)動(dòng)畫制作師劃定的標(biāo)準(zhǔn)，渲染《阿凡達(dá)》每一幀靜態(tài)圖片，最終拼接成全片。整部電影大約3

PB的數(shù)據(jù)存放在BlueArc機(jī)構(gòu)和NetApp機(jī)構(gòu)的存儲(chǔ)器上，數(shù)據(jù)傳輸通過光纖通道完成。電影完成時(shí)一幀的數(shù)據(jù)是12MB，一秒鐘24幀，每分鐘的數(shù)據(jù)就有

17.28

GB，整部《阿凡達(dá)》電影產(chǎn)生的數(shù)據(jù)據(jù)說在3PB左右，需要3000塊個(gè)人電腦的1TB容量硬盤才能完成對(duì)數(shù)據(jù)的存儲(chǔ)阿凡達(dá)高清圖片

2.

為什么使用并行計(jì)算?

1)

節(jié)省時(shí)間和成本

理論上，使用更多的資源會(huì)使一個(gè)任務(wù)提前完成，而且會(huì)節(jié)約潛在的成本。況且可以使用便宜的、甚至市面將要淘汰的CPU來構(gòu)建并行聚簇或者成本更低的GPU（顯卡）來實(shí)現(xiàn)很多問題是相當(dāng)龐大而復(fù)雜的，尤其是當(dāng)計(jì)算機(jī)的內(nèi)存受到限制的時(shí)候，用單個(gè)計(jì)算機(jī)來解決是不切實(shí)際或者根本不可能的。例如：a.

"GrandChallenge"(/wiki/Grand_Challenge)

問題需要Peta級(jí)浮點(diǎn)運(yùn)算能力和存儲(chǔ)空間的計(jì)算資源。b.網(wǎng)絡(luò)搜索引擎和網(wǎng)絡(luò)數(shù)據(jù)庫每秒鐘要執(zhí)行上百萬次的處理。2)解決更大規(guī)模的問題

單一的計(jì)算資源在同一時(shí)刻只能做一件事情。多個(gè)計(jì)算資源能夠同時(shí)做很多事情。例如：

AccessGrid(/)提供一個(gè)全球的合作網(wǎng)絡(luò)，在這里來自世界上不同國家的人們可以開會(huì)并“現(xiàn)場”指導(dǎo)工作。3)支持并行4)使用非本地資源

/wiki/%E9%A6%96%E9%A1%B5當(dāng)缺少本地計(jì)算資源的時(shí)候可以使用廣泛的網(wǎng)絡(luò)或Internet計(jì)算資源。例如：a.

SETI@home()

使用超過330000個(gè)計(jì)算機(jī)來執(zhí)行每秒超過528T次浮點(diǎn)運(yùn)算；(August04,2008)b.

Folding@home()使用超過340,000

計(jì)算機(jī)來執(zhí)行每秒4.2P次浮點(diǎn)運(yùn)算

(November4,2008)云計(jì)算5)

串行計(jì)算的限制

在理論上和實(shí)際上，想要輕易地制造更快的串行計(jì)算機(jī)存在著巨大的限制。a.

傳輸速度——線性計(jì)算機(jī)的執(zhí)行速度直接取決于數(shù)據(jù)在硬件中傳輸?shù)乃俣取９馑俚慕^對(duì)限制是每納秒30cm，銅導(dǎo)線是每納秒9cm。不斷提升的執(zhí)行速度更加靠近極限。b.

微型化的極限——處理器技術(shù)使芯片集成了更多的晶體管。但是，即使使用分子或者原子級(jí)別的組件也會(huì)很快達(dá)到芯片集成晶體管的極限。c.

經(jīng)濟(jì)上的限制——讓單個(gè)芯片變得更快需要增加昂貴的投入。用多個(gè)一般的芯片來取代單個(gè)高性能的芯片或許性能會(huì)更好而且更便宜現(xiàn)在的計(jì)算機(jī)體系結(jié)構(gòu)越來越依賴于硬件層次的并行來提高性能：a

多個(gè)執(zhí)行單元b

多核3.

高性能計(jì)算機(jī)基本知識(shí)FLOPS是floating-pointoperationspersecond每秒所執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)的英文縮寫。它是衡量一個(gè)電腦計(jì)算能力的標(biāo)準(zhǔn)。最后面的S是秒的意思，最前面的p是個(gè)常量，1P=1024T1T=1024G1G=1024M1M=1024K這里的PFLOPS就是每秒運(yùn)算能力為一千萬億次。1PFLOPS等于1千萬億次浮點(diǎn)指令/秒。一個(gè)MFLOPS(megaFLOPS)等于每秒1百萬(=10^6)次的浮點(diǎn)運(yùn)算，一個(gè)GFLOPS(gigaFLOPS)等于每秒10億(=10^9)次的浮點(diǎn)運(yùn)算一個(gè)

TFLOPS

(teraFLOPS)等于每秒1萬億(=10^12)次的浮點(diǎn)運(yùn)算一個(gè)PFLOPS(petaFLOPS)等于每秒1千萬億(=10^15)次的浮點(diǎn)運(yùn)算。GFLOPS：微處理器運(yùn)算峰值IntelXeon3.6GHz:<1.8GFLOPSIntelPentium4HT3.6Ghz:7GFLOPSIntelCore2DuoE430014GFLOPSIntelCore2DuoE840024GFLOPSAMDPhenom9950:29.05GFLOPSIntelCore2QuadQ820037GFLOPSIntelCore2QX9770:39.63GFLOPSAMDPhenomIIx4955:42.13GFlopSIntelCorei7-965:69.23GFLOPSIntelCorei7-980XE

:107.6GFLOPSIntelCorei5-2500K@4.5GHz:123.35GFLOPS(w/AVXinstructionset)IBMPOWER7:264.96GFLOPSnVIDIAGeforce8800Ultra（G80-450GPU）:393.6GFLOPSnVIDIAGeforceGTX280（G200-300GPU）:720GFLOPSAMDRadeonHD3870（RV670GPU）:497GFLOPSAMDRadeonHD4870（RV770GPU）:1008GFlopsTFLOPS：顯卡或者早期并行機(jī)nVIDIAGeforceGTX580（GF110-375GPU）:2.37TFLOPSAMDRadeonHD6990（R900GPU）:4.98TFLOPSEarthSimulator:35.61TFLOPSBlueGene/L:135.5TFLOPS曙光Dawning5000A:230TFLOPSPFLOPS：當(dāng)代超算平臺(tái)IBMRoadrunner：1.026PFLOPSJaguar：1.75PFLOPS天河一號(hào)：2.566PFLOPSFolding@home運(yùn)算平臺(tái)：4.769PFLOPSBOINC運(yùn)算平臺(tái)：6.282PFLOPS(持續(xù)增加中)IBMMira:8.16PFLOPS京：10.51PFLOPSIBMSequoia:16.32PFLOPS。。。。。。。TOP500Ranking20154.學(xué)習(xí)內(nèi)容以及目標(biāo)？目標(biāo)：利用多個(gè)核或者多處理器以