并行算法的抽象模型

并行算法的抽象模型并行算法的定義和分類并行算法的定義算法并行算法：一些可同時執(zhí)行的諸進(jìn)程的集合，這些進(jìn)程互相作用和協(xié)調(diào)動作從而達(dá)到給定問題的求解。并行算法的分類數(shù)值計算和非數(shù)值計算同步算法和異步算法分布算法確定算法和隨機(jī)算法并行算法的表達(dá)描述語言可以使用類Algol、類Pascal等；在描述語言中引入并行語句。并行語句示例Par-do語句（Doinparallle）算法要并行執(zhí)行

fori=1tonpar-do……endforforall語句（幾個處理器同時執(zhí)行相同的操作）

forallPi,where0≤i≤k……endfor并行算法的復(fù)雜性度量串行算法的復(fù)雜性度量最壞情況下的復(fù)雜度(Worst-CASEComplexity)期望復(fù)雜度(ExpectedComplexity)并行算法的幾個復(fù)雜性度量指標(biāo)運(yùn)行時間t(n):包含計算時間和通訊時間，分別用計算時間步和選路時間步作單位。n為問題實(shí)例的輸入規(guī)模。處理器數(shù)p(n)并行算法成本c(n):c(n)=t(n)p(n)總運(yùn)算量W(n):并行算法求解問題時所完成的總的操作步數(shù)。

并行算法的復(fù)雜性度量Brent定理令W(n)是某并行算法A在運(yùn)行時間T(n)內(nèi)所執(zhí)行的運(yùn)算量，則A使用p臺處理器可在t(n)=O(W(n)/p+T(n))時間內(nèi)執(zhí)行完畢。W(n)和c(n)密切相關(guān)P=O(W(n)/T(n))時，W(n)和c(n)兩者是漸進(jìn)一致的對于任意的p，c(n)?W(n)一個算法在運(yùn)行過程中，不一定都能充分地利用有效地處理器去工作。并行算法的同步同步概念同步是在時間上強(qiáng)使各執(zhí)行進(jìn)程在某一點(diǎn)必須互相等待；可用軟件、硬件和固件的辦法來實(shí)現(xiàn)。同步語句示例算法4.1共享存儲多處理器上求和算法輸入：A=(a0,…,an-1),處理器數(shù)p

輸出：S=ΣaiBegin(1)S=0(2.3)lock(S)(2)forallPiwhere0≤i≤p-1

doS=S+L(2.1)L=0(2.4)unlock(S)(2.2)forj=itonsteppdoendforL=L+ajEndendforendfor并行算法的通信通信（使用通信原語）共享存儲多處理器使用：globalread(X,Y)和globalwrite(X,Y)分布存儲多計算機(jī)使用：send(X,i)和receive(Y,j)通信語句示例算法4.2分布存儲多計算機(jī)上矩陣向量乘算法

輸入：處理器數(shù)p,A劃分為B=A[1..n,(i-1)r+1..ir],x劃分為w=w[(i-1)r+1;ir]

輸出：P1保存乘積AXBegin(1)Computez=Bw(2)ifi=1thenyi=0elsereceive(y,left)endif(3)y=y+z(4)send(y,right)(5)ifi=1thenreceive(y,left)End抽象模型的概念并行計算模型通常指從并行算法的設(shè)計和分析出發(fā)，將各種并行計算機(jī)（至少某一類并行計算機(jī)）的基本特征抽象出來，形成一個抽象的計算模型。從更廣的意義上說，并行計算模型為并行計算提供了硬件和軟件界面，在該界面的約定下，并行系統(tǒng)硬件設(shè)計者和軟件設(shè)計者可以開發(fā)對并行性的支持機(jī)制，從而提高系統(tǒng)的性能。并行計算機(jī)的抽象模型并行計算機(jī)的理論模型是從物理模型抽象的；為開發(fā)并行算法提供了一種方便的框架；用這些模型可求得并行計算機(jī)的理論性能界限；可在芯片制作前估算芯片區(qū)的VLSI復(fù)雜性和執(zhí)行時間。一、碌時間儀與空解間復(fù)忘雜性計算碼機(jī)求關(guān)解一捆個規(guī)震模為s的問軋題的池算法蝴復(fù)雜粘性取爆決于肯：執(zhí)行余時間存儲勝空間時間鑒復(fù)雜約性：時間樓復(fù)雜挺性g(厘s)為O(巷f(玩s)聽)，可腸讀作“數(shù)量啞級為f(輝s)”，如怖存在但正的邪常量c和s0，則厚對所糖有s>炭s0的非重負(fù)值怒就有g(shù)(絨s)松≤突cf絕(s竊)?？臻g遼復(fù)雜依性為問棄題規(guī)掏模s的函犬?dāng)?shù)。漸近變空間粗復(fù)雜途性(a茶sy也mp巨to園ti屆c騰sp蛇ac淋ec蘇om—pl索ex巷it抓y)主要置與大斷問題孟的數(shù)繩據(jù)存偷儲有俱關(guān)，貼而程遇序(代碼)存儲甩的需錫求和裁輸入輕數(shù)據(jù)昂的存躬儲不外考慮縣在內(nèi)儀。串行鞠算法集的時宇間復(fù)拿雜性騰簡稱聾為串降行復(fù)判雜性;并行倉算法顛的時錘間復(fù)閥雜性加就稱孟為并滾行復(fù)讀雜性;并行藥復(fù)雜鄙性應(yīng)相比串不行復(fù)雀雜性逃低，仰至少搖是相懇近。只考培慮確圖定性裕算法欣。并行牛隨機(jī)談存取鞭機(jī)模海型(P羨ar俯al汁le峰l趴Ra秒nd蠻om—Ac吵ce厘ss繡M土ac決hi慣ne，PR教AM材)目的之：可等用來猴開發(fā)激并行掉算法癥和分煎析可渠擴(kuò)展士性及狂復(fù)雜施性。PR灘AM模型基本針概念由Fo羨rt假un鄰e和Wy丈ll蛇ie菜19序78年提界出，免又稱SI梯MD羊-S騎M模型夫。有結(jié)一個睜集中槳的共峽享存棚儲器質(zhì)和一頑個指猛令控哪制器家，通多過SM的R/貨W交換語數(shù)據(jù)樣，隱逆式同抵步計太算。結(jié)構(gòu)趣圖ControlUnitInterconnectionNetworkPLMPLMPLMPLMSharedMemory在PR串AM上的根一個稈并行巴程序睬由n個進(jìn)據(jù)程組乳成，羞其中爆第i個進(jìn)額程留貪駐在磨第i個處程理器顆上，例且由夏一串響指令帥所組伍成。在每蹦個基系本時閃間步(稱為觸周期)，每丟個處孟理器察執(zhí)行役一條六指令劣。這些咐指令準(zhǔn)包括柄數(shù)據(jù)殘傳送敬、算/邏、鞏控制榜流以環(huán)及I/蛇O指令刪，在呀典型陷的順擇序計丸算機(jī)立中均竭有這級些指導(dǎo)令。1.同構(gòu)稀性規(guī)?；@為1的PR沃AM退化細(xì)為傳侮統(tǒng)的RA義M。這族種機(jī)棍器為SI嶺SD。當(dāng)處或理器謙多于1個時譽(yù)，一充個PR譯AM將訪還問多覆個數(shù)散據(jù)流稼，且穿通常堵可執(zhí)蒜行多征個指貝令流愛。因梳此PR偽AM是一母個MI瘋MD機(jī)器礙。址空嘆間PR濃AM模型火所有煩進(jìn)程刊對所件有存掏儲單診元均銹有相勢等的段訪問隙時間--均勻確存儲缸器訪桿問(U頁MA贈)模型接。針對航多計陪算機(jī)乎不合以適--慢--在多涼計算蓋機(jī)中挨，每氏個處凱理機(jī)美有它激自己投的分英離地道址空定間。樹這些錘機(jī)器育被稱持為具睜有多箭地址料空間手。多錄計算仆機(jī)的品處理親機(jī)間五通信古不是攜通過聽共享鋒變量榴，而田是借正助消記息傳弱遞。存儲積器模劣型各種盛方案兵的主餐要區(qū)猾別在振于如累何協(xié)蠻調(diào)CW的沖著突。四種PR討AM模型福方案叨都與公存儲右器讀依寫如棵何處電理有探關(guān)。(1張)E眼RE括W-遲PR恐AM模型——這種童模型營禁止弦一臺堆以上兼處理臂機(jī)同袋時讀辦、寫稍同一軋存儲葉單元(S篩ni撲r，19靠82；Ka擴(kuò)rp和Ra籍ma頭ch議an利dr睡an，19劉88格)。這謎是限參制最服大的PR濾AM模型交。(2豬)C頁RE箭W-者PR方AM模型——用互棗斥使朋寫沖熊突避投免。疤可以悅并行鋪?zhàn)x同黎一存見儲單學(xué)元。(3丈)E崇RC校W-束PR勸AM模型——允許扶互斥肥讀或喉并行馬寫同巷一存假儲單樂元。(4居)C嶼RC紙W-停PR陽AM模型——允許吐在同輝一時拴刻并賠行讀濤或者你并行喝寫。PR笨AM模型分類PR夜AM年-C妻RC另W并發(fā)稻讀并穩(wěn)發(fā)寫CP痕RA馬M-證CR宰CW嬌(C天om皆mo旗n哀PR予AM焰-C糊RC盯W)：僅裳允許災(zāi)寫入郊相同芳數(shù)據(jù)PP南RA碰M-圍CR拌CW路(P含ri威or撞it木y旱PR殿A(yù)M囑-C撞RC巾W)：僅尺允許千優(yōu)先泰級最峰高的豆處理父器寫木入AP名RA況M-栗CR惱CW習(xí)(A公rb錢it意ra齊ry匹P據(jù)RA腥M-霸CR滴CW書)：允抬許任拳意處劍理器巾自由微寫入PR塞AM始-C竟RE陜W并發(fā)緒讀互退斥寫PR嶄AM崇-E疏RE朗W互斥潮讀互玻斥寫計算福能力柔比較PR嚴(yán)AM排-C打RC參W是最冊強(qiáng)的究計算探模型級，PR瓣AM東-E忌RE旁W可lo棍gp倍模幟擬PR書AM舊-C嶼RE幸W和PR贏AM域-C聯(lián)RC既W與物誼理模萌型的寇差異實(shí)際欲上，急這種射并行涉計算讓機(jī)是提不存獄在的架。共備享存棕儲器SI虜MD機(jī)是裂與PR敢AM模型華最接擊近的遙結(jié)構(gòu)塔。更確套切地磁說，市共享絹存儲揭的同洽步MI軍MD模式統(tǒng)運(yùn)行江。四種PR陵AM方案洪中，ER睬EW和CR判CW是應(yīng)壁用最乓普遍熔的模什型。每個CR手CW算法燈可用治一個ER陷EW算法際來模書擬。CR乏CW算法統(tǒng)比一纖個等杯效的ER常EW要快簽，經(jīng)刊證明算，最搜好的n—處理防機(jī)ER昌EW算法雄要比奔任一組個n-處理須機(jī)CR算CW算法賴慢O(煉lo昆gn辮)倍。對研盾究結(jié)狀構(gòu)規(guī)路則的族并行爺性來柳說，眾用PR對AM比用竟實(shí)際傳機(jī)器游模型佩要好蘿得多縣。PR急AM能指消出實(shí)耳際并譽(yù)行計咸算機(jī)崗性能俗的上您限。PR卻AM模型優(yōu)點(diǎn)適合疤并行育算法床表示活和復(fù)勾雜性撐分析沸，易激于使謎用，貸隱藏柱了并緊行機(jī)真的通嘩訊、舟同步針等細(xì)也節(jié)。缺點(diǎn)不適捕合MI增MD并行殃機(jī)，誘忽略贊了SM的競發(fā)爭、剃通訊誼延遲凱等因鍋素異步AP衛(wèi)RA黨M模型基本撞概念又稱丙分相燙（Ph慨a(chǎn)s量e）PR況AM或MI察MD像-S濃M。每龍個處什理器浙有其壁局部凍存儲蠟器、撓局部恩時鐘考、局揮部程懸序；造無全筍局時扁鐘，菊各處臭理器芳異步掌執(zhí)行財；處住理器厘通過SM進(jìn)行雖通訊腰；處有理器嫌間依給賴關(guān)更系，款需在困并行妥程序含中顯頃式地蘆加入格同步骨路障鈔。異步PR柳AM模型—AP然RA劃M是一獄個異專步的PR危AM模型獅，簡歷記為AP有RA績M模型島特點(diǎn)糧：由p個處吃理器降組成鉗；每個臨處理優(yōu)器都株有其慚本地狀存儲李器、羞局部民時鐘晶和局霸部程墳序；處理幅器間嘆的通妖信經(jīng)醬過共粘享全屑局存旁儲器；無全攔局時脈鐘各處性理器傭異步統(tǒng)地獨(dú)罩立執(zhí)身行各濁自的版指令春；處理脆器任詳何時面間依笑賴關(guān)粒系需使明確喜地在膀各處暫理器死的程趨序中鹿加入橫同步(路)障(S降yn塔ch訪ro戀ni鍛za迎ti舒on告B汪ar鴨ri桂er儉)；一條躍指令慌可在四非確班定但每有限遼的時葡間內(nèi)秘完成豈。AP編RA革M模型艘中的館指令足類型啊有四揮類指夏令：①全局全讀將全革局存疤儲單憤元中父的內(nèi)游容讀鵲入局欲存單墻元中浮；②局部澇操作對局債存中型的數(shù)嚴(yán)執(zhí)行旦操作悼，其臂結(jié)果謹(jǐn)存入史局存氣中；③全局奔寫將局計存單程元中獲的內(nèi)毛容寫汁入全透局存教儲單色元中圓；④同步同步桶是計弦算中姻的一辱個邏具輯點(diǎn)饞，在算該點(diǎn)澆各處先理器冷均需畢等待營別的覺處理頑器到棵達(dá)后羊，才格能執(zhí)雪行其大局部軍程序釣。AP筍RA濁M模型繪中完忙成的饒計算計算看是由爆一系廳列用紀(jì)同步才障分昂開的砌全局沃相所傅組成務(wù)。在各畫全局租相內(nèi)元，每技個處暢理器猴異步甩地運(yùn)染行其激局部狡程序甚；每個神局部珠程序鐘中的思最后鈔一條規(guī)指令允是一可條同徹步障跌指令慶；各處海理器的均可視異步溜地讀旨取和退寫入晝?nèi)直淮鎯χ钙?，在同帝一相壯?nèi)不惕允許旗兩個符處理螺器訪授問同閣一單橡元。不同嚷的處伏理器聾訪問院存儲目單元堵總是富由一匹同步香障所菊分開展，所醬以指游令完棗成時擁間上閃的差字異并醉不影名響整化個計狀算異步AP哨RA妻M模型計算壯過程由同嘆步障橫分開神的全霜局相特組成AP狐RA詳M模型慮中的庫時間全計算使用AP盾RA墓M模型役計算唱算法敬的時橡間復(fù)鼠雜度攔時，林假定羨局部餐操作虛取單左位時久間；全局盒讀／能寫時導(dǎo)間為d它定保量化賤了通繁信延將遲，辜代表頁讀/寫全律局存鍵儲器驢的平葬均時吃間，d隨機(jī)轎器中國的處寄理器身增加嘆而增影加；同步咐障的榴時間赴為B它是肺處理帥器數(shù)P的非麗降函持?jǐn)?shù)B=挎B(巷P)。在AP俯RA色M中假炮定上吵述參些數(shù)服艱從如遠(yuǎn)下關(guān)建系：2≤廚d≤騰B≤柔P同時聯(lián)：B(透P)樂∈O密(d聯(lián)lo本gP陰)或B(遭P)洗∈O筍(d隊(duì)lo露gP滾/l混og擇d)。令tph為全川局相號內(nèi)各腫處理桂器指巖令執(zhí)觀行時挎間中胸最長糕者，弟則整連個程既序運(yùn)的行時俯間T為各燒相的散時間弄之和氧加上B乘以許同步錫障次脫數(shù)，船即:T=牽∑tph+B×同步屈障次饞數(shù)AP設(shè)RA仿M模型優(yōu)缺肢點(diǎn)易編吳程和暮分析宴算法濫的復(fù)效雜度千，但綿與現(xiàn)閣實(shí)相考差較會遠(yuǎn)，沾其上懇并行套算法冤非常頁有限鉗，也香不適六合MI羊MD仇-D謊M模型BS松P模型BS箱P-忽Bu名lk毀S漿yn魯ch苦ro擊ni寬za舒ti債on蘆P勺ar莫al艇le錘l1.寫B(tài)蔥SP模型某的提午出：哈佛虛大學(xué)嶺的Le遣sl頁ie嘩V堪al濟(jì)ia慰nt提出配：塊同恨步并嫩行(B允SP加)，用設(shè)以克滴服PR裹AM模型歪的缺陣點(diǎn)，氣但保綿留其話簡單招性。一個BS孩P計算股機(jī)由n個結(jié)西點(diǎn)(處理鳴器和岸存儲良器對)所組王成。BS打P模型基本臟概念由Va族li幫an欲t(剩19諷90長)提出耗的，笨“塊條”同壤步模洞型，茄是一烏種異冰步MI凍MD破-D掙M模型詠，支錄持消拼息傳魄遞系摧統(tǒng)，絹塊內(nèi)弄異步頭并行通，塊衰間顯假式同沃步。模型辯參數(shù)p：處惑理器訪數(shù)(帶有介存儲組器)l：同組步障天時間(B錫ar隨ri辜er亂s烘yn拔ch晝ro繳ni商za布ti瓦on腰t窗im承e)g：帶擋寬因蛾子(t屯im猜e惠st習(xí)ep昏s/仰pa考ck訊et膜)=寬1/幕ba姓nd譽(yù)wi捆dt旋h選路耗器吞正吐率特點(diǎn)租：一個BS暈P程序冠有n個進(jìn)閘程，腳每個少駐留殲在一霸個結(jié)畫點(diǎn)上傷?；肀緯r蝴間單風(fēng)位是芒周期(或時少間步)。程序運(yùn)按嚴(yán)伶格的井超步碑序列圣執(zhí)行工。同步作路障功迫使販進(jìn)程釣等待BS南P計算賤機(jī)是MI候MD系統(tǒng)BS緊P模型溉是超尚步級防的松誓同步在一堂個超系步中森，不版同進(jìn)歲程以宣不同加速率多異步何執(zhí)行犯。BS蹈P模型框交互陶機(jī)制基是共程享變四量或率是消射息傳件遞BS裝P模型計算竭過程由若飯干超惱級步屠組成防，每個澆超級由步計逗算模漢式為森左圖優(yōu)缺尤點(diǎn)強(qiáng)調(diào)顆了計套算和諒?fù)ㄓ嵙恋姆诌x離，提供耍了一幣個編輛程環(huán)貫境，呈易于程序隊(duì)復(fù)雜軍性分兔析。采但需支要顯式同艱步機(jī)灰制，役限制穴至多h條消息肉的傳漁遞等屢。一個體超步效執(zhí)行業(yè)時間犬的確存定計算旋時間w處理握器中國完成怒計算厭操作灑所需室的最閃大周鼠期數(shù)養(yǎng)。同步下開銷席為L。通信射開銷美為gh周期g是實(shí)載現(xiàn)h關(guān)系怨的比喂例系孔數(shù)，辱常數(shù)橋。結(jié)論桐：執(zhí)行似一個棕超步考的時口間為w+香gh