基于多核程序優(yōu)化技術(shù)實(shí)用教案

1、內(nèi) 容1、編譯回顧2、基于多核的程序(chngx)優(yōu)化技術(shù)第1頁(yè)/共43頁(yè)第一頁(yè)，共44頁(yè)。編譯(biny)回顧 什么是編譯？ 用高級(jí)語(yǔ)言編制的程序，計(jì)算機(jī)不能立即執(zhí)行(zhxng)， 必須通過(guò)一個(gè)“翻譯程序”加工，轉(zhuǎn)化為與其等價(jià)的 機(jī)器語(yǔ)言程序，機(jī)器才能執(zhí)行(zhxng)。編譯過(guò)程是指將高級(jí)語(yǔ)言程序翻譯為等價(jià)的目標(biāo)程序的過(guò)程。 編譯的作用？源程序編譯程序(bin y chn x)源程序的中間形式輸入數(shù)據(jù)解釋程序輸出數(shù)據(jù)第2頁(yè)/共43頁(yè)第二頁(yè)，共44頁(yè)。詞法分析語(yǔ)法分析語(yǔ)義分析、生成中間代碼代碼優(yōu)化生成目標(biāo)程序編譯過(guò)程(guchng)的5個(gè)基本階段：編譯過(guò)程是指將高級(jí)語(yǔ)言程序翻譯(fny)為等

2、價(jià)的目標(biāo)程序的過(guò)程。第3頁(yè)/共43頁(yè)第三頁(yè)，共44頁(yè)。代碼優(yōu)化 代碼優(yōu)化： 指編譯程序?yàn)榱?wi le)生成高質(zhì)量的目標(biāo)程序而做的各種加工和處理。 目的：提高目標(biāo)代碼運(yùn)行效率 時(shí)間效率：減少運(yùn)行時(shí)間 空間效率：減少內(nèi)存容量 原則： 嚴(yán)格遵循“不能改變?cè)谐绦蛘Z(yǔ)義”原則。第4頁(yè)/共43頁(yè)第四頁(yè)，共44頁(yè)。優(yōu)化的分類(fn li) 從優(yōu)化的層次，與機(jī)器是否有關(guān)： 獨(dú)立(dl)于機(jī)器的優(yōu)化 與目標(biāo)機(jī)無(wú)關(guān)的優(yōu)化，通常是在中間代碼上進(jìn)行的優(yōu)化。 與機(jī)器有關(guān)的優(yōu)化： 充分利用系統(tǒng)資源（指令系統(tǒng)，寄存器資源）。 從優(yōu)化涉及的范圍，可以分為： 局部?jī)?yōu)化： 是指在基本塊內(nèi)進(jìn)行的優(yōu)化。 循環(huán)優(yōu)化： 對(duì)循環(huán)語(yǔ)句所生

3、成的中間代碼序列上所進(jìn)行的優(yōu)化。 全局優(yōu)化： 跨越多個(gè)基本塊的全局范圍內(nèi)的優(yōu)化。 第5頁(yè)/共43頁(yè)第五頁(yè)，共44頁(yè)。并行(bngxng)編譯基礎(chǔ) 并行編譯系統(tǒng)： 就是能夠處理并行程序設(shè)計(jì)語(yǔ)言，能夠?qū)崿F(xiàn)串行程序并行化，具有并行優(yōu)化能力的編譯系統(tǒng)。 并行編譯技術(shù)的主要(zhyo)內(nèi)容： 串行程序的向量化和并行化。 第6頁(yè)/共43頁(yè)第六頁(yè)，共44頁(yè)。 向量化： 將串行程序中可向量化部分改寫成用向量運(yùn)算表示的等價(jià)程序； 其編譯技術(shù)已趨成熟 并行化： 將串行程序中可并行化部分改寫成在多處理機(jī)上并行執(zhí)行的等價(jià)程序； 難度大，涉及(shj)數(shù)據(jù)的私有化、分布和通信，以及并行任務(wù)劃分等問(wèn)題。 借助于OpenM

4、P。第7頁(yè)/共43頁(yè)第七頁(yè)，共44頁(yè)?；诙嗪说某绦?chngx)優(yōu)化技術(shù)第8頁(yè)/共43頁(yè)第八頁(yè)，共44頁(yè)。 并行編程模型 并行語(yǔ)言 并行編譯器 并行語(yǔ)言運(yùn)行時(shí) 可伸縮(shn su)的執(zhí)行環(huán)境 多核處理器。 多核軟件(run jin)棧第9頁(yè)/共43頁(yè)第九頁(yè)，共44頁(yè)。普遍(pbin)并行編程 多核編程和編譯是一重大挑戰(zhàn)： 一般的程序員經(jīng)常需要為多核處理器編程，即使對(duì)專家來(lái)說(shuō)，并行編程也是一件難事(nnsh)。 如何使并行編程變得容易? 并發(fā)控制 并行化。 第10頁(yè)/共43頁(yè)第十頁(yè)，共44頁(yè)。并發(fā)(bngf)控制 通常會(huì)使用鎖。鎖不可取。 鎖存在根本性的問(wèn)題: 容易出錯(cuò)： 忽略關(guān)鍵鎖、死鎖、

5、有限級(jí)倒置、護(hù)送問(wèn)題。 難以優(yōu)化性能： 粗粒度鎖會(huì)妨礙并行，細(xì)粒鎖會(huì)導(dǎo)致高開銷。鎖的程序/庫(kù)線程不能隨意構(gòu)成。 事務(wù)型內(nèi)存： 基本的原子結(jié)構(gòu):HPCS語(yǔ)言(yyn)(Fortress、X10、chapel)提供原子結(jié)構(gòu)以取代鎖。 第11頁(yè)/共43頁(yè)第十一頁(yè)，共44頁(yè)。多線程的兩種方法(fngf) 本地(bnd)線程（Native Threading） OpenMP線程第12頁(yè)/共43頁(yè)第十二頁(yè)，共44頁(yè)。優(yōu)化關(guān)鍵(gunjin) 選擇關(guān)鍵(gunjin)的代碼(費(fèi)時(shí)間的代碼)進(jìn)行多線程設(shè)計(jì)。 如果不能確定程序的主要計(jì)算部分(?) 借助于Intel VTune Analyzers來(lái)進(jìn)行程序分析。

6、第13頁(yè)/共43頁(yè)第十三頁(yè)，共44頁(yè)。一些(yxi)要點(diǎn) 建議使用Intel C+ 編譯器進(jìn)行編譯程序。 使用Intel Math Kernel Library (Intel MKL) Intel MKL 函數(shù)庫(kù)中提供了VML 函數(shù), 這些函數(shù)可以對(duì)超越函數(shù)(sin, cos, exp, log等)進(jìn)行優(yōu)化。提高程序性能(xngnng)。 現(xiàn)在串行上要調(diào)試通過(guò)，然后再進(jìn)行多核多線程的編程工作。第14頁(yè)/共43頁(yè)第十四頁(yè)，共44頁(yè)。 多線程后，用Intel線程監(jiān)測(cè)器進(jìn)行查找線程錯(cuò)誤：資源競(jìng)爭(zhēng)、線程死鎖等問(wèn)題。 用Intel Thread Profiler工具開定位程序(chngx)中負(fù)載不失衡或

7、開銷過(guò)大的問(wèn)題。第15頁(yè)/共43頁(yè)第十五頁(yè)，共44頁(yè)。 首先用OpenMP進(jìn)行并行(bngxng)編程。 前面講過(guò)，這里不再詳細(xì)描述。第16頁(yè)/共43頁(yè)第十六頁(yè)，共44頁(yè)。VTune第17頁(yè)/共43頁(yè)第十七頁(yè)，共44頁(yè)。優(yōu)化過(guò)程(guchng)Intel VTuneTM的使用第18頁(yè)/共43頁(yè)第十八頁(yè)，共44頁(yè)。有助于： 找到算法的瓶頸(pn jn) 由數(shù)據(jù)規(guī)劃引起的瓶頸(pn jn) 應(yīng)用結(jié)構(gòu)的瓶頸(pn jn) 系統(tǒng)級(jí)以及硬件的瓶頸(pn jn)第19頁(yè)/共43頁(yè)第十九頁(yè)，共44頁(yè)。術(shù)語(yǔ)(shy)熱點(diǎn)(hotspot) hotspot是你的代碼花費(fèi)很長(zhǎng)時(shí)間執(zhí)行的區(qū)域。 通過(guò)定位hotspo

8、t，VTune性能(xngnng)分析工具可以幫助你分析應(yīng)用程序的性能(xngnng)。 但是簡(jiǎn)單的知道hotspot的位置是不夠的，你必須知道什么導(dǎo)致hotspot的產(chǎn)生，怎樣改進(jìn) 通過(guò)對(duì)熱區(qū)的進(jìn)一步分析，你可以跟蹤關(guān)鍵的函數(shù)調(diào)用，監(jiān)控特殊的處理器事件，如cache miss第20頁(yè)/共43頁(yè)第二十頁(yè)，共44頁(yè)。Hotspot與Bottleneck的區(qū)別(qbi)Bottleneck 是系統(tǒng)中性能受到約束的位置(wi zhi)VTune Performance Analyzer幫助你找到并刪除 Bottlenecks.找到軟件Hotspots 是一個(gè)分析方法，幫助你定位 Bottleneck

9、s.第21頁(yè)/共43頁(yè)第二十一頁(yè)，共44頁(yè)。性能(xngnng)優(yōu)化方法第22頁(yè)/共43頁(yè)第二十二頁(yè)，共44頁(yè)。有三種(sn zhn)數(shù)據(jù)收集器 Sampling 取樣(qyng) call graph 調(diào)用曲線圖 counter monitor 計(jì)數(shù)器監(jiān)控器第23頁(yè)/共43頁(yè)第二十三頁(yè)，共44頁(yè)。兩種跟蹤位置(wi zhi)的方法 Problem: 我需要知道你在哪花費(fèi)了多長(zhǎng)時(shí)間 Statistical Solution: 我每30分鐘呼叫你 Instrumentation Solution: 每個(gè)地方有一個(gè)特殊的電話(dinhu)點(diǎn)，你每到一個(gè)地點(diǎn)向我報(bào)告第24頁(yè)/共43頁(yè)第二十四頁(yè)，共4

10、4頁(yè)。第一種方法：我固定時(shí)間間隔(jin g)給你電話優(yōu)點(diǎn):低開銷: 沒(méi)有太多的中斷沒(méi)有建站點(diǎn)的開銷無(wú)論你在那里都能精確定位缺點(diǎn):如果你的雙手拿滿東西，我必須等待你可能第一次沒(méi)有聽到鈴聲，所以(suy)我不能精確確定我呼叫你時(shí)，你在那里由于你不經(jīng)常去有一些地方，我可能根本(gnbn)不知道你去過(guò)第25頁(yè)/共43頁(yè)第二十五頁(yè)，共44頁(yè)。第二種方法(fngf)：當(dāng)你到了，你打電話給我。優(yōu)點(diǎn):你到達(dá)新的地方我能立刻知道我知道你在一個(gè)地方呆了多長(zhǎng)時(shí)間我知道你到達(dá)同一個(gè)地方多少次缺點(diǎn):不知道你在街道(jido)內(nèi)做了什么粒度：站點(diǎn)浪費(fèi)了大量時(shí)間打電話建立站點(diǎn)擴(kuò)大了街道(jido)空間第26頁(yè)/共43頁(yè)第

11、二十六頁(yè)，共44頁(yè)。如何識(shí)別(shbi)熱點(diǎn)？ Sampling Data Collector The Statistical Solution 描述執(zhí)行的一個(gè)側(cè)面（柱狀圖） 低開銷 Call Graph Data Collector The Instrumentation Solution 函數(shù)(hnsh)的時(shí)間信息 函數(shù)(hnsh)調(diào)用者和被調(diào)用者的關(guān)系 比sampling的開銷高第27頁(yè)/共43頁(yè)第二十七頁(yè)，共44頁(yè)。三種性能監(jiān)控(jin kn)方式的比較第28頁(yè)/共43頁(yè)第二十八頁(yè)，共44頁(yè)。VTune Projects（項(xiàng)目(xingm)） 什么(shn me)是 Project ?

12、 Project 由一個(gè)或多個(gè)Activities組成 什么(shn me)是Activity ? 包含你應(yīng)用程序的信息和希望運(yùn)行的數(shù)據(jù)收集器信息。第29頁(yè)/共43頁(yè)第二十九頁(yè)，共44頁(yè)。項(xiàng)目(xingm)的組織如下My Cool Project 1 Activity 1 ( Call Graph )Call Graph Results - 3 Apr, 2007,3:30 PMCall Graph Results - 4 Apr, 2007,3:30 PM Activity 2 ( Counter Monitor )Counter Monitor Results - 3 Apr, 2007,

13、4:30 PM Activity 3 ( Sampling)Sampling Results - 5 Apr, 2007,8:30 AMRun o Clockticks Instructions RetiredRun 1 Mispredicted Branches Retired第30頁(yè)/共43頁(yè)第三十頁(yè)，共44頁(yè)。取樣(qyng) 打斷處理器的執(zhí)行(zhxng)，獲得執(zhí)行(zhxng)上下文 中斷可以是周期性的, 如每秒1,000次采樣 采樣的觸發(fā) Event Based Sampling (EBS). 采樣事件：處理器相關(guān)事件，如 L2 Cache Misses, Branch Mispr

14、edictions, Floating-point instructions retired, etc.第31頁(yè)/共43頁(yè)第三十一頁(yè)，共44頁(yè)。舉例： gzip 采樣(ci yn)分析 介紹 EBS 與 Sampling 用戶界面 gzip是一個(gè)(y )開放源壓縮程序文件第32頁(yè)/共43頁(yè)第三十二頁(yè)，共44頁(yè)。選擇(xunz)一個(gè)新的項(xiàng)目第33頁(yè)/共43頁(yè)第三十三頁(yè)，共44頁(yè)。選擇(xunz)“Sampling Wizard”，點(diǎn)擊 OK第34頁(yè)/共43頁(yè)第三十四頁(yè)，共44頁(yè)。選擇(xunz)Win32*/Win64*/Linux* Profiling 選擇(xunz)按鈕，然后確定第35頁(yè)/

15、共43頁(yè)第三十五頁(yè)，共44頁(yè)。記?。好總€(gè)活動(dòng)都有自己的應(yīng)用/模塊(m kui)輪廓（profile）l 打開(d ki)應(yīng)用程序: l 命令行選項(xiàng): -f l 選中 Modify default configurationl 點(diǎn)擊 Finish第36頁(yè)/共43頁(yè)第三十六頁(yè)，共44頁(yè)。修改(xigi)采樣行為l Select the Sampling check box.l Click on Configure第37頁(yè)/共43頁(yè)第三十七頁(yè)，共44頁(yè)。Click OK to run the activity第38頁(yè)/共43頁(yè)第三十八頁(yè)，共44頁(yè)。根據(jù)采樣(ci yn)次數(shù)找到hotspot第39頁(yè)/共43頁(yè)第三十九頁(yè)，共44頁(yè)。調(diào)用(dioyng)圖 根據(jù)(gnj)總時(shí)間找到關(guān)鍵路徑第40頁(yè)/共43頁(yè)第四十頁(yè)，共44頁(yè)。計(jì)數(shù)器監(jiān)視(jinsh) 根據(jù)(gnj)占處理器時(shí)間找hotspot第41頁(yè)/共43頁(yè)第四十一頁(yè)，共44頁(yè)。修改(xigi)代碼進(jìn)行優(yōu)化第42頁(yè)/共43頁(yè)第四十二頁(yè)，共44頁(yè)。感謝您的觀看(gunkn)！第43頁(yè)/共43頁(yè)第四