基于多核程序優(yōu)化技術(shù).ppt

1、基于多核的程序優(yōu)化技術(shù),多核架構(gòu)及編程技術(shù),內(nèi) 容,1、編譯回顧 2、基于多核的程序優(yōu)化技術(shù),編譯回顧,什么是編譯？ 用高級(jí)語言編制的程序，計(jì)算機(jī)不能立即執(zhí)行， 必須通過一個(gè)“翻譯程序”加工，轉(zhuǎn)化為與其等價(jià)的 機(jī)器語言程序，機(jī)器才能執(zhí)行。編譯過程是指將高級(jí)語言程序翻譯為等價(jià)的目標(biāo)程序的過程。 編譯的作用,源程序,編譯程序,源程序的中間形式,輸入數(shù)據(jù),解釋程序,輸出數(shù)據(jù),編譯過程的5個(gè)基本階段,編譯過程是指將高級(jí)語言程序翻譯為等價(jià)的目標(biāo)程序的過程,代碼優(yōu)化,代碼優(yōu)化： 指編譯程序?yàn)榱松筛哔|(zhì)量的目標(biāo)程序而做的各種加工和處理。 目的：提高目標(biāo)代碼運(yùn)行效率 時(shí)間效率：減少運(yùn)行時(shí)間 空間效率：減少內(nèi)存

2、容量 原則： 嚴(yán)格遵循“不能改變?cè)谐绦蛘Z義”原則,優(yōu)化的分類,從優(yōu)化的層次，與機(jī)器是否有關(guān)： 獨(dú)立于機(jī)器的優(yōu)化 與目標(biāo)機(jī)無關(guān)的優(yōu)化，通常是在中間代碼上進(jìn)行的優(yōu)化。 與機(jī)器有關(guān)的優(yōu)化： 充分利用系統(tǒng)資源（指令系統(tǒng)，寄存器資源）。 從優(yōu)化涉及的范圍，可以分為： 局部?jī)?yōu)化： 是指在基本塊內(nèi)進(jìn)行的優(yōu)化。 循環(huán)優(yōu)化： 對(duì)循環(huán)語句所生成的中間代碼序列上所進(jìn)行的優(yōu)化。 全局優(yōu)化： 跨越多個(gè)基本塊的全局范圍內(nèi)的優(yōu)化,并行編譯基礎(chǔ),并行編譯系統(tǒng)： 就是能夠處理并行程序設(shè)計(jì)語言，能夠?qū)崿F(xiàn)串行程序并行化，具有并行優(yōu)化能力的編譯系統(tǒng)。 并行編譯技術(shù)的主要內(nèi)容： 串行程序的向量化和并行化,向量化： 將串行程序中可向量

3、化部分改寫成用向量運(yùn)算表示的等價(jià)程序； 其編譯技術(shù)已趨成熟 并行化： 將串行程序中可并行化部分改寫成在多處理機(jī)上并行執(zhí)行的等價(jià)程序； 難度大，涉及數(shù)據(jù)的私有化、分布和通信，以及并行任務(wù)劃分等問題。 借助于OpenMP,基于多核的程序優(yōu)化技術(shù),并行編程模型 并行語言 并行編譯器 并行語言運(yùn)行時(shí) 可伸縮的執(zhí)行環(huán)境 多核處理器,多核軟件棧,普遍并行編程,多核編程和編譯是一重大挑戰(zhàn)： 一般的程序員經(jīng)常需要為多核處理器編程，即使對(duì)專家來說，并行編程也是一件難事。 如何使并行編程變得容易? 并發(fā)控制 并行化,并發(fā)控制,通常會(huì)使用鎖。鎖不可取。 鎖存在根本性的問題: 容易出錯(cuò)： 忽略關(guān)鍵鎖、死鎖、有限級(jí)倒置

4、、護(hù)送問題。 難以優(yōu)化性能： 粗粒度鎖會(huì)妨礙并行，細(xì)粒鎖會(huì)導(dǎo)致高開銷。鎖的程序/庫線程不能隨意構(gòu)成。 事務(wù)型內(nèi)存： 基本的原子結(jié)構(gòu):HPCS語言(Fortress、X10、chapel)提供原子結(jié)構(gòu)以取代鎖,多線程的兩種方法,本地線程（Native Threading） OpenMP線程,優(yōu)化關(guān)鍵,選擇關(guān)鍵的代碼(費(fèi)時(shí)間的代碼)進(jìn)行多線程設(shè)計(jì)。 如果不能確定程序的主要計(jì)算部分(?) 借助于Intel VTune Analyzers來進(jìn)行程序分析,一些要點(diǎn),建議使用Intel C+ 編譯器進(jìn)行編譯程序。 使用Intel Math Kernel Library (Intel MKL) Intel

5、MKL 函數(shù)庫中提供了VML 函數(shù), 這些函數(shù)可以對(duì)超越函數(shù)(sin, cos, exp, log等)進(jìn)行優(yōu)化。提高程序性能。 現(xiàn)在串行上要調(diào)試通過，然后再進(jìn)行多核多線程的編程工作,多線程后，用Intel線程監(jiān)測(cè)器進(jìn)行查找線程錯(cuò)誤：資源競(jìng)爭(zhēng)、線程死鎖等問題。 用Intel Thread Profiler工具開定位程序中負(fù)載不失衡或開銷過大的問題,首先用OpenMP進(jìn)行并行編程。 前面講過，這里不再詳細(xì)描述,VTune Performance Analyzer 6.0,優(yōu)化過程Intel VTuneTM的使用,有助于,找到算法的瓶頸 由數(shù)據(jù)規(guī)劃引起的瓶頸 應(yīng)用結(jié)構(gòu)的瓶頸 系統(tǒng)級(jí)以及硬件的瓶頸,術(shù)

6、語熱點(diǎn)(hotspot,hotspot是你的代碼花費(fèi)很長(zhǎng)時(shí)間執(zhí)行的區(qū)域。 通過定位hotspot，VTune性能分析工具可以幫助你分析應(yīng)用程序的性能。 但是簡(jiǎn)單的知道hotspot的位置是不夠的，你必須知道什么導(dǎo)致hotspot的產(chǎn)生，怎樣改進(jìn) 通過對(duì)熱區(qū)的進(jìn)一步分析，你可以跟蹤關(guān)鍵的函數(shù)調(diào)用，監(jiān)控特殊的處理器事件，如cache miss,Hotspot與Bottleneck的區(qū)別,Bottleneck 是系統(tǒng)中性能受到約束的位置 VTune Performance Analyzer幫助你找到并刪除 Bottlenecks. 找到軟件Hotspots 是一個(gè)分析方法，幫助你定位 Bottlen

7、ecks,性能優(yōu)化方法,有三種數(shù)據(jù)收集器,Sampling 取樣 call graph 調(diào)用曲線圖 counter monitor 計(jì)數(shù)器監(jiān)控器,兩種跟蹤位置的方法,Problem: 我需要知道你在哪花費(fèi)了多長(zhǎng)時(shí)間 Statistical Solution: 我每30分鐘呼叫你 Instrumentation Solution: 每個(gè)地方有一個(gè)特殊的電話點(diǎn)，你每到一個(gè)地點(diǎn)向我報(bào)告,第一種方法：我固定時(shí)間間隔給你電話,優(yōu)點(diǎn): 低開銷: 沒有太多的中斷 沒有建站點(diǎn)的開銷 無論你在那里都能精確定位 缺點(diǎn): 如果你的雙手拿滿東西，我必須等待 你可能第一次沒有聽到鈴聲，所以我不能精確確定我呼叫你時(shí)，你在

8、那里,由于你不經(jīng)常去有一些地方，我可能根本不知道你去過,第二種方法：當(dāng)你到了，你打電話給我,優(yōu)點(diǎn): 你到達(dá)新的地方我能立刻知道 我知道你在一個(gè)地方呆了多長(zhǎng)時(shí)間 我知道你到達(dá)同一個(gè)地方多少次 缺點(diǎn): 不知道你在街道內(nèi)做了什么 粒度：站點(diǎn) 浪費(fèi)了大量時(shí)間打電話 建立站點(diǎn)擴(kuò)大了街道空間,如何識(shí)別熱點(diǎn),Sampling Data Collector The Statistical Solution 描述執(zhí)行的一個(gè)側(cè)面（柱狀圖） 低開銷 Call Graph Data Collector The Instrumentation Solution 函數(shù)的時(shí)間信息 函數(shù)調(diào)用者和被調(diào)用者的關(guān)系 比sampli

9、ng的開銷高,三種性能監(jiān)控方式的比較,VTune Projects（項(xiàng)目,什么是 Project ? Project 由一個(gè)或多個(gè)Activities組成 什么是Activity ? 包含你應(yīng)用程序的信息和希望運(yùn)行的數(shù)據(jù)收集器信息,項(xiàng)目的組織如下,My Cool Project 1 Activity 1 ( Call Graph ) Call Graph Results - 3 Apr, 2007,3:30 PM Call Graph Results - 4 Apr, 2007,3:30 PM Activity 2 ( Counter Monitor ) Counter Monitor Res

10、ults - 3 Apr, 2007,4:30 PM Activity 3 ( Sampling) Sampling Results - 5 Apr, 2007,8:30 AM Run o Clockticks Instructions Retired Run 1 Mispredicted Branches Retired,取樣,打斷處理器的執(zhí)行，獲得執(zhí)行上下文 中斷可以是周期性的, 如每秒1,000次采樣 采樣的觸發(fā) Event Based Sampling (EBS). 采樣事件：處理器相關(guān)事件，如 L2 Cache Misses, Branch Mispredictions, Floating-point instructions retired, etc,舉例： gzip 采樣分析,介紹 EBS 與 Sampling 用戶界面 gzip是一個(gè)開放源壓縮程序文件,選擇一個(gè)新的項(xiàng)目,選擇“Sampling Wizard”，點(diǎn)擊 OK,選擇Win32*/Win64*/Linux* Profiling 選擇按鈕，然后確定,記?。好總€(gè)活動(dòng)都有自己的應(yīng)用/模塊輪廓（profile,打開應(yīng)用程序: gzip.exe 命令行選項(xiàng): -f testfile.dat 選中 Modify default co