cache的性能分析及改進(jìn)方法

1、黃 亞 玲湯文兵老師Cache性能分析及改進(jìn)方法1234關(guān)于Cache的基本知識(shí)Cache的性能分析Cache的性能改進(jìn)方法致謝1Cache的基本知識(shí)1234對Cache的認(rèn)識(shí)Cache的工作原理Cache的地址映射方式替換算法什么是Cache？Cache系統(tǒng)Cache的作用123對Cache的認(rèn)識(shí)Cache又稱高速緩沖存儲(chǔ)器，位于CPU和內(nèi)存之間，是一種特殊的子存儲(chǔ)系統(tǒng)Cache系統(tǒng)通常由一級(jí)高速緩存L1 Cache和二級(jí)高速緩存L2 Cache組成。L1 Cache通常分別用來存放數(shù)據(jù)和指令。Cache的產(chǎn)生就是為了提高CPU對存儲(chǔ)器的訪問速度。Cache的工作原理u程序訪問的局部性：程序

2、訪問的局部性：對大量典型程序運(yùn)行情況的分析結(jié)果表明，在一個(gè)較短的時(shí)間間隔內(nèi)，由程序產(chǎn)生的地址往往集中在存儲(chǔ)器邏輯地址空間的很小范圍內(nèi)。指令地址的分布本來就是連續(xù)的，再加上循環(huán)程序段和子程序段要重復(fù)執(zhí)行多次。因此，對這些地址的訪問就自然地具有時(shí)間上集中分布的傾向。 數(shù)據(jù)分布的這種集中傾向不如指令明顯，但對數(shù)組的存儲(chǔ)和訪問以及工作單元的選擇都可以使存儲(chǔ)器地址相對集中。這種對局部范圍的存儲(chǔ)器地址頻繁訪問，而對此范圍以外的地址則訪問甚少的現(xiàn)象，就稱為程序訪問的局部性。 CacheCache的工作原理的工作原理 Cache的工作原理是基于程序的訪問局部性。在主存和CPU通用寄存器之間設(shè)置一個(gè)高速的容量相

3、對較小的存儲(chǔ)器，把正在執(zhí)行的指令地址附近的一部分指令或數(shù)據(jù)從主存調(diào)入這個(gè)存儲(chǔ)器，供CPU在一段時(shí)間內(nèi)使用。Cache結(jié)構(gòu)和工作原理圖結(jié)構(gòu)和工作原理圖Cache的地址映射方式v 全相聯(lián)映射方式：全相聯(lián)映射方式：主存的任意一塊可以映射到Cache中的任意一塊優(yōu)點(diǎn)：優(yōu)點(diǎn)：命中率比較高，Cache存儲(chǔ)空間利用率高缺點(diǎn)：缺點(diǎn)：訪問相關(guān)存儲(chǔ)器時(shí)，每次都要與全部內(nèi)容比較，速度低，成本高，因而應(yīng)用少Cache的地址映射方式v 直接相聯(lián)映射方式：直接相聯(lián)映射方式：主存儲(chǔ)器中的一塊只可以映射到Cache特定的一個(gè)塊中優(yōu)點(diǎn)：優(yōu)點(diǎn)：地址映射方式簡單，數(shù)據(jù)訪問時(shí)只需檢查區(qū)號(hào)是否相等，因而可以得到比較快的訪問速度，硬件設(shè)

4、備簡單缺點(diǎn)：缺點(diǎn)：替換操作頻繁，命中率較低Cache的地址映射方式v 組相聯(lián)映射方式：組相聯(lián)映射方式：主存儲(chǔ)器中的每一塊可以被放置到Cache唯一的一個(gè)組中的任何一個(gè)位置優(yōu)點(diǎn)：優(yōu)點(diǎn)：塊的沖突概率比較低，塊的利用率大幅提高，塊失效率明顯降低缺點(diǎn)：缺點(diǎn)：實(shí)現(xiàn)難度和造價(jià)要比直接相聯(lián)映射方式高替換算法替換算法Cache可以采用的替換算法主要有以下幾種：l隨機(jī)替換（隨機(jī)替換（RAND）算法）算法 隨機(jī)確定替換的塊，方法簡單易于實(shí)現(xiàn)，但命中率低l先入先出（先入先出（FIFO）算法）算法替換最先調(diào)入的塊，不符合局部性規(guī)律l近期最少使用（近期最少使用（LRU）算法）算法 選擇替換最近最少使用的塊，命中率高，符

5、合程序局部性原理Cache性能分析12CPU執(zhí)行時(shí)間執(zhí)行時(shí)間平均訪問存儲(chǔ)器時(shí)間（平均訪問存儲(chǔ)器時(shí)間（AMAT）CPU執(zhí)行時(shí)間時(shí)鐘周期時(shí)間存儲(chǔ)器停頓周期數(shù)時(shí)鐘周期數(shù)執(zhí)行時(shí)間)CPU(CPU缺失代價(jià)缺失率指令存儲(chǔ)器訪問次數(shù)指令數(shù)缺失代價(jià)指令缺失次數(shù)指令數(shù)缺失代價(jià)缺失次數(shù)存儲(chǔ)器停頓周期數(shù)例子假定有一臺(tái)計(jì)算機(jī)，當(dāng)所有存儲(chǔ)器訪問操作都能在Cache中命中時(shí)，CPI為1.0；數(shù)據(jù)訪問只有l(wèi)oad和store指令，這些指令占全部指令的50%；缺失代價(jià)為25個(gè)時(shí)鐘周期，缺失率為2%。問當(dāng)所有指令都在Cache中命中時(shí)，計(jì)算機(jī)性能能提高多少？Cache始終命中時(shí)的計(jì)算機(jī)性能為：時(shí)鐘周期指令數(shù)時(shí)鐘周期指令數(shù)時(shí)鐘周

6、期存儲(chǔ)器停頓周期數(shù)時(shí)鐘周期數(shù)執(zhí)行時(shí)間理想0 . 1)0CPI()CPU(CPU例子實(shí)際Cache的計(jì)算機(jī)性能為：兩者的性能比為：不發(fā)生Cache缺失時(shí)計(jì)算機(jī)性能是原來的1.75倍75. 10 . 175. 1CPUCPU時(shí)鐘周期指令數(shù)時(shí)鐘周期指令數(shù)執(zhí)行時(shí)間執(zhí)行時(shí)間理想實(shí)際時(shí)鐘周期指令數(shù)時(shí)鐘周期指令數(shù)指令數(shù)時(shí)鐘周期存儲(chǔ)器停頓周期數(shù)時(shí)鐘周期數(shù)執(zhí)行時(shí)間實(shí)際75. 1)2502. 0)5 . 01 (CPI()CPU(CPU平均訪存時(shí)間l設(shè)H為命中率，平均訪存時(shí)間（AMAT）可定義為：l在多級(jí)存儲(chǔ)系統(tǒng)中，平均訪存時(shí)間（AMAT）可定義為：）缺失代價(jià)缺失率（命中時(shí)間缺失率命中時(shí)間缺失代價(jià)缺失率命中時(shí)間2

7、L2L2L1L1L1L1L1LAMAT缺失代價(jià)缺失率命中時(shí)間主存T)H1 (THAMATCacheCache性能改進(jìn)方法通過對cache的性能分析，可知失效開銷，命中時(shí)間和失效率是衡量cache的重要指標(biāo)。減少失效開銷減少失效開銷減少命中時(shí)間減少命中時(shí)間降低失效率降低失效率減少失效開銷l使讀失效優(yōu)于寫使讀失效優(yōu)于寫 寫緩沖器導(dǎo)致對存儲(chǔ)器的訪問復(fù)雜化，而且寫緩沖器是滯后的，所以推遲對讀失效的處理。l寫緩沖合并寫緩沖合并 如果寫緩沖器中已經(jīng)有了待寫入的數(shù)據(jù)，則進(jìn)行地址匹配，若存在匹配的地址并且緩沖器中位置空閑，就進(jìn)行寫緩沖合并。l請求字處理技術(shù)請求字處理技術(shù) 盡早將請求字發(fā)送到CPUl非阻塞非阻塞

8、cachecache技術(shù)技術(shù) Cache失效時(shí)仍允許CPU對其進(jìn)行其他命中訪問l采用兩級(jí)采用兩級(jí)cachecache 第一級(jí)Cache（L1）小而快，第二級(jí)Cache（L2）容量大減少命中時(shí)間 命中時(shí)間直接影響著處理器的時(shí)鐘頻率。目前的計(jì)算機(jī)Cache的訪問時(shí)間限制了處理器的時(shí)鐘頻率。l采用容量小，結(jié)構(gòu)簡單的采用容量小，結(jié)構(gòu)簡單的Cache 硬件越簡單，速度越快；便于與CPU放在一塊芯片上l虛擬虛擬Cache 訪問Cache的索引以及Cache中的標(biāo)識(shí)都使用虛擬地址lCache訪問流水化訪問流水化 對第一級(jí)Cache的訪問按流水方式訪問lTraceCache 存放CPU所執(zhí)行的動(dòng)態(tài)指令降低失效率l強(qiáng)制性失效強(qiáng)制性失效：當(dāng)?shù)谝淮卧L問一個(gè)塊時(shí)，該塊不在Cache 中，需從下一級(jí)存儲(chǔ)器中調(diào)入Cache。方法：增加塊的大小，預(yù)取Cachel容量失效：容