虛擬存儲(chǔ)和高速緩沖存儲(chǔ)器

1、虛擬存儲(chǔ)器主要內(nèi)容虛擬存儲(chǔ)器主要內(nèi)容v虛擬存儲(chǔ)器的概述v虛擬存儲(chǔ)器的發(fā)展背景v虛擬存儲(chǔ)器的工作原理v虛擬存儲(chǔ)技術(shù)的分類v虛擬存儲(chǔ)器的特點(diǎn)虛擬存儲(chǔ)器： 虛擬存儲(chǔ)器：就是采用一定的方法將一定的外存容量模擬成內(nèi)存，同時(shí)對(duì)程序進(jìn)出內(nèi)存的方式進(jìn)行管理從而得到一個(gè)比實(shí)際內(nèi)存容量大得多的內(nèi)存空間，使得程序的運(yùn)行不受內(nèi)存大小的限制。 虛擬存儲(chǔ)器解決了存儲(chǔ)容量和存取速度之間的矛盾，同時(shí)也是管理存儲(chǔ)設(shè)備的有效方法。虛擬存儲(chǔ)器發(fā)展背景u主存儲(chǔ)器通常用動(dòng)態(tài)隨機(jī)存儲(chǔ)器（dram）實(shí)現(xiàn)，它的存儲(chǔ)容量相對(duì)比較小，速度比較快，單位容量的價(jià)格比較貴。u虛擬存儲(chǔ)器由主存儲(chǔ)器和聯(lián)機(jī)工作的外部存儲(chǔ)器共同組成。u外部存儲(chǔ)器通常為磁盤存

2、儲(chǔ)器，它的存儲(chǔ)容量很大，與主存儲(chǔ)器相比，速度很低，單位容量的價(jià)格很便宜。 由于早起計(jì)算機(jī)系統(tǒng)的存儲(chǔ)容量，特別是內(nèi)存容量成本非常高、容量也很小，對(duì)于大型應(yīng)用程序或多程序應(yīng)用就受到了很大的限制。為了克服這樣的限制，人們就采用了虛擬存儲(chǔ)的技術(shù)。虛擬存儲(chǔ)器的發(fā)展v虛擬存儲(chǔ)器源出于計(jì)算機(jī)的一級(jí)存儲(chǔ)器概念。v1970年，美國(guó)rca公司研究成功虛擬存儲(chǔ)器系統(tǒng)。vibm公司于1972年ibm370系統(tǒng)上全面采用了虛擬存儲(chǔ)技術(shù)。 隨著計(jì)算機(jī)技術(shù)以及相關(guān)信息處理技術(shù)的不斷發(fā)展，人們對(duì)存儲(chǔ)的需求越來越大，這樣的需求刺激了各種新技術(shù)的出現(xiàn)。在這個(gè)發(fā)展過程中也由幾個(gè)階段組成。u 首先是磁盤條帶集（raid）技術(shù)：它將多

3、個(gè)物理磁盤通過一定的邏輯關(guān)系集合起來，成為一個(gè)大容量的虛擬磁盤。u 其次就是存儲(chǔ)區(qū)域網(wǎng)絡(luò)（san）技術(shù)：san的廣域化則旨在將存儲(chǔ)設(shè)備實(shí)現(xiàn)成為一種公用設(shè)施，任何人員、任何主機(jī)都可以隨時(shí)隨地獲取各自想要的數(shù)據(jù)。u 目前討論比較多的包括iscsi技術(shù)。工作原理中央處理器訪問主存的邏輯地址，以確定該信息是否存放在主存內(nèi)。如該信息已在主存內(nèi)，則轉(zhuǎn)而執(zhí)行；如果該信息不在主存內(nèi)，則檢查主存中是否有空閑區(qū)，如果沒有，便將某個(gè)暫時(shí)不用的調(diào)出送往輔存，以便將這組信息調(diào)入主存。從輔存讀出所要的信息，并送到主存空閑區(qū)。從地址變換表讀出與邏輯地址對(duì)應(yīng)的物理地址。根據(jù)物理地址從主存中存取必要的信息。 虛擬存儲(chǔ)器是由硬件

4、和操作系統(tǒng)自動(dòng)實(shí)現(xiàn)存儲(chǔ)信息調(diào)度和管理的。它的工作過程包括5個(gè)步驟：虛擬存儲(chǔ)技術(shù)的分類：根據(jù)拓?fù)浣Y(jié)構(gòu)來分： 對(duì)稱式虛擬存儲(chǔ)和非對(duì)稱式虛擬存儲(chǔ) 對(duì)稱式虛擬存儲(chǔ)：是指虛擬存儲(chǔ)控制設(shè)備與存儲(chǔ)軟件系統(tǒng)、交換設(shè)備集成為一個(gè)整體，內(nèi)嵌在網(wǎng)絡(luò)數(shù)據(jù)傳輸路徑中。v采用大容量高速緩存，顯著提高數(shù)據(jù)傳輸速度。v多端口并行技術(shù)，消除了i/o瓶頸。 v 邏輯存儲(chǔ)單元提供了高速的磁盤訪問速度。v可方便的連接交換設(shè)備，為系統(tǒng)的擴(kuò)展和互連提供了技術(shù)保障 。對(duì)稱式虛擬存儲(chǔ)技術(shù)的特點(diǎn)：非對(duì)稱式虛擬存儲(chǔ)：1、 將不同物理硬盤陣列中的容量進(jìn)行邏輯組合，實(shí)現(xiàn)虛擬的帶區(qū)集，將多個(gè)陣列控制器端口綁定，在一定程度上提高了系統(tǒng)的可用帶寬。 2、

5、 在交換機(jī)端口數(shù)量足夠的情況下，可在一個(gè)網(wǎng)絡(luò)內(nèi)安裝兩臺(tái)虛擬存儲(chǔ)設(shè)備，實(shí)現(xiàn)strip信息和訪問權(quán)限的冗余。 非對(duì)稱式虛擬存儲(chǔ)技術(shù)的特點(diǎn)：是指虛擬存儲(chǔ)控制設(shè)備獨(dú)立于數(shù)據(jù)傳輸路徑之外。從虛擬化存儲(chǔ)的實(shí)現(xiàn)原理來分： 數(shù)據(jù)塊虛擬存儲(chǔ)方案著重解決數(shù)據(jù)傳輸過程中的沖突和延時(shí)問題。 數(shù)據(jù)塊虛擬存儲(chǔ)方案利用虛擬的多端口并行技術(shù)，為多臺(tái)客戶機(jī)提供了極高的帶寬，最大限度上減少了延時(shí)與沖突的發(fā)生。 在實(shí)際應(yīng)用中，數(shù)據(jù)塊虛擬存儲(chǔ)方案以對(duì)稱式拓?fù)浣Y(jié)構(gòu)為表現(xiàn)形式。 數(shù)據(jù)塊虛擬、虛擬文件系統(tǒng)虛擬文件系統(tǒng)存儲(chǔ)： 虛擬文件系統(tǒng)存儲(chǔ)方案著重解決大規(guī)模網(wǎng)絡(luò)中文件共享的安全機(jī)制問題。通過對(duì)不同的站點(diǎn)指定不同的訪問權(quán)限，保證網(wǎng)絡(luò)文件的安

6、全。 在實(shí)際應(yīng)用中，虛擬文件系統(tǒng)存儲(chǔ)方案以非對(duì)稱式拓?fù)浣Y(jié)構(gòu)為表現(xiàn)形式。 虛擬存儲(chǔ)的特點(diǎn)：u虛擬存儲(chǔ)提供了一個(gè)大容量存儲(chǔ)系統(tǒng)集中管理的手段，由網(wǎng)絡(luò)中的一個(gè)環(huán)節(jié)（如服務(wù)器）進(jìn)行統(tǒng)一管理，避免了由于存儲(chǔ)設(shè)備擴(kuò)充所帶來的管理方面的麻煩。u虛擬存儲(chǔ)對(duì)于視頻網(wǎng)絡(luò)系統(tǒng)最有價(jià)值的特點(diǎn)是：可以大大提高存儲(chǔ)系統(tǒng)整體訪問帶寬。 u虛擬存儲(chǔ)技術(shù)為存儲(chǔ)資源管理提供了更好的靈活性，可以將不同類型的存儲(chǔ)設(shè)備集中管理使用。 由于虛擬存儲(chǔ)具有上述特點(diǎn)，虛擬存儲(chǔ)技術(shù)正逐步成為存儲(chǔ)管理的主流技術(shù) 高數(shù)緩沖存儲(chǔ)器u高速緩沖存儲(chǔ)器概述u高速緩沖存儲(chǔ)器與cpu的關(guān)系u高數(shù)緩沖存儲(chǔ)器的工作原理u高數(shù)緩沖存儲(chǔ)器的地址映射u高速緩沖存儲(chǔ)器的命

7、中率u影響命中率的因素解決cpu和主存速度差異的方法 由于cpu和主存儲(chǔ)器是不同材料制成的，因而他們之間在速度上是不匹配的。為了使cpu不致因?yàn)榈却鎯?chǔ)器讀寫操作的完成而無事可做，就采取了一些加速cpu和存儲(chǔ)器之間有效傳輸?shù)奶厥獯胧主存儲(chǔ)器采用更高速的技術(shù)縮短存儲(chǔ)器的讀出時(shí)間。u采用并行操作的雙端口存儲(chǔ)器。u在存儲(chǔ)器和主存儲(chǔ)器之間插入一個(gè)高速緩沖存儲(chǔ)器。實(shí)現(xiàn)途徑：高速緩沖存儲(chǔ)器（ cache）： 是存在于計(jì)算機(jī)存儲(chǔ)系統(tǒng)的層次結(jié)構(gòu)中，介于中央處理器和主存儲(chǔ)器 之間的高速小容量存儲(chǔ)器。 cache是用來存放那些近期需要運(yùn)行的指令與數(shù)據(jù)，提高cpu對(duì)存儲(chǔ)器的訪問速度。是為了解決cpu和主存之間速

8、度不匹配而采取的一項(xiàng)重要技術(shù)。cache與cpu的關(guān)系ucache是介于cpu與主存之間的小容量存儲(chǔ)器ucpu可直接訪問cacheucache能高速的向cpu提供指令和數(shù)據(jù)從而加快了程序的執(zhí)行速度。ucache可以放到cpu中形成兩級(jí)以上的緩存。cpu存儲(chǔ)系統(tǒng)關(guān)系圖 隨著半導(dǎo)體器件集成度進(jìn)一步提高，cache已經(jīng)放入到cpu中其工作速度接近c(diǎn)pu的速度，從而可以組成兩級(jí)以上的cache系統(tǒng)。目前所有主流處理器大都具有一級(jí)緩存和二級(jí)緩存，少數(shù)高端處理器還集成了三級(jí)緩存。 cache中央處理器 cache外存主存中央處理器 cachecache中央處理器 cachecache中央處理器 cache

9、cache中央處理器 cachecache中央處理器 cache主存cache中央處理器 cache外存主存cache中央處理器 cachecache中央處理器 cache主存中央處理器 cachecache中央處理器 cachecache中央處理器 cachecache中央處理器 cachecache中央處理器 cache主存cache中央處理器 cache外存主存cache中央處理器 cachecache外存主存cachecachecachecache主存cache外存主存cachecache主存cachecachecachecache主存cache外存主存cache中央處理器 cache

10、二級(jí)緩存 二級(jí)緩存是為了協(xié)調(diào)一級(jí)緩存與內(nèi)存之間的速度。它比一級(jí)緩存速度更慢，容量更大，主要就是做一級(jí)緩存和內(nèi)存之間數(shù)據(jù)臨時(shí)交換的地方用。 三級(jí)緩存是為讀取二級(jí)緩存后未命中的數(shù)據(jù)設(shè)計(jì)的種緩存。在擁有三級(jí)緩存的cpu中，只有約5%的數(shù)據(jù)需要從內(nèi)存中調(diào)用，這進(jìn)一步提高了cpu的效率。 三級(jí)緩存三級(jí)緩存的性能影響 v在游戲方面，提升三級(jí)緩存的容量對(duì)游戲的性能影響很大，如果是網(wǎng)吧機(jī)提升三級(jí)緩存的容量，會(huì)有顯著的性能提升的。 v對(duì)pc機(jī)來說，三級(jí)緩存其實(shí)只是做了個(gè)輔助的作用，除了服務(wù)器，其實(shí)對(duì)大多數(shù)家庭機(jī)沒什么用的， 對(duì)于家庭機(jī)內(nèi)存是最重要的。高速存儲(chǔ)器的工作原理圖：cpu主存lru管理邏輯相聯(lián)存儲(chǔ)圖表c

11、ache數(shù)據(jù)總線cam地址總線引入高速緩沖存儲(chǔ)器的理論依據(jù) 系統(tǒng)引入高速緩沖存儲(chǔ)器的理論依據(jù)是程序訪存局部性規(guī)則。大部分程序的執(zhí)行方式是順序執(zhí)行，所需的數(shù)據(jù)也都順序排列。程序運(yùn)行時(shí)大部分時(shí)間內(nèi)對(duì)程序的訪問局限在一個(gè)較小的區(qū)域內(nèi)，這就是程序訪問的局部性規(guī)律。 依據(jù)這個(gè)規(guī)則，在cpu與主存之間設(shè)立高速緩存，將主存中被頻繁訪問區(qū)域內(nèi)的數(shù)據(jù)調(diào)入高速緩存，cpu從高速緩存中獲取所需的數(shù)據(jù)，可大大的提高主存的訪問速度。程序的局部性原理程序在一定時(shí)間段內(nèi)通常只訪問較小的地址空間兩種局部性：時(shí)間局部性和空間局部性 時(shí)間局部性：最近被訪問的信息很可能還要被訪問。 將最近被訪問的信息項(xiàng)裝入到cache中。 空間局

12、部性：最近被訪問的信息臨近的信息也可能被訪問。 將最近被訪問的信息項(xiàng)臨近的信息一起裝入到cache中。地址空間訪問概率cache替換算法隨機(jī)替換（rand） 隨機(jī)找一個(gè)存儲(chǔ)單元進(jìn)行替換，比較簡(jiǎn)單。最不經(jīng)常使用算法（lfu） 將一段時(shí)間內(nèi)被訪問次數(shù)最少的那行數(shù)據(jù)換出。 最近最少使用算法（lru） 需要計(jì)算字塊的使用次數(shù)，開銷大，但平均命中率較高。隨機(jī)替換 隨機(jī)替換策略實(shí)際上并不是嚴(yán)格意義上的算法，從特定的行位置中隨機(jī)的選取一行換出即可。 這種策略在硬件上容易實(shí)現(xiàn)，且速度也比較快。缺點(diǎn)是隨意換出的數(shù)據(jù)很可能是馬上要用的，從而降低了命中率和cache的工作效率。 但隨著cache的容量增大這種不足就

13、會(huì)相應(yīng)減小。最不經(jīng)常使用算法（lfu） lfu算法認(rèn)為應(yīng)將一段時(shí)間內(nèi)被訪問次數(shù)最少的那行數(shù)據(jù)換出。為此每行設(shè)置一個(gè)計(jì)數(shù)器。新行建立后從0開始計(jì)數(shù)，每訪問一次，被訪問行的計(jì)數(shù)器加1。當(dāng)需要替換時(shí)，對(duì)這些特定行的計(jì)數(shù)器進(jìn)行比較，將計(jì)數(shù)值最小的換出，同時(shí)將這些特定行的計(jì)數(shù)器都清零。缺點(diǎn)： 這種算法將計(jì)數(shù)周期限定在這些特定行兩次替換之間的 間隔內(nèi)，不能嚴(yán)格反映近期訪問情況。最近最少使用算法（lru） lru算法將近期內(nèi)長(zhǎng)久未被訪問過的行換出。因此每行也設(shè)定一個(gè)計(jì)數(shù)器。但它們是cache每命中一次，名中行計(jì)數(shù)器清零，其他各行計(jì)數(shù)器增1。當(dāng)需要替換時(shí)，比較個(gè)特定行的計(jì)數(shù)值，將最大的行換出。特點(diǎn)： 保護(hù)了剛

14、拷貝到cache的新數(shù)據(jù)，符合cache的工作原理，命中率較高。主存與cache的地址映射 與主存容量相比，cache的容量很小，它保存的內(nèi)容只是主存內(nèi)容的一個(gè)子集，且cache與主存的數(shù)據(jù)交換方式是以塊為單位。為了把主存塊放到cache中，必須運(yùn)用某種方法把主存地址定位到cache中，稱為地址映射。地址映射方式：u全相聯(lián)方式方式u直接映射方式u組相連映射方式全相聯(lián)映像方式主存分成若干塊， cache分成若干塊(比主存塊數(shù)少)，每塊中都有同樣多的字。允許主存任一塊存放到cache的任一個(gè)塊。cpu讀主存時(shí)，若內(nèi)容不在cache，就將主存中的該塊整個(gè)存放到cache。 是指主存中的地址與塊的內(nèi)容

15、一起存于cache的行中，其中地址存于cache行的標(biāo)記部分中。全相聯(lián)映射方式.cachel0l7b0b255主存.cachel7b0主存l0.cachel7b0主存標(biāo)記位l0.cachel7b0主存標(biāo)記位全相聯(lián)映像方式特點(diǎn)u主存的字塊可以和cache的任何字塊對(duì)應(yīng)，利用率高，方式靈活。u標(biāo)志位較長(zhǎng)，比較電路難于設(shè)計(jì)和實(shí)現(xiàn)，成本太高，只適用于小容量的cache。利用率、成本太高。直接映射方式ucache分為若干塊，主存分為若干區(qū)，每區(qū)分為若干塊，每區(qū)的塊數(shù)和cache一樣大。u主存的塊只能存放在塊號(hào)和cache塊號(hào)一致的塊中 是指一種多對(duì)一的映射關(guān)系，但主存塊只能映射到cache的一個(gè)特定位置

16、上。l0.cachel7b0主存標(biāo)記位b7b8b15b16行號(hào)直接映射示意圖l0.cachel7b0主存標(biāo)記位b7b8b15b16行號(hào)l0l7b0主存b15b16.cache標(biāo)記位b7b8行號(hào)直接映像方式特點(diǎn)u主存的字塊只可以和固定的cache字塊對(duì)應(yīng)，方式直接，利用率低，適用于大容量的cache。u標(biāo)志位較短，比較電路易于設(shè)計(jì)和實(shí)現(xiàn)，硬件成本低。利用率低，命中率低，效率較低組相聯(lián)映像方式u主存分成若干塊， cache分成若干塊。每塊中都有同樣多的字。ucache分成同等容量的多個(gè)體。主存分為若干區(qū)，主存的塊只能存放在塊號(hào)和cache體中組號(hào)一致的塊中，但是放在哪一個(gè)體中是隨意的。組相聯(lián)映射方

17、式是直接映射和全相聯(lián)映射的折衷方案，它適度的兼顧了二者的優(yōu)點(diǎn)又盡量避免其缺點(diǎn)，被普遍采用。組相聯(lián)映像方式組相聯(lián)映像方式特點(diǎn)：折衷方案。組間為全相連，組內(nèi)為直接映像。集中了兩個(gè)方式的優(yōu)點(diǎn)。成本也不太高。最常用的cache映像方式cache的命中率和命中時(shí)間 cpu訪問主存的數(shù)據(jù)或指令存在于高速緩存中時(shí)的情況稱為高速緩存命中，高速緩存命中的統(tǒng)計(jì)概率稱為高速緩存的命中率。 在高速緩存命中時(shí)的訪存時(shí)間稱為命中時(shí)間，它等于高速緩存的訪問時(shí)間。高速緩存的失效率和失效時(shí)間 cpu訪問主存的數(shù)據(jù)或代碼不存在高速緩存中的情況稱為高速緩存的失效率。 高速緩存不命中時(shí)因訪問主存而增加的訪問時(shí)間稱為高速緩存的失效時(shí)間

18、，或失效開銷。cache重要性能指標(biāo)：命中率 命中率越高,不命中數(shù)據(jù)的可能性就越小,正確獲取數(shù)據(jù)的可能性就越大,平均訪存時(shí)間也就越短。命中率計(jì)算公式：h=nc/(nc+nm）nc表示cache完成存取的總次數(shù)nm表示主存完成存取的總次數(shù)h定義為命中率表示了cache命中時(shí)的訪問時(shí)間tc與cache/主存系統(tǒng)平均訪問時(shí)間ta的關(guān)系。訪問效率計(jì)算公式:訪問效率tm未命中時(shí)的主存訪問時(shí)間tmh-1htctctatce）（ta=htc+（1-h）tmcpu執(zhí)行一段程序時(shí)，執(zhí)行一段程序時(shí)，cache完成存取的次數(shù)為完成存取的次數(shù)為1900次，主存完成存取次，主存完成存取的次數(shù)為的次數(shù)為100次，已知次，

19、已知cache存取周期為存取周期為50ns主存存取周期為主存存取周期為250ns，求求cache/主存系統(tǒng)的效率和平均訪問時(shí)間。主存系統(tǒng)的效率和平均訪問時(shí)間。解：833. 0250*05. 095. 0*5050)1 (htctctmtcetmh95. 010019001900nmncnchta=htc+（1-h）tm=60nsucache的容量。u在組相聯(lián)映象方式中，塊的大小和分組的數(shù)目 ucache的組織方式ucache的替換算法ucache與主存儲(chǔ)器交換信息的單位量（cache line size）。影響命中率的硬件因素主要有以下四點(diǎn)：cahce的容量與命中率的關(guān)系圖 命中率 cache

20、容量（kb） cache的命中率隨它的容量的增加而提高。在cache容量比較小的時(shí)候，命中率的提高得非?？?，隨cache容量的增加，命中率提高的速度逐漸降低。如上圖cache容量和命中率的關(guān)系圖可知cache的命中率與塊大小的關(guān)系由上圖可知cache塊的大小對(duì)命中率的影響非常敏感。 v開始時(shí)，隨著塊大小的增加，由于程序的空間局部性起作用，同一塊中數(shù)據(jù)的利用率比較高，因此，cache的命中率增加。v隨著塊大小的增加進(jìn)入cache中的許多數(shù)據(jù)可能根本用不上。程序時(shí)間局部性的作用就會(huì)逐漸減弱。最后，當(dāng)塊大小等于整個(gè)cache的容量時(shí)，命中率將趨近于零。 當(dāng)cache的容量一定時(shí)，在采用組相聯(lián)映象和變換方式的cache中，分組的數(shù)目對(duì)于cache命中率的影響是很明顯的。隨著組數(shù)的增加，cache的命中率要降低。當(dāng)組數(shù)不太大時(shí)，例如，5