海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中的多級(jí)緩存技術(shù)研究

1、海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中的多級(jí)緩存技術(shù)研究隨著人們對(duì)數(shù)據(jù)應(yīng)用價(jià)值理解的不斷加深 , 現(xiàn)今計(jì)算機(jī)存儲(chǔ)系統(tǒng)中海量數(shù)據(jù) 信息的存儲(chǔ)、 管理和應(yīng)用能力已經(jīng)受到了越來越多的重視。 近年來各種以直連存 儲(chǔ)(Direct Attached StorageQAS)、附網(wǎng)存儲(chǔ)(Network Attached Storage,NAS) 和存儲(chǔ)局域網(wǎng)絡(luò)(Storage Area Network,SAN)及其衍生技術(shù)為根底的海量網(wǎng)絡(luò)存 儲(chǔ)系統(tǒng)技術(shù)一直是計(jì)算機(jī)科學(xué)與技術(shù)領(lǐng)域中所重點(diǎn)關(guān)注的研究對(duì)象和研究熱點(diǎn)。目前在現(xiàn)有的海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的研究領(lǐng)域中還存在兩個(gè)必須解決的重要 問題:(1) 海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)的層次劃分不清

2、楚, 這樣就使得各種結(jié)構(gòu)的實(shí)現(xiàn)、兼容和演化存在困難 ;(2) 沒有充分利用海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)的層次 性來實(shí)現(xiàn)海量數(shù)據(jù)的訪問性能優(yōu)化。 海量存儲(chǔ)網(wǎng)絡(luò)體系結(jié)構(gòu)的設(shè)計(jì)問題和海量數(shù) 據(jù)存取訪問的性能優(yōu)化問題對(duì)于海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)技術(shù)的深入研究有重要的理 論意義和實(shí)際意義。本文從存儲(chǔ)系統(tǒng)層次化的體系結(jié)構(gòu)研究視角出發(fā) , 重點(diǎn)對(duì)海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng) 中的層次化體系結(jié)構(gòu)模型、 各級(jí)緩存局部性強(qiáng)弱的量化方法、 頁面訪問的周期性 規(guī)律、訪問延遲缺失代價(jià)緩存管理算法、 網(wǎng)絡(luò)應(yīng)用環(huán)境下的文件大小分布與訪問 頻率和文件訪問的動(dòng)態(tài)模式等關(guān)鍵技術(shù)問題進(jìn)行了系統(tǒng)而深入的研究 ,取得了一 些有創(chuàng)新性意義的研究成果。其主要研究

3、工作和創(chuàng)新性成果表達(dá)在以下幾個(gè)方 面:(1) 提出了一種層次化的海量存儲(chǔ)系統(tǒng)分級(jí)模型 (Hierarchical MassNetwork Storage Architecture,HMNSA) 和多級(jí)緩存加速思想。HMNS結(jié)構(gòu)主要包含5個(gè)層次,分別是存儲(chǔ)應(yīng)用層、存儲(chǔ)表示層、存儲(chǔ)連接 層、存儲(chǔ)網(wǎng)絡(luò)層和存儲(chǔ)物理層。 通過各個(gè)層次之間相互調(diào)用效勞、 提供效勞的方 式, 使用多種存儲(chǔ)技術(shù)構(gòu)建海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)。在此根底上 , 設(shè)計(jì)并實(shí)現(xiàn)了一種基于智能網(wǎng)絡(luò)磁盤存儲(chǔ)系統(tǒng) (IntelligentNetwork Disk Storage System,INDSS)及其文件系統(tǒng)的層次化海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)通過實(shí)驗(yàn)驗(yàn)

4、證了層次化體系結(jié)構(gòu)的海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的可行性和正確性。其次 , 研究了在海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的多層體系結(jié)構(gòu)中設(shè)置多級(jí)緩存的必要性和可行性 , 將多級(jí)緩存結(jié)構(gòu)從傳統(tǒng)的CPU 片上緩存一一主存儲(chǔ)器文件緩存一一外存儲(chǔ)器硬 件緩存向上拓展到了海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的存儲(chǔ)效勞客戶端存儲(chǔ)網(wǎng)絡(luò)存 儲(chǔ)業(yè)務(wù)效勞端。(2)基于HMNS模型和多級(jí)加速思想，在存儲(chǔ)表示層提出了一種基于數(shù)據(jù)本 地局部性強(qiáng)弱的緩存調(diào)度算法 (Locality Strength Algorithm,LSA) 。在海量網(wǎng) 絡(luò)存儲(chǔ)環(huán)境中 , 數(shù)據(jù)從存儲(chǔ)網(wǎng)絡(luò)中被讀入本地內(nèi)存 , 在本地內(nèi)存為這些數(shù)據(jù)提供 緩存空間以提高處理器訪問速度。如何在多用戶多進(jìn)程環(huán)境

5、下為不同用戶進(jìn)程分配緩存空間 , 是影響進(jìn)程執(zhí)行 效率的重要因素。為此, 對(duì)局部性強(qiáng)弱的量化描述進(jìn)行了研究 ,給出了量化指標(biāo)及 其計(jì)算方法。并在此根底上提出了存儲(chǔ)表示層緩存的調(diào)度算法 LSA,該算法可以減少緩存 空間頻繁調(diào)整導(dǎo)致性能下降的顛簸現(xiàn)象。(3)基于HMNS模型和多級(jí)加速思想， 在存儲(chǔ)網(wǎng)絡(luò)層提出了一種基于訪問周期性和延遲代價(jià)的緩存調(diào)度算法 (Periodicity and Miss Cost,PMC)。當(dāng)一個(gè)應(yīng)用訪問網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)時(shí) , 該應(yīng)用請(qǐng)求首先被海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中的 存儲(chǔ)節(jié)點(diǎn)處理,在作者課題組開發(fā)的INDSS系統(tǒng)中,這些節(jié)點(diǎn)具備數(shù)據(jù)緩存能力。 對(duì)這些節(jié)點(diǎn)的緩存管理研究說明 :如果

6、提高緩存命中率的研究已經(jīng)逼近極限 , 那么 可以考慮減低不命中代價(jià),而不命中代價(jià)是由各Cache塊的訪問延遲決定PM(算法的設(shè)計(jì)思想是：利用應(yīng)用程序訪存的周期性現(xiàn)象和不命中代價(jià)，盡 可能推遲換出訪問延遲大的數(shù)據(jù)塊 , 以免該塊被周期重復(fù)訪問時(shí)又要付出較大代 價(jià)。因此 , 該算法降低了系統(tǒng)的加權(quán)響應(yīng)時(shí)間。(4)基于HMNS模型和多級(jí)加速思想，在存儲(chǔ)物理層提出了一種基于統(tǒng)計(jì)結(jié) 果的訪問熱點(diǎn)數(shù)據(jù)緩存調(diào)度算法 (Reallocation based on Distribution and Visit Frequency,RDVF) 。對(duì)目前主流操作系統(tǒng)的文件大小分布和空間占用、網(wǎng) 絡(luò)文件效勞環(huán)境下的文件讀取請(qǐng)求和視頻下載點(diǎn)播進(jìn)行了統(tǒng)計(jì)分析 , 研究了海量 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中交換文件、 小尺寸文件和訪問集中文件進(jìn)行優(yōu)化的必要性和可行 性?；谀壳疤岢龅募僭O(shè)干新的存儲(chǔ)器件體系 , 提出了海量網(wǎng)