媒體存儲測評技術(shù)

媒體存儲測評技術(shù)網(wǎng)絡(luò)存儲性能測評1存儲測評的意義1.1存儲測評的混亂問題 1.2存儲測評的意義 2存儲測評的技術(shù)現(xiàn)狀 2.1存儲測評的技術(shù)現(xiàn)狀 2.3國內(nèi)存儲測評的現(xiàn)狀3存儲性能測評的分類 3.1按負(fù)載產(chǎn)生方式分類 3.2按應(yīng)用負(fù)載分類4存儲性能的影響因素 4.1硬件配置 4.2參數(shù) 5存儲綜合測評技術(shù) 5.1綜合評測指標(biāo)體系5.2功能評測技術(shù)5.3性能基準(zhǔn)測試程序5.4可用性測試技術(shù)1存儲測評的意義....’s....1.1存儲測評的混亂問題1.廠家基于市場策略的人為操作由于目前大多數(shù)用戶對存儲及其測評技術(shù)不了解，而存儲廠商也只公布其產(chǎn)品的測試結(jié)果，都未公開自己的系統(tǒng)具體配置、測試環(huán)境與方法。測試結(jié)果是和測試環(huán)境緊密相關(guān)的，相同的產(chǎn)品在不同的測試環(huán)境下所得到的測試結(jié)果截然不同；這些沒有描述測試環(huán)境與方法的結(jié)果對用戶來說參考意義并不大，因此沒有可對比性的測試結(jié)果直接影響用戶選購存儲產(chǎn)品。2.測試負(fù)載不符合買主的應(yīng)用環(huán)境特征性能測試主要采用模擬方法對被測存儲系統(tǒng)進(jìn)行壓力測試的，因此，測試節(jié)點(diǎn)端的配置和應(yīng)用操作對存儲系統(tǒng)的影響巨大，如不同的數(shù)據(jù)塊大小、不同的讀寫比例、不同的存取操作模式、訪問文件的大小和并發(fā)連接的數(shù)量等都是影響存儲系統(tǒng)測試結(jié)果的關(guān)鍵因素。3.測試對象選擇不合理存儲產(chǎn)品應(yīng)用時(shí)需要配備一整套的系統(tǒng)，單個(gè)設(shè)備的性能數(shù)據(jù)不足以代表整個(gè)存儲系統(tǒng)的性能數(shù)據(jù)。例如存儲系統(tǒng)不只包含核心的存儲控制器和磁盤柜，還包括適配器、網(wǎng)絡(luò)設(shè)備、線纜等組成部分，這部分器件的數(shù)據(jù)處理消耗對存儲系統(tǒng)的性能表現(xiàn)也會產(chǎn)生一定影響。因此，需要去研究存儲系統(tǒng)的硬件配置，比較各項(xiàng)參數(shù)的數(shù)值以及參數(shù)表以外的因素。為了優(yōu)化配置，必須進(jìn)行存儲系統(tǒng)性能瓶頸測試。因此，在對系統(tǒng)進(jìn)行瓶頸測試時(shí)，需要詳細(xì)研究被測系統(tǒng)的具體配置，保證測試結(jié)果的真實(shí)與可靠，從而為優(yōu)化系統(tǒng)提供技術(shù)方案。1.2存儲測評的意義1.對企業(yè)效益的影響存儲測評不僅可以根據(jù)企業(yè)的具體應(yīng)用測試系統(tǒng)在投入運(yùn)營前的性能和可靠性的關(guān)鍵指標(biāo)，還可以為企業(yè)對產(chǎn)品的選型提供參考，也可以為存儲產(chǎn)品和系統(tǒng)的優(yōu)化提供技術(shù)方案，使資源的利用率達(dá)到最大化。2.促進(jìn)企業(yè)的研發(fā)能力存儲測評能幫助企業(yè)發(fā)現(xiàn)產(chǎn)品在研發(fā)的各個(gè)階段存在的問題，找出系統(tǒng)瓶頸，提供技術(shù)參考資料，為企業(yè)研發(fā)更好的技術(shù)提供了幫助。3.促進(jìn)產(chǎn)業(yè)的健康發(fā)展存儲測評不僅能促進(jìn)存儲相關(guān)軟硬件關(guān)鍵技術(shù)研究，而且可以促進(jìn)產(chǎn)品的設(shè)計(jì)與優(yōu)化，更可以為產(chǎn)品生產(chǎn)和系統(tǒng)集成等過程提供質(zhì)量控制，還能促進(jìn)存儲產(chǎn)品在典型應(yīng)用中的產(chǎn)業(yè)化以及系統(tǒng)的優(yōu)化升級等。2存儲測評的技術(shù)現(xiàn)狀2.1存儲測評的技術(shù)現(xiàn)狀目前，國內(nèi)外存儲評測技術(shù)研究的主要內(nèi)容是對存儲系統(tǒng)的性能評測。從最早的基準(zhǔn)測試和硬盤性能評測工具、文件系統(tǒng)性能評測工具，已經(jīng)發(fā)展到針對網(wǎng)絡(luò)文件服務(wù)器（、）的性能評測基準(zhǔn)和塊級網(wǎng)絡(luò)存儲的性能評測基準(zhǔn)。1988年成立的（）制定了商務(wù)應(yīng)用基準(zhǔn)程序的標(biāo)準(zhǔn)規(guī)范、性能和價(jià)格度量，并依據(jù)這些基準(zhǔn)測試項(xiàng)目發(fā)布性能數(shù)據(jù)。系統(tǒng)每次事務(wù)進(jìn)行2～10次磁盤存取，所以，軟件不僅可測量數(shù)據(jù)庫等軟件的效率，也可測量存儲系統(tǒng)的性能。文件系統(tǒng)性能評測軟件是目前最易獲得的存儲性能評測工具，常用的有、、和。、可以運(yùn)行在多個(gè)操作系統(tǒng)上，是較好的文件操作的基準(zhǔn)工具；可對各種常用的負(fù)載情況如文件服務(wù)器、、服務(wù)進(jìn)行測量和評測，的工作負(fù)載規(guī)范已經(jīng)成為平臺的事實(shí)標(biāo)準(zhǔn)，并且可以產(chǎn)生許多性能指標(biāo)結(jié)果，是平臺最好用的、最常用的測試性能的基準(zhǔn)工具；是測試應(yīng)用下文件系統(tǒng)性能的新基準(zhǔn)。目前已有一些針對網(wǎng)絡(luò)文件存儲系統(tǒng)的測量和評估的性能基準(zhǔn)。()下屬的()小組維護(hù)的和是目前廣泛使用的文件服務(wù)器的性能評測基準(zhǔn)。只能評測其中的性能。彌補(bǔ)了的缺陷，被接受為測試的性能基準(zhǔn)，只能報(bào)告吞吐量而不能報(bào)告響應(yīng)時(shí)間，因此，又開發(fā)了一個(gè)測試的新基準(zhǔn)。目前尚無針對的性能評測工具。但由于存儲系統(tǒng)提供塊級存儲服務(wù)，在服務(wù)器上它被映射為本地磁盤，因此，文件系統(tǒng)性能評測基準(zhǔn)也可以用來測試和評估的性能，是最常用的基準(zhǔn)工具之一。即使采用相同的基準(zhǔn)工具用于存儲系統(tǒng)評測，由于用戶的測試環(huán)境、存儲配置和工作負(fù)載等方面都不同，因此，得到的測試指標(biāo)仍然沒有可比性。因此，2001年（）創(chuàng)建了第一個(gè)行業(yè)標(biāo)準(zhǔn)性能基準(zhǔn)測試1(1)，它是第一個(gè)基于工業(yè)標(biāo)準(zhǔn)的存儲性能測試體系，可以對存儲產(chǎn)品的性能、價(jià)格和可靠性三項(xiàng)指標(biāo)進(jìn)行評價(jià)?；鶞?zhǔn)的最大特點(diǎn)是定義了標(biāo)準(zhǔn)的測試環(huán)境、存儲配置和工作負(fù)載，并且規(guī)定測試結(jié)果必須經(jīng)過審計(jì)才予以公布，保證測試結(jié)果的真實(shí)性和可重復(fù)性。1主要用于針對隨機(jī)應(yīng)用環(huán)境的基準(zhǔn)測試，隨著新的應(yīng)用推廣，又推出了2和3。2.2國外存儲測評機(jī)構(gòu)與公司網(wǎng)絡(luò)存儲工業(yè)協(xié)會（，）擁有420家來自世界各地的公司成員和7100多位個(gè)人成員，遍及整個(gè)存儲行業(yè)。致力于提供相關(guān)行業(yè)標(biāo)準(zhǔn)，推動開放式存儲網(wǎng)絡(luò)解決方案的市場。為了是存儲行業(yè)的健康發(fā)展，提出了“綠色存儲能源測量規(guī)范”，促進(jìn)存儲領(lǐng)域向節(jié)能方面發(fā)展等。2010年初，網(wǎng)絡(luò)存儲工業(yè)協(xié)會（）出臺了“綠色存儲能源測量規(guī)范”（），規(guī)范包括具體的綠色存儲的分類方法，即將不同的存儲技術(shù)和存儲系統(tǒng)加以歸類以便進(jìn)行對比，除此以外，還包括一個(gè)測量系統(tǒng)空閑狀態(tài)下能耗的測量方法。存儲性能委員會（，）是存儲領(lǐng)域擁有舉足輕重地位的第三方存儲測評機(jī)構(gòu)，擁有數(shù)十家大型存儲企業(yè)和研究機(jī)構(gòu)會員，致力于建立標(biāo)準(zhǔn)化的測評基準(zhǔn)，為企業(yè)和用戶提供客觀、公正和權(quán)威的檢測結(jié)果。目前，、、、、等存儲巨頭都是的重要會員，他們都按照的測評規(guī)范對自身產(chǎn)品進(jìn)行測評，并把測評結(jié)果發(fā)給審核，把其審核的結(jié)果發(fā)布到網(wǎng)上供用戶了解。已建立起一套測評規(guī)范，包括1、2、3和等，其中1是用于測試存儲產(chǎn)品在隨機(jī)應(yīng)用環(huán)境下的性能，2用于測試存儲產(chǎn)品在順序應(yīng)用環(huán)境下的性能，3用于測試數(shù)據(jù)備份與恢復(fù)等的應(yīng)用性能，目前還沒有完善，而則是今年才發(fā)布的功耗測評規(guī)范，用于測試存儲產(chǎn)品在多種應(yīng)用環(huán)境下的功耗情況。標(biāo)準(zhǔn)性能評估委員會（,）是一個(gè)全球性的權(quán)威的第三方應(yīng)用性能測評組織，成立于1988年，現(xiàn)有超過60家公司參與。它提供包括、圖形系統(tǒng)、文件系統(tǒng)、存儲系統(tǒng)、應(yīng)用等多個(gè)方面的性能評價(jià)標(biāo)準(zhǔn)和基準(zhǔn)測試程序，其中用于測量文件系統(tǒng)的性能，包括吞吐率和響應(yīng)時(shí)間，2008是于2008年發(fā)布的第一項(xiàng)服務(wù)器標(biāo)準(zhǔn)的功耗/性能測試標(biāo)準(zhǔn)，推動了存儲產(chǎn)業(yè)功耗測評研究的發(fā)展。以一個(gè)通用的公平的標(biāo)準(zhǔn)來考量一個(gè)服務(wù)器的能耗表現(xiàn)，作為第一個(gè)可以在多種負(fù)載條件下測量能耗與性能關(guān)系的服務(wù)器評測標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)設(shè)定了統(tǒng)一的評測基準(zhǔn)，提供了一種測量服務(wù)器用電效率的標(biāo)準(zhǔn)方法，從而避免了因?yàn)槊考夜径紩觾A向自己的產(chǎn)品而引起的評測數(shù)據(jù)的混亂。事務(wù)處理性能委員會（，）是一個(gè)專門負(fù)責(zé)制定計(jì)算機(jī)事務(wù)處理能力測試標(biāo)準(zhǔn)并監(jiān)督其執(zhí)行的組織。自其1988年成立后，提出了一系統(tǒng)基準(zhǔn)測試集，這些測試集用于評價(jià)計(jì)算機(jī)系統(tǒng)進(jìn)行事務(wù)處理的能力，包括、、、等測試集。其中是一個(gè)聯(lián)機(jī)事務(wù)處理的測試集，被廣泛用來測試存儲系統(tǒng)對與機(jī)遇數(shù)據(jù)庫應(yīng)用的支持能力，并通過每秒事務(wù)數(shù)量來描述系統(tǒng)的性能。2009年10月，推出了功耗測評基準(zhǔn)V1.0.0基準(zhǔn)，把功耗測評研究推向了一個(gè)快速發(fā)展的階段。新罕布什爾大學(xué)互操作實(shí)驗(yàn)室（，）為世界著名的中立第三方測試實(shí)驗(yàn)室，專注于工業(yè)之測試標(biāo)準(zhǔn)，對于各種技術(shù)領(lǐng)域之研發(fā)測試都有涉獵，并提供標(biāo)準(zhǔn)的產(chǎn)品互通性()測試驗(yàn)證服務(wù)。公司公司成立于1981年，經(jīng)過30年的發(fā)展和數(shù)十次收購，目前已成為全球最大光纖零件和光通訊領(lǐng)域的巨頭之一，并從事大量測評工作，包括通信測評、存儲測評、系統(tǒng)測評等，其測試工具是存儲業(yè)知名的測試工具，功能全面，能滿足對存儲系統(tǒng)的性能、功能和可靠性等多方面壓力測試。許多研究機(jī)構(gòu)和實(shí)驗(yàn)室，如美國實(shí)驗(yàn)室、美國國家能源部、、美國國防部、大學(xué)、加州大學(xué)分校等，各大存儲廠商也有自己的存儲測評研究，如、、、等等，有名的存儲測評工具如開發(fā)的，開發(fā)的、、等，，公司的等等。3存儲性能測評的分類3.1按負(fù)載產(chǎn)生方式分類存儲性能評測按照請求發(fā)生的方式可以分成三大類：基準(zhǔn)程序法、應(yīng)用仿真法和采集法。基準(zhǔn)程序法基準(zhǔn)程序法（）是目前一致認(rèn)可的測試存儲產(chǎn)品的較好方法，它能有效和精確地測評產(chǎn)品的各種特性。目前已出現(xiàn)很多成熟的存儲測評基準(zhǔn)，如事務(wù)處理委員會（）提出的基準(zhǔn)測試集和等，標(biāo)準(zhǔn)性能評價(jià)委員會（）提出的和2008，存儲性能委員會（）提出的1，2和3等存儲測評基準(zhǔn)集及其相應(yīng)的基準(zhǔn)程序。應(yīng)用仿真法應(yīng)用仿真（）是一種高效和可行的研究手段，它能解決日益復(fù)雜的存儲系統(tǒng)打來的多種問題，如在真實(shí)系統(tǒng)上驗(yàn)證和優(yōu)化方案成本高、設(shè)計(jì)和實(shí)現(xiàn)周期長的難題，有時(shí)采用真實(shí)系統(tǒng)缺乏可行性。這類典型程序包括、、和等。采集法。采集法是用特定的方法和工具收集存儲系統(tǒng)在具體應(yīng)用下的各種典型操作，這些操作是真實(shí)環(huán)境下的多種混合操作行為，然后通過收集到的集在應(yīng)用系統(tǒng)上進(jìn)行回放測試的方法。實(shí)驗(yàn)室一直在其研究部門的服務(wù)器上搜集大量的。從2007年開始，公司開始利用等工具跟蹤、記錄公司研發(fā)的系列服務(wù)器產(chǎn)品在各種負(fù)載下的，并在網(wǎng)站中公開發(fā)布。3.2按應(yīng)用負(fù)載分類目前主流的基準(zhǔn)測試程序側(cè)重目的不同：有的測試服務(wù)性能，有的測試數(shù)據(jù)處理性能，有的測試科學(xué)與工程計(jì)算性能，有的測試網(wǎng)絡(luò)通訊速度等。不同的測試工具有不同適用范圍，可分為如下六類：綜合測試型1基準(zhǔn)測試程序主要是用來測試存儲子系統(tǒng)在進(jìn)行隨機(jī)輸入/輸出運(yùn)算、查詢和更新等操作時(shí)的系統(tǒng)性能，2是面向連續(xù)應(yīng)用的性能測試體系，包括大型文件處理、大型數(shù)據(jù)庫查詢和視頻點(diǎn)播，3針對備份和恢復(fù)性能的評測體系。性能型其中96主要用于評價(jià)響應(yīng)用戶點(diǎn)擊的性能，96值是服務(wù)器每秒能夠支持的連接數(shù)量。開發(fā)的主要用于評測系統(tǒng)在不同環(huán)境、不同負(fù)載模式下的服務(wù)性能事務(wù)處理性能型其中公司的基準(zhǔn)測試主要用于對比不同層面和類型的磁盤用于數(shù)據(jù)庫時(shí)的性能和吞吐量，是一款比較全面的針對數(shù)據(jù)庫應(yīng)用的測試工具由(，事務(wù)處理性能委員會)負(fù)責(zé)定義了諸如、和基準(zhǔn)測試之類的事務(wù)處理與數(shù)據(jù)庫性能基準(zhǔn)測試，并依據(jù)這些基準(zhǔn)測試項(xiàng)目發(fā)布客觀性能數(shù)據(jù)。系統(tǒng)軟件性能型由開發(fā)主要測試操作系統(tǒng)性能，其具體指標(biāo)包括：空系統(tǒng)調(diào)用時(shí)間，進(jìn)程切換時(shí)間，、、、的延遲和帶寬，內(nèi)存、、的讀寫性能，存儲映射的性能。主要評測計(jì)算機(jī)系統(tǒng)的網(wǎng)絡(luò)性能，也可用來評測（）、的性能，、的帶寬和請求應(yīng)答數(shù)。用于評測系統(tǒng)的性能?？茖W(xué)與工程計(jì)算性能型其中美國開發(fā)的()主要用于包括8個(gè)空氣動力學(xué)計(jì)算類應(yīng)用，5個(gè)核心程序和3個(gè)偽應(yīng)用，、多重網(wǎng)格求解、共軛梯度方程求解、三維、整數(shù)排序。大學(xué)開發(fā)的主要用于評測共享存儲系統(tǒng)性能，其包括7個(gè)完整的應(yīng)用和5個(gè)計(jì)算核心程序，科學(xué)與工程計(jì)算，計(jì)算機(jī)圖形學(xué)方面的并行程序。主要用于評價(jià)大型可擴(kuò)展系統(tǒng)的計(jì)算性能。文件系統(tǒng)性能型這類基準(zhǔn)測試主要進(jìn)行以下幾個(gè)方面的測試：文件系統(tǒng)建立后的讀/寫性能測試；文件系統(tǒng)建立后的文件建立測試，文件建立測試后的文件刪除測試。用于測試新聞服務(wù)器上高速增加刪除文件性能測試；主要用于測試文件系統(tǒng)在郵件系統(tǒng)或電子商務(wù)系統(tǒng)中性能。3.3按負(fù)載方法分類.....aa..a..4.存儲性能的影響因素4.1硬件配置存儲系統(tǒng)包含很多硬件子系統(tǒng)，如磁盤、磁盤接口、交換機(jī)、網(wǎng)卡、主板、內(nèi)存、等等，簡單的存儲結(jié)構(gòu)如圖所示。1.讀寫方式讀寫方式主要包括隨機(jī)讀、順序讀或混合讀寫三種。對存儲設(shè)備性能測評的過程中，選擇不同的讀寫方式將直接影響到最終的測試結(jié)果。2.塊大小存儲設(shè)備的性能表現(xiàn)嚴(yán)重依賴于數(shù)據(jù)塊的大小，當(dāng)數(shù)據(jù)塊的大小增加，帶寬增加，而減少。4.2參數(shù)3.讀寫比例讀寫比例是指操作流中讀和寫操作各占的比例，讀比例與寫比例之和為100%。4.文件大小針對不同的文件存儲應(yīng)用，它請求的文件大小是不同的，一般來說服務(wù)、服務(wù)、新聞服務(wù)都請求小文件，而音視頻和大文件處理等服務(wù)一般是請求大文件。

(%)

(%)(%)

（隨機(jī)）

29

32

61

(順序)

11

28

39

40

60

100表1讀寫方式參數(shù)5.存取模式文件系統(tǒng)中的存取模式分為共享存取訪問模式（）和并發(fā)存取訪問模式（）。對于并發(fā)存取訪問模式，每個(gè)進(jìn)程擁有一個(gè)屬于自己的操作文件，因此很容易實(shí)現(xiàn)按操作隊(duì)列進(jìn)行讀寫操作，進(jìn)程只需按照操作隊(duì)列循環(huán)讀寫相應(yīng)文件即可。而對于共享存取訪問模式，由于所有并發(fā)進(jìn)程同時(shí)操作同一個(gè)文件的不同段或不同塊。

..a.–:..:“0”,.a.–

25.1.–.....–-50,000100,000150,000200,000250,000300,000350,000400,000'2k''4k''16K''64K''256K'

=.=.–.1,4134,6261,0002,0003,0004,0005,0006,000'2k''4k''16K''64K''256K'

,.....

a,..:A’s5’s0101011010100x56A0’s1’s00010010010010000X1248