計算機系統(tǒng)性能評測綜述

1、計算機系統(tǒng)性能評測綜述摘 要：計算機系統(tǒng)性能評測是計算機科學(xué)的一個重要分支。為了獲得計算機系 統(tǒng)在執(zhí)行某類操作的性能，人們構(gòu)造了各種評測程序，通過這些評測程序來獲得 計算機系統(tǒng)在運行任務(wù)時的性能特征，從而獲得計算機在不同情況下的性能測試 數(shù)據(jù)，這些數(shù)據(jù)就顯示了計算機性能的高低。關(guān)鍵詞：性能評測，操作系統(tǒng)，計算性能% f刖呂隨著科學(xué)技術(shù)的口益進步，計算機得到了快速發(fā)展，其中，性能作為計算機 最重要的特性之一，一直被受人們的關(guān)注。在現(xiàn)代，計算機各種功能的增加，運 行程序的增加，程序需要迅捷，高效的被處理，那么計算機性能就是重中之重。 因此對一個計算機進行系統(tǒng)性能評測就是必須且必要的。1計算機系統(tǒng)性

2、能評測？性能代表系統(tǒng)的使用價值。性能評價技術(shù)研究使性能成為數(shù)量化的、能進行 度量和評比的客觀指標，以及從系統(tǒng)本身或從系統(tǒng)模型獲取有關(guān)性能信息的方法。 前者即測量技術(shù)，后者包括模擬技術(shù)和分析技術(shù)。性能評價通常是與成木分析綜 合進行的，借以獲得各種系統(tǒng)性能和性能價格比的定量值,從而指導(dǎo)新型計算機 系統(tǒng)（如分布計算機系統(tǒng)）的設(shè)計和改進，以及指導(dǎo)計算機應(yīng)用系統(tǒng)的設(shè)計和改進, 包括選擇計算機類型、型號和確定系統(tǒng)配置等。在20世紀60年代中期，出現(xiàn)了多任務(wù)、多用戶的計算機系統(tǒng)，隨著大家對這種 系統(tǒng)的應(yīng)用，人們發(fā)現(xiàn)這些系統(tǒng)表現(xiàn)擊來的實際性能并沒有預(yù)計的好，從而引發(fā) 了對計算機系統(tǒng)性能評價的研究。計算機系統(tǒng)性

3、能評價就是采用測量、模擬、分 析等方法和工具，研究計算機系統(tǒng)的生產(chǎn)率、利用率、響應(yīng)特性等系統(tǒng)性能。這 里，性能代表系統(tǒng)的使用價值。性能評價技術(shù)就是將看不見摸不著的性能轉(zhuǎn)換為人們能夠數(shù)量化和可以進 行度量和評比的客觀指標，以及從系統(tǒng)木身或從系統(tǒng)模型獲取有關(guān)性能信息的方 法。前者即測量技術(shù)，后者包括模擬技術(shù)和分析技術(shù)。性能評價通常是與成本分析結(jié)合在一起，以獲得各種系統(tǒng)性能和性能價格比 的定量值，然后可以指導(dǎo)新型計算機系統(tǒng)（如分布式文件系統(tǒng)）的設(shè)計和改進， 以及指導(dǎo)計算機應(yīng)用系統(tǒng)的設(shè)計和改進，包括選擇計算機類型、型號和確定系統(tǒng) 配置等。1 1性能指標計算機系統(tǒng)性能指標有兩類：可用性、工作能力。可用性

4、：它指計算機能夠持續(xù)工作時間，一般用平均無故障時間和可恢復(fù)性 來表示。工作能力：它指計算機在正常工作狀態(tài)下所具有的能力。它們是系統(tǒng)性能評 價的主要研究對象。常用的工作能力指標由：吞吐量、延遲和資源利用率。吞吐量：單位時間內(nèi)系統(tǒng)的處理能力，指單位時間內(nèi)完成的任務(wù)數(shù)。對于不 同目標可能含義不同。例如，在評價一個數(shù)據(jù)庫系統(tǒng)時，所指的吞吐量可以是單 位時間內(nèi)交易完成的個數(shù)；在評價一個網(wǎng)絡(luò)系統(tǒng)是，吞吐量指單位時間內(nèi)傳輸?shù)?字節(jié)數(shù)等。延遲：完成一個指定任務(wù)所花費的吋間。例如，在評價一個數(shù)據(jù)庫系統(tǒng)吋， 可以考察它完成一個查詢，或完成一個數(shù)據(jù)處理所需要的時間；在評價一個網(wǎng)絡(luò) 系統(tǒng)時，可以考察發(fā)送一個網(wǎng)絡(luò)包所需

5、要的時間等。資源利用率：指完成一個任務(wù)所需要花費的系統(tǒng)資源。例如完成一個數(shù)據(jù)處 理、所占用處理器的時間、占用內(nèi)存的大小或占用網(wǎng)絡(luò)帶寬的大小等。吞吐量越高、延遲越少、資源利用率越低則表示系統(tǒng)的性能越好。2性能測試目的在眾多的系統(tǒng)中選擇一個最適合系統(tǒng)，即在一定的價格范圍內(nèi)選擇性能最好 的系統(tǒng)，達到較好的性能/價格比。2.如何性能測試2. 1性能測試指標2. 1. 1應(yīng)用系統(tǒng)的負載能力即系統(tǒng)所能容忍的最大用戶數(shù)量，也就是在正常的響應(yīng)時間中，系統(tǒng)能夠支 持的最多的客戶端的數(shù)量。2. 1. 2應(yīng)用系統(tǒng)的吞吐率即應(yīng)用系統(tǒng)在單位時間內(nèi)完成的交易量，也就是在單位時間內(nèi)，應(yīng)用系統(tǒng)針 對不同的負載壓力，所能完成的

6、交易數(shù)量。2. 1.3系統(tǒng)的響應(yīng)能力即在各種負載壓力情況下，系統(tǒng)的響應(yīng)時間，也就是從客戶端請求發(fā)起，到 服務(wù)器端應(yīng)答返回所需要的時間，包括網(wǎng)絡(luò)傳輸時間和服務(wù)器處理時間。2. 1. 4應(yīng)用系統(tǒng)的可靠性即在連續(xù)工作時間狀態(tài)下，系統(tǒng)能夠正常運行的時間，即在連續(xù)工作時間段 內(nèi)沒有出錯信息。2. 2性能測試從廣泛意義上講性能測試包括：壓力測試、穩(wěn)定性測試、負載能力測試和可 擴展性測試等。在不同應(yīng)用系統(tǒng)的性能測試中，需耍根據(jù)應(yīng)用系統(tǒng)的特點和測試 目的的不同來選擇具體的測試方案。在性能測試中，壓力測試主要是為了獲取系統(tǒng)在較大壓力狀況下的性能表現(xiàn) 而設(shè)計并實現(xiàn)的，壓力測試主要是獲取系統(tǒng)的性能瓶頸和系統(tǒng)的最大吞

7、吐率。 壓力測試的r的就是檢驗系統(tǒng)的最大吞吐量，檢驗現(xiàn)行的業(yè)務(wù)系統(tǒng)在各種壓力交 易量下的運行狀況，檢驗系統(tǒng)地運行瓶頸，獲取系統(tǒng)的處理能力等等。穩(wěn)定性測試就測試系統(tǒng)的長期穩(wěn)定運行能力。在系統(tǒng)運行過程中，對系統(tǒng)施 壓，觀察系統(tǒng)的各種性能指標，以及服務(wù)器的指標。負載測試是一種性能測試，指數(shù)據(jù)在超負荷環(huán)境中運行，程序是否能夠承擔。 通過逐步增加系統(tǒng)負載，確定在滿足性能指標的情況下，系統(tǒng)所能承受的最大 負載量。、可擴展性測試是否支持可擴展性是指音箱是否支持多聲道同時輸入，是否有 接無源環(huán)繞音箱的輸出接口，是否有usb輸入功能等。3計算機性能的主要評測手段計算機性能的主要評測手段主要包括測量、模擬、分析方

8、法。3. 1測量方法測量是最基木、最重要的系統(tǒng)性能評價手段。測試設(shè)備向被測設(shè)備輸入一組 測試信息并收集被測設(shè)備的原始輸岀，然后進行選擇、處理、記錄、分析和綜合， 并且解釋其結(jié)果。上述這些功能一般是由被測的計算機系統(tǒng)和測量工具共同完成 的，其中測量工具完成測量和選擇功能。測量工具分硬件工具和軟件工具兩類。便件測量工具附加到被測計算機系統(tǒng) 內(nèi)部去測量系統(tǒng)屮出現(xiàn)的比較微觀的事件（如信號、狀態(tài)）。典型的硬件檢測器有 定時器、序列檢測器、比較器等。例如，可用定時器測量某項活動的持續(xù)時間； 用計數(shù)器記錄某一事件出現(xiàn)的次數(shù)；用序列檢測器檢測系統(tǒng)中是否出現(xiàn)某一序列 （事件）等。數(shù)據(jù)的采集、狀態(tài)的監(jiān)視、寄存器內(nèi)

9、容的變化的檢測，也可以通過執(zhí) 行某些檢測程序來實現(xiàn)。這類檢測程序即軟件測量工具。例如，可按程序名或作 業(yè)類收集主存儲器、輔助存儲器使用量、輸入卡片數(shù)、打印紙頁數(shù)、處理機使用 時間等基本數(shù)據(jù)；或者從經(jīng)濟的角度收集管理者需要的信息；或者收集諸如傳送 某個文件的若干個記錄的傳送時間等特殊信息；或者針對某個程序或特定的設(shè)備 收集程序運行過程中的一些統(tǒng)計量，以及發(fā)現(xiàn)需要優(yōu)化的應(yīng)用程序段等。硬件監(jiān) 測工具的監(jiān)測精度和分辨率高，對系統(tǒng)干擾少；軟件監(jiān)測工具則靈活性和兼容性 好，適用范圍廣。測量方法是最直接、最基本的方法，其他方法也要依賴于測量 的量，但是它比較浪費時間，只適合于已經(jīng)存在并運行的系統(tǒng)。3. 2分

10、析方法分析方法可為計算機系統(tǒng)建立一種用數(shù)學(xué)方程式表示的模型，進而在給定輸 入條件下通過計算獲得目標系統(tǒng)的性能特性。該方法-般應(yīng)用于系統(tǒng)的設(shè)計階段, 這時候因為沒有完整的實時系統(tǒng)導(dǎo)致測量方法不能使用，因此，分析方法在系統(tǒng) 建模的初期顯得尤其重要。為了使得抽象的模型在數(shù)學(xué)上能夠理解，我們需耍對 系統(tǒng)進行簡化和高度抽象，因此這種模型刻畫系統(tǒng)有一定的偏差。例如，在分析 模型中，考慮時間分布的函數(shù)的時候只用指數(shù)分布函數(shù)。而這一點限制在模擬方 法中可以去掉。一般來說，因為抽象與簡化使得分析方法刻畫的系統(tǒng)詳細程度較 低，得出的性能指標精度也相對較為粗糙。但是它的優(yōu)點是花費低，并且分析方 法的靈活度更高，我們

11、可以分析用戶實時配置的系統(tǒng)，而不用去構(gòu)建系統(tǒng)并運行 和測量。3. 3模擬方法在系統(tǒng)的設(shè)計、優(yōu)化、驗證和改進過程中，不可能或不便于采用測量方法和 分析方法時，可以構(gòu)造模擬模型來近似冃標系統(tǒng)，進而了解冃標系統(tǒng)的特性。該 方法主要是用程序動態(tài)的模擬系統(tǒng)及其負載。模擬模型包括系統(tǒng)模型和工作負載 （環(huán)境）模型。工作負載乂可分為用戶程序負載和系統(tǒng)程序負載，也可按時間劃分 時、日、周或月工作負載等。系統(tǒng)模型和工作負載模型是相互聯(lián)系和相互影響的， 它們采用程序語言描述。科學(xué)計算用程序語言（如algol, fortran）沒有面向 模擬的語法結(jié)構(gòu)，用它建立模擬不夠方便。為系統(tǒng)模擬發(fā)展的通用模擬語言（如 gpss

12、, simula）不僅能描述計算機系統(tǒng)，也能適用于一般系統(tǒng)模擬。為計算機系 統(tǒng)模擬發(fā)展的專用模擬語言（如ecss, css），使用更方便，但應(yīng)用范圍較窄。 此外，還有計算機模擬程序包可供宜接選用。模擬模型建立后，需要檢驗它的合 理性、準確度等，還要設(shè)計模擬試驗,對感興趣的輸出值進行統(tǒng)計分析、誤差分 析等數(shù)據(jù)處理。模擬方法能夠詳細的刻畫系統(tǒng)，具有較精確的性能指標，但是它 費時并且費用較咼。3. 4計算機系統(tǒng)性能測試程序及標準計算機系統(tǒng)性能測試及標準多種多樣，主要有以下兒種測試程序及標準。 linpack：最早的評測系統(tǒng)計算能力的 benchmark 之一,1 inpack （linear alg

13、ebra packages）主要功能是解線性方程組和線性最小二乘問題，最早的矩陣大小為 100x100, 300x300,后來以 1000x1000 為標準；隨著 mpp、cc-numa、cluster 等大型并行計算機的出現(xiàn)，不再限定矩陣的規(guī)模。linpack問題在大多數(shù)系統(tǒng)上 很容易向量化，廠商進行精心優(yōu)化，提高cache命中率，得到的計算飽和峰值常 常是實際應(yīng)用不可能達到的。nas：由美國 nasa 的 nas (numerical aerodynamic simulation)研究組開發(fā) 的科學(xué)計算性能評價標準，包含8個空氣動力學(xué)計算類應(yīng)用，其中含5個核心程 序和3個偽應(yīng)用，核心應(yīng)用分

14、別是ep、多重網(wǎng)格求解、共覘梯度方程求解、三 維fft、和整數(shù)排序。開始nas只是紙上標準，由廠商自行按最優(yōu)方法編制程序， 早期的巨型機和向量機都采用nas benchmarko隨著并行機的出現(xiàn)，又有了并行 版本npb,廠商需要針對自己系統(tǒng)的體系結(jié)構(gòu)，在并行粒度、數(shù)據(jù)結(jié)構(gòu)、通信機 制、處理器映射、內(nèi)存分配、底層優(yōu)化上下功夫。最近乂有了 npb2標準，統(tǒng)一 提供mpi語言編制的并行程序。perfect : 即 performance evaluation for cost-effective transformations評測程序，是由iipcg組織開發(fā)的用于評測傳統(tǒng)的向量巨型機 的標準。spl

15、ash： stanford大學(xué)開發(fā)的用于評測共享存儲系統(tǒng)性能的測試程序。現(xiàn)在 已發(fā)展到splash-2,包含7個完整的應(yīng)用和5個計算核心程序，它們都是科學(xué) 與工程計算和計算機圖形學(xué)方面的并行程序，主要用于評價smp、cc-numa. dsm 等共享存儲類體系結(jié)構(gòu)的計算機系統(tǒng)的性能。parkbench：用丁評價大型可擴展系統(tǒng)的科學(xué)計算性能，有fortran加消息 傳遞、hpp 多個版本，包括 micro-benchmark, kernel, compact application, comp訂er四類benchmarko底層的micro-benchmark用于測量單節(jié)點性能，目的 是獲取單處理器

16、的有關(guān)體系結(jié)構(gòu)和編譯器的基本性能參數(shù)，以便更好地理解上層 測試的結(jié)果。測試內(nèi)容包括時鐘調(diào)用、算術(shù)運算、內(nèi)存帶寬和延遲、通信延遲和 帶寬、全局同步操作性能等。核心測試包括矩陣運算、fft、偏微分方程、nas 核心，和一個1/0 benchmarko簡化應(yīng)用測試包括氣候模型、計算流體動力學(xué)、 財務(wù)模型、分子動力學(xué)、等離子物理、量子化學(xué)、水庫模型等。編譯器測試主要 是評價hpf編譯器優(yōu)化的效果。parkbench很龐人，用于評價計算機系統(tǒng)支持各 種具有不同需求的科學(xué)計算應(yīng)用的性能。3 5苴他要求砧計算機的性能評價，除上述的主要技術(shù)指標外，還應(yīng)該考慮其他兒個方面:3. 5. 1系統(tǒng)的兼容性系統(tǒng)的兼容性

17、一般包括硬件的兼容、數(shù)據(jù)和文件的兼容、系統(tǒng)程序和應(yīng)用程 序的兼容、硬件和軟件的兼容等。對于用戶來說，兼容性越好，則越便于硬件和 軟件的維護和使用；對機器而言，更有利于機器的普及和推廣。3. 5. 2系統(tǒng)的可靠性和可維護性系統(tǒng)的可靠性是指系統(tǒng)在正常條件下不發(fā)牛故障或失效的概率，一般用平均 無故障吋間來衡量。系統(tǒng)的可維護性指系統(tǒng)出了故障能否盡快恢復(fù)，-般用平均 修復(fù)時間來衡量。3. 5. 3軟件配置軟件配置包括操作系統(tǒng)、工具軟件、程序設(shè)計語言、數(shù)據(jù)庫管理系統(tǒng)、網(wǎng)絡(luò) 通信軟件、漢子軟件及其他各種應(yīng)用軟件等。計算機只有配備了必需的系統(tǒng)軟件 和應(yīng)用軟件，才能咼效地完成相關(guān)任務(wù)。3. 5. 4外設(shè)配置外設(shè)

18、包括計算機的輸入和輸岀設(shè)備，不同的外設(shè)配置將影響計算機性能的發(fā) 揮，例如：顯示器有高，中，低分辨率之分，若使用分辨率較低的顯示器，將難 以準確還原顯示高質(zhì)量的圖片；硬盤的存儲量人小不同，選用低容量的硬盤，則 系統(tǒng)就無法滿足大信息量的存儲需求。3. 5. 5性能價格比性能一般指計算機的綜合性能，包括硬件，軟件等各方面；價格指購買整個 計算機系統(tǒng)的價格，包括硬件的軟件的價格。購買時應(yīng)該從性能、價格兩方面來 考慮。性能價格比越高越好。此外，評價計算機的性能時，還要兼顧多媒體處理能力、網(wǎng)絡(luò)功能、信息處 理能力，不見的可升級擴充能力等因素。3. 6其他方面我們要知道沒有一個標準能反映計算機系統(tǒng)的全部性能

19、，它們代表的只是性 能的一個側(cè)面，只局限于計算機系統(tǒng)的某一層次，不能得到系統(tǒng)整體的性能特征。 評測可以幫助用戶判斷系統(tǒng)的性能特征，但適用性本身不止是性能，特別是在大 型系統(tǒng)中，其它一些因素，包括耗電量、散熱、可管理能力等等，直接影響用戶 的擁有成本及維護難度，應(yīng)予以充分考慮。對計算機系統(tǒng)性能的評測并沒有統(tǒng)一 標準，對待這個問題也是一個見仁見智的過程。4綜述計算機性能隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展而不斷發(fā)展，計算機性能也越發(fā)重要起 來性能評價是計算機網(wǎng)絡(luò)和計算機系統(tǒng)研究與應(yīng)用的重要理論基礎(chǔ)和支撐技 術(shù)，也是當今通信和計算機科學(xué)領(lǐng)域的重要硏究方法。計算機系統(tǒng)的評價指標有 很多，不同領(lǐng)域和用途的計算機評價時的評價指標側(cè)垂點不同。評價計算機系統(tǒng) 主要通