計(jì)算機(jī)性能評(píng)測(cè)概述

1、計(jì)算機(jī)性能評(píng)測(cè)概述錢宇輝2005年1月6日智能中心性能評(píng)測(cè)組http:/ 性能評(píng)價(jià)“If a systems performance is hard to evaluate, then the system is hard to understand”軟件工程軟件測(cè)試性能測(cè)試（性能、負(fù)載、強(qiáng)度測(cè)試）自動(dòng)化技術(shù)測(cè)試自動(dòng)化測(cè)試自動(dòng)化技術(shù)不是測(cè)試技術(shù)，但是在我們開發(fā)測(cè)試軟件的時(shí)侯可以參考。參考文獻(xiàn)1，4，11測(cè)試的重要性 “就軟件業(yè)而言，一個(gè)軟件之所以能夠成功，必須仰賴多方面的配合，這些配合項(xiàng)目除了要達(dá)到產(chǎn)品需求，符合市場(chǎng)預(yù)期，功能優(yōu)于競爭對(duì)手，產(chǎn)品服務(wù)令人滿意之外，最重要的是軟件質(zhì)量必須能夠贏得使

2、用者的信任。對(duì)軟件質(zhì)量來說，軟件測(cè)試是提高軟件質(zhì)量最實(shí)際、最徹底的方法之一?！?參考文獻(xiàn)8性能概念的理解 兩種觀點(diǎn)： 1. 時(shí)間、吞吐量2. 還包括了：可用性、可靠性、可擴(kuò)展性、資源利用率 隨著需求的發(fā)展，以后可能還會(huì)包括別的性能。參考文獻(xiàn)9，10 三種性能評(píng)測(cè)方法的比較 模擬（simulation）、建模分析（modeling）、測(cè)量（measurement） 考慮的方面 建模 模擬 測(cè)量 待測(cè)系統(tǒng)處于何種狀態(tài) 任何 任何 系統(tǒng)做出之后 測(cè)試所需時(shí)間 少 適中 不確定，受被測(cè)系統(tǒng)和測(cè)試工具的影響 所用工具 數(shù)學(xué) 計(jì)算機(jī)語言 設(shè)備 精確度 低一般 不確定，受環(huán)境影響 評(píng)價(jià)折衷的能力* 強(qiáng) 適中

3、 弱 開銷 小 一般 大 市場(chǎng)信任度 低 一般 高 三種性能評(píng)測(cè)方法的比較（接上）*評(píng)價(jià)折衷的能力強(qiáng)，表示容易尋找最優(yōu)參數(shù)值，否則反之。 市場(chǎng)信任度對(duì)于廠家做評(píng)價(jià)尤其重要。比較好的辦法就是同時(shí)使用兩種或更多的評(píng)測(cè)技術(shù)，如果不同技術(shù)得出的結(jié)果相同，評(píng)測(cè)結(jié)果的市場(chǎng)可信度就會(huì)大大提高。參考文獻(xiàn)3性能評(píng)測(cè)的粒度級(jí)別（參照軟件評(píng)估中的粒度級(jí)別） 系統(tǒng)級(jí)：對(duì)整個(gè)系統(tǒng)總的看法。體系結(jié)構(gòu)級(jí)：系統(tǒng)的最高抽象級(jí)別。設(shè)計(jì)級(jí)：體系結(jié)構(gòu)組件的設(shè)計(jì)。編碼級(jí)：最細(xì)的粒度級(jí)別，考慮實(shí)現(xiàn)特殊設(shè)計(jì)的單行代碼。參考文獻(xiàn)2測(cè)試對(duì)應(yīng)的軟件開發(fā)階段 早期的測(cè)試設(shè)計(jì)V模型 參考文獻(xiàn)4需要測(cè)試功能設(shè)計(jì)編碼測(cè)試測(cè)試測(cè)試驗(yàn)收測(cè)試系統(tǒng)測(cè)試集成測(cè)試

4、單元測(cè)試測(cè)試編碼測(cè)試運(yùn)行測(cè)試對(duì)應(yīng)的軟件開發(fā)階段 測(cè)試設(shè)計(jì)不能等到測(cè)試運(yùn)行時(shí)才進(jìn)行，可在獲得所需信息后的任何時(shí)候開始。這樣發(fā)現(xiàn)缺陷的效果好，在軟件進(jìn)行下一階段前可將缺陷改正，對(duì)系統(tǒng)的修改不是破壞性的，修改成本小。以上的同樣適用于性能測(cè)試。在中科院計(jì)算技術(shù)研究所管理標(biāo)準(zhǔn)質(zhì)量手冊(cè)中，附件G給出了測(cè)試服務(wù)過程流程圖，規(guī)定了本單位在做項(xiàng)目時(shí)的測(cè)試流程和責(zé)任分配。5 然而，“世界上不存在完備的測(cè)試”。？探查性測(cè)試 這個(gè)有必要提一下。很多人都希望在尋找性能缺陷并且優(yōu)化性能時(shí)有一個(gè)好用的方法論的指導(dǎo)。但是，目前主要還是利用以前的測(cè)試經(jīng)驗(yàn)和相關(guān)技術(shù)知識(shí)的積累來進(jìn)行經(jīng)驗(yàn)性的猜測(cè)。（例：網(wǎng)安的測(cè)試）目前性能評(píng)測(cè)領(lǐng)域

5、的研究熱點(diǎn) 集群系統(tǒng)的新的性能評(píng)價(jià)標(biāo)準(zhǔn)基于web的性能評(píng)測(cè)技術(shù)文件系統(tǒng)、memory、database的性能評(píng)測(cè)技術(shù) 目前，在性能評(píng)測(cè)領(lǐng)域的研究人員一般都熱衷于發(fā)展新的方法論。包括：數(shù)學(xué)建模、分析、使用儀器的技術(shù)、模型驗(yàn)證和確認(rèn)、負(fù)載描述、模擬、統(tǒng)計(jì)分析、隨機(jī)建模、實(shí)驗(yàn)設(shè)計(jì)、可靠性分析、優(yōu)化、隊(duì)列理論。 參考文獻(xiàn)1，6，7工具 這是比較重要的部分，還沒來得及研究總結(jié)。大概包括：建模（分析）工具：Matlab模擬（分析）工具測(cè)量（分析）工具：所有的benchmark都是。 需要做的事這是從學(xué)科建設(shè)的角度考慮測(cè)試知識(shí)的積累和共享，這個(gè)可以通過企業(yè)信息化來實(shí)現(xiàn)，比如我們的所務(wù)平臺(tái)。參考文獻(xiàn) 1. W

6、eb測(cè)試應(yīng)用，美Hung Q. Nguyen 著，馮學(xué)民、唐映、楊海燕等譯，電子工業(yè)出版社，2003年4月，第1版。2. 軟件質(zhì)量和軟件測(cè)試，德Dirk Huberty 等著，馬博、趙云龍譯，清華大學(xué)出版社，2003年11月，第1版。3. 高端路由器測(cè)試技術(shù)，王樂春、龔正虎、白建軍、夏建東等編，人民郵電出版社，2002年12月，第1版。4. 軟件測(cè)試自動(dòng)化技術(shù)與實(shí)例詳解，美Mark Fewster & Dorothy Graham 著，舒智勇、包曉露、焦躍等譯，電子工業(yè)出版社，2000年1月，第1版。5. 中科院計(jì)算技術(shù)研究所管理標(biāo)準(zhǔn)質(zhì)量手冊(cè)，QB/JS-ZK10000-A，中科院計(jì)算技術(shù)研究

7、所，2003年12月1日發(fā)布。6. 高性能機(jī)群計(jì)算：結(jié)構(gòu)與系統(tǒng)（第一卷），美Rajkumar Buyya編，鄭緯民、石威、汪東升等譯，電子工業(yè)出版社，2001年6月，第1版。 參考文獻(xiàn) 7. Performance Evaluation Review, a.c.sigmetrics, acm press, vol.32, No.2, Sep. 2004. 8.軟件測(cè)試與質(zhì)量管理，許育誠編著，王慧文改編，飛思科技產(chǎn)品研發(fā)中心監(jiān)制，電子工業(yè)出版社，2004年6月，第1版。 9.TESTING AND QUALITY ASSURANCE FOR COMPONENT-BASED SOFTWARE,Jerry Zeyu Gao,H.-S. Jacob Tsao,Ye Wu,2003,ARTECH HOUSE,INC. 10.Computer Systems Performance Evaluation and Prediction,Paul J. Fortier,Howard E. Michel,July,2003,Digital Press. 11. SIGMETRICS2004/PERFORMANCE2004會(huì)議論文集備注 此備注寫于作完報(bào)告之后本ppt中所提到的“測(cè)試”都是指軟件工程中的測(cè)試（Tes