IT管理系統(tǒng)常用性能測試指標解讀與使用價值分析講課教案

1、Good is good, but better carries it.精益求精，善益求善。IT管理系統(tǒng)常用性能測試指標解讀與使用價值分析-IT管理系統(tǒng)常用性能測試指標解讀與使用價值分析在今天競爭激烈的市場中，IT管理能力是企業(yè)成功的關(guān)鍵。每一個企業(yè)都希望花最少的錢獲得一個性能最強、使用最便利、安全性最高、與企業(yè)業(yè)務結(jié)合最緊密的IT管理系統(tǒng)。一個好的IT系統(tǒng)能夠提高企業(yè)管理效率，降低企業(yè)運營成本、提升企業(yè)在市場上的整體競爭力。一個好的IT管理系統(tǒng)不是市面上技術(shù)最最先進、價格最昂貴、由世界上最頂尖的廠商和研發(fā)團隊開發(fā)出來的系統(tǒng)，而是在企業(yè)預算范圍內(nèi)、最能夠被企業(yè)IT管理人員接受、與企業(yè)業(yè)務結(jié)合最

2、緊密、能夠為企業(yè)創(chuàng)造最大的投資回報率的IT系統(tǒng)。對不同的企業(yè)來說，評估IT系統(tǒng)的方法和手段應該是完全不一樣的。不同企業(yè)的規(guī)模不一樣、業(yè)務類型不一樣、贏利能力和發(fā)展階段也不一樣，要建立一個放之四海而皆準的標準來指導所有企業(yè)進行IT系統(tǒng)的選型，這幾乎是不可能的。對于金融、石油等大型企業(yè)來說，IT信息系統(tǒng)崩潰給他們造成的利潤損失比一般的中小企業(yè)來說大得多，他們的數(shù)據(jù)規(guī)模大得多，他們能夠在IT系統(tǒng)方面的投入也大得多，因此他們可以嘗試去從更大的廠商手中購買性能更高、擴展更更好、技術(shù)支持力度最強的IT系統(tǒng)。而這對于一個中小企業(yè)來說簡直是不可想象，因為購買這樣一套系統(tǒng)的花費甚至要超過他們?nèi)甑臓I業(yè)收入。然而

3、，中小企業(yè)在全球范圍內(nèi)都是經(jīng)濟的主體。他們不僅僅數(shù)量龐大，而且市場反應敏捷，更容易找到新的市場增長點，在市場變革中能夠起到的更大作用。盡管，他們單個對整個市場經(jīng)濟增長總額貢獻力度不大，但他們在市場持續(xù)創(chuàng)新中所起到的積極作用某些時候甚至要超過那些大規(guī)模的品牌企業(yè)。中小企業(yè)要在市場生存，更需要保持自身在技術(shù)或者市場上的前瞻性，因此中小企業(yè)在某些層面上對IT系統(tǒng)的需求程度更強烈。目前，市面上能夠找到從中小企業(yè)實際應用需求出發(fā)，與中小企業(yè)業(yè)務結(jié)合程度很緊密的HYPERLINKjavascript:;t_self性能測試指標系統(tǒng)少之又少?，F(xiàn)在市面上流行的性能測試指標，比如TPCC、SPEC、SAPSD，

4、盡管歷史非常悠久，基準測試實施和驗核者都是世界范圍內(nèi)的權(quán)威機構(gòu)，這些基準測試的通用性也非常強，但是他們由于對企業(yè)實際的個性化應用需求關(guān)注不夠，對于中小型企業(yè)來說參考意義當然也不會很大。因為，不管從硬件和軟件考慮，中小企業(yè)的業(yè)務都有太多特殊性。從這個意義上來說，建立一套從中小企業(yè)實際應用需求出發(fā)的實用性能評估系統(tǒng)對中小企業(yè)IT系統(tǒng)選型至關(guān)重要。而建立起這樣一套實用的性能評估的前提就是對TPCC、SPEC、SAPSD這些世界性通用性能指標體系有一個更全面、更深入的了解。一、TPCCTPC-C是一種旨在衡量聯(lián)機事務處理（OLTP）系統(tǒng)性能與可伸縮性的行業(yè)標準基準測試項目。這種基準測試項目將對包括查詢

5、、更新及隊列式小批量事務在內(nèi)的廣泛HYPERLINKjavascript:;t_self數(shù)據(jù)庫功能進行測試。許多IT專業(yè)人員將TPC-C視為衡量“真實”O(jiān)LTP系統(tǒng)性能的有效指示器。TPC-C基準測試針對一種模擬訂單錄入與銷售環(huán)境測量每分鐘商業(yè)事務（tpmC）吞吐量。特別值得一提的是，它將專門測量系統(tǒng)在同時執(zhí)行HYPERLINKjavascript:;t_self其它四種事務類型（如支付、訂單狀態(tài)更新、交付及證券級變更）時每分鐘所生成的新增訂單事務數(shù)量。獨立審計機構(gòu)將負責對基準測試結(jié)果進行公證，同時，TPC將出據(jù)一份全面徹底的測試報告。這份測試報告可以從TPCWeb站點()上獲得。tpmC定義

6、:TPC-C的吞吐量，按有效TPC-C配置期間每分鐘處理的平均交易次數(shù)測量，至少要運行12分鐘。1TPC-C規(guī)范概要TPC-C是專門針對聯(lián)機交易處理系統(tǒng)（OLTP系統(tǒng)）的，一般情況下我們也把這類系統(tǒng)稱為業(yè)務處理系統(tǒng)。TPC-C測試規(guī)范中模擬了一個比較復雜并具有代表意義的OLTP應用環(huán)境:假設有一個大型商品批發(fā)商，它擁有若干個分布在不同區(qū)域的商品庫；每個倉庫負責為10個銷售點供貨；每個銷售點為3000個客戶提供服務；每個客戶平均一個訂單有10項產(chǎn)品;所有訂單中約1%的產(chǎn)品在其直接所屬的倉庫中沒有存貨，需要由HYPERLINKjavascript:;t_self其他區(qū)域的倉庫來供貨。該系統(tǒng)需要處理

7、的交易為以下幾種：New-Order：客戶輸入一筆新的訂貨交易；Payment:更新客戶賬戶余額以反映其支付狀況;Delivery:發(fā)貨(模擬批處理交易);Order-Status:查詢客戶最近交易的狀態(tài)；Stock-Level:查詢倉庫庫存狀況，以便能夠及時補貨。對于前四種類型的交易，要求響應時間在5秒以內(nèi)；對于庫存狀況查詢交易，要求響應時間在20秒以內(nèi)。邏輯結(jié)構(gòu)圖：流程圖：2評測指標TPC-C測試規(guī)范經(jīng)過兩年的研制，于1992年7月發(fā)布。幾乎所有在OLTP市場提供軟硬件平臺的廠商都發(fā)布了相應的TPC-C測試結(jié)果，隨著計算機技術(shù)的不斷發(fā)展，這些測試結(jié)果也在不斷刷新。TPC-C的測試結(jié)果主要有

8、兩個指標：流量指標(Throughput，簡稱tpmC)按照TPC的定義，流量指標描述了系統(tǒng)在執(zhí)行Payment、Order-status、Delivery、Stock-Level這四種交易的同時，每分鐘可以處理多少個New-Order交易。所有交易的響應時間必須滿足TPC-C測試規(guī)范的要求。流量指標值越大越好！性價比(Price/Performance，簡稱Price/tpmC)即測試系統(tǒng)價格（指在美國的報價）與流量指標的比值。性價比越小越好！3結(jié)果發(fā)布各廠商的TPC-C測試結(jié)果都按TPC組織規(guī)定的兩種形式發(fā)布：測試結(jié)果概要(ExecutiveSummary)和詳細測試報告(FullDisc

9、losureReport)。測試結(jié)果概要中描述了主要的測試指標、測試環(huán)境示意圖以及完整的系統(tǒng)配置與報價，而詳細測試報告中除了包含上述內(nèi)容外，還詳細說明了整個測試環(huán)境的設置與測試過程。二、SPEC1、什么是SPEC測試SPEC（TheStandardPerformanceEvaluationCorporation）標準性能評測機構(gòu)，是國際上對系統(tǒng)應用性能進行標準評測的權(quán)威組織，它旨在確立、修改以及認定一系列服務器應用性能評估的標準。目前包括8大測試規(guī)范、26種測試模型。該組織成立于1988年，是由斯坦福大學、清華大學、微軟、等全球幾十所知名大學、研究機構(gòu)、IT企業(yè)組成的第三方測試組織。SPEC經(jīng)

10、過多年的發(fā)展積累，該測試標準得到了全球眾多用戶的廣泛認可。SPEC2004服務器應用性能測試是一個全面衡量Web應用中Java企業(yè)應用服務器性能的基準測試，是SPEC2002的升級版本，一個新的行業(yè)標準基準測試。SPEC2004測試采用JOPS（每秒總的操作次數(shù)）作為測試結(jié)果的衡量標準（SPEC2002測試結(jié)果的衡量標準與此相同，但表示為TOPS），JOPS為訂單事務數(shù)加上制造工作訂單數(shù)，再除以以秒為單位的測試時間。SPEC2004與SPEC2002相比，具有實質(zhì)區(qū)別，它更為嚴格和完善，更為復雜。SPEC2004的測試模型基于一個規(guī)模龐大、極為復雜、足以代表現(xiàn)實世界電子商務系統(tǒng)的分布式應用程序

11、。模擬電子化業(yè)務工作模型體現(xiàn)了軟、硬件平臺整體解決方案的性能指標全面衡量應用服務器、數(shù)據(jù)庫服務器硬件各子系統(tǒng)的性能被眾多用戶作為選擇硬件設備的選型指標。2、SPEC2004測試的價值SPEC服務器應用性能測試是目前業(yè)界最標準和權(quán)威的基準測試之一。SPEC2004測試的對象是一個可以在實際中直接應用的完整解決方案，包括硬件、操作系統(tǒng)和中間件三個層次。SPEC評測理念核心，即通過平臺及方案評測能夠給應用提供具有重要參考意義的數(shù)據(jù)，而不是為了評測而評測。SPEC測試完全模擬現(xiàn)實使用需求，講求參測系統(tǒng)整體上的性能和在實際應用中的表現(xiàn)，這樣用戶在購買產(chǎn)品的時候能夠根據(jù)SPEC的評測數(shù)據(jù)更真實地了解到自己

12、選擇的產(chǎn)品到底在實際應用中表現(xiàn)如何，而不再是只能看到一堆廠商提供的宣傳參數(shù)。SPEC服務器應用性能測試的測試成績可以為如下行業(yè)應用的系統(tǒng)采購提供重要的參考指標。1.銀行：銀行綜合業(yè)務系統(tǒng)、銀行證券交易系統(tǒng)、信用卡業(yè)務系統(tǒng)、綜合業(yè)務計算機網(wǎng)絡系統(tǒng)等2.金融證券：國稅統(tǒng)一稅收征管系統(tǒng)、基金注冊和交易系統(tǒng)平臺建設、證券集中交易系統(tǒng)3.保險：保險企業(yè)綜合業(yè)務系統(tǒng)建設4.電信：電信計費系統(tǒng)、綜合計費帳務系統(tǒng)、客服系統(tǒng)平臺建設、用戶認證和管理系統(tǒng)、移動計費營業(yè)系統(tǒng)、聯(lián)通綜合客服系統(tǒng)、寬帶運維系統(tǒng)5.政府：大中型電子政務系統(tǒng)3、SPECwebSPECweb96:在SPECweb96基準測試程序上實現(xiàn)的每秒鐘

13、超文本傳輸協(xié)議（HTTP）操作最多次數(shù)，響應時間無明顯退化。SPECweb99:接入數(shù)，網(wǎng)絡服務器可用預先確定的工作量支持的同時接入數(shù)。SPECweb99檢測設備模擬客戶通過慢Internet聯(lián)接，向網(wǎng)絡服務器發(fā)送HTTP工作量請求。SPECweb99測試Web服務器運行狀況SPECweb99是由標準性能評估組織（SPEC）開發(fā)的Web服務器基準測試。它測量滿足特定吞吐量和客戶請求響應速率要求的WEB服務器的最大并發(fā)連接數(shù)量。并發(fā)連接的合計波特率在320Kbps到400Kbps范圍內(nèi)，則滿足相應規(guī)范。SPECweb99在一臺稱為主客戶端的機器上運行，這臺機器上包含有允許用戶加載特定負載請求的配

14、置文件。主客戶端也要處理在客戶端和服務器或測試中的系統(tǒng)（SUT）之間的傳輸協(xié)調(diào)問題?？蛻舳送ㄟ^許多子進程線程生成獨立HTTP請求流，仿真足夠的負載發(fā)送給SUT。圖二表示客戶端服務器的層次關(guān)系。圖：典型的SPECweb99實驗環(huán)境在這個測試中，客戶端向測試中的服務器發(fā)送請求數(shù)據(jù)。測試規(guī)范要求客戶端和服務器之間的連接不能使用片段大小大于1460比特的TCP協(xié)議。因此，每一個客戶端讀取1460比特或更少數(shù)據(jù)塊的響應。測試中使用兩種類型的負載量：靜態(tài)負載.靜態(tài)負載具有四種類型的文件。最小的文件的增幅為0.1KB，第二種文件類型的增幅為1KB，最后兩種類型的文件的增幅為10KB和100KB。每一個目錄包

15、含每種類型9個文件共36個文件。目標請求的文件類型在各類型中分散使用。在每一類中的9個文件中又進行二次分布。最終目標文件混合為：35的請求文件小于1KB50的請求文件小于10KB14的請求文件小于100KB，但是大于或等于10KB1的請求文件小于1000KB，但是大于或等于100KB動態(tài)負載.動態(tài)負載是基于廣告和用戶注冊。共有四種在SPECweb99中使用的請求內(nèi)容類型，分別是標準動態(tài)取操作、動態(tài)隨機取操作、動態(tài)發(fā)送操作和客戶圖形接口動態(tài)取操作。標準動態(tài)取操作和客戶圖形接口動態(tài)取操作表現(xiàn)web服務器的簡單廣告輪轉(zhuǎn)特性。帶有廣告輪轉(zhuǎn)的動態(tài)取操作追蹤用戶和用戶選擇，所以廣告可以由不同的方式來定制。

16、最終，動態(tài)發(fā)布實施一個用戶注冊在相應的網(wǎng)站上。三、SAPSDSAPR/3銷售與分銷（SD）強調(diào)用世界一流的方法服務于全世界用戶。銷售與分銷（SD）是一種處理過程驅(qū)動的應用，全面集成于R/3系統(tǒng)中。作為面向真實企業(yè)系統(tǒng)運行性能的關(guān)鍵性衡量方式，SAPSD基準測試將模擬系統(tǒng)在維持可接受響應時間的情況下所能處理的最大并行用戶數(shù)量。SAPSD基準測試是業(yè)內(nèi)最為消耗CPU的基準測試項目之一，它已成為一種面向SAP運行環(huán)境合作伙伴的標準測試方式。這項基準測試由18個用于反映指定商業(yè)事務的步驟組成。SAPR/3系統(tǒng)采用具備數(shù)據(jù)庫層、應用層和表示層的客戶端/服務器體系結(jié)構(gòu)。這項測試所采用的配置方案為三層結(jié)構(gòu)，

17、其中每一層均在相互獨立的系統(tǒng)上運行。并發(fā)性能測試的過程是一個負載測試和壓力測試的過程，即逐漸增加負載，直到系統(tǒng)的瓶頸或者不能接收的性能點，通過綜合分析交易執(zhí)行指標和資源監(jiān)控指標來確定系統(tǒng)并發(fā)性能的過程。負載測試（LoadTesting）是確定在各種工作負載下系統(tǒng)的性能，目標是測試當負載逐漸增加時，系統(tǒng)組成部分的相應輸出項，例如通過量、響應時間、CPU負載、內(nèi)存使用等來決定系統(tǒng)的性能。負載測試是一個分析軟件應用程序和支撐架構(gòu)、模擬真實環(huán)境的使用，從而來確定能夠接收的性能過程。壓力測試（StressTesting）是通過確定一個系統(tǒng)的瓶頸或者不能接收的性能點，來獲得系統(tǒng)能提供的最大服務級別的測試。透過以上敘述，我們可以看到不管是TPCC、SPEC還是SAPSD，他們的測試時的所使用的業(yè)務邏輯都是非常清晰，測試過程非常嚴格，因此從定量的指標來看，具有非常好的普遍性。但測試過程中對測試的硬件、軟件平臺要求都非常高，而且測試過程中所所模擬的應用環(huán)境跟那些獨立的、特殊的企業(yè)應用需求都有較大差異，而且大多數(shù)測試都是由國際性的領導廠商做出的，這些國際性廠商在測試環(huán)境配置和專業(yè)測試工