讀懂服務器性能指標

1、讀懂服務器性能指標用戶總希望有一種簡單、高效的度量標準，來量化評價服務器系統(tǒng)，以便作為選型的依據(jù)。但實際上，服務器的系統(tǒng)性能很難用一兩種指標來衡量。包括TPC、SPEC、SAP SD、Linpack和HPCC在內(nèi)的眾多服務器評測體系，從處理器性能、服務器系統(tǒng)性能、商業(yè)應用性能直到高性能計算機的性能，都給出了一個量化的評價指標。在如此多的標準中，用戶該如何選擇最適合自身應用環(huán)境的評價體系呢？這里，我們選擇了應用面較廣泛的TPC和SPEC，作一個深入介紹。走出誤區(qū)深入TPC-C指標TPC體系是影響最大的評測基準之一，尤其近兩年，國內(nèi)媒體對TPC指標的報道可謂海量。但有多少用戶真正了解其中的含義呢？

2、本文以TPC-C為例，讓用戶深入了解這項基準測試。tpmC值在國內(nèi)外被廣泛用于衡量服務器系統(tǒng)的事務處理能力。但究竟什么是tpmC值呢?筆者曾向一些用戶、專業(yè)媒體記者乃至某些國外大公司的技術人員問過這個問題，但回答的精確度與tpmC值的流行程度差異甚遠。不少人將之誤寫為TPMC，甚至與TPC組織混為一談。TPC(Transactionprocessing Performance Council，事務處理性能委員會)是由數(shù)十家會員公司創(chuàng)建的非盈利組織，總部設在美國。TPC的成員主要是計算機軟硬件廠家，而非計算機用戶，其功能是制定商務應用基準程序的標準規(guī)范、性能和價格度量，并管理測試結果的發(fā)布。TP

3、C不給出基準程序的代碼，而只給出基準程序的標準規(guī)范。任何廠家或其他測試者都可以根據(jù)規(guī)范，最優(yōu)地構造出自己的測試系統(tǒng)(測試平臺和測試程序)。為保證測試結果的完整性，被測試者(通常是廠家)必須提交給TPC一套完整的報告(Full Disclosure Report)，包括被測系統(tǒng)的詳細配置、分類價格和包含5年維護費用在內(nèi)的總價格。該報告必須由TPC授權的審核員核實(TPC本身并不做審計)。TPC在全球只有不到10名審核員，全部在美國。TPC推出過11套基準程序，分別是正在使用的TPC-App、TPC-H、TPC-C、TPC-W，過時的TPC-A、TPC-B、TPC-D和TPC-R，以及因為不被業(yè)界

4、接受而放棄的TPC-S（Server專門測試基準程序）、TPC-E（大型企業(yè)信息服務測試基準程序）和TPC-Client/Server。而目前最為“流行”的TPC-C是在線事務處理(OLTP)的基準程序，于1992年7月完成，后被業(yè)界逐漸接受。TPC-C使用三種性能和價格度量，其中性能由tpmC（transactions per minute，tpm）衡量，C指TPC中的C基準程序。它的定義是每分鐘內(nèi)系統(tǒng)處理的新訂單個數(shù)。TPC-C還經(jīng)常以系統(tǒng)性能價格比的方式體現(xiàn)，單位是/tpmC，即以系統(tǒng)的總價格（單位是美元）/tpmC數(shù)值得出。解讀tpmC從TPC-C的定義不難知道，這套基準程序是用來衡量

5、整個IT系統(tǒng)的性能，而不是評價服務器或某種硬件系統(tǒng)的標準，而且tpmC數(shù)值的高低直接受到各個環(huán)節(jié)的影響，右表大概可以說明系統(tǒng)設置對tpmC測試的影響。此處的“IT系統(tǒng)”包括服務器、外設(如硬盤或RAID)、服務器端操作系統(tǒng)、數(shù)據(jù)庫軟件、客戶端及其操作系統(tǒng)、數(shù)據(jù)庫軟件和網(wǎng)絡連接等。因此，如何解讀tpmC數(shù)值會因不同的采購需求有非常大的差異。tpmC測試指標與硬件的關聯(lián)度交易類型復雜程度發(fā)生頻率訪問表的數(shù)量（內(nèi)存、磁盤IO相關）平均邏輯IO數(shù)目CPU的負載（%）新訂單復雜交易45%84653付款復雜交易43%4811交貨4%4708訂單查詢簡單交易4%3121庫存查詢復雜交易4%340127上述5

6、種交易中，除付貨交易是事后批處理，其余4種皆為聯(lián)機交易。要注意的是，在處理新訂單的同時，系統(tǒng)還要處理其他4類事務請求。通常而言，新訂單請求不可能超出全部事務請求的45%，因此，當一個系統(tǒng)的性能為1000tpmC時，它每分鐘實際處理的請求數(shù)是2000多個。以服務器為例。在很多廠家的TPC測試系統(tǒng)中，服務器的價格只是系統(tǒng)總價格的25或更小，而硬盤的價格有可能占到總價格的30以上，因為TPC-C要求被測系統(tǒng)必須保存180天的事務記錄（這一趨勢從一些最新的TPC-C測試結果來看，會愈演愈烈）。如果同樣的服務器被用到用戶的環(huán)境中，廠家報的tpmC值就意義不大，因為用戶的實際系統(tǒng)與廠家原來用于TPC測試的

7、系統(tǒng)大不一樣。當同樣的主機用在不同的系統(tǒng)中時，tpmC值可能有相當大的變化，現(xiàn)在許多用戶還沒有意識到這一點。尤其需要服務器采購用戶注意的是，tpmC指標更多的是衡量從Client到終端網(wǎng)絡的性能區(qū)域（如左圖所示），而不是通常誤認為的服務器到企業(yè)端網(wǎng)絡的性能。由此可見，如果用戶是建立一套全新的業(yè)務系統(tǒng)，那么無妨多借鑒tpmC的性能指標，如果只是采購某種或某些硬件設備，則需要參考更多的指標。對于tpmC數(shù)值著迷的用戶而言，一個現(xiàn)實問題是，實現(xiàn)高tpmC指標的代價是否能夠承受，畢竟TPC-C都是很復雜的基準程序，做一個嚴格的測試非常消耗資源，廠商通常不會給TPC報告出全部花費的金錢和時間。實際上，正

8、因為tpmC（其他評測指標也大都一樣）受系統(tǒng)優(yōu)化影響較大，業(yè)界對于是否應該在測試中進行優(yōu)化向來爭議頗多。在1993年,當時三大IT公司的專家就對OLTP性能測試的優(yōu)化提出過反對意見DEC的 Jim Gray (現(xiàn)為TPC-C委員會專家)與Walt Kohler、天騰公司（TANDEN）的Charles Levine和IBM的Steve Kiss共同發(fā)表了對OLTP性能測試指標是否應該進行人為優(yōu)化的看法: “一個好的性能測試指標是不會依賴于特殊情況下的優(yōu)化。最理想的情況應該是：一個測試指標在測試過程中所表現(xiàn)出的性質(zhì)和能力,以及對測試所做的優(yōu)化能夠確實提供對現(xiàn)實世界中用戶實際應用的性能改進。然而，

9、事與愿違，某些廠商迫于標準測試指標所帶來的巨大市場壓力，他們花費巨大的精力在如何改進測試結果的同時還能降低價格比率，而全然不顧所做的這一切優(yōu)化究竟是否給用戶帶來了真實的利益?！毕嘈艑嵺`：最佳檢驗方式眾所周知，成熟的企業(yè)從不相信任何“國際通用標準”，而是花相當精力，比如預算的5，使用自己的應用來測試系統(tǒng)，從而決定選型。“國際通用標準”的度量可以作為參考值，而不應作為必要條件。尤其是一定要弄清這些流行度量有什么含義，是在什么樣的系統(tǒng)環(huán)境中測得的，以及基準程序是否符合企業(yè)真實的業(yè)務流程和運作模式。下面就是三種不同的檢測模式。在真實環(huán)境中運行實際應用這是最理想的方式。要求制造商或系統(tǒng)集成商配合將系統(tǒng)(

10、含平臺、軟件和操作流程)在一個實際用戶點真正試運行一段時間。這樣，用戶不僅能看到實際性能，也能觀察到系統(tǒng)是否穩(wěn)定可靠、使用是否方便、服務是否周到、配置是否足夠、全部價格是否合理。使用用戶定義的基準程序如果第一種方式不可行，用戶可以定義一組含有自己實際應用環(huán)境特征的應用基準程序。業(yè)內(nèi)有兩個典型的例子：其一是，近年來由于層應用模型的風靡，SAP SD基準獲得了眾多廠商和用戶的認可，于是在很多地方都能看見對SAP測試數(shù)據(jù)的引用；其二是，國家稅務總局曾經(jīng)開發(fā)自己的基準程序，以幫助稅務系統(tǒng)進行服務器選型。這種方式在中國尤其重要，因為中國的信息系統(tǒng)有其特殊性。使用通用基準程序如果前兩種均難實行，那么使用如

11、TPC-C之類的通用基準程序未嘗不可。但用戶應當尤其注意實際應用是否與基準程序相符？絕大多數(shù)基準程序都是在美國制訂的，而中國的企事業(yè)單位與美國的運作方式常常不一樣，在使用TPC-C時，用戶應該清楚地知道：自己的應用是否符合批發(fā)商模式?事務請求是否與測試模式近似？對響應時間的要求是否那么高？如果都不是，則tpmC值的參考價值就不太大了。那么不妨看看其他的更合適的測試指標，例如SPECweb2005等。主流基準測試概覽基準名稱基本描述側重點TPC-C單位為tpmC，對系統(tǒng)在線事務處理能力進行評價，含義為每分鐘內(nèi)系統(tǒng)處理新訂單的個數(shù)。主要是服務器OLTP，主要是模擬企業(yè)MIS、ERP系統(tǒng)來考驗服務器

12、聯(lián)機業(yè)務處理能力TPC-H單位為QphHsize，表示系統(tǒng)在處理特定資料量的數(shù)據(jù)庫時，系統(tǒng)在一小時之內(nèi)能完成查詢的數(shù)量。主要目的是考驗基于特定查詢的決策支持能力，強調(diào)服務器在數(shù)據(jù)挖掘、分析處理上面的能力。SPECCPU2000單位為比值，是系統(tǒng)執(zhí)行測試程序的時間與參考系統(tǒng)的比值。考察系統(tǒng)CPU運算能力和內(nèi)存性能。SPECweb2005指標為整數(shù)，含義為系統(tǒng)能同時相應的最大Http連接數(shù)。側重CPU、內(nèi)存、系統(tǒng)I/O和網(wǎng)絡的整體性能。SPECjAppServer2004單位為jops配置，即基于java平臺的應用服務器每秒能執(zhí)行的java操作數(shù)。衡量JIEE 1.3應用服務器的性能Linpack

13、指標為實數(shù)，指HPC采用高斯消元法求解一元N次稠密線性代數(shù)方程組的每秒處理次數(shù)。衡量HPC單機或集群的浮點性能。HPCC包括7個子項，為HPL、雙精度矩陣乘法、內(nèi)存帶寬、并行矩陣轉置、隨機存儲、傅立葉變換與通信帶寬延遲。全面衡量HPC系統(tǒng)性能，缺陷是比較復雜，測試時間較長。SAP SD指標涵義為一定數(shù)量規(guī)模的SAP SD客戶端發(fā)出SAPS請求，系統(tǒng)的響應時間與每小時能完成的訂單數(shù)量。衡量單一系統(tǒng)同時執(zhí)行應用程序與數(shù)據(jù)庫的能力。主流基準測試概覽基準名稱基本描述側重點TPC-C單位為tpmC，對系統(tǒng)在線事務處理能力進行評價，含義為每分鐘內(nèi)系統(tǒng)處理新訂單的個數(shù)。主要是服務器OLTP，主要是模擬企業(yè)M

14、IS、ERP系統(tǒng)來考驗服務器聯(lián)機業(yè)務處理能力TPC-H單位為QphHsize，表示系統(tǒng)在處理特定資料量的數(shù)據(jù)庫時，系統(tǒng)在一小時之內(nèi)能完成查詢的數(shù)量。主要目的是考驗基于特定查詢的決策支持能力，強調(diào)服務器在數(shù)據(jù)挖掘、分析處理上面的能力。SPECCPU2000單位為比值，是系統(tǒng)執(zhí)行測試程序的時間與參考系統(tǒng)的比值。考察系統(tǒng)CPU運算能力和內(nèi)存性能。SPECweb2005指標為整數(shù)，含義為系統(tǒng)能同時相應的最大Http連接數(shù)。側重CPU、內(nèi)存、系統(tǒng)I/O和網(wǎng)絡的整體性能。SPECjAppServer2004單位為jops配置，即基于java平臺的應用服務器每秒能執(zhí)行的java操作數(shù)。衡量JIEE 1.3應

15、用服務器的性能Linpack指標為實數(shù)，指HPC采用高斯消元法求解一元N次稠密線性代數(shù)方程組的每秒處理次數(shù)。衡量HPC單機或集群的浮點性能。HPCC包括7個子項，為HPL、雙精度矩陣乘法、內(nèi)存帶寬、并行矩陣轉置、隨機存儲、傅立葉變換與通信帶寬延遲。全面衡量HPC系統(tǒng)性能，缺陷是比較復雜，測試時間較長。SAP SD指標涵義為一定數(shù)量規(guī)模的SAP SD客戶端發(fā)出SAPS請求，系統(tǒng)的響應時間與每小時能完成的訂單數(shù)量。衡量單一系統(tǒng)同時執(zhí)行應用程序與數(shù)據(jù)庫的能力。突出重點SPEC關注CPU和Web與TPC體系注重在線處理能力和數(shù)據(jù)庫查詢能力不同，SPEC體系中最廣為人知的兩個子項，是衡量CPU、內(nèi)存性能

16、的CPU2000和Web服務器性能的web2005。除了TPC家族，SPEC家族也是廣為人知的一大體系。SPEC指標體系由Standard Performance Evaluation Corp.制定，目前主要包括針對CPU性能的SPEC CPU2000（已有CPU2006，但尚無數(shù)據(jù)）、針對Web服務器的SPECweb2005、針對高性能計算的SPEC HPC2002與SPEC MPI2006、針對Java應用的jAppServer2004與JBB2005以及對圖形系統(tǒng)、網(wǎng)絡和郵件服務器的測試指標。其中CPU2000和web2005兩類是被引用最廣泛的指標。CPU2000注重CPU SPEC

17、 CPU2000是一組針對 CPU和內(nèi)存的測試，它主要測試的對象是 CPU、內(nèi)存，不測試硬盤、I/O效率和網(wǎng)絡等部分。SPEC CPU2000由許多源代碼程序組成，這些程序都從實際的應用（主要來自配置14顆CPU的工作站應用）中取出來的，例如 164.gzip就是gzip壓縮程序。這些程序區(qū)分成“整數(shù)”和“浮點數(shù)”兩組。SPECint2000就是“整數(shù)”部分，而 SPECfp2000則是“浮點數(shù)”部分。“整數(shù)”部分有 12個程序，使用 C或 C+語言，它們不使用CPU的浮點單元；而“浮點數(shù)”部分有 14個程序，使用 FORTRAN 77/90和C語言，這些程序的主要運算是浮點數(shù)的。SPECin

18、t2000和 SPECfp2000的結果，以執(zhí)行時間為準。每個程序的執(zhí)行時間和一個參考平臺（Sun Ultra5/10 300MHz）相比，計算出其倍數(shù)。如果執(zhí)行時間和參考平臺相同，結果就是100。如果只花了一半時間完成，結果就是200。“整數(shù)”的12個程序的結果，取其平均值，得到的就是SPECint2000的測試結果?！案↑c數(shù)”的 14個程序也是一樣。由于SPEC CPU2000的測試程序都是源代碼形式（以保證跨平臺測試），所以編譯器效率就顯得十分重要。SPEC CPU2000規(guī)定，測試結果有“Base”和“Peak”兩種結果?！癇ase”測試中，對于編譯時的最佳優(yōu)化參數(shù)有所規(guī)定（所有的程序都需使用同樣的參數(shù)，且參數(shù)數(shù)目不能超過四個），而“Peak”測試則比較寬松。另外，因為 SPEC CPU2000的程序都是針對單CPU的系統(tǒng)設計，因此，在多CPU系統(tǒng)上