讀懂服務(wù)器性能指標(biāo)

1、讀懂服務(wù)器性能指標(biāo)用戶總希望有一種簡(jiǎn)單、高效的度量標(biāo)準(zhǔn)，來(lái)量化評(píng)價(jià)服務(wù)器系統(tǒng)，以便作為選型的依據(jù)。但實(shí)際 上，服務(wù)器的系統(tǒng)性能很難用一兩種指標(biāo)來(lái)衡量。包括TPC、SPEC、SAP SD、Linpack 和 HPCC在內(nèi)的眾多服務(wù)器評(píng)測(cè)體系，從處理器性能、服務(wù)器系統(tǒng)性能、商業(yè)應(yīng)用性能直到高性能計(jì)算機(jī)的性能，都給出 了一個(gè)量化的評(píng)價(jià)指標(biāo)。 在如此多的標(biāo)準(zhǔn)中， 用戶該如何選擇最適合自身應(yīng)用環(huán)境的評(píng)價(jià)體系呢？這里， 我們選擇了應(yīng)用面較廣泛的 TPC和 SPEC，作一個(gè)深入介紹。 走出誤區(qū)深入 TPC-C指標(biāo)TPC體系是影響最大的評(píng)測(cè)基準(zhǔn)之一，尤其近兩年，國(guó)內(nèi)媒體對(duì)TPC指標(biāo)的報(bào)道可謂海量。但有多少用戶

2、真正了解其中的含義呢？本文以TPC-C為例，讓用戶深入了解這項(xiàng)基準(zhǔn)測(cè)試。tpmC值在國(guó)內(nèi)外被廣泛用于衡量服務(wù)器系統(tǒng)的事務(wù)處理能力。 但究竟什么是 tpmC值呢 ?筆者曾向一 些用戶、 專業(yè)媒體記者乃至某些國(guó)外大公司的技術(shù)人員問過這個(gè)問題， 但回答的精確度與 tpmC值的流行 程度差異甚遠(yuǎn)。不少人將之誤寫為TPMC，甚至與 TPC組織混為一談。TPC（Transactionprocessing Performance Council，事務(wù)處理性能委員會(huì) ） 是由數(shù)十家會(huì)員公司創(chuàng)建的非盈利組織，總部設(shè)在美國(guó)。 TPC 的成員主要是計(jì)算機(jī)軟硬件廠家，而非計(jì)算機(jī)用戶，其功能是制 定商務(wù)應(yīng)用基準(zhǔn)程序的標(biāo)

3、準(zhǔn)規(guī)范、性能和價(jià)格度量，并管理測(cè)試結(jié)果的發(fā)布。TPC不給出基準(zhǔn)程序的代碼，而只給出基準(zhǔn)程序的標(biāo)準(zhǔn)規(guī)范。任何廠家或其他測(cè)試者都可以根據(jù)規(guī) 范，最優(yōu)地構(gòu)造出自己的測(cè)試系統(tǒng) （ 測(cè)試平臺(tái)和測(cè)試程序 ） 。為保證測(cè)試結(jié)果的完整性， 被測(cè)試者 （ 通常是 廠家 ） 必須提交給 TPC一套完整的報(bào)告 （Full Disclosure Report） ，包括被測(cè)系統(tǒng)的詳細(xì)配置、分類價(jià)格 和包含 5 年維護(hù)費(fèi)用在內(nèi)的總價(jià)格。該報(bào)告必須由TPC授權(quán)的審核員核實(shí) （TPC 本身并不做審計(jì) ）。TPC在全球只有不到 10 名審核員，全部在美國(guó)。TPC推出過 11 套基準(zhǔn)程序， 分別是正在使用的TPC-D和 TPC-

4、R，以及因?yàn)椴槐粯I(yè)界接受而放棄的TPC-App、TPC-H、TPC-C、TPC-W，過時(shí)的 TPC-A、TPC-B、TPC-S（ Server 專門測(cè)試基準(zhǔn)程序）、 TPC-E（大型企業(yè)信息服務(wù)測(cè)試基準(zhǔn)程序）和 TPC-Client/Server。而目前最為 “流行” 的 TPC-C 是在線事務(wù)處理 （OLTP）的基準(zhǔn)程序，于 1992 年 7 月完成，后被業(yè)界逐漸接受。TPC-C使用三種性能和價(jià)格度量，其中性能由tpmC（transactions per minute， tpm）衡量， C 指TPC中的 C基準(zhǔn)程序。 它的定義是每分鐘內(nèi)系統(tǒng)處理的新訂單個(gè)數(shù)。TPC-C還經(jīng)常以系統(tǒng)性能價(jià)格比的

5、方式體現(xiàn)，單位是 /tpmC ，即以系統(tǒng)的總價(jià)格（單位是美元） /tpmC 數(shù)值得出。解讀 tpmC從 TPC-C 的定義不難知道， 這套基準(zhǔn)程序是用來(lái)衡量整個(gè) IT 系統(tǒng)的性能， 而不是評(píng)價(jià)服務(wù)器或某種 硬件系統(tǒng)的標(biāo)準(zhǔn)，而且 tpmC 數(shù)值的高低直接受到各個(gè)環(huán)節(jié)的影響，右表大概可以說明系統(tǒng)設(shè)置對(duì) tpmC 測(cè)試的影響。此處的“ IT 系統(tǒng)”包括服務(wù)器、外設(shè) （ 如硬盤或 RAID）、服務(wù)器端操作系統(tǒng)、數(shù)據(jù)庫(kù)軟件、 客戶端及其操作系統(tǒng)、 數(shù)據(jù)庫(kù)軟件和網(wǎng)絡(luò)連接等。 因此， 如何解讀 tpmC 數(shù)值會(huì)因不同的采購(gòu)需求有非常 大的差異。tpmC 測(cè)試指標(biāo)與硬件的關(guān)聯(lián)度交易類型復(fù)雜程度發(fā)生頻率訪問表的

6、數(shù)量（內(nèi)存、 磁 盤 IO 相關(guān)）平均邏輯 IO 數(shù)目CPU 的負(fù)載（ % ）新訂單復(fù)雜交易45%84653付款復(fù)雜交易43%4811交貨4%4708訂單查詢簡(jiǎn)單交易4%3121庫(kù)存查詢復(fù)雜交易4%340127上述 5 種交易中，除付貨交易是事后批處理，其余 4 種皆為聯(lián)機(jī)交易。要注意的是，在處理新訂單的同時(shí)， 系統(tǒng)還要處理其他 4 類事務(wù)請(qǐng)求。通常而言，新訂單請(qǐng)求不可能超出全部事務(wù)請(qǐng)求的45% ，因此，當(dāng)一個(gè)系統(tǒng)的性能為 1000tpmC 時(shí)，它每分鐘實(shí)際處理的請(qǐng)求數(shù)是 2000 多個(gè)。以服務(wù)器為例。在很多廠家的 TPC測(cè)試系統(tǒng)中，服務(wù)器的價(jià)格只是系統(tǒng)總價(jià)格的 25或更小，而硬 盤的價(jià)格有可

7、能占到總價(jià)格的 30以上，因?yàn)?TPC-C要求被測(cè)系統(tǒng)必須保存 180 天的事務(wù)記錄（這一趨 勢(shì)從一些最新的 TPC-C測(cè)試結(jié)果來(lái)看，會(huì)愈演愈烈）。如果同樣的服務(wù)器被用到用戶的環(huán)境中，廠家報(bào) 的 tpmC 值就意義不大， 因?yàn)橛脩舻膶?shí)際系統(tǒng)與廠家原來(lái)用于TPC測(cè)試的系統(tǒng)大不一樣。 當(dāng)同樣的主機(jī)用在不同的系統(tǒng)中時(shí)， tpmC 值可能有相當(dāng)大的變化，現(xiàn)在許多用戶還沒有意識(shí)到這一點(diǎn)。尤其需要服務(wù)器采購(gòu)用戶注意的是， tpmC 指標(biāo)更多的是衡量從 Client 到終端網(wǎng)絡(luò)的性能區(qū)域（如 左圖所示），而不是通常誤認(rèn)為的服務(wù)器到企業(yè)端網(wǎng)絡(luò)的性能。由此可見，如果用戶是建立一套全新的 業(yè)務(wù)系統(tǒng)， 那么無(wú)妨多借

8、鑒 tpmC 的性能指標(biāo)， 如果只是采購(gòu)某種或某些硬件設(shè)備， 則需要參考更多的指 標(biāo)。對(duì)于 tpmC數(shù)值著迷的用戶而言， 一個(gè)現(xiàn)實(shí)問題是， 實(shí)現(xiàn)高 tpmC指標(biāo)的代價(jià)是否能夠承受， 畢竟 TPC-C 都是很復(fù)雜的基準(zhǔn)程序，做一個(gè)嚴(yán)格的測(cè)試非常消耗資源，廠商通常不會(huì)給TPC報(bào)告出全部花費(fèi)的金錢和時(shí)間。實(shí)際上，正因?yàn)?tpmC（其他評(píng)測(cè)指標(biāo)也大都一樣）受系統(tǒng)優(yōu)化影響較大，業(yè)界對(duì)于是否應(yīng)該在測(cè)試中進(jìn)行優(yōu)化向來(lái)爭(zhēng)議頗多。 在 1993 年 , 當(dāng)時(shí)三大 IT 公司的專家就對(duì) OLTP性能測(cè)試的優(yōu)化提出過反對(duì)意 見 DEC的 Jim Gray （ 現(xiàn)為 TPC-C委員會(huì)專家 ） 與 Walt Kohle

9、r 、天騰公司（TANDEN）的 Charles Levine 和 IBM的 Steve Kiss 共同發(fā)表了對(duì) OLTP性能測(cè)試指標(biāo)是否應(yīng)該進(jìn)行人為優(yōu)化的看法“一個(gè)好的性能測(cè)試指標(biāo)是不會(huì)依賴于特殊情況下的優(yōu)化。最理想的情況應(yīng)該是：一個(gè)測(cè)試指標(biāo)在 測(cè)試過程中所表現(xiàn)出的性質(zhì)和能力 , 以及對(duì)測(cè)試所做的優(yōu)化能夠確實(shí)提供對(duì)現(xiàn)實(shí)世界中用戶實(shí)際應(yīng)用的 性能改進(jìn)。然而，事與愿違，某些廠商迫于標(biāo)準(zhǔn)測(cè)試指標(biāo)所帶來(lái)的巨大市場(chǎng)壓力，他們花費(fèi)巨大的精力 在如何改進(jìn)測(cè)試結(jié)果的同時(shí)還能降低價(jià)格比率，而全然不顧所做的這一切優(yōu)化究竟是否給用戶帶來(lái)了真 實(shí)的利益?！毕嘈艑?shí)踐：最佳檢驗(yàn)方式眾所周知，成熟的企業(yè)從不相信任何“國(guó)際

10、通用標(biāo)準(zhǔn)”，而是花相當(dāng)精力，比如預(yù)算的5，使用自己的應(yīng)用來(lái)測(cè)試系統(tǒng)，從而決定選型?！皣?guó)際通用標(biāo)準(zhǔn)”的度量可以作為參考值，而不應(yīng)作為必要條 件。尤其是一定要弄清這些流行度量有什么含義，是在什么樣的系統(tǒng)環(huán)境中測(cè)得的，以及基準(zhǔn)程序是否 符合企業(yè)真實(shí)的業(yè)務(wù)流程和運(yùn)作模式。下面就是三種不同的檢測(cè)模式。在真實(shí)環(huán)境中運(yùn)行實(shí)際應(yīng)用這是最理想的方式。 要求制造商或系統(tǒng)集成商配合將系統(tǒng) （ 含平臺(tái)、軟件和操作流程 ）在一個(gè) 實(shí)際用 戶點(diǎn)真正試運(yùn)行一段時(shí)間。這樣，用戶不僅能看到實(shí)際性能，也能觀察到系統(tǒng)是否穩(wěn)定可靠、使用是否 方便、服務(wù)是否周到、配置是否足夠、全部?jī)r(jià)格是否合理。使用用戶定義的基準(zhǔn)程序如果第一種方式不可

11、行，用戶可以定義一組含有自己實(shí)際應(yīng)用環(huán)境特征的應(yīng)用基準(zhǔn)程序。業(yè)內(nèi)有兩 個(gè)典型的例子：其一是，近年來(lái)由于層應(yīng)用模型的風(fēng)靡， SAP SD 基準(zhǔn)獲得了眾多廠商和用戶的認(rèn)可， 于是在很多地方都能看見對(duì) SAP測(cè)試數(shù)據(jù)的引用；其二是，國(guó)家稅務(wù)總局曾經(jīng)開發(fā)自己的基準(zhǔn)程序，以 幫助稅務(wù)系統(tǒng)進(jìn)行服務(wù)器選型。這種方式在中國(guó)尤其重要，因?yàn)橹袊?guó)的信息系統(tǒng)有其特殊性。使用通用基準(zhǔn)程序如果前兩種均難實(shí)行，那么使用如 TPC-C之類的通用基準(zhǔn)程序未嘗不可。但用戶應(yīng)當(dāng)尤其注意 實(shí)際應(yīng)用是否與基準(zhǔn)程序相符？絕大多數(shù)基準(zhǔn)程序都是在美國(guó)制訂的，而中國(guó)的企事業(yè)單位與美國(guó)的運(yùn) 作方式常常不一樣， 在使用 TPC-C時(shí)， 用戶應(yīng)該清

12、楚地知道： 自己的應(yīng)用是否符合批發(fā)商模式 ?事務(wù)請(qǐng)求 是否與測(cè)試模式近似？對(duì)響應(yīng)時(shí)間的要求是否那么高？如果都不是，則 tpmC 值的參考價(jià)值就不太大了。 那么不妨看看其他的更合適的測(cè)試指標(biāo)，例如SPECweb2005等。主流基準(zhǔn)測(cè)試概覽基準(zhǔn)名稱基本描述側(cè)重點(diǎn)TPC-C單位為 tpmC ，對(duì)系統(tǒng)在線事務(wù)處理能力進(jìn)行 評(píng)價(jià)，含義為每分鐘內(nèi)系統(tǒng)處理新訂單的個(gè) 數(shù)。主要是服務(wù)器 OLTP ，主要是模擬企業(yè)MIS 、ERP 系統(tǒng)來(lái)考驗(yàn)服務(wù)器聯(lián)機(jī)業(yè)務(wù) 處理能力TPC-H單位為 QphHsize ，表示系統(tǒng)在處理特定資 料量的數(shù)據(jù)庫(kù)時(shí)，系統(tǒng)在一小時(shí)之內(nèi)能完成主要目的是考驗(yàn)基于特定查詢的決策支持能力，強(qiáng)調(diào)服務(wù)

13、器在數(shù)據(jù)挖掘、分析查詢的數(shù)量。處理上面的能力。SPECCPU2000單位為比值，是系統(tǒng)執(zhí)行測(cè)試程序的時(shí)間與參考系統(tǒng)的比值?？疾煜到y(tǒng) CPU 運(yùn)算能力和內(nèi)存性能。SPECweb2005指標(biāo)為整數(shù)，含義為系統(tǒng)能同時(shí)相應(yīng)的最大Http 連接數(shù)。側(cè)重 CPU 、內(nèi)存、系統(tǒng) I/O 和網(wǎng)絡(luò)的整 體性能。SPECjAppServer2004單位為 jops 配置，即基于 java 平臺(tái)的應(yīng)用 服務(wù)器每秒能執(zhí)行的 java 操作數(shù)。衡量 JIEE 1.3 應(yīng)用服務(wù)器的性能Linpack指標(biāo)為實(shí)數(shù)， 指 HPC 采用高斯消元法求解一 元 N 次稠密線性代數(shù)方程組的每秒處理次 數(shù)。衡量 HPC 單機(jī)或集群的浮點(diǎn)

14、性能。HPCC包括 7 個(gè)子項(xiàng)，為 HPL 、雙精度矩陣乘法、 內(nèi)存帶寬、并行矩陣轉(zhuǎn)置、隨機(jī)存儲(chǔ)、傅立 葉變換與通信帶寬延遲。全面衡量 HPC 系統(tǒng)性能，缺陷是比較復(fù) 雜，測(cè)試時(shí)間較長(zhǎng)。SAP SD指標(biāo)涵義為一定數(shù)量規(guī)模的 SAP SD 客戶端 發(fā)出 SAPS 請(qǐng)求，系統(tǒng)的響應(yīng)時(shí)間與每小時(shí) 能完成的訂單數(shù)量。衡量單一系統(tǒng)同時(shí)執(zhí)行應(yīng)用程序與數(shù)據(jù) 庫(kù)的能力。主流基準(zhǔn)測(cè)試概覽基準(zhǔn)名稱基本描述側(cè)重點(diǎn)TPC-C單位為 tpmC ，對(duì)系統(tǒng)在線事務(wù)處理能力進(jìn)行 評(píng)價(jià)，含義為每分鐘內(nèi)系統(tǒng)處理新訂單的個(gè) 數(shù)。主要是服務(wù)器 OLTP ，主要是模擬企業(yè)MIS 、ERP 系統(tǒng)來(lái)考驗(yàn)服務(wù)器聯(lián)機(jī)業(yè)務(wù)處 理能力TPC-H單

15、位為 QphHsize ，表示系統(tǒng)在處理特定資 料量的數(shù)據(jù)庫(kù)時(shí)， 系統(tǒng)在一小時(shí)之內(nèi)能完成查 詢的數(shù)量。主要目的是考驗(yàn)基于特定查詢的決策支 持能力， 強(qiáng)調(diào)服務(wù)器在數(shù)據(jù)挖掘、 分析處 理上面的能力。SPECCPU2000單位為比值， 是系統(tǒng)執(zhí)行測(cè)試程序的時(shí)間與參 考系統(tǒng)的比值?？疾煜到y(tǒng) CPU 運(yùn)算能力和內(nèi)存性能。SPECweb2005指標(biāo)為整數(shù)，含義為系統(tǒng)能同時(shí)相應(yīng)的最大Http 連接數(shù)。側(cè)重 CPU 、內(nèi)存、系統(tǒng) I/O 和網(wǎng)絡(luò)的整 體性能。SPECjAppServer2004單位為 jops 配置，即基于 java 平臺(tái)的應(yīng)用 服務(wù)器每秒能執(zhí)行的 java 操作數(shù)。衡量 JIEE 1.3 應(yīng)

16、用服務(wù)器的性能Linpack指標(biāo)為實(shí)數(shù)，指 HPC 采用高斯消元法求解一 元 N 次稠密線性代數(shù)方程組的每秒處理次數(shù)。衡量 HPC 單機(jī)或集群的浮點(diǎn)性能。HPCC包括 7 個(gè)子項(xiàng)， 為 HPL 、雙精度矩陣乘法、 內(nèi) 存帶寬、并行矩陣轉(zhuǎn)置、隨機(jī)存儲(chǔ)、傅立葉變 換與通信帶寬延遲。全面衡量 HPC 系統(tǒng)性能，缺陷是比較復(fù) 雜，測(cè)試時(shí)間較長(zhǎng)。SAP SD指標(biāo)涵義為一定數(shù)量規(guī)模的 SAP SD 客戶端 發(fā)出 SAPS 請(qǐng)求，系統(tǒng)的響應(yīng)時(shí)間與每小時(shí)能 完成的訂單數(shù)量。衡量單一系統(tǒng)同時(shí)執(zhí)行應(yīng)用程序與數(shù)據(jù) 庫(kù)的能力。 突出重點(diǎn)SPEC關(guān)注 CPU和 WebSPEC體系中最廣為人知的兩個(gè)子項(xiàng)，是衡量與 TPC

17、 體系注重在線處理能力和數(shù)據(jù)庫(kù)查詢能力不同，CPU、內(nèi)存性能的 CPU2000和 Web服務(wù)器性能的 web2005。除了 TPC家族， SPEC家族也是廣為人知的一大體系。SPEC指標(biāo)體系由 Standard PerformanceEvaluation Corp. 制定，目前主要包括針對(duì) CPU性能的 SPEC CPU2000（已有 CPU2006，但尚無(wú)數(shù)據(jù)）、 針對(duì) Web服務(wù)器的 SPECweb200、5 針對(duì)高性能計(jì)算的 SPEC HPC2002與 SPEC MPI2006、針對(duì) Java 應(yīng)用的 jAppServer2004 與 JBB2005 以及對(duì)圖形系統(tǒng)、網(wǎng)絡(luò)和郵件服務(wù)器的測(cè)

18、試指標(biāo)。其中 CPU2000和 web2005 兩類是被引用最廣泛的指標(biāo)。CPU2000 注重 CPUSPECC PU2000 是一組針對(duì) CPU 和內(nèi)存的測(cè)試，它主要測(cè)試的對(duì)象是CPU、內(nèi)存，不測(cè)試硬盤、 I/O效率和網(wǎng)絡(luò)等部分。 SPECC PU2000 由許多源代碼程序組成， 這些程序都從實(shí)際的應(yīng)用 （主要來(lái)自配置 1 4顆 CPU的工作站應(yīng)用）中取出來(lái)的，例如 164.gzip 就是 gzip 壓縮程序。這些程序區(qū)分成“整數(shù)”和 “浮點(diǎn)數(shù)”兩組。 SPECint2000 就是“整數(shù)”部分，而 SPECfp2000 則是“浮點(diǎn)數(shù)”部分?！罢麛?shù)”部 分有 12 個(gè)程序，使用 C 或 C+

19、語(yǔ)言，它們不使用 CPU的浮點(diǎn)單元； 而“浮點(diǎn)數(shù)”部分有 14 個(gè)程序， 使用 FORTRAN 77/90 和 C語(yǔ)言，這些程序的主要運(yùn)算是浮點(diǎn)數(shù)的。SPECint2000 和 SPECfp2000 的結(jié)果， 以執(zhí)行時(shí)間為準(zhǔn)。 每個(gè)程序的執(zhí)行時(shí)間和一個(gè)參考平臺(tái) （Sun Ultra5/10 300MHz ）相比，計(jì)算出其倍數(shù)。如果執(zhí)行時(shí)間和參考平臺(tái)相同，結(jié)果就是100。如果只花了一半時(shí)間完成，結(jié)果就是 200?！罢麛?shù)” 的 12 個(gè)程序的結(jié)果， 取其平均值， 得到的就是 SPECint2000 的 測(cè)試結(jié)果?！案↑c(diǎn)數(shù)”的 14 個(gè)程序也是一樣。由于 SPECC PU2000的測(cè)試程序都是源代碼形式（以保證跨平臺(tái)測(cè)試），所以編譯器效率就顯得十分 重要。 SPECC PU2000規(guī)定，測(cè)試結(jié)果有“ Base”和“ Peak”兩種結(jié)果?！?Base”測(cè)試中，對(duì)于編譯時(shí)的 最佳優(yōu)化參數(shù)有所規(guī)定（所有的程序都需使用同樣的參數(shù)，且參數(shù)數(shù)目不能超過四個(gè)），而“ Peak”測(cè) 試則比較寬松。另外，因?yàn)?SPEC CPU2000的程序都是針對(duì)單 CPU的系統(tǒng)設(shè)計(jì)，因此，在多