專家問答“Symmetrix的性能監(jiān)控和分析”精華整理

1、專家問答“Symmetrix的性能監(jiān)控和分析”精華整理 轉(zhuǎn)載請在文首保留原文出處：EMC中文支持論壇介紹      本文整理了專家問答“Symmetrix的性能監(jiān)控和分析”精華問題。原問答貼地址：【專家問答第十期】Symmetrix的性能監(jiān)控和分析詳細(xì)信息 問題1：對于Symmetrix的性能監(jiān)控和分析，通常我們會使用什么工具？ 回答：一般監(jiān)控 Symmetrix的性能，我們常用的工具有Symmetrix Performance Analyzer 以及 Performance Mana

2、ger。     Symmetrix Performance Analyzer 和Symmetrix Management Console （SMC） 相連，用來監(jiān)控 Symmetrix的歷史狀態(tài)，可以對數(shù)據(jù)進(jìn)行長時間的歸檔，通過不同的圖表來監(jiān)控不同的狀態(tài)信息。要安裝Symmetrix performance analyzer（SPA）, 必須先安裝Symmetrix Management Console（SMC），需要再添加SPA的license。SPA的安裝包是包含在SMC里的。在SMC中可以添加SPA的lic

3、ense?？梢愿鶕?jù)Symmetrix的序列號（SID）來管理license。1.平均值或最大值的柱狀圖用來顯示負(fù)載平衡的比較信息2.“Heat Map”熱點柱狀圖用來顯示熱點部件所占的比例。通過不同的顏色來顯示性能較差的部件所占的比例。3.長期和短期時間的針點型圖表用來顯示一個事件的發(fā)生時間4.趨勢預(yù)測圖用來預(yù)測長期的性能增長情況。     Performance Manager是ControlCenter (ECC/Ionix)主要的性能分析工具， 可以顯示歷史圖表信息，通過Managed Object來收集到以下部件的性能信息：1. Symmetri

4、x、CLARiion、HDS、Celerra。2.主機。3.光纖通道的鏈接。4. Orcacle數(shù)據(jù)庫。        Unisphere來管理VMAX的性能。在Unisphere中有一個專門的性能管理欄目。用戶可以監(jiān)控圖表，對實時以及歷史的性能信息進(jìn)行分析，還可以設(shè)置告警， 報告等。監(jiān)控：可以監(jiān)控EMC預(yù)先設(shè)置的面板，用戶也可以自行設(shè)置面板。所有的面板都會實時更新。分析功能：用戶可以選擇實時報告（一小時），7天報告，和長達(dá)36個月的歷史報告信息。設(shè)置功能：用戶可以注冊Symmetrix陣列，設(shè)置閥值和告警，設(shè)置度量值和KP

5、I，查看和管理報告以及實時跟蹤（trace），和管理性能數(shù)據(jù)庫等操作。 問題2：請問一下如何根據(jù)主機，存儲，網(wǎng)絡(luò)的配置去評估存儲的讀寫性能有沒達(dá)到要求呢？例如我與一臺dmx4 用的是15k的FC盤。8gb的san網(wǎng)絡(luò)速率，主機用兩個hba卡造成雙通路。那我用dd做讀寫壓力測試。應(yīng)該達(dá)到什么速度才符合這個配置的速度水準(zhǔn)呢？還有請問現(xiàn)今存儲技術(shù)環(huán)境下，限制最高速度的瓶頸是什么環(huán)節(jié)呢？ 回答：影響性能大致有三種情況：1.不平衡的使用：對于物理硬盤的不平衡工作負(fù)載，或者是對Symmetrix前端口的不平衡負(fù)載。對于前一種情況，在后端可以通過Symmetrix Optimi

6、zer，或者是FAST等來實現(xiàn)磁盤的負(fù)載均衡，也可以通過在主機端進(jìn)行striping，或者設(shè)置Meta Volume等。對于后一種情況，可以通過PowerPath軟件等方法來幫助負(fù)載均衡。2.局限：1）物理局限：包括硬盤局限和端口局限等，可通過擴容等方法解決。2）微碼局限：device write Pending 局限 和System Write Pending局限?？赏ㄟ^增加內(nèi)存和設(shè)置MetaVolume來解決。3.不現(xiàn)實的性能期望：解決的方法是增加硬件設(shè)備，以及更好的理解需求和負(fù)載等。讀寫的速度由很多因素決定， 很難說有一個絕對的性能標(biāo)準(zhǔn)，可以通過您的配置來獲得最大的讀寫性能，比

7、如是否將物理硬盤分布在更多的后端DA端口，或者是否有更多的物理硬盤，以及不同的RAID保護(hù)類型等等，都可以優(yōu)化Symmetrix的性能。例如您說的15k的FC盤的性能，就要取決于您的硬盤是否平均分配在了DMX-4的各個后端DA口，邏輯卷做了如何的STRIPE和RAID保護(hù)等等很多方面；而HBA的雙通路所帶來的性能，也要取決于您把這些HBA端口在Symmetrix前端FA端口的配置等。     總的來說，優(yōu)化性能的配置方法就是，配置足夠的資源，并且盡可能的讓所有的資源能夠均衡使用，另外就是不要把配置弄得過于復(fù)雜。首先，我始終建議客戶使用自己的業(yè)務(wù)數(shù)據(jù)，模擬

8、交易來進(jìn)行壓力測試，可惜能有這種測試環(huán)境的客戶不多。那么，我們只能使用一些IO測試軟件，來模擬客戶的IO情況，Windows平臺有IOMeter，Unix平臺有IORate，都是免費軟件，在網(wǎng)上可以下載。這些IO測試軟件的好處是用戶可以控制并發(fā)的進(jìn)程數(shù)，指定IO的組成（即IO size, 讀IO的比率、多大比例的隨機IO等等）。dd的問題是只能產(chǎn)生順序的IO，即使并發(fā)多個dd進(jìn)程，并發(fā)數(shù)還是有限，無法模仿客戶應(yīng)用的IO情況。另外，性能是個綜合指標(biāo)，很多客戶只看一個指標(biāo)，有的客戶很看重IOPS (IO per second)，有的客戶很看重響應(yīng)時間，其實這些指標(biāo)都很重要，另外，還要綜合

9、考慮 IO Size，讀寫比例、隨機/順序比例等等，才能比較客觀的評價一臺存儲的IO性能。由于 Symmetrix 結(jié)構(gòu)比較復(fù)雜，低負(fù)載時單個IO的響應(yīng)時間肯定不及一些結(jié)構(gòu)簡單的存儲，因此dd的成績也不會很好，但是在大量的、并發(fā)的IO情況下，Symmetrix 的性能才能充分發(fā)揮出來，因此，應(yīng)該為適當(dāng)?shù)男枨筮x擇適當(dāng)?shù)拇鎯Α?#160;    藍(lán)軍在dd大戰(zhàn)中肯定能打敗紅軍，如果總體IOPS的需求在20000以下，那么藍(lán)軍是個務(wù)實的選擇，不一定非要紅軍不可。相似的道理，PC機上Windows的操作體驗明顯好于Unix上的GUI

10、，也不能說明PC機的性能好于Unix Server。 問題3：Symmetrix DMX的hypervolume和VMAX的disk pool這些架構(gòu)相對于中低端的產(chǎn)品有什么優(yōu)勢嗎？ 回答：前幾代的Symmetrix一直使用Hypervolume，我想主要有幾點考慮。1.性能：把物理硬盤分成Hyper volume后，主機上可見的卷就可以更多，可以產(chǎn)生更多并發(fā)的IO。2.功能：可以在同樣的物理硬盤上根據(jù)客戶的需求使用不同的保護(hù)方式，鏡像或Raid5等等，也方便擴展各種功能：容災(zāi)、克隆、快照等等。     Hyper Volume有一個

11、特點就是要求用戶的數(shù)據(jù)分布要比較均衡，這可以通過存儲、操作系統(tǒng)或數(shù)據(jù)庫層面做條帶化來實現(xiàn)。如果數(shù)據(jù)分布不合理，就可能產(chǎn)生熱點盤，無法充分發(fā)揮整個存儲的性能。VMAX推出了FAST VP的技術(shù)，使用 Storage Pool，把機柜內(nèi)的存儲分層，一方面存儲在同一層存儲內(nèi)部，存儲可以自己更均衡地分布數(shù)據(jù)，另一方面，存儲可以根據(jù)不同數(shù)據(jù)塊的IO特性，把合適的數(shù)據(jù)放到合適的存儲層上去，例如把經(jīng)常讀的數(shù)據(jù)放到閃存盤上，把歸檔的數(shù)據(jù)放到SATA盤上。 問題4：請教 系列使用會不會出現(xiàn)需要把數(shù)據(jù)分布在更多硬盤上這樣的性能建議呢？還有，例如我的一個有個一樣的硬盤，不可能把這塊硬盤都做成一個

12、Storage Pool 吧？回答：從性能角度上來說，如果后臺硬盤pool里的物理磁盤越多的話，前端綁定的邏輯lun上的數(shù)據(jù)就會自動平均的分散到各個磁盤上，那么就更容易避免熱點盤，同時也有一定的潛在性能提升。當(dāng)然，這樣配置也會存在不同的應(yīng)用共享相同的物理磁盤pool的情況。客戶可以根據(jù)自己的需求來看，因為不同的應(yīng)用分享一個pool可能會造成對后端硬盤資源的競爭，包括磁盤的容量競爭，可以根據(jù)一個應(yīng)用，或者一組應(yīng)用，或者FAST中的一個tier來設(shè)計pool。 問題5：如果對存儲性能分析比較感興趣，專家們有什么推薦讀物或者技術(shù)資料介紹嗎？回答：做為自學(xué)，可以先在網(wǎng)上找一些有關(guān)性

13、能分析的文章來看（建議找英文資料，系統(tǒng)性更好一些），其實性能分析需要的基本知識非常少，例如前面提到的IO類型，性能指標(biāo)(主要是IOPS，Thoughput, Response time 等) 等等，然后具體產(chǎn)品的性能分析就要使用特殊的工具軟件。每個廠家都會有一些性能分析的課程，如果工作確實需要，可以報名去學(xué)一下，這些課程在前面也會講一些基本知識，然后再講針對具體產(chǎn)品的工具軟件的使用方法。 EMC對外公開的資料很少，但是你可以找一找其它廠商的網(wǎng)站，例如服務(wù)器廠商或數(shù)據(jù)庫廠商，都會找到一些很好的資料。再有，可以利用一些搜索引擎，例如，百度一下"DMX-4 O

14、racle"就可以得到一篇很好的文檔。 個人覺得學(xué)習(xí)最好的辦法就是辦干辦學(xué)，如果對這方面感興趣，向自己的老板多申請這方面的工作來干，相信老板都愿意培養(yǎng)技術(shù)人員的。剛開始時有問題多問問有經(jīng)驗的人，干得多了自然就能積累經(jīng)驗了。 問題5：James Liu分享實際中工作性能分析步驟與總結(jié)     主機上的性能工具一般主要關(guān)注在CPU，內(nèi)存，Paging (or Swap)， IOPS，IO平均響應(yīng)時間等等方面，對于IO平均響應(yīng)時間，一般的主機并沒有區(qū)分讀IO和寫IO。     存儲上專注于I

15、O的監(jiān)控，看得更細(xì)，從存儲的角度講，分析IO，至少要注意到以下幾點：1，讀/寫：“正確描述IO類型”一文中指出，由于Raid保護(hù)的關(guān)系，“寫通常需要比讀更多的資源”，這是對的，但是忽略了另一點，由于現(xiàn)代存儲陣列都有緩存，寫IO的響應(yīng)時間往往比讀IO的響應(yīng)時間小。即使Cache算法再好，也無法避免Read Miss，因此，負(fù)載較輕時，Random Read的平均響應(yīng)時間一般在幾毫秒級，而寫IO的響應(yīng)時間一般在零點幾毫秒級，隨機讀和寫IO的響應(yīng)時間往往相差十幾倍。看到這里，大家應(yīng)該明白案例一的原因了吧？另外，存儲后端（即磁盤控制部分）對于寫IO更容易做優(yōu)化。Read hit的響應(yīng)時間與write的

16、響應(yīng)時間差不多，都是在Cache中完成。我們重點看一下Read miss。大家都有網(wǎng)購的經(jīng)歷吧？我們拿快遞公司來類比吧，那么讀磁盤是收件，寫磁盤是派送。這個收件(read miss)是要求快遞公司立即響應(yīng)的，因此我們一打電話要求快遞公司收件，快遞員就必須馬上上門來取件。而派件（write）時，快遞員可以在他空閑的時候派件，還可以把同一小區(qū)的快遞都帶上，把整個小區(qū)的貨品一次派完，即存儲后端在寫磁盤時，會盡量把相鄰磁道的數(shù)據(jù)集中在一起寫入磁盤。2，隨機/順序IO：這一點在“正確描述IO類型”一文中寫得很好，我這里要補充的是，一般OLTP系統(tǒng)的IO都是隨機的小IO，而數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、備份/恢復(fù)、

17、歸檔、流媒體等等應(yīng)用的IO是大的順序IO。OLTP系統(tǒng)要求的是IOPS，數(shù)據(jù)倉庫等應(yīng)用一般要求的是吞吐量（MB/s）。綜合以上兩點，隨機讀未命中（Random Read Miss）是所有IO的短板，是所有IO中響應(yīng)時間最差的，而這正是閃存盤（SSD or Flash Drive）的用武之地，3,IO Size：“正確描述IO類型”一文中寫到：“許多存儲系統(tǒng)處理大I/O會更快速一些”。然而實際上正相反，幾乎所有的存儲處理小IO都會更快速一些。它這里漏了一個條件，結(jié)果產(chǎn)生了誤導(dǎo)，應(yīng)該寫成“對于相同的數(shù)據(jù)量（MB），許多存儲系統(tǒng)處理大I/O會更快速一些”。4，IO的并發(fā)度：前面的貼子中提到過，dd測

18、試無法真正測出存儲在實際工作中的性能表現(xiàn)，主要原因是dd無法產(chǎn)生足夠多的并發(fā)IO。降低IO之間的依賴關(guān)系，提高IO的并發(fā)度，一直是現(xiàn)代計算機系統(tǒng)努力的目標(biāo)。例如，現(xiàn)代的數(shù)據(jù)庫系統(tǒng)在讀寫一個記錄時，不會鎖住整個表，而是僅僅鎖住那條記錄，這樣其它的事務(wù)才可以同時并發(fā)地訪問其它的記錄。存儲也是如此，在沒有達(dá)到存儲的性能瓶頸之前，并發(fā)數(shù)越多，存儲可以完成的IOPS也越大。在實施同步容災(zāi)項目時，為了滿足客戶應(yīng)用IOPS的需要，就要保證足夠的并發(fā)度，可以通過增加光纖端口的數(shù)量，增加Volume數(shù)來增加并發(fā)度。實施同步容災(zāi)時，由于每個寫IO都要寫到容災(zāi)端，這個IO才算完成，因此每個寫IO的響應(yīng)時間都會加長，

19、這個延時是無法避免的，是容災(zāi)必須要付出的代價。只要在客戶要求的時間里，完成所有的IOPS，那么這個系統(tǒng)就是符合要求的。還是拿快遞公司舉例，無容災(zāi)的存儲相當(dāng)于負(fù)責(zé)上海本地業(yè)務(wù)的快遞公司，實施同步容災(zāi)后的存儲，相當(dāng)于這個快遞公司業(yè)務(wù)需要覆蓋江浙滬。雖然每送一次送貨的平均時間延長了，但是如果有足夠多的快遞員（相當(dāng)于足夠多的并發(fā)IO），還是可以在客戶要求的時間內(nèi)把貨品及時送到的。5，Cache的情況：命中率對性能的影響不言自明，還有一點要注意的就是寫Cache的容量，對于Symmetrix來說，就是Write Pending的數(shù)量，前面也講過，Write Pending  就是主機

20、寫入存儲緩存、存儲還沒有真正寫入物理硬盤的數(shù)據(jù)。Symmetrix系統(tǒng)有一個Write Pending Limit，即緩存中最多可以容納的數(shù)據(jù)量。如果存儲達(dá)到Write Pending Limit，那么一方面會降低讀命中率，一方面會使得存儲后端無法從容地做寫磁盤的優(yōu)化，存儲后端會忙于寫磁盤，導(dǎo)致存儲工作效率下降。就像快遞公司需要派送的貨品積壓太多，就要爆倉了，還有貨品源源不斷地進(jìn)來，為了盡快給新進(jìn)的貨品騰出空間，逼迫快遞員隨手拿起一件貨品就跑去送貨 因此，應(yīng)該盡量使存儲系統(tǒng)的Write pending數(shù)量維持在較低的水平，為了保證這一點，僅僅加大Cache容量是不夠的，還要保證有足夠的后端性能

21、，就像僅僅加大快遞公司的倉庫是不行的，還要加快送貨的速度。     首先，對于性能的要求完全取決于客戶應(yīng)用的需求。有的應(yīng)用在IO響應(yīng)時間在幾十毫秒時還可以接受，而以前一個比較大的客戶要求響應(yīng)時間在幾毫秒以內(nèi)，有的應(yīng)用要在一臺DMX-4上加入100多塊SSD才能滿足它的要求。對響應(yīng)時間要求越快，那么存儲的繁忙程度就要越低才能達(dá)到要求。例如，要求響應(yīng)時間在6毫秒以內(nèi)，那么可能存儲各部件的繁忙程度不能超過30%，如果要求響應(yīng)時間在10毫秒，那么存儲各部件繁忙程度可能可以達(dá)到50% （注：這個數(shù)字只是舉個例子，并不是實際數(shù)值）。對于物理硬盤，目前公認(rèn)的

22、經(jīng)驗值是：                     10k FC盤          15k FC盤            SATAMB/s     

23、          10MB/s          13MB/s              8MB/sIOPS:               100               150           &#