vSphere存儲IO控制

1、第三部分vSphere存儲DRS第三章存儲I/O控制（SIOC）當數(shù)據(jù)存儲群集被建立，I/O度量值開啟，通過存儲DRS存儲I/O控制也同時開啟。我們覺得用一章來說明存儲I/O控制非常合適，最重要的是，存儲DRSJ用存儲I/O控制的某些功能來決定數(shù)據(jù)存儲的能力，在我們了解這些之前，讓我們先討論些基礎(chǔ)知識。介紹存儲I/O控制（SIOC）在資源爭用期間，提供一個方法來公平的分配存儲I/O資源，它啟用后，管理員在高度整合的環(huán)境中來運行重要的工作流時，虛擬存儲環(huán)境沒有自己造成拒絕服務(wù)的風險，另外，它幫助阻止其它的情況下的干擾（同一個數(shù)據(jù)存儲上的一臺虛擬機能對另一臺虛擬機造成負面的影響），SIOC利用虛擬

2、機份額來達到公平分配存儲資源，在SIOC發(fā)布之前，虛擬磁盤的份額被介紹的比較長，但是，SIOC介紹Datastore-Wide計劃，主要的不同是在每個主機級別沒有SIOC計劃，盡管為SIOC計算相當復(fù)雜，開啟和配置SIOC是不行的（圖109）,SIOC只需要幾步就可以啟用，當存儲DR馳用I/O度量值選項，它將自動啟用，在我們舉例子之前，我們想確認每個人理解了一些關(guān)于此塊的基本概念，以及沒有SIOC會造成的影響。圖109:開啟存儲I/O控制口JTJW1RMC-倒置StorageI/OControl_"StorageMComm用于©制的總機的I/O使用情況粕遂步實施植定義的U0

3、共孽級別，H啟用Storage1/0Control他摘朝值”吞吐量峰值百分比90三|.。手動，_H寶抄重置為麗值內(nèi)部排隊當和許多我們的客戶討論SIOC,我們注意到有一些基本的概念混淆，關(guān)于怎樣實際確認資源在所以的虛擬機和主機間被公平的分配，這個例子就包括它，但是原理可能沒有那么明顯，所以我們叫它一個特別的稱呼：排隊節(jié)流在我們解釋怎么排隊節(jié)流工作之前，我們想簡單的解釋下不同的隊列，當客戶端系統(tǒng)初始化I/O,這是為了工作流和隊列能相遇：客戶設(shè)備驅(qū)動隊列深度（LSI=32,PVSCSI=64）VHBA（hardcode限制LSI=128,PVSVSI=255） Vmkernel設(shè)備驅(qū)動（FC=32,

4、ISCSI=128,NFS=256,本地磁盤=256） 多路徑SAN/陣列隊列（包括端口緩沖區(qū)，端口隊列，磁盤隊列等）這些值得注意的Disk.SchedNumReqOutstanding（DSNRO沒有提到，正常來說它在Vmkernel設(shè)備驅(qū)動后直接提到，但是，當SIOC開啟，DSNRO不再經(jīng)常使用，自從SIOC保證了一定程度的公平?？紤]到你設(shè)置你為你的HBA設(shè)置了64的隊列深度，虛擬機在數(shù)據(jù)存儲上產(chǎn)生I/O,如果它只是數(shù)據(jù)存儲上的單個虛擬機，增加到64的I/O將立即結(jié)束設(shè)備驅(qū)動，但是，在大多數(shù)的環(huán)境中，LUNs被很多虛擬機共享，在大多數(shù)的場景中，這些虛擬機應(yīng)該被平等對待，當同一數(shù)據(jù)存儲上兩個

5、或者更多的虛擬機產(chǎn)生I/O,DSNRO!踢出它，但是，當Vmkernel檢測到只有一個節(jié)流隊列，計數(shù)器的閾值就達到了，計數(shù)器的名字叫做Disk.SchedQControlVMSwitched,默認設(shè)置為6,這意味著當手工I/O節(jié)流隊列低于Disk.SchedNumReqOutstanding的值（默認是32）之前，Vmkernel需要檢測6個虛擬機的交換機，（虛擬機交換機意味著需要檢測6次，當前I/O不能來自之前虛擬機的同樣I/O）節(jié)流發(fā)生的原因是因為驅(qū)動已經(jīng)產(chǎn)生I/O,Vmkernel不能控制順序，只能想象你有VM-A產(chǎn)生了一些I/O,另一個VM-B剛剛也產(chǎn)生了I/O,VM-A將結(jié)束全天運行

6、的大多數(shù)全深度隊列，每次VM-B產(chǎn)生I/O,它將通過Vmkernel調(diào)度器快速撿起（這是個不同的知識點），并盡快發(fā)送另外一個完成的給驅(qū)動，但是它不必要在VM-A64的I/O的隊列之后，因為它已經(jīng)在隊列中，這些通過VM-B將明顯的添加到I/O延遲經(jīng)歷中，這是不可取的，通過限制未完成的請求，我們允許Vmkernel快速安排VM-B的I/O到VM-A的I/O流中，盡管為VM-B減少了延遲?，F(xiàn)在，帶來第二部分的聲明：我們是否應(yīng)該設(shè)置Disk.SchedNumReqOutstanding的值和你們的隊列深度一樣么？OK在這種情況中，你想你們的I/O過程盡可能快速，沒有任何公平。但是，如果你在單個數(shù)據(jù)存儲

7、上有最小的工作負載，不想僅僅因為單個的虛擬機產(chǎn)生了過多的I/O,而招致你不想要的虛擬機過多延遲。真的是這樣嗎？不，不完全是，有一些問題依然不能解答： Disk.SchedNumReqOutstanding的場景中連續(xù)I/O會怎樣？ VMkernel如何知道什么時候停止使用Disk.SchedNumReqOutstanding?讓我們先處理連續(xù)I/O的問題，默認情況下，VMkernel在隊列中的虛機上產(chǎn)生8個連續(xù)的命令（由Disk.SchedQuantum控制），當它正常的從其它虛擬機上調(diào)用I/O看起來很公平，這樣做是為了保護虛擬機工作負載的連續(xù)狀態(tài)，I/O發(fā)生的扇區(qū)鄰近之前被調(diào)用的I/O,它的

8、順序比I/O扇區(qū)快，一10X是不經(jīng)常的，當包括緩存影響或者當緩存對比磁盤尺寸太小。但是，連續(xù)需要考慮哪些呢？如果下一次I/O比當前少于2000扇區(qū)，I/O考慮連續(xù)，這個距離在高級參數(shù)Disk.SectorMaxDiff中進行控制?，F(xiàn)在，如果其中一臺虛擬機變成空閑狀態(tài)，你將非常期望你的活動虛擬機去再次使用全隊列深度，這是Disk.SchedQControlSeqReqs的作用。默認情況下，Disk.SchedQControlSeqReqs被設(shè)置為128,意味著當一臺虛擬機已經(jīng)產(chǎn)生了128條命令且沒有任何交換，Disk.SchedQControlVMSwitches將再次將它重置為0,活動虛擬機能

9、再次使用64的全隊列深度。通過之前的例子，想法是這樣的，如果VM-B產(chǎn)生了非常少的I/O（每128從其它虛擬機中少于1）,此時我們將讓VM-B付出高處罰的延遲，推測起來，它不是任何形式的磁盤綁定。在我們繼續(xù)之前，讓我們確信清楚了這些混淆的概念，當SIOC開啟，DSNROI不適用，SIOC適用公平，它基于發(fā)生延遲而不是VM交換數(shù)量，換句話說，如果延遲閾值沒有被超過，SIOC不會節(jié)流隊列。當SIOC啟用，它將請求每設(shè)備最大的設(shè)備隊列深度，并設(shè)置它們?yōu)樽畲?，SIOC試圖設(shè)置隊列深度到256。在大多數(shù)的場景中，盡管它是設(shè)置成32,原因是大多數(shù)的維護人員使用了該默認值。這給我們帶來一些設(shè)計原則?；驹O(shè)計

10、原則一旦SIOC在爭用期間負責公平申請，確保你的陣列的可用性和咨詢你的存儲供應(yīng)商，并在合適的事情請他們支持，設(shè)置隊列深度最小為64如果延遲閾值超過了（這個狀態(tài)每4秒計算一次），SIOC基于他們的在陣列級別上I/Oslot配額，動態(tài)節(jié)流主機的隊列，注意當我們談到延遲（等待時間），SIOC考慮設(shè)備延遲，設(shè)備延遲是從所有主機連接的數(shù)據(jù)存儲上觀測的平均延遲。SIOC怎樣確定每個虛擬機和最終每個主機的配額，PAPD帕皮書（討論SIOC研發(fā)的學術(shù)文章）描述如下：引用資源分配通過份額值被指定，它是標記虛擬機消耗的I/O資源，一個虛擬機有權(quán)去消耗分配的存儲陣列資源，它指定關(guān)聯(lián)I/O請求對比其他虛擬機的重要性，

11、I/O共享與主機的是一種簡單的關(guān)系，每個虛擬機共享的全部數(shù)量統(tǒng)計為所有的虛擬機，合適的份額公平的被定義，提供存儲陣列服務(wù)給適合他們份額的主機。問題是，怎樣讓每個主機知道延遲被其它主機觀察到？通信原理SIOC是用的原理類似于HA數(shù)據(jù)存儲上的一個共享文件夾，這個共享文件，iormstats.sf（圖110）,通過多個主機同步能夠進入，每個主機定期的為數(shù)據(jù)存儲上的文件，寫入它的平均延遲和I/O數(shù)量，這些開啟了所有主機讀取該文件，計算數(shù)據(jù)存儲的平均延遲，它改變?yōu)槊總€主機基于I/Oslot配額，而是允許計算隊列深度。圖110:通信原理dnntr.xr-tXrootwt口.aoct617:54.dnotf

12、-Kr1rootroot51；(kt72L；47”drvLrrf1*wt"冼3C13;2t.加X4 r r11rwtrpQFtroot4.tHAug13WJWAug口1rootrootICw“Z715737drwacr-舅.西*n-*sk-b-«1CMtrm241.*4AuBW：41廣1rootngotZ4I.MAug13lt:41.Bbc.tf-rIrwtroot*第T13ff我們意識到這聽起來十分復(fù)雜，所有我們嘗試邏輯化，SIOC怎樣工作在下面的部分中我們分場景進行描述。本地磁盤調(diào)度本地磁盤調(diào)度，一些時候被當做SFQ(start-timefairqueuing)，它是負

13、責一些事情，但是，正如它的名字所透露的，所有關(guān)聯(lián)的主機的調(diào)度，除此之外標記每個虛擬機在資源爭用時間公平的共享I/O資源，當IOPS限制被定義，本地磁盤調(diào)度還負責限制虛擬機。本地磁盤調(diào)度影響主機級別的優(yōu)先級，針對同一個ESXi主機所有運行的虛擬機，通過本身，當一定數(shù)量的虛擬機需要比其它虛擬機高一些優(yōu)先級，它有比較大的價值，但它同時也威脅到虛擬機的平等，當3個虛擬機擁有平等的份額，接下來的圖表描述了這個場景，但VM1和VM2收到較少的帶寬，因為它們運行不同的主機上。圖111:本地磁盤調(diào)度Datastore-Wide磁盤調(diào)度Datastore-wide磁盤調(diào)度有點類似于本地磁盤調(diào)度，它將虛擬機的調(diào)度

14、優(yōu)先于其它依靠自身磁盤的調(diào)度，它通過計算I/Oslot權(quán)限，但只當配置的延遲閾值被超過時。一個例子將可能描述它是怎樣工作的，接下來的圖片（圖112）描述了延遲閾值被超過，主機被節(jié)流的場景。圖112：Datastore-wide磁盤調(diào)度VM22醬Dewic«Queue&epthE201VMi&0%然i"A.-.O色Hzx-x中端宜門總一汽:.工-;-:'>:*:*:-:小Ir1J*DeviceQueueDepthFSXrSV-15皿-EdkDatastore-Wide磁盤調(diào)度為數(shù)據(jù)存儲上虛擬機的每個VMD戲件統(tǒng)計磁盤份額，在ESXi-01的情況中

15、，它是2000,在ESXi-02的情況中是1000,接下來，datastore-wide磁盤調(diào)度將基于主機級別的共享計算I/Oslot配置，它將節(jié)流隊列。在這個例子中，每一個虛擬機被分配了33%勺存儲資源，如果你同圖111的場景進行比較，你能理解為什么建議在所有的數(shù)據(jù)存儲上開啟SIOC,即使不需要提高優(yōu)先級。基本設(shè)計原則即使虛擬機不需要比其它虛擬機更高的優(yōu)先級，開啟存儲I/O控制是有利的，它能幫助阻止自身造成的拒絕服務(wù)攻擊。另外一個例子所有的虛擬機有平等的份額，這個例子比較公平，但是，不同份額的場景，將使其變得復(fù)雜，我們像提供額外的例子來確保每個人理解這個基本的概念，在這個場景中，有3個虛擬機

16、（圖113）,2個虛擬機（VM2和VM3被授予了500份額，VM1有1500份額，VM1被分配了60%的可用I/Oslot,VM開口VM典個被分配了20%通過加上所有的份額這個計算比較簡單,通過結(jié)果可以區(qū)分每虛擬機的份額，在VM1的情況下，計算公式如下：VM1/(VM1+VM2+VM3)或者1500/(1500+500+500)=60%如展示的，VM1被分配了60%勺I/Oslot,VM開口VM3被分配了20%圖113:SIOC場景2技術(shù)即客用”自動延遲閾值計算在vSphere5.0中延遲閾值是指定用戶設(shè)置的，默認是30毫秒，但是這個時間不適合所有的數(shù)據(jù)存儲類型，因為SIOC支持多種類型的設(shè)備

17、，一個中間的閾值被設(shè)置，某些設(shè)備如SSD命中自然爭用點早于其它，它請求用戶在指定的數(shù)據(jù)存儲上配置較低的閾值。但是，手工決定正確的閾值非常困難，為了阻止錯誤的延遲閾值設(shè)置，SIOC在vSphere5.1中自動為每個設(shè)備決定了延遲閾值。自動延遲閾值計算模擬設(shè)備的吞吐量，設(shè)置延遲記錄，允許虛擬架構(gòu)調(diào)用有利于設(shè)備的全部性能，用戶接口提供控制依據(jù)峰值的IOPS的百分比來影響自動計算；用戶接口還提供手動設(shè)置延遲的機會。圖114:配置存儲I/O控制StoragePOControl3StorageI/OCmtrol用于座制虔以機的I/O使用情況和逐步實施頓定義的其享級別0啟用Storagei/aControl

18、捕場誨M；W吞吐量岐值百分比pcF三|%。手動30日里松重置為默認值手工延遲閾值建議在vSphere5.1中提供新的自動閾值設(shè)置，如果有可能的場合，必須要手工設(shè)置閾值，它產(chǎn)生的建議為不同類型的磁盤來設(shè)置不同的閾值（見表25）它應(yīng)該指出，但是，當SIOC用來配合存儲DRS存儲DRSI/O延遲閾值應(yīng)該設(shè)置得比SIOC延遲閾值低，通過節(jié)流隊列深度，SIOC被定位用來阻止短暫的延遲高峰，存儲DR時定位用來解決失衡和通過遷移工作負載降低數(shù)據(jù)存儲的平均延遲。SIOC觀察設(shè)備延遲，存儲DRS觀察全部的延遲，包括設(shè)備延遲和kernel延遲。這意味著，當SIOC延遲閾值低于存儲DRSI/O延遲，它將不會對存儲D

19、RSW建議產(chǎn)生影響，因為存儲DR鴻慮設(shè)備延遲和kernel延遲，通過本章節(jié)解釋的Datastore-wide磁盤調(diào)度，延遲不會被消失，它移動到一個不同的層，我們做到了，但是，建議設(shè)置存儲DRSI/O延遲值為SIOC的一半，這樣SIOC將遷移延遲峰值和存儲DRS將阻止熱點。表25:建議延遲閾值TypeofStorageftecommeftdedLatencyThresholdMN訊廿"dSSDFC2030msSATA式嗎口足工注入另一個我們沒有接觸的組件是注入，它是做什么的？它為誰提供服務(wù)？注入在vSphere5.0中被介紹過，它是SIOC的一部分來決定數(shù)據(jù)存儲的性能特性，我們已經(jīng)在第

20、22章節(jié)簡明的接觸了性能特性，基于可用性和類似性能來對數(shù)據(jù)存儲群集上聚合的數(shù)據(jù)存儲生成建議，在大多數(shù)的環(huán)境中，管理員小心的定義它們的存儲的層次，但大多數(shù)不能意識到，每個數(shù)據(jù)存儲上的備份磁盤的數(shù)量不同，會造成性能行為上的不同，即使磁盤數(shù)量（7VS9）有一點點不同，可能引起性能上非常大的不同。總而言之，一些陣列使用大磁盤池和條帶LUN通過這些池，在那些場景中，本地磁盤可能產(chǎn)生不同的性能特性，盡管VASA暴光了類似于RAID的一些存儲特性，但它當前還是不能提供性能特性。為了確保存儲DRSI/O平衡放置，不僅僅是基于閾值和延遲觀察，SIOC還通過注入隨機I/O描繪數(shù)據(jù)存儲的特性，在大家擔心注入會干涉他們的工作負載之前，我們想強調(diào)的是注入只有當數(shù)據(jù)存儲處于空閑狀態(tài)時才變成活動的，如果I/O被檢測到來自于其它資源，注入將停止描述特性，并稍后重試，總之，注入I/O只是讀I/O,為了描述設(shè)備的特性，不同數(shù)量的I/O被使用，延遲被監(jiān)控，換句話說，隨機讀I/O被注入，每次I/O的數(shù)量也不同。圖115中結(jié)果可以簡單的描繪，圖的斜坡表明了數(shù)據(jù)存儲的性能。引用Slope=0.50“在數(shù)學中，斜坡或者梯度線描述陡峭，傾斜和等級，較高的斜坡值表面更陡峭的斜坡。圖115:使用不同數(shù)量的磁盤進