VMWarevSAN性能測(cè)試最佳實(shí)踐課件

1、VMWare vSAN 性能測(cè)試最佳實(shí)踐第1頁(yè)，共20頁(yè)。VSAN方案設(shè)計(jì)要點(diǎn)一定要選擇和VSAN適配的硬件（HCL）特別注意對(duì)controller的挑選，queue Depth，內(nèi)置caching等特性要注意屏蔽，支持的配置模式（passthru或raid0，或都支持），嚴(yán)格遵守HCL企業(yè)級(jí)SSD和HDD節(jié)點(diǎn)配置：最少3節(jié)點(diǎn)推薦始終追加一節(jié)點(diǎn)，以始終保持最佳的可用性計(jì)算方式：（2n+1）+1, n is failures to tolerant.磁盤(pán)組1 DG: 1 SSD + n MDs1 host: 1 DG up to 5 DGs正確替換故障磁盤(pán)或SSDSSD:HDD 10%網(wǎng)絡(luò)需求至

2、少1gb且專(zhuān)用，10gb推薦(可共享)共享使用10gb網(wǎng)絡(luò)時(shí)，可利用NIOC確保VSAN traffic VDS許可通過(guò)VSAN license可激活支持NIC teaming，但用途是HA, 不是load balancingMulticast是必須項(xiàng). MTU/Jumbo frames都要一致第2頁(yè)，共20頁(yè)。配置VSAN要點(diǎn)至少四臺(tái)物理服務(wù)器，配置盡可能完全夠相同，包括CPU/Memory/Disk至少有一塊網(wǎng)卡用作VSAN網(wǎng)絡(luò)，網(wǎng)絡(luò)帶寬務(wù)必千兆或以上（百兆不行）所有參與VSAN構(gòu)建的磁盤(pán)，在安裝ESXi之前，必須初始化如果是PassThrough的SAS卡，確保所有SSD/HDD磁盤(pán)在R

3、AID界面初始化；如果是做RAID0的RAID卡，所有單盤(pán)做RAID0，并且Fast Init初始化，不能使用未經(jīng)初始化的磁盤(pán)！啟用VSAN之前，務(wù)必確定SSD、HDD的數(shù)目。如果是通過(guò)RAID卡做的RAID0，SSD磁盤(pán)可能無(wú)法自動(dòng)識(shí)別，需要手動(dòng)在Web Client界面上標(biāo)記為SSD。注意定位磁盤(pán)時(shí)使用VSAN Disk Group界面的定位磁盤(pán)按鈕。第3頁(yè)，共20頁(yè)。性能測(cè)試的一些建議用默認(rèn)的存儲(chǔ)策略前15到20分鐘時(shí)間是熱盤(pán)，真正數(shù)據(jù)從后面開(kāi)始算用全讀和7讀3寫(xiě)的負(fù)載每個(gè)主機(jī)布1-5個(gè)VM，磁盤(pán)在幾百兆到1T都可以。確保萬(wàn)兆網(wǎng)絡(luò)連接和multicast打開(kāi)可以打開(kāi)observer檢測(cè)實(shí)

4、時(shí)vsan性能然后可以考慮用存儲(chǔ)策略為變量，調(diào)整ftt或條帶寬度測(cè)試上述相同負(fù)載，然后看差異。另外，9節(jié)點(diǎn)的話(huà)，可以多做做負(fù)向/故障測(cè)試，用不同的ftt，看同步數(shù)據(jù)時(shí)的性能是否退化和完成時(shí)間第4頁(yè)，共20頁(yè)。運(yùn)維排錯(cuò)工具vSphere Web Client 圖形化管理ESXCLI per host view of vsanRVC cluster wide view of VSANVSAN Observer 深度的性能監(jiān)控和排錯(cuò)Health Service (New!) - 針對(duì)VSAN的自動(dòng)化檢查工具In-product檢查、Phone home集成、自動(dòng)化Support bundle提交硬件

5、vendor的第三方工具Roadmap within 2015:VROPS和VSAN集成中心化監(jiān)控、容量規(guī)劃、相關(guān)性分析第三方監(jiān)控（通過(guò)SNMP trap和MIB）Health Service V2， Performance Service第5頁(yè)，共20頁(yè)。如何使用VSAN Observer監(jiān)控VSAN狀態(tài)運(yùn)行vsan.observer . -run-webserver force開(kāi)啟狀態(tài)監(jiān)控：第6頁(yè)，共20頁(yè)。如何使用VSAN Observer監(jiān)控VSAN狀態(tài)訪(fǎng)問(wèn)http:/vCenter IP:8010 ，打開(kāi)VSAN observer界面第7頁(yè)，共20頁(yè)。建議：直接部署或升級(jí)到VSAN

6、6.2（最新版本）部署和運(yùn)維管理，多參考產(chǎn)品文檔和設(shè)計(jì)指南6.2的文檔內(nèi)容會(huì)大幅增強(qiáng)！推薦客戶(hù)安裝和日常多使用health service包含HCL、網(wǎng)絡(luò)等眾多常見(jiàn)檢查項(xiàng)方便GSS排錯(cuò)和RCA通讀VSAN 6.2 technical walkthrough的每一頁(yè)Vault的VSAN主頁(yè)有下載鏈接積累國(guó)內(nèi)案例和解決方案第8頁(yè)，共20頁(yè)。資源6.0 product guideLink available once GA.Design & Sizing guide （updated for 6.x)/files/pdf/products/vsan/VSAN_Design_and_Sizing_Gu

7、ide.pdfTroubleshooting guide (updated for 6.x)/files/pdf/products/vsan/VSAN-Troubleshooting-Reference-Manual.pdf Online sizing tool & TCO計(jì)算器:/vsan/SI/SIEV Network design guide/files/pdf/products/vsan/VMware-Virtual-SAN-Network-Design-Guide.pdfEssential Virtual SAN （中文版）第9頁(yè)，共20頁(yè)。常見(jiàn)排錯(cuò)場(chǎng)景Network misconf

8、iguration detectedManual checklistHealth serviceEnforce network requirements including multicast setting, mtu/jumbo frames, partition, vlan/subnet, vmknet etc are met. No need of using tcpdump!VM is non-compliant/inaccessible/orphanedNon-compliant mean:has tolerated 1, no more 1 once. Inaccessible m

9、ean: beyond tolerance failures I can protect. Cant access vmdk. More than 50% components gone.Orphaned: VSAN lose track of a VM. Deletion of object is async. Automatic remediation vs. manual remediationEnough resource vs. lack of resource(adding host/disks)Object still available for both casesAuto m

10、ode will fix/replace mirrors automatically, manual mode will wait for resource to do it automatically.Rsync dashboard from RVC and UI now (new feature)VM provisioning failedCannot complete file creation operation from VM create taskFTT cant be met (FTT says 2 but only 3 hosts available)Disk space is

11、 sufficientDummy create VM to test it: cretae vm per host and report problemRVC: VM-create Health service: proactive test of dummy vm creation. 第10頁(yè)，共20頁(yè)。性能監(jiān)控：VSAN Observer查看標(biāo)紅線(xiàn)的圖表. Latency (ms) Threshold =30msIOPSBandwidth (kb/s) Congestion1: no congestion, 255: too full congestionThreshold = 75RC

12、hit rate （針對(duì)Hybrid）100%: read from read cache, below 100: sometimes from MD insteadEvictionsHow many times Flush data from cache to capacity tier due to write request or rc contentionToo frequent is not a good sign. Roadmap：VROPS、Performance Service in H2 2015第11頁(yè)，共20頁(yè)。VMware View 體系架構(gòu)參考Thin ClientD

13、esktopLocalModeVMWAREVIEW MANAGERVMWAREVIEWCOMPOSER集中桌面池鏈接克隆桌面平臺(tái)層VMware vSphereFor Desktops管理層VMware View Manager,VMware View Composer,User ExperiencePCoIP, Print,Multi-Monitor Display,Multimedia,USB Redirection,Local Mode基準(zhǔn)系統(tǒng)鏡像第12頁(yè)，共20頁(yè)。VSAN，簡(jiǎn)單易用、易管理第13頁(yè)，共20頁(yè)。虛擬機(jī)按照策略使用VSAN第14頁(yè)，共20頁(yè)。VSAN Failover的幾種

14、典型場(chǎng)景15CONFIDENTIAL類(lèi)型故障描述影響其他HDD 磁盤(pán)離線(xiàn)機(jī)械磁盤(pán)顯示離線(xiàn)，如果在60分鐘內(nèi)重新插上。則認(rèn)為該磁盤(pán)僅僅是離線(xiàn)，而不是故障。對(duì)數(shù)據(jù)和VSAN無(wú)影響。如果RAID卡是直通模式，無(wú)需干預(yù)；如果是RAID 0模式，則需要在操作系統(tǒng)層面操作Foreign分區(qū)導(dǎo)入。磁盤(pán)上線(xiàn)后，會(huì)同步狀態(tài)。HDD 磁盤(pán)故障機(jī)械磁盤(pán)離線(xiàn)，如果在60分鐘內(nèi)沒(méi)有重新上線(xiàn)，則VSAN認(rèn)為該磁盤(pán)故障或缺失。有影響。磁盤(pán)缺失后60分鐘，出觸發(fā)數(shù)據(jù)遷移，VSAN群集會(huì)把存放在該磁盤(pán)上的數(shù)據(jù)，根據(jù)故障原則在其他磁盤(pán)重建。移除 HDD磁盤(pán)對(duì)于正常運(yùn)行的VSAN Cluster，選擇其中一塊HDD磁盤(pán)，選擇移除磁

15、盤(pán)。有影響。VSAN群集會(huì)把存放在該磁盤(pán)上的數(shù)據(jù)，根據(jù)故障原則在其他磁盤(pán)上立即重建。SSD磁盤(pán)故障SSD被拔掉或故障有影響。故障SSD所在的Disk Group失效不工作，所有IO只能操作其他Disk Group第15頁(yè)，共20頁(yè)。磁盤(pán)離線(xiàn)CONFIDENTIAL16vSphereVirtual SANH3H2H1virtual disk仲裁數(shù)據(jù)D0數(shù)據(jù)D0副本H2其中一塊磁盤(pán)掉線(xiàn)。虛擬機(jī)正常工作，使用H1上的數(shù)據(jù)；60分鐘內(nèi)，H2磁盤(pán)上線(xiàn)，則數(shù)據(jù)不會(huì)發(fā)生重構(gòu)。第16頁(yè)，共20頁(yè)。磁盤(pán)故障virtual diskvSphereVirtual SANH3H2H1owner“Re-created”

16、 replicaSSD/HDD/Controller (on H2) inaccessibleH2其中一塊磁盤(pán)掉線(xiàn)。虛擬機(jī)正常工作，使用H1上的數(shù)據(jù)；60分鐘H2磁盤(pán)還沒(méi)有回來(lái)，則數(shù)據(jù)會(huì)在本機(jī)其他磁盤(pán)或第三臺(tái)機(jī)器上磁盤(pán)重構(gòu)。如果VSAN集群主機(jī)的磁盤(pán)數(shù)比較多，則H2損壞一塊磁盤(pán)后，其上的數(shù)據(jù)會(huì)在其他多塊磁盤(pán)上重構(gòu)，多IO并行處理，數(shù)據(jù)重構(gòu)時(shí)間會(huì)很快，瓶頸取決于帶寬。第17頁(yè)，共20頁(yè)。按計(jì)劃移除HDD磁盤(pán)CONFIDENTIAL18選擇移除特定磁盤(pán)，可選清除數(shù)據(jù)或把數(shù)據(jù)遷移到其他服務(wù)器第18頁(yè)，共20頁(yè)。VSAN實(shí)際業(yè)務(wù)場(chǎng)景指標(biāo)19三臺(tái)主機(jī)，組成計(jì)算和VSAN存儲(chǔ)集群，制備200個(gè)Windows 7 桌面性能指標(biāo)如下：制備時(shí)間VSAN集群性能主機(jī)VSAN 帶寬消耗CPU利用率（平均）IOPS吞吐量(MB/s)延遲(ms)平均（MB/s)最大(MB/s)32分鐘* 從克隆第1個(gè)桌面到第200個(gè)完成自定義并可訪(fǎng)問(wèn)所需的時(shí)間總和。462870.421.64主機(jī)15016210.1%主機(jī)25523914.1%主機(jī)36219413.6%桌面詳細(xì)配置：Windows 7 64bit，2CPU，4GB Memory，C盤(pán) 60GB，D盤(pán) 6GB第19頁(yè)，共20頁(yè)。磁盤(pán)