虛擬機日常維護(hù)手冊

1、-. z.虛擬機日常維護(hù)手冊1目的為提高處理虛擬化效勞器故障的能力，形成科學(xué)、有效、反響迅速的日常管理流程和應(yīng)急處理機制，確保虛擬化平臺的平安和穩(wěn)定運行，最大限度地減小效勞器故障對生產(chǎn)的影響，降低業(yè)務(wù)中斷風(fēng)險，特制定本手冊。2故障處理規(guī)2.1硬件維護(hù)平臺效勞器出現(xiàn)硬件告警需要停機維護(hù)，效勞器責(zé)任人應(yīng)立即通知相關(guān)人員，將業(yè)務(wù)虛機遷移到集群中其他效勞器主機上，再將故障效勞器切換至維護(hù)模式并從HA集群中移除，負(fù)責(zé)陪同硬件廠家現(xiàn)場更換至成功恢復(fù)。2.2虛擬化平臺故障發(fā)生平臺故障后，相關(guān)人員應(yīng)及時查找、確定故障原因，進(jìn)展先期處置。假設(shè)故障在短時間無法修復(fù)，相關(guān)人員應(yīng)將業(yè)務(wù)遷移到備用平臺環(huán)境中，保持業(yè)務(wù)系

2、統(tǒng)的正常運行；將故障效勞器脫離網(wǎng)絡(luò)，進(jìn)展故障排除工作，并及時聯(lián)系相關(guān)人員或廠商協(xié)助解決。2.3虛擬機軟件系統(tǒng)故障1日常做好虛擬機的定時備份和快照，系統(tǒng)崩潰后，應(yīng)能夠及時恢復(fù)虛擬機。2發(fā)生虛擬機系統(tǒng)故障后，相關(guān)人員應(yīng)及時通知業(yè)務(wù)人員檢查出現(xiàn)故障的原因并盡快排除。3如遇虛擬機系統(tǒng)需要啟用備份系統(tǒng)進(jìn)展恢復(fù)時，應(yīng)在恢復(fù)后和業(yè)務(wù)管理員仔細(xì)檢查業(yè)務(wù)是否恢復(fù)并做好恢復(fù)記錄。2.4虛擬化平臺日常告警故障排除當(dāng)虛擬化平臺出現(xiàn)告警信息，通過以下步驟排除：確定故障原因。查看已觸發(fā)的警報容，確定故障前操作是否是引發(fā)該故障的原因，對合規(guī)操作引起的告警，進(jìn)展消除。對提示硬件產(chǎn)生的告警，應(yīng)查看硬件狀態(tài)信息，對確認(rèn)是硬件的問

3、題按硬件維護(hù)預(yù)案處理。對提示因資源缺乏或性能引發(fā)的告警，因查看近期性能圖表，找出原因，消除故障提示。對于無法判斷的故障，可導(dǎo)出系統(tǒng)日志發(fā)給廠家分析處理3虛擬化平臺故障預(yù)防3.1虛擬機實時狀態(tài)備份在對虛擬機進(jìn)展調(diào)整配制前，做快照，以防配置虛擬機后出現(xiàn)故障，如無問題，可刪除虛擬機快照，另外也可利用快照最為一種備份的方式，定期做虛擬機快照，當(dāng)出現(xiàn)問題時，可恢復(fù)到最近的快照狀態(tài)。6虛擬化平臺故障恢復(fù)虛擬化平臺系統(tǒng)出現(xiàn)故障，先對問題進(jìn)展定位，按前述預(yù)案處理，假設(shè)故障依然存在，通過以下步驟恢復(fù)：1用快照進(jìn)展虛擬機恢復(fù)。如果虛擬機中包括數(shù)據(jù)庫和實時狀態(tài)信息，要在恢復(fù)后進(jìn)展必要的數(shù)據(jù)庫文件恢復(fù)，并復(fù)原系統(tǒng)實時

4、狀態(tài)。2用NBU從備份系統(tǒng)中進(jìn)展系統(tǒng)復(fù)原，復(fù)原后進(jìn)展必要的狀態(tài)信息檢查3虛擬化操作系統(tǒng)恢復(fù)，通過重新安裝虛擬化操作系統(tǒng)vsphere復(fù)原底層平臺，并重新部署到群集系統(tǒng)中。摘要：有時，VMware管理員如走過場一樣執(zhí)行日常維護(hù)任務(wù)。他們做*、檢查Y然后把把Z的脈搏。但是很重要的一點是要弄明白這么做的目的。維護(hù)工作不僅僅是要維持系統(tǒng)在線，它同樣保證您可以從現(xiàn)有投資中獲得最大收益。雖然ES*、vSphere、vCenter和Workstation都是成熟和穩(wěn)定的虛擬化技術(shù)，但是它們依然需要進(jìn)展日常維護(hù)。花費一些時間去了解您的架構(gòu)，然后制定VMware維護(hù)方案以滿足您的SLAservice level

5、 agreement級別并盡量減少工作壓力。下面的綱要中包含了一些最正確實踐，但是每個虛擬化架構(gòu)各有不同，您需要選擇最適合的方式。VMware維護(hù)工作根據(jù)頻率可以大致分解為：每天、每周和每月。VMware日常維護(hù)工作我每天要進(jìn)展的維護(hù)工作如下：查看報警。監(jiān)控是一種持續(xù)的、被動的、而且一旦正確設(shè)置后不需花費很多精力的監(jiān)控方式。當(dāng)您逐漸熟悉系統(tǒng)架構(gòu)后，還可以區(qū)分出警報的不同類型，識別哪些是緊急的需要立即處理，哪些是需要逐步去改變的。假設(shè)*個特定的數(shù)據(jù)庫在每天的固定時間發(fā)送CPU占用率過高的警報，則最好調(diào)節(jié)一下報警設(shè)置的條件和頻率。不要忘了狼來了的故事，防止因為過多無關(guān)緊要的警報而忽略了那些關(guān)鍵問題

6、。巡視效勞器所在的房間。雖然我也設(shè)置了警報，但通過對主機所在的房間進(jìn)展一次快速的巡視我可以馬上判斷出發(fā)生了什么，這非常有用，尤其是忽略了*個警報的時候可以補救。所有的風(fēng)扇都在運行嗎？是否出現(xiàn)存過失？SAN系統(tǒng)中的磁盤驅(qū)動器正常嗎？通過觀察硬件上的指示燈我可以獲得根本的狀態(tài)信息。我還會快速檢查一下不連續(xù)電源的供電電壓，以及現(xiàn)在的運行時間。知道了這些，一旦發(fā)生災(zāi)難，我可以知道有多少時間可用來關(guān)閉設(shè)備。除了這些快速觀察外，我還經(jīng)常使用HP公司在宿主機上集成的Lights-Out端口來檢測硬件狀態(tài)和溫度，尤其在沒有物理登陸宿主機或SAN的時候，這么做非常有必要。環(huán)視一圈vCenter/VirtualC

7、enter。我會執(zhí)行所有還未完成的任務(wù)，瞥一眼ES*主機的性能然后感受一下各個組件是否正常。當(dāng)您對系統(tǒng)每天的性能表現(xiàn)足夠熟悉的時候，就很容易看出問題。相信我，無論系統(tǒng)看起來多么協(xié)調(diào)，在*些時候都會出現(xiàn)問題。這個過程如同您很熟悉自己在靜止時的心跳，同時還需要通過跑步機或騎自行車來定期檢驗一下。VMware每周維護(hù)工作每周我會執(zhí)行如下動作：備份vCenter/VirtualCenter數(shù)據(jù)庫。我的現(xiàn)有系統(tǒng)變化不太頻繁，因此一周執(zhí)行一次數(shù)據(jù)庫清理和管理效勞器的全備份就可以了。如果您的系統(tǒng)處于不斷地動態(tài)變化中，可以頻率高一些。依然要強調(diào)那個老問題：如果您希望將來可以重建，擁有數(shù)據(jù)庫的備份很重要。VMw

8、are每月維護(hù)工作每月我們進(jìn)展如下的管理行為：清理存儲。如果存在過期的快照，最好盡快清理掉。如果無法確定是否存在，可以通過VMware SiteSurvey查看。檢查效勞協(xié)議。您是否已經(jīng)升級了售后效勞？到了做新的預(yù)算來購置所需支持效勞的時候了嗎？預(yù)想將來要做的升級。目前為止，所有的工作都在圍繞保持系統(tǒng)正常工作上。讓我們向后一步，閉上眼睛不妨從相反的角度來考慮：您希望系統(tǒng)如何工作怎樣可以改善業(yè)務(wù)？然后找出一條正確的路來實現(xiàn)。這聽起來像在做白日夢，不過或許這會成為您一天中最高效的一段時間。31、為主機應(yīng)用Host Profiles提示pliance錯誤故障狀態(tài)：為主機應(yīng)用Host Profiles

9、失敗，提示如下錯誤：01.Specification state absent from host: device state needs to be set to on02.Host state doesnt match specification: device needs to be reset03.Specification state absent from host: device Path Selection Policy needs to be set to VMW_PSP_FI*ED04.Host state doesnt match specification: devic

10、e Path Selection Policy needs to be set to default for claiming SATP故障分析：這是由于PSA組件導(dǎo)致的；解決方案：1、右擊Host Profiles后點擊Enable/Disable Profiles配置選項；2、展開Storage Configuration選項，展開Pluggable Storage Architecture這個u*an*iang；3、去掉PSA Device Configuration；4、展開Native Muti-Pathing(NMP)這個選項后，接著展開PSP and SATP configura

11、tion for NMP devi選項；5、去掉PSP configuration for這個選項后點擊OK即可。33、分析、解決IOPS導(dǎo)致的虛擬機/存儲性能下降和虛擬機磁盤延時較大的問題故障狀態(tài)：1、虛擬機性能較低；2、在執(zhí)行備份時磁盤延時很厲害；3、虛擬磁盤vmdk延時較大；故障分析：這種問題根本都是由于虛擬機沒有足夠的IO Per SecondIOPS，或者IOPS低于30；解決方案：在解決問題前，首先要解決以下兩個問題：問題1：什么是IOPS？IOPS全稱為Input/Output Per Second，它是衡量一個磁盤虛擬磁盤和物理磁盤、存儲的根本也是十分重要的標(biāo)準(zhǔn)。不同的磁盤、存

12、儲有著不同的IOPS。IOPS的上下直接會影響著系統(tǒng)的性能。當(dāng)前，VMware虛擬化環(huán)境中最大的瓶頸也就在于這個IOPS。針對數(shù)據(jù)密集型業(yè)務(wù)的數(shù)據(jù)庫業(yè)務(wù)和流媒體業(yè)務(wù)，由于它們的IOPS很大，所以在虛擬化環(huán)境中部署它們一定要充分考量它們的負(fù)載，也就是IOPS大小，結(jié)合實際的存儲性能來查看是否符合業(yè)務(wù)標(biāo)準(zhǔn)。問題2：如何計算IOPS？如何計算每臺虛擬機的IOPS？要想計算每個虛擬機的總的IOPS數(shù)量，首先就要確認(rèn)磁盤類型以及它們的IOPS是多少。處于RAID陣列里面的每個盤的IO有利于增長整體存儲的可用IOPS。而位于這個存儲上面的單臺虛擬機的IOPS，則可以通過將這個存儲的總IOPS除掉虛擬機數(shù)量

13、即可根本得到單臺虛擬機的IOPS?，F(xiàn)實案例：假定有6顆10000RPM的磁盤，則它們的總的可用IOPS大約為150*6=900。如果LUN上面運行的虛擬機數(shù)量為50個，則單臺虛擬機的IOPS為900/50=18 IOPS。如果以這個為標(biāo)準(zhǔn)，則意味著虛擬機的性能相對底下。如果想要滿足虛擬機的根本IOPS需求，則應(yīng)該為900/30=30，也就是說同一個Volume里IOPS為30最低要求虛擬機需要數(shù)量控制在30臺以下。備注：備份存儲會消耗更多的IOPS，同時也會給Volume帶來更多額外的符合。如果是這樣，則需要用額外手段解決備份時的額外資源消耗可以通過I/O meter軟件來測試IOPS34、喪

14、失或鎖定文檔導(dǎo)致虛擬機無法Power On故障狀態(tài)：1、虛擬機無法開啟；2、嘗試開啟虛擬機時，看到類似如下錯誤信息：Unable to open Swap File；Unable to access a file since it is locked；Unable to access Virtual machine configuration；3、在/var/log/vmkernel文件里可以看到類似如下信息：WARNING: World: VM *: *: Failed to open swap file ock was not freeWARNING: World: VM *: *: Fa

15、iled to initialize swap file 4、當(dāng)嘗試開啟虛擬機的console控制臺時，可能會收到如下錯誤信息：Error connecting to .vm* because the VM* is not started5、在開啟虛擬機時，卡在95%位置無響應(yīng)；6、從模板部署一臺新的VM之后無法開啟虛擬機；7、虛擬機在vCenter Server和ES*i/ES*主機之間報告控制臺電源狀態(tài)沖突；故障分析：導(dǎo)致這個問題的因素可能很多，但是眾多問題中，都穿插或包含著文件損壞或文件被鎖定等問題的可能。虛擬機常用的文件包括：*.vswp*-flat.vmdk*-delta.vmdk*

16、.vm*.log解決方案：首先需要確認(rèn)哪些文件處于鎖定狀態(tài)：1、利用vSphere Client登錄ES*i/ES*主機、vCenter Server主機；2、在Datastore里找到想要開啟但是無法開啟的虛擬機所在位置；3、嘗試開啟虛擬機，如果無法開啟且console顯示錯誤，先查閱vmware.log日志文件的相關(guān)信息來確認(rèn)問題；4、利用SSH或COS選用root權(quán)限登錄到ES*i/ES*主機之后執(zhí)行下面的命令查看虛擬機的完整路徑：#vmware-cmd -l系統(tǒng)將輸出類似如下信息來顯示注冊到ES*i/ES*主機的虛擬機：/vmfs/volumes/.vm*5、執(zhí)行以下命令切入到這個虛擬

17、機所在的目錄：#cd /vmfs/voluems/6、然后查閱vmware.log日志，在文件的尾部查看什么原因?qū)е逻@個問題后再針對性的分析。準(zhǔn)確定位并刪除掉鎖定文件由于虛擬機可以在主機之間移動，如果虛擬機注冊到的主機保持對文件的鎖定狀態(tài)，則，這個鎖定文件可以有效保障ES*i/ES*主機對虛擬機文件的控制權(quán)和有效保護(hù)虛擬系統(tǒng)。主機由Service Console接口的MAC來確定。lock由VMkernel或Service Console負(fù)責(zé)維護(hù)；備注：ES*i效勞器沒有Service Console所以，lock由VMkernel單獨負(fù)責(zé)維護(hù)；首先要確定VMkernel可能鎖定的文件：1、執(zhí)

18、行下面的命令來報告鎖定目錄所在的MAC地址：#vmkfstools -D /vmfs/volumes/2、由于負(fù)責(zé)鎖定.vmdk文件的主時機將MAC地址寫入到vmkernel日志里面，則可以用下面的命令查閱：#tail /var/log/vmkernel35、Storage vMotion失?。簂ooking for lines staring with CBTMotion故障狀態(tài)：1、執(zhí)行Storage vMotion失??；2、系統(tǒng)提示如下錯誤信息：01.A general system error occurred: Storage VMotion failed to copy one o

19、r more of the VMs disks. Please consult the VMs log for more details, looking for lines starting with CBTMotion-.復(fù)制代碼3、/var/log/vmware/hostd.log文件里有類似如下信息：01.Failed with error 340983807: Storage VMotion failed to copy one or more of the VMs disks.Please consult the VMs log for more details, looking

20、for lines starting with CBTMotion.復(fù)制代碼故障分析可能由于虛擬機的硬件版本號過老導(dǎo)致；解決方案：關(guān)掉虛擬機后右擊u*niji選擇Upgrade Virtual Machine Hardware即可。36、添加LUN時提示HostDatastoreSystem.QueryVmfsDatastoreCreateOptions故障狀態(tài)：系統(tǒng)能夠掃描到Devices LUN，但是在添加過程中卻提示如下錯誤信息：HostDatastoreSystem.QueryVmfsDatastoreCreateOptions，如下圖：故障分析：這樣的問題一般都是由于LUN的尺寸過大

21、導(dǎo)致，一般來說，VMware ES*i/ES* Server標(biāo)準(zhǔn)支持最大的LUN尺寸為2TB-512Byte，但是由于國很多技術(shù)人員對這個-512Byte并不太在意，所以習(xí)慣型的講成2TB，這就導(dǎo)致很多用戶在使用時，直接分配了2TB的空間，這就可能導(dǎo)致了上述問題；解決方案：針對這樣的問題，建議如下：1、如果已經(jīng)分好了2TB的LUN，建議調(diào)整為1.88TB左右后再嘗試添加；2、新LUN規(guī)劃用戶則請嚴(yán)格參照官方文檔的參數(shù)設(shè)計，建議是1.88TB左右為一個LUN生成Datastore37、vCenter Converter推送Agent出錯：Converter Agent installer/uni

22、nstaller Failed故障狀態(tài)：1、利用vCenter Converter推送Agent到Windows Server 2003效勞器上時，失??；2、系統(tǒng)提示類是如下錯誤信息：01.Converter Agent installer/uninstaller failed on *.3、VMware vCenter Converter的日志文件converter-server.log里面有類似如下錯誤提示：04.#7 2011-01-21 11:18:37.476 03976 error App Found dangling SSL error: 0 error:00000001:lib

23、(0):func(0):reason(1)7.#7 2011-01-21 11:19:32.445 03976 info App diagnosticManager,357 Generating Converter.Server log bundle.故障分析：以下幾種情況可能導(dǎo)致這樣的問題：1、445端口沒能翻開；2、曾經(jīng)手動安裝過Agent后卸載；3、Windows效勞管理其中的server效勞沒有啟動導(dǎo)致的IPC$連接失敗；4、防火墻阻絕；解決方案1、確認(rèn)445端口或NetBIOS協(xié)議能正常使用；2、建議在Converter時關(guān)閉防火墻；3、如果依然有問題，嘗試用Converter St

24、andardalone版本遷移或采用ConverterCD進(jìn)展冷克隆。38、解決在vSphere 5.0里開啟HA時，提示：Datastore Heartbeating缺乏的問題故障狀態(tài)：為ES*i 5.0+vCenter 5.0配置HA時，提示如下信息：故障分析：這是由于vSphere 5.0里的HA局部已經(jīng)重寫，并且新增了Datastore Heartbeating用于網(wǎng)絡(luò)Partition心跳檢測支持；解決方案：有2個選擇，一個是加多存儲用于心跳檢測，這也是正確的選擇，就不多講，另一個就是忽略掉這個問題，方法如下：1、vSphere Client登錄到vCenter Server 5.0

25、后，右擊HA Cluster，點擊Edit，然后找到高級選項設(shè)定：2、再如上圖所示的容中，添加下參數(shù)：das.ignoreinsufficienthbdatastore備注：缺省情況下，這個參數(shù)的值是false的。39、通過vSphere Client登陸ES*i主機提示正在更新的問題故障狀態(tài)：通過vSphere Client登陸VCenter Server4.1正常，登陸ES*i主機提示如以下圖：故障分析：需要通過vSphereclient.vmware.來更新Client說明客戶端存在問題，由于登陸VCenter Server4.1不存在任何問題，所以根本確定版本的問題。查看ES*i版本和

26、vSphere Client，發(fā)現(xiàn)Client的版本低于ES*i版本。解決方案：由于Client所在網(wǎng)絡(luò)無法上Internet,所以無法更新Client客戶端，可以通過安裝高版本的Client來解決此問題。40、紅旗32位Linu*進(jìn)入系統(tǒng)時提示udevu無法繼續(xù)進(jìn)入系統(tǒng)的問題故障狀態(tài)：進(jìn)入系統(tǒng)后，出現(xiàn)以下圖的界面，之后無法向下運行，必須按Ctrl+C才能繼續(xù)向下運行故障分析：由于系統(tǒng)安裝時候是完整的，光盤鏡像包是完整的，安裝的時候不存在任何問題?？紤]到物理機上不存在這種問題，疑心虛擬機虛擬驅(qū)動的問題，安裝新的VMware-tools問題依舊。虛擬機管理問題早于2.6.27版本的Linu*核不

27、報告處于關(guān)閉電源狀態(tài)的每插槽核數(shù)為2從ES*i 5.0開場，多核虛擬CPU支持允許處于關(guān)閉電源狀態(tài)的每插槽核數(shù)為2。早于2.6.27版本的Linu*核僅正確報告處于翻開電源狀態(tài)的每插槽核數(shù)為2。例如，當(dāng)您在.vm*文件中設(shè)置numvcpus = 6和cpuid.coresPerSocket = 3時，一些Linu*客戶機操作系統(tǒng)可能無法報告任何物理標(biāo)識信息。Linu*核2.6.28及更高版本會正確報告CPU和核拓?fù)?。解決方法：無將存熱添加到使用Linu* 64位或Windows 7、32位客戶機操作系統(tǒng)的虛擬機時，無法將現(xiàn)有虛擬存增加到3 GB以上以下情況適用于將存熱添加到使用Linu* 64

28、位或Windows 7 32位客戶機操作系統(tǒng)的虛擬機。如果已翻開電源的虛擬機的存少于3 GB，則存熱添加量不能超過3 GB。如果虛擬機存為1 GB，則可以添加2 GB。如果虛擬機存為2 GB，則可以添加1 GB。如果虛擬機的存為3444 MB，則可以添加128 MB。如果已翻開電源的虛擬機的存正好為3 GB，則無法熱添加任何存。如果已翻開電源的虛擬機的存超過3 GB，則可以將虛擬機存增加到虛擬機翻開電源時初始存大小的16倍或增至硬件版本限制以兩者中較小者為準(zhǔn)。硬件版本7的限制是255 GB，硬件版本8的限制是1011 GB。如果在虛擬機電源翻開時，存從小于或等于3 GB增長到大于3 GB，則L

29、inu* 64位和32位Windows 7客戶機操作系統(tǒng)會凍結(jié)。此vSphere限制可確保您不會在客戶機操作系統(tǒng)中觸發(fā)該錯誤。解決方法：無。在硬件版本7虛擬機上進(jìn)展CPU熱添加時出錯硬件版本8虛擬機的多核虛擬CPU功能支持虛擬CPU熱添加。對于每個插槽的核數(shù)大于1的硬件版本7虛擬機，當(dāng)您在虛擬機屬性對話框中啟用CPU熱添加并嘗試熱添加虛擬CPU時，操作失敗并顯示以下錯誤消息：該虛擬機不支持 CPU 熱插拔 (CPU hot plug not supported for this virtual machine)。解決方法：要在硬件版本7虛擬機上使用CPU熱添加功能，請關(guān)閉虛擬機電源并將每個插槽

30、的核數(shù)設(shè)置為1。為到達(dá)最正確效果，請使用硬件版本8虛擬機。同時創(chuàng)立大量虛擬時機導(dǎo)致文件操作失敗同時創(chuàng)立大量駐留在同一目錄下的虛擬機時，存儲系統(tǒng)變得不堪重負(fù)，導(dǎo)致一些文件操作失敗。會顯示錯誤消息并且創(chuàng)立虛擬機操作失敗。解決方法：以更小的批量例如64個創(chuàng)立其他虛擬機，或嘗試在不同的數(shù)據(jù)存儲中或同一數(shù)據(jù)存儲的不同目錄中創(chuàng)立虛擬機。在通過vMotion進(jìn)展遷移過程中，從ES*i主機直通到虛擬機的USB設(shè)備可能斷開連接如果USB設(shè)備從ES*i主機直通到虛擬機并且該設(shè)備配置為在通過vMotion進(jìn)展遷移過程中仍保持連接，則該設(shè)備可能會在vMotion操作過程中斷開連接。如果DRS觸發(fā)遷移，該設(shè)備也會斷開連接。當(dāng)設(shè)備斷開連接時，它們會恢復(fù)至主機，不再連接到虛擬機。遷移連接了多個USB設(shè)備的虛擬機時，會更頻繁地發(fā)生此問題，但連接了一個或少數(shù)設(shè)備時，只偶爾發(fā)生此問題。解決方法：將虛擬機遷移回與USB設(shè)備物理連接的ES*I主機，并將設(shè)備重新連接到虛擬機。在vSphere 5中，VMware采取了積極主動的方法對虛擬機的性能指標(biāo)進(jìn)展監(jiān)控。管理員能夠通過命令行和圖形用戶界面查看所需要的所有信息，而且有一些工具能夠幫助虛擬化管理員對虛擬環(huán)境進(jìn)展監(jiān)控。能夠細(xì)粒度地查看現(xiàn)有配置和性能指標(biāo)，同時基于相關(guān)的數(shù)據(jù)做出積極的決定，能夠使虛擬環(huán)境流暢地運行。因此對工