虛擬機日常維護手冊

1、虛擬機日常維護手冊1目的 為提高處理虛擬化服務器故障的能力，形成科學、有效、反應迅速的日常管理流程和應急處理機制，確保虛擬化平臺的安全和穩(wěn)定運行，最大限度地減小服務器故障對生產(chǎn)的影響，降低業(yè)務中斷風險，特制定本手冊。2故障處理規(guī)范2.1硬件維護平臺服務器出現(xiàn)硬件告警需要停機維護，服務器責任人應立即通知相關(guān)人員，將業(yè)務虛機遷移到集群中其他服務器主機上，再將故障服務器切換至維護模式并從HA集群中移除，負責陪同硬件廠家現(xiàn)場更換至成功恢復。 2.2虛擬化平臺故障 發(fā)生平臺故障后，相關(guān)人員應及時查找、確定故障原因，進行先期處置。若故障在短時間內(nèi)無法修復，相關(guān)人員應將業(yè)務遷移到備用平臺環(huán)境中，保持業(yè)務系統(tǒng)

2、的正常運行；將故障服務器脫離網(wǎng)絡，進行故障排除工作，并及時聯(lián)系相關(guān)人員或廠商協(xié)助解決。2.3虛擬機軟件系統(tǒng)故障 （1）日常做好虛擬機的定時備份和快照，系統(tǒng)崩潰后，應能夠及時恢復虛擬機。（2）發(fā)生虛擬機系統(tǒng)故障后，相關(guān)人員應及時通知業(yè)務人員檢查出現(xiàn)故障的原因并盡快排除。（3）如遇虛擬機系統(tǒng)需要啟用備份系統(tǒng)進行恢復時，應在恢復后和業(yè)務管理員仔細檢查業(yè)務是否恢復并做好恢復記錄。2.4虛擬化平臺日常告警故障排除當虛擬化平臺出現(xiàn)告警信息，通過以下步驟排除：（1） 確定故障原因。查看已觸發(fā)的警報內(nèi)容，確定故障前操作是否是引發(fā)該故障的原因，對合規(guī)操作引起的告警，進行消除。（2） 對提示硬件產(chǎn)生的告警，應查看

3、硬件狀態(tài)信息，對確認是硬件的問題按硬件維護預案處理。（3） 對提示因資源不足或性能引發(fā)的告警，因查看近期性能圖表，找出原因，消除故障提示。（4） 對于無法判斷的故障，可導出系統(tǒng)日志發(fā)給廠家分析處理3虛擬化平臺故障預防3.1虛擬機實時狀態(tài)備份 在對虛擬機進行調(diào)整配制前，做快照，以防配置虛擬機后出現(xiàn)故障，如無問題，可刪除虛擬機快照，另外也可利用快照最為一種備份的方式，定期做虛擬機快照，當出現(xiàn)問題時，可恢復到最近的快照狀態(tài)。6虛擬化平臺故障恢復 虛擬化平臺系統(tǒng)出現(xiàn)故障，先對問題進行定位，按前述預案處理，若故障依然存在，通過以下步驟恢復：（1）用快照進行虛擬機恢復。如果虛擬機中包括數(shù)據(jù)庫和實時狀態(tài)信息

4、，要在恢復后進行必要的數(shù)據(jù)庫文件恢復，并還原系統(tǒng)實時狀態(tài)。 （2）用NBU從備份系統(tǒng)中進行系統(tǒng)還原，還原后進行必要的狀態(tài)信息檢查（3）虛擬化操作系統(tǒng)恢復，通過重新安裝虛擬化操作系統(tǒng)vsphere還原底層平臺，并重新部署到群集系統(tǒng)中。摘要：有時，VMware管理員如走過場一樣執(zhí)行日常維護任務。他們做X、檢查Y然后把把Z的脈搏。但是很重要的一點是要弄明白這么做的目的。維護工作不僅僅是要維持系統(tǒng)在線，它同樣保證您可以從現(xiàn)有投資中獲得最大收益。雖然ESX、vSphere、vCenter和Workstation都是成熟和穩(wěn)定的虛擬化技術(shù)，但是它們依然需要進行日常維護。花費一些時間去了解您的架構(gòu)，然后制定

5、VMware維護計劃以滿足您的SLA（service level agreement）級別并盡量減少工作壓力。下面的綱要中包含了一些最佳實踐，但是每個虛擬化架構(gòu)各有不同，您需要選擇最適合的方式。VMware維護工作根據(jù)頻率可以大致分解為：每天、每周和每月。VMware日常維護工作我每天要進行的維護工作如下： 查看報警郵件。郵箱監(jiān)控是一種持續(xù)的、被動的、而且一旦正確設(shè)置后不需花費很多精力的監(jiān)控方式。當您逐漸熟悉系統(tǒng)架構(gòu)后，還可以區(qū)分出警報的不同類型，識別哪些是緊急的需要立即處理，哪些是需要逐步去改變的。假設(shè)某個特定的數(shù)據(jù)庫在每天的固定時間發(fā)送CPU占用率過高的警報，那么最好調(diào)節(jié)一下報警設(shè)置的條件

6、和頻率。不要忘了狼來了的故事，避免因為過多無關(guān)緊要的警報而忽略了那些關(guān)鍵問題。 巡視服務器所在的房間。雖然我也設(shè)置了警報，但通過對主機所在的房間進行一次快速的巡視我可以馬上判斷出發(fā)生了什么，這非常有用，尤其是忽略了某個警報的時候可以補救。所有的風扇都在運行嗎？是否出現(xiàn)內(nèi)存差錯？SAN系統(tǒng)中的磁盤驅(qū)動器正常嗎？通過觀察硬件上的指示燈我可以獲得基本的狀態(tài)信息。我還會快速檢查一下不間斷電源的供電電壓，以及現(xiàn)在的運行時間。知道了這些，一旦發(fā)生災難，我可以知道有多少時間可用來關(guān)閉設(shè)備。除了這些快速觀察外，我還經(jīng)常使用HP公司在宿主機上集成的Lights-Out端口來檢測硬件狀態(tài)和溫度，尤其在沒有物理登陸

7、宿主機或SAN的時候，這么做非常有必要。 環(huán)視一圈vCenter/VirtualCenter。我會執(zhí)行所有還未完成的任務，瞥一眼ESX主機的性能然后感受一下各個組件是否正常。當您對系統(tǒng)每天的性能表現(xiàn)足夠熟悉的時候，就很容易看出問題。相信我，無論系統(tǒng)看起來多么協(xié)調(diào)，在某些時候都會出現(xiàn)問題。這個過程如同您很熟悉自己在靜止時的心跳，同時還需要通過跑步機或騎自行車來定期檢驗一下。VMware每周維護工作每周我會執(zhí)行如下動作： 備份vCenter/VirtualCenter數(shù)據(jù)庫。我的現(xiàn)有系統(tǒng)變化不太頻繁，因此一周執(zhí)行一次數(shù)據(jù)庫清理和管理服務器的全備份就可以了。如果您的系統(tǒng)處于不斷地動態(tài)變化中，可以頻率

8、高一些。依然要強調(diào)那個老問題：如果您希望將來可以重建，擁有數(shù)據(jù)庫的備份很重要。VMware每月維護工作每月我們進行如下的管理行為： 清理存儲。如果存在過期的快照，最好盡快清理掉。如果無法確定是否存在，可以通過VMware SiteSurvey查看。 檢查服務協(xié)議。您是否已經(jīng)升級了售后服務？到了做新的預算來購買所需支持服務的時候了嗎？ 預想將來要做的升級。目前為止，所有的工作都在圍繞保持系統(tǒng)正常工作上。讓我們向后一步，閉上眼睛不妨從相反的角度來考慮：您希望系統(tǒng)如何工作?怎樣可以改善業(yè)務？然后找出一條正確的路來實現(xiàn)。這聽起來像在做白日夢，不過或許這會成為您一天中最高效的一段時間。31、為主機應用H

9、ost Profiles提示compliance錯誤故障狀態(tài)：為主機應用Host Profiles失敗，提示如下錯誤：01.Specification state absent from host: device '<datastore>' state needs to be set to 'on'02.Host state doesn't match specification: device '<datastore>' needs to be reset03.Specification state absent

10、 from host: device '<datastore>' Path Selection Policy needs to be set to 'VMW_PSP_FIXED'04.Host state doesn't match specification: device '<datastore>' Path Selection Policy needs to be set to default for claiming SATP故障分析：這是由于PSA組件導致的；解決方案：1、右擊Host Profiles后

11、點擊Enable/Disable Profiles配置選項；2、展開“Storage Configuration”選項，展開“Pluggable Storage Architecture”這個uxanxiang；3、去掉“PSA Device Configuration”；4、展開“Native Muti-Pathing(NMP)”這個選項后，接著展開“PSP and SATP configuration for NMP devi”選項；5、去掉“PSP configuration for”這個選項后點擊OK即可。 33、分析、解決IOPS導致的虛擬機/存儲性能下降和虛擬機磁盤延時較

12、大的問題故障狀態(tài)：1、虛擬機性能較低；2、在執(zhí)行備份時磁盤延時很厲害；3、虛擬磁盤vmdk延時較大；故障分析：這種問題基本都是由于虛擬機沒有足夠的IO Per Second（IOPS），或者IOPS低于30；解決方案：在解決問題前，首先要解決以下兩個問題：問題1：什么是IOPS？IOPS全稱為Input/Output Per Second，它是衡量一個磁盤（虛擬磁盤和物理磁盤）、存儲的基本也是十分重要的標準。不同的磁盤、存儲有著不同的IOPS。IOPS的高低直接會影響著系統(tǒng)的性能。當前，VMware虛擬化環(huán)境中最大的瓶頸也就在于這個IOPS。針對數(shù)據(jù)密集型業(yè)務的數(shù)據(jù)庫業(yè)務和流媒體業(yè)務，由于它們

13、的IOPS很大，所以在虛擬化環(huán)境中部署它們一定要充分考量它們的負載，也就是IOPS大小，結(jié)合實際的存儲性能來查看是否符合業(yè)務標準。問題2：如何計算IOPS？如何計算每臺虛擬機的IOPS？要想計算每個虛擬機的總的IOPS數(shù)量，首先就要確認磁盤類型以及它們的IOPS是多少。處于RAID陣列里面的每個盤的IO有利于增長整體存儲的可用IOPS。而位于這個存儲上面的單臺虛擬機的IOPS，則可以通過將這個存儲的總IOPS除掉虛擬機數(shù)量即可基本得到單臺虛擬機的IOPS?，F(xiàn)實案例：假定有6顆10000RPM的磁盤，那么它們的總的可用IOPS大約為150x6=900。如果LUN上面運行的虛擬機數(shù)量為50個，則單

14、臺虛擬機的IOPS為900/50=18 IOPS。如果以這個為標準，則意味著虛擬機的性能相對底下。如果想要滿足虛擬機的基本IOPS需求，那么應該為900/30=30，也就是說同一個Volume里IOPS為30（最低要求）虛擬機需要數(shù)量控制在30臺以下。 備注：備份存儲會消耗更多的IOPS，同時也會給Volume帶來更多額外的符合。如果是這樣，則需要用額外手段解決備份時的額外資源消耗（可以通過I/O meter軟件來測試IOPS）  34、丟失或鎖定文檔導致虛擬機無法Power On故障狀態(tài)：1、虛擬機無法開啟；2、嘗試開啟虛擬機時，看到類似如下錯誤信息：Unabl

15、e to open Swap File；Unable to access a file since it is locked；Unable to access Virtual machine configuration；3、在/var/log/vmkernel文件里可以看到類似如下信息：     WARNING: World: VM xxxx: xxx: Failed to open swap file <path>ock was not free     WARNING: Worl

16、d: VM xxxx: xxx: Failed to initialize swap file <path>4、當嘗試開啟虛擬機的console控制臺時，可能會收到如下錯誤信息：      Error connecting to <path><virtual machine>.vmx because the VMX is not started5、在開啟虛擬機時，卡在95%位置無響應；6、從模板部署一臺新的VM之后無法開啟虛擬機；7、虛擬機在vCenter Server和ESXi/ESX主機之間報告

17、控制臺電源狀態(tài)沖突；故障分析：導致這個問題的因素可能很多，但是眾多問題中，都穿插或包含著文件損壞或文件被鎖定等問題的可能。虛擬機常用的文件包括：*.vswp*-flat.vmdk*-delta.vmdk*.vmx*.log解決方案：首先需要確認哪些文件處于鎖定狀態(tài)：1、利用vSphere Client登錄ESXi/ESX主機、vCenter Server主機；2、在Datastore里找到想要開啟但是無法開啟的虛擬機所在位置；3、嘗試開啟虛擬機，如果無法開啟且console顯示錯誤，先查閱vmware.log日志文件的相關(guān)信息來確認問題；4、利用SSH或COS選用root權(quán)限登錄到ESXi/E

18、SX主機之后執(zhí)行下面的命令查看虛擬機的完整路徑：      #vmware-cmd -l      系統(tǒng)將輸出類似如下信息來顯示注冊到ESXi/ESX主機的虛擬機：      /vmfs/volumes/<UUID>/<虛擬機目錄>/<虛擬機名>.vmx5、執(zhí)行下列命令切入到這個虛擬機所在的目錄：      #cd /vm

19、fs/voluems/<UUID>/<虛擬機目錄>6、然后查閱vmware.log日志，在文件的尾部查看什么原因?qū)е逻@個問題后再針對性的分析。 準確定位并刪除掉鎖定文件由于虛擬機可以在主機之間移動，如果虛擬機注冊到的主機保持對文件的鎖定狀態(tài)，那么，這個鎖定文件可以有效保障ESXi/ESX主機對虛擬機文件的控制權(quán)和有效保護虛擬系統(tǒng)。主機由Service Console接口的MAC來確定。lock由VMkernel或Service Console負責維護； 備注：ESXi服務器沒有Service Console所以，lock由VMkernel單獨負責維護

20、；首先要確定VMkernel可能鎖定的文件：1、執(zhí)行下面的命令來報告鎖定目錄所在的MAC地址：      #vmkfstools -D /vmfs/volumes/<UUID>/<虛擬機目錄>/<鎖定狀態(tài)文件>2、由于負責鎖定.vmdk文件的主機會將MAC地址寫入到vmkernel日志里面，那么可以用下面的命令查閱：      #tail /var/log/vmkernel  35、Storage vMotion失?。簂

21、ooking for lines staring with "CBTMotion"故障狀態(tài)：1、執(zhí)行Storage vMotion失敗；2、系統(tǒng)提示如下錯誤信息：01.A general system error occurred: Storage VMotion failed to copy one or more of the VM's disks. Please consult the VM's log for more details, looking for lines starting with "CBTMotion-".復制

22、代碼3、/var/log/vmware/hostd.log文件里有類似如下信息：01.Failed with error 340983807: Storage VMotion failed to copy one or more of the VM's disks.  Please consult the VM's log for more details, looking for lines starting with "CBTMotion".復制代碼故障分析可能由于虛擬機的硬件版本號過老導致；解決方案：關(guān)掉虛擬機后右擊uxniji選擇

23、Upgrade Virtual Machine Hardware即可。  36、添加LUN時提示HostDatastoreSystem.QueryVmfsDatastoreCreateOptions故障狀態(tài)：系統(tǒng)能夠掃描到Devices LUN，但是在添加過程中卻提示如下錯誤信息：HostDatastoreSystem.QueryVmfsDatastoreCreateOptions ，如圖所示： 故障分析：這樣的問題一般都是由于LUN的尺寸過大導致，一般來說，VMware ESXi/ESX Server標準支持最大的LUN尺寸為2TB-512Byte，但

24、是由于國內(nèi)很多技術(shù)人員對這個-512Byte并不太在意，所以習慣型的講成2TB，這就導致很多用戶在使用時，直接分配了2TB的空間，這就可能導致了上述問題；解決方案：針對這樣的問題，建議如下：1、如果已經(jīng)分好了2TB的LUN，建議調(diào)整為1.88TB左右后再嘗試添加；2、新LUN規(guī)劃用戶則請嚴格參照官方文檔的參數(shù)設(shè)計，建議是1.88TB左右為一個LUN生成Datastore  37、vCenter Converter推送Agent出錯：Converter Agent installer/uninstaller Failed故障狀態(tài)：1、利用vCenter Converter推送

25、Agent到Windows Server 2003服務器上時，失敗；2、系統(tǒng)提示類是如下錯誤信息：01.Converter Agent installer/uninstaller failed on 'xxxxxxxxx'. 3、VMware vCenter Converter的日志文件converter-server.log里面有類似如下錯誤提示：04.#7 2011-01-21 11:18:37.476 03976 error 'App' Found dangling SSL error: 0 error:00000001:lib(0):func(

26、0):reason(1) 7.#7 2011-01-21 11:19:32.445 03976 info 'App' diagnosticManager,357 Generating Converter.Server log bundle.故障分析：以下幾種情況可能導致這樣的問題：1、445端口沒能打開；2、曾經(jīng)手動安裝過Agent后卸載；3、Windows服務管理其中的server服務沒有啟動導致的IPC$連接失敗；4、防火墻阻絕； 解決方案1、確認445端口或NetBIOS協(xié)議能正常使用；2、建議在Converter時關(guān)閉防火墻；3、如果依然有問題，嘗試

27、用Converter Standardalone版本遷移或采用ConverterCD進行冷克隆。  38、解決在vSphere 5.0里開啟HA時，提示：Datastore Heartbeating不足的問題故障狀態(tài)：為ESXi 5.0+vCenter 5.0配置HA時，提示如下信息：故障分析：這是由于vSphere 5.0里的HA部分已經(jīng)重寫，并且新增了Datastore Heartbeating用于網(wǎng)絡Partition心跳檢測支持；解決方案：有2個選擇，一個是加多存儲用于心跳檢測，這也是正確的選擇，就不多講，另一個就是忽略掉這個問題，方法如下：1、vSphere Cl

28、ient登錄到vCenter Server 5.0后，右擊HA Cluster，點擊Edit，然后找到高級選項設(shè)定：  2、再如上圖所示的內(nèi)容中，添加下參數(shù)：das.ignoreinsufficienthbdatastore 備注：缺省情況下，這個參數(shù)的值是false的。   39、通過vSphere Client登陸ESXi主機提示“正在更新”的問題故障狀態(tài)：通過vSphere Client登陸VCenter Server4.1正常，登陸ESXi主機提示如下圖： 故障分析：需要通過來更新Client說明客戶端存在問題，由于

29、登陸VCenter Server4.1不存在任何問題，所以基本確定版本的問題。查看ESXi版本和vSphere Client，發(fā)現(xiàn)Client的版本低于ESXi版本。解決方案：由于Client所在網(wǎng)絡無法上Internet,所以無法更新Client客戶端，可以通過安裝高版本的Client來解決此問題。  40、紅旗32位Linux進入系統(tǒng)時提示”udevu”無法繼續(xù)進入系統(tǒng)的問題故障狀態(tài)：進入系統(tǒng)后，出現(xiàn)下圖的界面，之后無法向下運行，必須按Ctrl+C才能繼續(xù)向下運行 故障分析：由于系統(tǒng)安裝時候是完整的，光盤鏡像包是完整的，安裝的時候不存在任何問題。考慮到物理機上

30、不存在這種問題，懷疑虛擬機虛擬驅(qū)動的問題，安裝新的VMware-tools問題依舊。虛擬機管理問題· 早于 2.6.27 版本的 Linux 內(nèi)核不報告處于關(guān)閉電源狀態(tài)的每插槽內(nèi)核數(shù)為 2從 ESXi 5.0 開始，多核虛擬 CPU 支持允許處于關(guān)閉電源狀態(tài)的每插槽內(nèi)核數(shù)為 2。早于 2.6.27 版本的 Linux 內(nèi)核僅正確報告處于打開電源狀態(tài)的每插槽內(nèi)核數(shù)為 2。例如，當您在 .vmx 文件中設(shè)置numvcpu

31、s = 6和cpuid.coresPerSocket = 3時，一些 Linux 客戶機操作系統(tǒng)可能無法報告任何物理標識信息。Linux 內(nèi)核 2.6.28 及更高版本會正確報告 CPU 和內(nèi)核拓撲。解決辦法：無· 將內(nèi)存熱添加到使用 Linux 64 位或 Windows 7、32 位客戶機操作系統(tǒng)的虛擬機時，無法將現(xiàn)有虛擬內(nèi)存增加到 3 GB 以上下列情況適用于將內(nèi)存熱添加到使用 Linux 64 位或 Windows 7

32、 32 位客戶機操作系統(tǒng)的虛擬機。· 如果已打開電源的虛擬機的內(nèi)存少于 3 GB，則內(nèi)存熱添加量不能超過 3 GB。· 如果虛擬機內(nèi)存為 1 GB，則可以添加 2 GB。· 如果虛擬機內(nèi)存為 2 GB，則可以添加 1 GB。· 如果虛擬機的內(nèi)存為 3444 MB，則可以添加 128 MB。· 如果已打開電源的虛擬機的內(nèi)存正好為 3 GB，則無法熱添加任何內(nèi)存。如果已打開電源的虛擬機的內(nèi)存超過 3 GB，則可以將虛擬機內(nèi)存增加到虛擬機打開

33、電源時初始內(nèi)存大小的 16 倍或增至硬件版本限制（以兩者中較小者為準）。硬件版本 7 的限制是 255 GB，硬件版本 8 的限制是 1011 GB。如果在虛擬機電源打開時，內(nèi)存從小于或等于 3 GB 增長到大于 3 GB，則 Linux 64 位和 32 位 Windows 7 客戶機操作系統(tǒng)會凍結(jié)。此 vSphere 限制可確保您不會在客戶機操作系統(tǒng)中觸發(fā)該錯誤。解決辦法：無。· 在硬件版本&

34、#160;7 虛擬機上進行 CPU 熱添加時出錯硬件版本 8 虛擬機的多核虛擬 CPU 功能支持虛擬 CPU 熱添加。 對于每個插槽的內(nèi)核數(shù)大于 1 的硬件版本 7 虛擬機，當您在 虛擬機屬性 對話框中啟用 CPU 熱添加并嘗試熱添加虛擬 CPU時，操作失敗并顯示以下錯誤消息：該虛擬機不支持 CPU 熱插拔 (CPU hot plug not supported for this virtual machi

35、ne)。解決辦法：要在硬件版本 7 虛擬機上使用 CPU 熱添加功能，請關(guān)閉虛擬機電源并將每個插槽的內(nèi)核數(shù)設(shè)置為 1。 為達到最佳效果，請使用硬件版本 8 虛擬機。· 同時創(chuàng)建大量虛擬機會導致文件操作失敗同時創(chuàng)建大量駐留在同一目錄下的虛擬機時，存儲系統(tǒng)變得不堪重負，導致一些文件操作失敗。會顯示錯誤消息并且創(chuàng)建虛擬機操作失敗。解決辦法：以更小的批量（例如 64 個）創(chuàng)建其他虛擬機，或嘗試在不同的數(shù)據(jù)存儲中或同一數(shù)據(jù)存儲的不同目錄中創(chuàng)建虛擬機。· 在通過 vMotion

36、 進行遷移過程中，從 ESXi 主機直通到虛擬機的 USB 設(shè)備可能斷開連接如果 USB 設(shè)備從 ESXi 主機直通到虛擬機并且該設(shè)備配置為在通過 vMotion 進行遷移過程中仍保持連接，則該設(shè)備可能會在vMotion 操作過程中斷開連接。如果 DRS 觸發(fā)遷移，該設(shè)備也會斷開連接。當設(shè)備斷開連接時，它們會恢復至主機，不再連接到虛擬機。遷移連接了多個 USB 設(shè)備的虛擬機時，會更頻繁地發(fā)生此問題，但連接了一個或少數(shù)設(shè)備時，只偶爾發(fā)生此問題。解決辦法：將虛擬機遷移回與 USB 設(shè)備物理連接的 ESXI&#