RDM LUN重新掃描過程可能需要很長時間

1、可查看由帶有 RDM 的 MSCS 節(jié)點所使用的 RDM LUN 的 ESXi/ESX 主機啟動或 LUN 重新掃描過程可能需要很長時間 (2081951) Symptoms免責(zé)聲明：本文是 ESXi/ESX hosts with visibility to RDM LUNs being used by MSCS nodes with RDMs may take a long time to start or during LUN rescan (1016106) 的翻譯版本。盡管我們會不斷努力為本文提供最佳翻譯版本，但本地化的內(nèi)容可能會過時。有關(guān)最新內(nèi)容，請參見英文版本。 · ES

2、Xi/ESX 4.x 和 ESXi 5.x 主機啟動需要很長時間。這一時間取決于連接 ESXi/ESX 主機的 RDM 的數(shù)量。注意：對于在含有兩個節(jié)點的 MSCS 群集中使用 10 個 RDM 的系統(tǒng)，使用輔助節(jié)點重新啟動 ESXi/ESX 主機大約需要 30 分鐘的時間。而對于所用 RDM 數(shù)量較少的系統(tǒng)，重新啟動的時間會縮短。例如，如果只使用三個 RDM，則重新啟動的時間約為 10 分鐘。· ESXi 會間歇性地在“摘要”選項卡上顯示一條錯誤消息，vSphere Client 可能無法啟動：無法同步主機 hostname。操作超時 (Cannot synchronize hos

3、t hostname. Operation Timed out)。· 日志記錄屏幕顯示此消息后一直在等待啟動：正在加載多數(shù)據(jù)區(qū)模塊 (Loading module multiextent)。· 群集正在運行加入到主機間使用共享 RDM 和 SCSI 預(yù)留的 MSCS 中的虛擬機，而另一個主機上的虛擬機是保存 SCSI 預(yù)留的活動群集節(jié)點。· 在以下步驟中出現(xiàn)延遲：o 起始路徑聲明和 SCSI 設(shè)備發(fā)現(xiàn)在重新啟動 ESXi 主機時生成的 vmkernel.log 文件中（根據(jù) ESXi 的版本查看日志文件，請參見下面的注釋），您會看到類似以下內(nèi)容的條目：vmkern

4、el: 0:00:01:57.828 cpu0:4096)WARNING: ScsiCore: 1353: Power-on Reset occurred on naa.6006016045502500176a24d34fbbdf11vmkernel: 0:00:01:57.830 cpu0:4096)VMNIX: VmkDev: 2122: Added SCSI device vml0:3:0 (naa.6006016045502500166a24d34fbbdf11)vmkernel: 0:00:02:37.842 cpu3:4099)ScsiDeviceIO: 1672: Command

5、 0x1a to device "naa.6006016045502500176a24d34fbbdf11" failed H:0x5 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0o 掛載 RDM LUN 的分區(qū)在重新啟動 ESXi/ESX 主機時生成的 vmkernel.log 文件中，您會看到類似以下內(nèi)容的條目：vmkernel: 0:00:08:58.811 cpu2:4098)WARNING: ScsiCore: 1353: Power-on Reset occurred on naa.600601604550250083

6、489d914fbbdf11vmkernel: 0:00:08:58.814 cpu0:4096)VMNIX: VmkDev: 2122: Added SCSI device vml0:9:0 (naa.600601604550250082489d914fbbdf11)vmkernel: 0:00:09:38.855 cpu2:4098)ScsiDeviceIO: 1672: Command 0x1a to device "naa.600601604550250083489d914fbbdf11" failed H:0x5 D:0x0 P:0x0 Possible sens

7、e data: 0x0 0x0 0x0.vmkernel: 0:00:09:38.855 cpu1:4111)ScsiDeviceIO: 4494: Could not detect setting of QErr for device naa.600601604550250083489d914fbbdf11.Error Failure.vmkernel: 0:00:10:08.945 cpu1:4111)WARNING: Partition: 801: Partition table read from device naa.600601604550250083489d914fbbdf11

8、failed: I/O errorvmkernel: 0:00:10:08.945 cpu1:4111)ScsiDevice: 2200: Successfully registered device "naa.600601604550250083489d914fbbdf11" from plugin "NMP" of type 0vmkernel: 47:02:52:19.382 cpu17:9624)WARNING: NMP: nmp_IsSupportedPResvCommand: Unsupported Persistent Reservatio

9、n Command,service action 0 type 4vmkernel: 47:02:52:19.383 cpu17:9624)WARNING: NMP: nmp_IsSupportedPResvCommand: Unsupported Persistent Reservation Command,service action 0 type 4vmkernel: 47:02:52:19.383 cpu23:9621)WARNING: NMP: nmp_IsSupportedPResvCommand: Unsupported Persistent Reservation Comman

10、d,service action 0 type 4vmkernel: 47:02:52:19.383 cpu17:9624)WARNING: NMP: nmp_IsSupportedPResvCommand: Unsupported Persistent Reservation Command,service action 0 type 4vmkernel: 47:02:52:19.383 cpu12:4108)WARNING: NMP: nmpUpdatePResvStateSuccess: Parameter List Length 54310000 for service action

11、0 is beyondthe supported value 18vmkernel: 47:02:52:19.383 cpu12:4108)WARNING: NMP: nmpUpdatePResvStateSuccess: Parameter List Length 54310000 for service action 0 is beyondthe supported value 18vmkernel: 47:02:52:19.383 cpu3:5733)WARNING: NMP: nmpUpdatePResvStateSuccess: Parameter List Length 54310

12、000 for service action 0 is beyondthe supported value 18vmkernel: 47:02:52:19.384 cpu12:9738)WARNING: NMP: nmpUpdatePResvStateSuccess: Parameter List Length 54310000 for service action 0 is beyondthe supported value 18vmkernel: 47:02:52:21.383 cpu23:9621)WARNING: NMP: nmp_IsSupportedPResvCommand: Un

13、supported Persistent Reservation Command,service action 0 type 4· 如果配置現(xiàn)有 VMFS LUN 上的設(shè)置，可能會在 vmkernel.log 文件中看到以下條目：cpu4:10169)WARNING: Partition: 1273: Device "naa.XXXXXXXXXXXXXXXXXXXxxxxxxxxxxxxx" with a VMFS partition is marked perennially reserved.This is not supported and may lead

14、 to data loss.cpu4:10169)WARNING: Partition: 1273: Device "naa.XXXXXXXXXXXXXXXXXXXxxxxxxxxxxxxx" with a VMFS partition is marked perennially reserved.This is not supported and may lead to data loss.cpu4:10169)WARNING: Partition: 1273: Device "naa.XXXXXXXXXXXXXXXXXXXxxxxxxxxxxxxx"

15、 with a VMFS partition is marked perennially reserved.This is not supported and may lead to data loss.注意：不同版本 ESX/ESXi 的 vmkernel.log 文件的位置說明詳見 Location of log files for VMware products (1021806)。Purpose本文介紹了一個特定問題。如果出現(xiàn)所有癥狀，請查閱各部分內(nèi)容。如果僅遇到其中的部分癥狀，則可在 Knowledge Base 中搜索您遇到的癥狀，或者參見以下文章：· vSphere E

16、SX/ESXi 4.x stops during start up at the step: multiextent loaded successfully (2003424) · ESX machines hosting passive MSCS nodes report reservation conflicts during storage operations (1009287) ResolutionESXi/ESX 4.x該問題在 2011 年 7 月 8 日發(fā)行的 VMware ESXi/ESX 4.1 修補程序中已解決。有關(guān)詳細信息，請參見：· ESXi 4.

17、1: VMware ESXi 4.1 Patch ESXi410-201107401-BG: Updates Firmware (2000609) · ESX 4.1: VMware ESX 4.1 Patch ESX410-201107401-BG: Updates VMkernel, VMX, CIM (2000604)除了安裝修補程序外，在受影響的 ESXi/ESX 主機上修改此高級配置選項也可以加快啟動過程：· ESXi/ESX 4.1：將高級選項 Scsi.CRTimeoutDuringBoot 改為 1。 · ESXi/ESX 4.0：將高級選項 Sc

18、si.UWConflictRetries 改為 80。有關(guān)更改高級配置選項的詳細信息，請參見 Configuring advanced options for ESXi/ESX (1038578)。在 ESXi/ESX 4.1 上，如果重新掃描時間仍然增加，則解決該問題的最佳選擇是將主機升級到 ESXi 5.0，其中包括上述兩項修復(fù)（即在 2011 年 7 月 28 日發(fā)行的修補程序以及將高級選項 Scsi.CRTimeoutDuringBoot 改為 1）。在現(xiàn)有 LUN 上配置 perennially-reserved 設(shè)置之前，可以驗證 LUN 是否掛載為 VMFS LUN。要查看現(xiàn)有設(shè)

19、置，可運行以下命令：esxcfg-scsidevs -m|grep naa.XXXXXXXXXXXXXXXXXXX 在 ESXi 5.0 中，問題“無法同步主機 hostname。操作超時 (Cannot synchronize host hostname. Operation Timed out)”已修復(fù)，建議升級到 ESXi 5.0 或更高版本。ESXi 5.0 ESXi 5.0 引入了一個配置標(biāo)記，將每個加入到 MSCS 群集中的設(shè)備標(biāo)記為永久保留，從而用一種不同的方法來確定 MSCS 群集設(shè)備是否使用了裸設(shè)備映射 (RDM) LUN。在 ESXi 主機啟動期間，存儲中間層會在

20、設(shè)備聲明階段嘗試發(fā)現(xiàn)所有提供給 ESXi 主機的設(shè)備。但是，帶有永久 SCSI 預(yù)留的 MSCS LUN 會使啟動過程變長，這是因為，由于永久性 SCSI 預(yù)留被其他 ESXi 主機上托管的活動 MSCS 節(jié)點放到了某個設(shè)備上，而使 ESXi 主機無法詢問 LUN。對于每個 ESXi 主機，都是在本地將設(shè)備配置為永久預(yù)留，并且必須對可查看加入到 MSCS 群集中的每個設(shè)備的每個 ESXi 5.0 主機執(zhí)行該配置。這可以縮短可以查看設(shè)備的所有 ESXi 主機的啟動時間。不支持使用 vSphere 主機配置文件應(yīng)用該設(shè)置。就其本身而言，使用 vSphere Auto Deploy 部署的 ESXi

21、 5.0 主機無法利用此功能。注意：在 ESXi 5.0 中，高級選項 Scsi.CRTimeoutDuringBoot 不再有效。升級到 ESXi 5.0 要升級到 ESXi 5.0，請執(zhí)行以下操作：對于每臺可查看 MSCS RDM LUN 的主機：1. 必須關(guān)閉群集中的所有虛擬機。 2. 在升級之前，請卸載主機中的所有 MSCS RDM： a. 確定哪些 RDM LUN 屬于 MSCS 群集。 b. 在 vSphere Client 中，選擇映射到 MSCS 群集 RDM 設(shè)備的虛擬機。 c. 編輯虛擬機設(shè)置并導(dǎo)航到映射的裸 LUN。 d. 選擇“管理路徑”以顯示每個映射裸 LUN 的設(shè)備

22、屬性和其設(shè)備標(biāo)識符（即，naa ID）。 e. 記下每個由此找到的 naa ID，此 ID 是 RDM 的全局唯一標(biāo)識符。 f. 遮蔽主機中所有 MSCS RDM 設(shè)備的路徑。有關(guān)詳細信息，請參見 Masking a LUN from ESX and ESXi using the MASK_PATH plug-in (1009449)。 g. 在存儲陣列上，去除主機中的所有 MSCS RDM 設(shè)備。3. 將主機升級到 ESXi 5.0。有關(guān)詳細信息，請參見 Methods of upgrading to ESXi 5.0 (2004501)。 4. 重新啟動后，使用該主機上的 esxcli 命

23、令將每臺 RDM 設(shè)備標(biāo)記為永久預(yù)留：esxcli storage core device setconfig -d naa.id -perennially-reserved=true注意：即使 LUN 當(dāng)前未提供給主機，該命令也有效。5. 將 MSCS RDM 設(shè)備重新提供給主機并重新掃描。 6. 通過在主機上運行此命令確認已將正確的設(shè)備標(biāo)記為永久預(yù)留：esxcli storage core device list |less注意：重新啟動主機時，MSCS 設(shè)備不應(yīng)出現(xiàn)問題。已升級的 ESXi 5.1/5.5 主機要在已升級的 ESXi 5.1/5.5 主機上將 MSCS LUN 標(biāo)記為永久

24、預(yù)留，可以在主機配置文件中設(shè)置永久預(yù)留標(biāo)記。有關(guān)詳細信息，請參見 vSphere 文檔中心內(nèi)以下指南的“vSphere MSCS 設(shè)置對照表 ”部分：· vSphere 5.1 Resource Management Guide · vSphere 5.5 Resource Management Guide托管帶有 RDM LUN 的 MSCS 節(jié)點的主機使用 esxcli 命令將設(shè)備標(biāo)記為永久預(yù)留 esxcli storage core device setconfig -d naa.id -perennially-reserved=true注意：無狀態(tài) Auto Dep

25、loy 將在啟動時擦除所有設(shè)置，因此無法設(shè)置會導(dǎo)致啟動時出現(xiàn)長時間延遲的“永久預(yù)留”標(biāo)記。已升級的 ESXi 5.0 主機 要在已升級的 ESXi 5.0 主機上將 MSCS LUN 標(biāo)記為永久預(yù)留，請運行本文“已升級的 ESXi 5.1/5.5 主機”部分中的 esxcli 命令，所有后續(xù)重新掃描/啟動都將以正常速度進行。1. 確定哪些 RDM LUN 屬于 MSCS 群集。 2. 在 vSphere Client 中，選擇映射到 MSCS 群集 RDM 設(shè)備的虛擬機。 3. 編輯虛擬機設(shè)置并導(dǎo)航到映射的裸 LUN。 4. 選擇“管理路徑”以顯示映射裸 LUN 的設(shè)備屬性和設(shè)備標(biāo)識符（即，n

26、aa ID）。 5. 記下 naa ID，此 ID 是共享設(shè)備的全局唯一標(biāo)識符。 6. 使用 esxcli 命令將設(shè)備標(biāo)記為永久預(yù)留：esxcli storage core device setconfig -d naa.id -perennially-reserved=true7. 要驗證設(shè)備是否已永久預(yù)留，請運行以下命令：esxcli storage core device list -d naa.id在 esxcli 命令的輸出中，搜索條目 Is Perennially Reserved: true。該條目表明設(shè)備已標(biāo)記為永久預(yù)留。8. 對加入到 MSCS 群集中的每個映射裸 LUN 重

27、復(fù)該過程。注意：配置將隨著 ESXi 主機永久存儲，在重新啟動期間繼續(xù)存在。要移除永久預(yù)留標(biāo)記，請運行以下命令：esxcli storage core device setconfig -d naa.id -perennially-reserved=falsePowerCLI 5.0 要使用 PowerCLI 將 MSCS LUN 標(biāo)記為永久預(yù)留，可以直接通過 PowerCLI 使用 esxcli 功能。檢索 esxcli 實例并調(diào)用其任意方法。有關(guān)詳細信息，請參見 VMware vSphere PowerCLI Blog。要檢索 esxcli 實例，請運行以下命令：Connect-VISer

28、ver -Server xxx.xxx.xxx.xxx -User xxxxx -Pass xxxxx 要設(shè)置 esxcli 實例，請運行以下命令：$myesxcli= get-esxcli -VMHost ESXhost要列出設(shè)備，請運行以下命令：$myesxcli.storage.core.device.list()要確定 PowerCLI 參數(shù)，請運行以下命令：$myesxcli.storage.core.device.setconfigTypeNameOfValue : VMware.VimAutomation.ViCore.Util10Ps.EsxCliExtensionM

29、ethodOverloadDefinitions : void setconfig(boolean detached, string device, boolean perenniallyreserved)MemberType : CodeMethodValue : void setconfig(boolean detached, string device, boolean perenniallyreserved)Name : setconfigIsInstance : True要按設(shè)備 naa ID 列出詳細信息，請運行以下命令：$myesxcli.storage.core.device.

30、list("naa.50060160c46036df50060160c46036df")AttachedFilters :DevfsPath : /vmfs/devices/disks/naa.50060160c46036df50060160c46036dfDevice : naa.50060160c46036df50060160c46036dfIsPerenniallyReserved : falseIsPseudo : true要將設(shè)備設(shè)置為永久預(yù)留，請運行以下命令：$myesxcli.storage.core.device.setconfig($false, &quo

31、t;naa.50060160c46036df50060160c46036df", $true)要驗證參數(shù)更新，請運行以下命令：$myesxcli.storage.core.device.list("naa.50060160c46036df50060160c46036df")AttachedFilters :DevfsPath : /vmfs/devices/disks/naa.50060160c46036df50060160c46036dfDevice : naa.50060160c46036df50060160c46036dfIsPerenniallyReser

32、ved : trueIsPseudo : true要移除永久預(yù)留標(biāo)記，請運行以下命令：$myesxcli.storage.core.device.setconfig($false, "naa.50060160c46036df50060160c46036df", $false)ESXi 6.0 主機本文前三部分中涵蓋的將 MCSC 群集 RDM 設(shè)置為永久預(yù)留的命令行、vSphere Client 和 PowerCLI 方法對于對于所有 ESXi 6.0 主機同樣適用。Additional Information有關(guān)詳細信息，請參見 Obtaining LUN pathing information for ESX or ESXi hosts (1003973) 和 Using Tech Support Mode in ESXi 4.1 a