DeviceMapperMultipath配置指導書全解

1、資料編碼產品名稱Device Mapper Multipath使用對象華為工程師、 合作方工程師產品版本編寫部門多路徑 Linux 組資料版本V1.0Device Mapper Multipath 配置指導書擬 制：成林 /90006999日 期：2013-2-4審 核：日 期：批 準：日 期：華為技術有限公司版權所有 侵權必究華為機密，未經許可不得擴散Device Mapper Multipath 配置指導書文檔密級：內部公開修訂記錄日期修訂版本描述作者2013-2-4V1.0整理、初稿成林華為機密，未經許可不得擴散Device Mapper Multipath 配置指 導書文檔密 級：目錄

2、目 錄 1前 言 31 檢查系統(tǒng) DM-Multipath 41.1 檢查 DM-Multipath 是否正確安裝 41.2 查看 DM-Multipath 版本 51.3 檢查 DM-Multipath 配置文件 . 51.4 檢查 DM-Multipath 服務 multipathd 是否開機啟動 52 修改 DM-Multipath 配置 62.1 修改 multipath.conf 文件 62.1.1 CentOS 6.3 對接陣列 S5800T 配置 72.1.2 NeoKylin Advance Linux Server V5.6對接陣列 18500 配置 82.2 FAQ 92.

3、2.1 如何獲取陣列 vendor 及 product 92.2.2 DM-Multipath 可用的磁盤在哪里 93 注意事項 113.1 集群應用 113.2 DM-Multipath 與 UltraPath 共存 113.3 設備屏蔽 113.4 驅動超時參數 113.4.1 FC 驅動 113.4.2 ISCSI 驅動 12附錄 A DM-Multipath 盤符綁定 13附錄 B DM-Multipath 磁盤屏蔽 14附錄 C 常用命令 162019-7-1華為機密，未經許可不得擴散第 1 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：關

4、鍵詞：Device Mapper Multipath 、配置摘 要：本指導書是針對 Linux 系統(tǒng)自帶多路徑 Device Mapper Multipath 對接我司陣列，配置操 作過程中需要的步驟、注意事項等提供的指導，本指導書描述了 Multipath 配置過程及注意事 項。縮略語清單：DM-Multipath(Device Mapper Multipath )： Linux 系統(tǒng)自帶多路徑LUN(Logical Unit Number): 邏輯單元號ALUA( Asymmetric Logical Unit Access)：非對稱邏輯單元）：顯式 ALUAIALUA( Implicit

5、 Asymmetric Logical Unit Access)：隱式 ALUAEALUA( Explicit Asymmetric Logical Unit Access參考資料清單： 無。2019-7-1華為機密，未經許可不得擴散第 2 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：前言對于以下系統(tǒng)，可參照 Red Hat 系統(tǒng)進行處理。Oracle LinuxOracle VM ServerAsianuxRocky 4Rocky 4.2.40 系統(tǒng)自帶 DM-Multipath 配置說明見 3.6 小節(jié)。 Kylin(NeoKylin)XenS

6、erverCentOSFedoraScientific Linux 對于以下系統(tǒng)，可參照 Debian 系統(tǒng)進行處理。UbuntuRocky 6 對于以下系統(tǒng)，可參考 SUSE系統(tǒng)進行處理。UVP2019-7-1華為機密，未經許可不得擴散第 3 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：檢查系統(tǒng) DM-Multipath1.1 檢查 DM-Multipath 是否正確安裝執(zhí)行rpm -qa | grep device-mapper 命令。查看系統(tǒng)是否安裝或者裝全 DM-Multipath ，特別關注 multipath 相關項。注：對于 debi

7、an 系統(tǒng)，使用 deb 安裝包。執(zhí)行dpkg -l | grep multipath命令查詢 DM-Multipath 是否正確安裝。 例如， ubuntu 的 DM-Multipath 包為 multipath-tools 。若 系統(tǒng)為 SAN 引導方式，要需要 multipath-tools-boot 包。如圖 1-1 所示，系統(tǒng)( Red Hat 6.3 )正確安裝 Device Mapper 時，會有多個 rpm 包被安裝 到系統(tǒng)中， 其中與 Multipath 相關的有兩個 (如圖中紅框內容) 。如果沒有安裝， 或者安裝不全， 須先從系統(tǒng)安裝源獲取 rpm 安裝包，進行 DM-Mu

8、ltipath 的安裝。圖 1-1 Red Hat 6.3 DM-Multipath注 1 ：不同版本會有差異，以系統(tǒng)發(fā)布版本的實際情況為準。例如，Red Hat 5.7 系統(tǒng)DM-Multipath 的 rpm 包，如圖 1-2 所示。圖 1-2 Red Hat 5.7 DM-MultipathSuSE11SP1 系統(tǒng)注 2： SuSE 系統(tǒng) multipath 相關 rpm 包是 multipath-tools-*.rpm 。例如， DM-Multipath 的 rpm 包，如圖 1-3 所示。圖 1-3 SuSE11SP1 DM-Multipath2019-7-1華為機密，未經許可不得擴

9、散第 4 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：1.2 查看 DM-Multipath 版本如 1-1 小節(jié)示例，圖 1-1 中 Red Hat 6.3 系統(tǒng)中 DM-Multipath 版本是 0.4.9； 圖 1-2 中 RedHat 5.7 系統(tǒng)中 DM-Multipath 版本是 0.4.7； 圖 1-3 中 SuSE11SP1 系統(tǒng)中 DM-Multipath 版本是 0.4.8。1.3 檢查 DM-Multipath 配置文件(Red Hat 6.3)Red Hat 5.7) (SuSE11SP1) (ubuntu 11.04)

10、mpathconf 命令，可查看系統(tǒng)中 /etc/multipath.conf 文件是否存在。 如果不存在，將/usr/share/doc/device-mapper-multipath-* /multipath.conf 或/usr/share/doc/device-mapper-multipath-* /multipath.conf.synthetic 或/usr/share/doc/packages/multipath-tools/multipath.conf.synthetic 或/usr/share/doc/multipath-tools/examples/multipath.con

11、f.synthetic 文件拷貝一份，文件命名為 multipath.conf 放置于 /etc/目錄下。注：上述加粗部分“ *”表示相應 DM-Multipath 版本。有些版本提供 以使用 mpathconf -enable 命令來創(chuàng)建配置文件。1.4 檢查 DM-Multipath 服務 multipathd 是否開機啟動執(zhí)行 chkconfig list multipathd 命令，查看 multipathd 服務是否開機啟動。 Red Hat 6.3 系統(tǒng)查詢結果如圖 1-4 所示。圖 1-4 Red Hat 6.3 查詢結果 若 multipathd 在需要的啟動級別未配置開機啟動

12、，執(zhí)行 chkconfig -level 35 multipathd on 命令，設置 multipathd 服務開機啟動。注：上述加粗的“ 35”表示系統(tǒng)啟動級別 3 和 5。2019-7-1華為機密，未經許可不得擴散第 5 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：修改 DM-Multipath配置2.1 修改 multipath.conf 文件1）執(zhí)行vi /etc/multipath.conf打開配置文件，在文件的 devices 配置項中添加陣列相應配置。具體配置內容見本小節(jié)后續(xù) 內容。Red Hat 6.3 系統(tǒng)對接 S5500T 陣

13、列的示例配置，如圖 2-1 所示。持）；圖 2-1 Red Hat 6.3 對接 S5500T 陣列 DM-Multipath 配置 基本配置項說明 :1. vendor 與 product陣列信息，陣列相關；2. path_grouping_policy是路徑分組策略配置，策略相關；3. getuid_callout獲取 lun wwn 方法，系統(tǒng)相關；4. path_checker路徑檢查方法，策略相關；5. prio( 或 prio_callout)獲取路徑優(yōu)先級方法，版本、策略相關；6. path_selector選路方法，策略相關；7. failbackfailback 配置，策略相

14、關；8. dev_loss_tmofc 超時配置，策略相關（ dm-multipath 低版本不支注意 :具體配置的說明,可參考隨機文檔multipath.conf.annotated確保 multipath.conf 配置文件中， blacklist 配置項沒有設置對陣列的屏蔽。例如，在 Red Hat 5.7 系統(tǒng)中， multipath.conf 配置文件中，默認進行了如圖 2-2 所示配置， 屏蔽了所有的 devnode。需要將屏蔽設置注釋掉， 或者在 blacklist_exceptions 配置項中設置屏 蔽例外。2019-7-1華為機密，未經許可不得擴散第 6 頁, 共 16 頁

15、Device Mapper Multipath 配置指 導書文檔密 級：圖 2-2 Red Hat 5.7 DM-Multipath 默認配置2）配置修改完畢后，依次執(zhí)行multipath Fservice multipathd reload multipath v2 命令，使配置生效。注 1： /etc/multipath.conf 文件修改后，需要執(zhí)行 service multipathd reload 命令重新加載配 置，否則更改不生效。注 2： debian 系統(tǒng)重新加載 multipathd 參數的命令為 service multipath-tools reload 。注 3 ：若

16、servie multipathd rload 命令執(zhí)行失敗，請根據回顯提示操作?；蚴褂?multipathd reconfigure 命令更新配置。3）執(zhí)行 multipath ll 命令，查看修改效果。Red Hat 6.3 系統(tǒng)對接 S5500T 陣列示例中，如圖 2-1 的配置，查詢結果如圖 2-3 所示?？?以觀察，陣列映射給主機有 3 個 LUN ，每個 LUN 有 2 條路徑，每條路徑通過 alua 獲取到了不 同的優(yōu)先級。例如：虛擬 LUN mpatha ，兩條路徑的物理 LUN 是 sdb、sdd，路徑優(yōu)先級分別是 50、 10。圖 2-3 Red Hat 6.3 對接 S5

17、500T 陣列 DM-Multipath 查詢路徑信息2.1.1 CentOS 6.3 對接陣列 S5800T 配置2019-7-1華為機密，未經許可不得擴散第 7 頁, 共 16 頁隱式 ALUA 配置：Device Mapper Multipath 配置指 導書文檔密 級：# HUAWEI ： S5800T IALUA#device vendorHUAWEI productS5800Tpath_grouping_policy group_by_prio getuid_callout/lib/udev/scsi_id -whitelisted -device=/dev/%npath_chec

18、kerturprioaluapath_selectorround-robin 0failbackimmediate注：1. 本配置僅用于 CentOS 6.3系統(tǒng)對接 S5800T 陣列2. 由于陣列與 DM-Multipath 對接，使用了 IALUA 配置，故須手動在陣列側開啟 ALUA 配置（非默認配置） 。操作方法：在 ISM 界面上，對相應啟動器配置 ALUA。詳細說明，參 見陣列 ISM 使用手冊。2.1.2 NeoKylin Advance Linux Server V5.6 對接陣列 18500 配置device vendorHUAWEI productHVS85Tpath_g

19、rouping_policy multibus getuid_callout /sbin/scsi_id -g -u -s /block/%n path_selector round-robin 0 path_checker tur failback immediate2019-7-1華為機密，未經許可不得擴散第 8 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：2.2 FAQ2.2.1 如何獲取陣列 vendor 及 productvendor 和 product 信息，依賴陣列的廠商和型號及固件版本。方式一：直接填寫 2.1 小節(jié)中相應配置（經過

20、測試無誤的） 。方式二：在 DM-Multipath 多路徑可用， 但尚未添加陣列專屬配置前 （確保配置文件 blacklist 列表未把陣列設置屏蔽） ，在陣列映射 LUN 給主機，在主機側掃 LUN 成功后，會根據默認配 置接管陣列映射的 LUN 。執(zhí)行 multipath ll 可觀察 vendor 及 product 信息。此時，可與 2.1 小 節(jié)中給出的 vendor 和 product 信息進行印證。例如，在 Red Hat 6.3 系統(tǒng)上，未添加如圖 2-1 的 配置前（示例系統(tǒng)默認配置） ， multipath ll 查看到的信息如圖 2-4 所示。圖 2-4 查看陣列 ve

21、ndor 及 product方式三： 對于特定設備的 vendor 和 product ，可在文件 /sys/block/ device_name/device/vendor 和 /sys/block/ device_name/device/model 文件中找到。其中， device_name是指磁盤設備，例如： “sdb”、“ sdc”。執(zhí)行如下命令可查看 sdb 設備的 vendor 和 product 信息。cat /sys/block/ sdb/device/vendorcat /sys/block/ sdb/device/model2.2.2 DM-Multipath 可用的磁盤在

22、哪里安裝 DM-Multipath 的系統(tǒng)， 允許使用的 DM-Multipath 虛擬盤盤符位于 /dev/mapper/ 目錄 下。例如，在 Red Hat 6.3 系統(tǒng)上，使用如圖 2-1 的配置，映射 3 個 LUN時， DM-Multipath 生成的虛擬盤符 mpatha、 mpathb、 mpathc，如圖 2-5 所示。2019-7-1華為機密，未經許可不得擴散第 9 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：圖 2-5 Red Hat 6.3 系統(tǒng)上 DM-Multipath 虛擬盤符參考圖 2-3 ， DM-Multipath

23、 虛擬盤 mpatha 對應有兩條路徑 4：0：0：1、 3：0：0：1， 兩條路徑上的物理盤符分別是 sdb、 sdd。不同系統(tǒng)會有差異，以實際情況為準。例如，在Red Hat 5.7 系統(tǒng)上，如圖 2-6 所示。圖 2-6 Red Hat 5.7 系統(tǒng)上 DM-Multipath 虛擬盤符2019-7-1華為機密，未經許可不得擴散第 10 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：注意事項3.1 集群應用若做集群應用，在無法確定應用是否可以自動處理盤符漂移時， DM-Multipath 配置需要 做盤符綁定處理，不同主機對應相同的 LUN 需

24、要綁定相同的盤符。盤符綁定的具體操作方法 見附錄 A。3.2 DM-Multipath 與 UltraPath 共存若 DM-Multipath 與 自 研 多 路 徑 UltraPath 同 時 存 在 于 系 統(tǒng) 中 時 ， 修 改 配 置 文 件 /etc/multipath.conf 屏蔽 DM-Multipath 對 UltraPath 虛擬盤的接管， 應用直接使用 UltraPath 虛擬 盤。屏蔽盤符的具體操作方法見 附錄 B。3.3 設備屏蔽若需要， 請在 /etc/multipath.conf 文件的 blacklist 中，將所需要屏蔽的設備進行屏蔽 （例 如：本地盤） 。

25、3.4 驅動超時參數3.4.1 FC 驅動若因 FC 驅動超時時間原因， 導致 IO failover 時間過長， 而不可接受， 可通過調整 fc remote port 的 dev_loss_tmo 參數進行改善。方法一：直接修改 fc remote port 的 dev_loss_tmo 參數。例如：echo 10 /sys/class/fc_remote_ports/rport-*/dev_loss_tmo方法二：對于高版本（ 0.4.8 及以上）的 DM-multipath ，可在配置文件的 device 中，通過 dev_loss_tmo 參數對該屬性進行配置， 重新建立 fc re

26、mote port 時，會使用新配置參數。 系統(tǒng)重啟后，配置仍 舊有效。例如：device vendor“HUAWEI ”product“S5500T ”dev_loss_tmo 102019-7-1華為機密，未經許可不得擴散第 11 頁 , 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：注：修改 DM-Multipath 的 dev_loss_tmo 參數，并重新加載配置后，參數即生效。但不會 影響已經建立的 fc remote port ，若想對 fc 驅動即時生效，需要重新建立所有fc remote port 或修改 fc remote port 的

27、超時參數。3.4.2 ISCSI 驅動若因 ISCSI 驅動超時時間原因， 導致 IO failover 時間過長， 而不可接受， 可通過調整 ISCSI 的 node.session.timeo.replacement_timeout 參數。例如：把 ISCSI 配置文件 /etc/iscsi/iscsid.conf 中的 node.session.timeo.replacement_timeout 參數，修改為 5。修改后需要刪除已經建立的 node，并重新 discovery.2019-7-1華為機密，未經許可不得擴散第 12 頁, 共 16 頁Device Mapper Multipa

28、th 配置指 導書文檔密 級：附錄 A DM-Multipath 盤符綁定在配置了 user_friendly_names 參數為 yes 時，綁定物理 LUN 對應 DM-Multipath 盤符的 方法有兩種。方法一：在 /etc/multipath.conf 文件中的 multipath 配置項中添加綁定信息。執(zhí)行 service multipathd reload 命令，使配置生效。如圖 2-2 所示，若要把陣列 LUN 與 DM-Multipath 盤符 mpath* 的對應關系固定下來， 需要 在 multipath.conf 文件中添加的配置信息，如圖 A-1 所示。圖 A-1

29、DM-Multipath 盤符綁定 注：陣列 LUN 對應 wwid 的獲取：執(zhí)行 multipath ll 會看到陣列所有映射 LUN 的信息中 有 wwid ，如圖 2-3 所示。方法二：在 /var/lib/multipath/bindings 文件中，保存有 wwid 和 alias 的對應關系。保持所有機器該 文件內容一致。注： bindings 文件需要在系統(tǒng)啟動就加載的目錄下，可通過 binding_file 參數設置。2019-7-1華為機密，未經許可不得擴散第 13 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：附錄 B DM-Mu

30、ltipath 磁盤屏蔽在 /etc/multipath.conf 文件， blacklist 配置項中添加磁盤屏蔽信息； blacklist_exceptions 配置項中設置屏蔽例外。執(zhí)行 service multipathd reload 命令，使配置生效。1）屏蔽所有 UltraPath 生成的虛擬盤 例如，在以上示例的 Red Hat 6.3 系統(tǒng)中，同時安裝了 DM-Multipath 和 UltraPath 。DM-Multipath 會接管 UltraPath 生產的虛擬盤。 UltraPath （以 R5C01 版本為例）虛擬盤信息， 如圖 B-1、 B-2 所示， Ultr

31、aPath 生產虛擬盤 sdb、 sdc、 sdd。 DM-Multipath 接管 UltraPath 虛擬 盤，如圖 B-3 所示。圖 B-1 UltraPath VLUN 信息圖 B-2 SCSI 信息圖 B-3 DM-Multipath 查詢信息2019-7-1華為機密，未經許可不得擴散第 14 頁, 共 16 頁Device Mapper Multipath 配置指 導書文檔密 級：在配置文件 multipath.conf 中，添加配置信息，屏蔽所有 UltraPath 產生的虛擬盤。配置信 息，如下：blacklist device vendor“up”product“updisk ” 在配置文件的屏蔽列表中添加 UltraPath