Linux系統(tǒng)存儲維護指導手冊

1、Linux操作系統(tǒng)存儲技術指導手冊(For HDS Storage)目 錄 TOC o 1-3 h z u HYPERLINK l _Toc454229720 一.使用前的環(huán)境檢查 PAGEREF _Toc454229720 h 3 HYPERLINK l _Toc454229721 1.1 操作系統(tǒng)環(huán)境檢查 PAGEREF _Toc454229721 h 3 HYPERLINK l _Toc454229722 1.1.1 操作系統(tǒng)版本 PAGEREF _Toc454229722 h 3 HYPERLINK l _Toc454229723 1.1.2 檢查HBA卡安裝和參數配置 PAGEREF

2、 _Toc454229723 h 3 HYPERLINK l _Toc454229724 1.2 檢查HDLM版本情況 PAGEREF _Toc454229724 h 4 HYPERLINK l _Toc454229725 1.3 檢查當前LUN識別情況 PAGEREF _Toc454229725 h 5 HYPERLINK l _Toc454229726 1.4 檢查非HDS磁盤情況 PAGEREF _Toc454229726 h 5 HYPERLINK l _Toc454229727 1.5 檢查VG及LV的情況 PAGEREF _Toc454229727 h 5 HYPERLINK l

3、_Toc454229728 二.通用模塊 PAGEREF _Toc454229728 h 7 HYPERLINK l _Toc454229729 2.1 磁盤識別 PAGEREF _Toc454229729 h 7 HYPERLINK l _Toc454229730 三.創(chuàng)建/擴容文件系統(tǒng) PAGEREF _Toc454229730 h 7 HYPERLINK l _Toc454229731 3.1 執(zhí)行dlmcfgmgr命令并創(chuàng)建分區(qū) PAGEREF _Toc454229731 h 7 HYPERLINK l _Toc454229732 3.2 創(chuàng)建文件系統(tǒng) PAGEREF _Toc4542

4、29732 h 8 HYPERLINK l _Toc454229733 3.3 擴容文件系統(tǒng)，使用該步驟 PAGEREF _Toc454229733 h 8 HYPERLINK l _Toc454229734 4創(chuàng)建/擴容數據庫ASM盤 PAGEREF _Toc454229734 h 9 HYPERLINK l _Toc454229739 4.1 創(chuàng)建ASM磁盤組 PAGEREF _Toc454229739 h 9 HYPERLINK l _Toc454229740 4.1.1添加磁盤，生成設備別名 PAGEREF _Toc454229740 h 9 HYPERLINK l _Toc45422

5、9741 五.從現有環(huán)境中回收存儲 PAGEREF _Toc454229741 h 13 HYPERLINK l _Toc454229742 5.1 保留數據的回收文件系統(tǒng) PAGEREF _Toc454229742 h 13 HYPERLINK l _Toc454229743 5.2 不保留數據的回收LUN PAGEREF _Toc454229743 h 13 HYPERLINK l _Toc454229744 5.3 ASM環(huán)境中回收存儲 PAGEREF _Toc454229744 h 14 HYPERLINK l _Toc454229745 六.文件系統(tǒng)遷移（非磁盤復制） PAGEREF

6、 _Toc454229745 h 15 HYPERLINK l _Toc454229746 6.1 刪除原服務器文件系統(tǒng) PAGEREF _Toc454229746 h 15 HYPERLINK l _Toc454229747 6.2 識別新服務器文件系統(tǒng) PAGEREF _Toc454229747 h 15 HYPERLINK l _Toc454229748 七.ASM盤全量遷移（非磁盤復制） PAGEREF _Toc454229748 h 15 HYPERLINK l _Toc454229749 7.1 回收原服務器ASM盤 PAGEREF _Toc454229749 h 15 HYPER

7、LINK l _Toc454229750 7.2 新服務器識別并新增ASM盤 PAGEREF _Toc454229750 h 16使用前的環(huán)境檢查操作系統(tǒng)環(huán)境檢查操作系統(tǒng)版本1）確認操作系統(tǒng)版本：# cat /etc/SuSE-releaseSUSE Linux Enterprise Server 10 (x86_64)VERSION = 10PATCHLEVEL = 4或：SUSE Linux Enterprise Server 11 (x86_64)VERSION = 11PATCHLEVEL = 2檢查HBA卡安裝和參數配置1）確認HBA卡硬件安裝情況：# lspci -nn | gre

8、p Fibre Channel06:00.0 Fibre Channel 0c04: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter 10df:f100 (rev 03)06:00.1 Fibre Channel 0c04: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter 10df:f100 (rev 03)82:00.0 Fibre Channel 0c04: Emulex Corporation Saturn-X: Li

9、ghtPulse Fibre Channel Host Adapter 10df:f100 (rev 03)82:00.1 Fibre Channel 0c04: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter 10df:f100 (rev 03)2）使用以下命令確定每塊HBA卡是否正常驅動：# ll /sys/class/fc_hostlrwxrwxrwx 1 root root 0 Jul 16 07:41 host10 - ././devices/pci0000:80/0000:80:01.0/0000

10、:82:00.1/host10/fc_host/host10lrwxrwxrwx 1 root root 0 Jul 16 07:41 host7 - ././devices/pci0000:00/0000:00:01.0/0000:06:00.0/host7/fc_host/host7lrwxrwxrwx 1 root root 0 Jul 16 07:41 host8 - ././devices/pci0000:00/0000:00:01.0/0000:06:00.1/host8/fc_host/host8lrwxrwxrwx 1 root root 0 Jul 16 07:41 host

11、9 - ././devices/pci0000:80/0000:80:01.0/0000:82:00.0/host9/fc_host/host93）使用以下命令確定具體的HBA卡型號：# more /sys/class/scsi_host/hostN/modeldesc4）使用以下命令確定具體的HBA驅動版本：# more /sys/class/scsi_host/hostN/lpfc_drvr_version5）使用以下命令確定具體的HBA支持的最大LUN數量：# more /sys/class/scsi_host/hostN/lpfc_max_luns6）使用以下命令確定具體的HBA的Qu

12、eue Depth和LUN的Queue Depth：# more /sys/class/scsi_host/hostN/lpfc_hba_queue_depth# more /sys/class/scsi_host/hostN/lpfc_lun_queue_depth檢查HDLM版本情況1）執(zhí)行以下命令：# /opt/D*/bin/dlnkmgr view -sysHDLM Version : 7.6.0-00Service Pack Version :Load Balance : on(extended lio)Support Cluster :Elog Level : 3Elog File

13、 Size (KB) : 9900Number Of Elog Files : 2Trace Level : 0Trace File Size (KB) : 1000Number Of Trace Files : 4Path Health Checking : on(30)Auto Failback : on(1)Reservation Status :Intermittent Error Monitor : offDynamic I/O Path Control : off(10)HDLM Manager Ver WakeupTimeAlive 7.6.0-00 2014/05/16 23:

14、31:48HDLM Alert Driver Ver WakeupTime ElogMem SizeAlive 7.6.0-00 2014/05/16 23:31:40 1000HDLM Driver Ver WakeupTimeAlive 7.6.0-00 2014/05/16 23:31:40License Type ExpirationPermanent -KAPL01001-I The HDLM command completed normally. Operation name = view, completion time = 2014/07/21 15:30:07 注意檢查HDL

15、M版本與OS版本、OS內核版本、HBA卡型號驅動的兼容性，同時注意HDLM的參數設置滿足總行相關規(guī)范。檢查當前LUN識別情況1）使用lscsi命令檢查當前識別的SCSI設備情況：# lsscsi7:0:0:9 disk HITACHI OPEN-V 7006 /dev/sdj7:0:0:10 disk HITACHI OPEN-V 7006 /dev/sdk7:0:0:11 disk HITACHI OPEN-V 7006 /dev/sdl8:0:0:0 disk HITACHI OPEN-V 7006 /dev/sdm8:0:0:1 disk HITACHI OPEN-V 7006 /dev

16、/sdn8:0:0:2 disk HITACHI OPEN-V 7006 /dev/sdo8:0:0:3 disk HITACHI OPEN-V 7006 /dev/sdp四個數字a:b:c:d分別代表： a：Host ID (host port number) b：Channel number (bus number) c：Target IDd：Lun (host LU number)2）使用以下命令檢查HDLM管理設備與系統(tǒng)SCSI設備之間的對應關系：# /opt/DynamicLinkManager/bin/dlnkmgr view -lu -c -item檢查非HDS磁盤情況1）使用以

17、下命令檢查非HDS磁盤情況：# lsscsi | grep -v HITACHI 考慮到不同廠家的多路徑軟件之間可能存在不兼容的情況，HDS不推薦同一服務器同時連接不同廠家的磁盤機。檢查VG及LV的情況1）確定系統(tǒng)VG的列表：# vgs VG #PV #LV #SN Attr VSize VFree dbmsvg 3 2 0 wz-n- 111.62g 11.62g system 1 9 0 wz-n- 278.00g 181.00g顯示VG的詳細信息：# vgdisplay -v /dev/dbmsvg Volume group VG Name dbmsvg System ID Format

18、 lvm2 Metadata Areas 3 Metadata Sequence No 3 VG Access read/write VG Status resizable MAX LV 0 Cur LV 2 Open LV 2 Max PV 0 Cur PV 3 Act PV 3 VG Size 111.62 GiB PE Size 4.00 MiB Total PE 28575 Alloc PE / Size 25600 / 100.00 GiB Free PE / Size 2975 / 11.62 GiB VG UUID 13v6Fp-3D9H-JLuK-8e5j-6ywS-1cw1-

19、NXqUs4 Logical volume LV Name /dev/dbmsvg/dbms_lv VG Name dbmsvg LV UUID cDNcoU-pPMU-wQad-MrCf-nztX-2awe-KQ2pAx LV Write Access read/write LV Status available # open 1 LV Size 50.00 GiB Current LE 12800 Segments 2 Allocation inherit Read ahead sectors auto - currently set to 1024 Block device 253:9

20、Logical volume LV Name /dev/dbmsvg/grid_lv VG Name dbmsvg LV UUID QN8g5E-LMlI-XX2W-vlK0-Z0XV-wcfe-YRK1zR LV Write Access read/write LV Status available # open 1 LV Size 50.00 GiB Current LE 12800 Segments 2 Allocation inherit Read ahead sectors auto - currently set to 1024 Block device 253:10 Physic

21、al volumes PV Name /dev/disk/by-id/scsi-360060e8016649b000001649b0000080a PV UUID cnJUAM-oKml-0LvC-iaVF-lFMz-YFqN-3bhwbS PV Status allocatable Total PE / Free PE 9525 / 0 PV Name /dev/disk/by-id/scsi-360060e8016649b000001649b0000080c PV UUID sfjBTl-kUSW-vYj0-D2sW-xp12-cCUX-etc5Lj PV Status allocatab

22、le Total PE / Free PE 9525 / 2975 PV Name /dev/disk/by-id/scsi-360060e8016649b000001649b0000080e PV UUID shOuwc-f9WQ-EpH5-t1Gq-HPCh-45Lq-MF4wQO PV Status allocatable Total PE / Free PE 9525 / 0通用模塊磁盤識別針對系統(tǒng)的hostN，執(zhí)行以下操作：# echo - - - /sys/class/scsi_host/hostN/scan如未識別磁盤，嘗試使用如下方法：# echo 1 /sys/class/f

23、c_host/hostN/issue_lip# echo - - - /sys/class/scsi_host/hostN/scan創(chuàng)建/擴容文件系統(tǒng)執(zhí)行dlmcfgmgr命令并創(chuàng)建分區(qū)多路徑聚合：dlmcfgmgr -r多路徑檢查：dlmcfgmgr -v創(chuàng)建分區(qū)#!/bin/bashfdisk $1EOFd #刪除已有分區(qū)n #創(chuàng)建主分區(qū)p 1 #分區(qū)起始扇區(qū),輸入空格的話，就表示使用默認值 #分區(qū)結束扇區(qū)，輸入空格的話，就表示使用默認值t #設置分區(qū)label，默認情況下是Linux，8e #將label設置為Linux LVMwEOF創(chuàng)建文件系統(tǒng)1）新建pv：pvcreate 2）新建

24、vg：vgcreate 3）新建lv：lvcreate n -L 4）新建filesystems：mkfs.ext3 ，按照2014年行內規(guī)范使用ext3格式文件系統(tǒng)5）創(chuàng)建文件系統(tǒng)目錄：mkdir p #pvcreate /dev/sddlmaa1 /dev/addlmab1 #vgcreate dbmsvg /dev/sddlmaa1 /dev/sddlmab1 #lvcreate -n dbms_lv -L 49G dbmsvg#mkfs.ext3 /dev/dbmsvg/dbms_lv#mkdir -p /oracleser/app112036）修改/etc/fstab文件，添加諸如下

25、內容：# vi /etc/fstab 添加如下類似行/dev/dbmsvg/dbms_lv（lv所在路徑） /oragrid（文件系統(tǒng)） ext3 acl,user_xattr 1 27）mount文件系統(tǒng)并修改屬主：#mount /oragird#chown oracle:dba /oragrid擴容文件系統(tǒng)，使用該步驟1）擴容vg大?。簐gextend 范例：vgextend datavg /dev/sddlmma12）擴容lv大小：lvextend -L +size 范例：lvextend -L +20G /dev/datavg/data_lv3）調整文件系統(tǒng)大小：resize2fs 范

26、例：resize2fs /dev/datavg/data_lv4創(chuàng)建/擴容數據庫ASM盤創(chuàng)建ASM磁盤組對于HDS存儲，由于HDLM 7.6及以上版本具有可固定設備名的特性，因此針對Suse 10、Suse 11不同的操作系統(tǒng)版本，HDLM的版本不同，存儲配置方法也不同。4.1.1添加磁盤，生成設備別名Suse 101）添加磁盤之前，保存各節(jié)點的LUN號與磁盤設備名的對應關系，并備份udev文件。以root用戶在RAC各節(jié)點執(zhí)行以下命令，并保存執(zhí)行結果：# cp /etc/udev/rules.d/99-oracle-asmdevices.rules /etc/udev/rules.d/99-

27、oracle-asmdevices.rules.bak2）添加磁盤可能需要重啟操作系統(tǒng)，重啟之前需要先停止集群，重啟之后可能導致設備名混亂，若設備名發(fā)生混亂并集群已自啟動，需要先停止集群。待完成設備別名調整后再啟動集群。3）查詢擴容后的各節(jié)點的磁盤LUN號同設備名的對應關系，并保存結果。# /opt/DynamicLinkManager/bin/dlnkmgr view -lu4）確認新增磁盤，并將用于ASM管理的磁盤進行分區(qū)（僅在單個節(jié)點執(zhí)行即可），以/dev/sddlmaa為例。以root用戶在任一節(jié)點執(zhí)行以下操作：fdisk /dev/sddlmaaCommand (m for help

28、): nCommand actione extendedp primary partition (1-4)pPartition number (1-4): 1First sector (61-1048575, default 61): 默認Last sector or +size or +sizeM or +sizeK (2048-1048575, default 1048575): 默認Using default value 1048575Command (m for help): wThe partition table has been altered!Calling ioctl() t

29、o re-read partition table. Syncing disks.或使用腳本方式創(chuàng)建磁盤分區(qū)創(chuàng)建分區(qū)#!/bin/bashfdisk $1 /proc/scsi/scsi# dlmcfgmgr i /dev/sddlmN5）刷新HDLM設備，檢查LUN狀態(tài)，并# dlmcfgmgr v# dlmcfgmgr u /dev/sddlmN# dlmcfgmgr r# dlmcfgmgr -v不保留數據的回收LUN1）umount文件系統(tǒng)# umount /oracleser/app112032）deactive vg#vgchange an /dev/dbmsvg3）刪除lv# l

30、vremove /dev/testvg/testlv4）刪除vg# vgremove /dev/testvg5）刪除pv# pvremove /dev/sddlmma6）刪除mapping關系7）刪除scsi設備# dlmcfgmgr o /dev/sddlmN# echo scsi remove-single-device a b c d /proc/scsi/scsi #a b c d可通過dlmcfgmgr -v命令得到# dlmcfgmgr i /dev/sddlmN8）刷新HDLM設備，檢查LUN狀態(tài)，并# dlmcfgmgr v# dlmcfgmgr u /dev/sddlmN#

31、dlmcfgmgr r# dlmcfgmgr -vASM環(huán)境中回收存儲1）將需要刪除的LUN所對應的ASM盤從oracle數據庫DG中刪除。2）在節(jié)點1上修改udev配置文件，編輯99-oracle-asmdevices.rules，將對應的LUN從文件中刪除，如該數據庫為RAC，則需要在節(jié)點2上相應修改udev配置文件。3）重啟udev服務使之生效：# /etc/init.d/boot.udev restart 4）驗證ASM磁盤已從系統(tǒng)上剔出# ls -l /dev/ASM*5）將退出的LUN刪除分區(qū)# fdisk /dev/sddlmacCommand (m for help): pDi

32、sk /dev/sddlmac: 2147 MB, 2147483648 bytes48 heads, 4 sectors/track, 21845 cylinders, total 4194304 sectorsUnits = sectors of 1 * 512 = 512 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisk identifier: 0 x599ea4f2Device Boot Start End Blo

33、cks Id System/dev/sddlmac1 2048 4194303 2096128 8e Linux LVMCommand (m for help): dSelected partition 1Command (m for help): Command (m for help): wThe partition table has been altered!Calling ioctl() to re-read partition table.Syncing disks.6）使用/usr/sbin/partprobe更新分區(qū)表，確認分區(qū)執(zhí)行成功# /usr/sbin/partprobe

34、# cat /proc/partitions251 0 104857600 sddlmaa 251 1 104856576 sddlmaa1 251 16 104857600 sddlmab 251 17 104856576 sddlmab1 251 32 1048576 sddlmac 7）從系統(tǒng)上將該塊LUN從系統(tǒng)中退出詳見上述回收存儲步驟文件系統(tǒng)遷移（非磁盤復制）刪除原服務器文件系統(tǒng)1）卸載原文件系統(tǒng)，并導出vg# umount /test#vgchange an /dev/testvg#vgexport /dev/testvg2）從磁盤機上找到原服務器所在hostgroup，刪除原WW

35、N，添加新服務器對應的WWN，并從服務器上將LUN刪除，注釋/etc/fstab文件所在外置文件系統(tǒng)的行。識別新服務器文件系統(tǒng)3）新服務器上識別LUN，并掃描磁盤盤頭信息，自動識別volume group信息# vgscan4）激活volume group后，修改/etc/fstab，該文件所對應的外置文件系統(tǒng)內容應與原服務器一致#vgchange ay /dev/testvg#mount -aASM盤全量遷移（非磁盤復制）回收原服務器ASM盤詳見ASM回收章節(jié)新服務器識別并新增ASM盤suse101）對原服務器存儲進行掛載，添加WWN2) 識別LUN，無需創(chuàng)建分區(qū)，刷新分區(qū)表自動識別#/usr/sbin/partprobe3）根據遷移前后LUN號和盤符的對應關系，調整udev文件中原磁盤的映射關系，確保各節(jié)點的原磁盤同一LUN號指向的設備別名不變，確保節(jié)點之間同一設備名指向同一磁盤。并將新增盤的udev映射關系添加至udev文件99-oracle-asmdevices.rules。示例如下：如遷移前LUN 0217對應的盤符為sddlmaa，原ude