Linux中軟件RAID的使用

1、Linux 中軟件 RAID 的使用一.簡介在 HYPERLINK javascript:; t _self Linux系統(tǒng)中目前以MD (Multiple Devices)虛擬塊設(shè)備的方式實現(xiàn)軟件RAID，利用多個底層的塊設(shè)備虛擬出一個新的虛擬塊設(shè)備，并且利用條帶化(stripping) HYPERLINK javascript:; t _self 技術(shù)將數(shù)據(jù)塊均勻分布到多個磁盤上來提高虛擬設(shè)備的讀寫性能，利用不同的數(shù)據(jù)冗余算法來保護用戶數(shù)據(jù)不會因為某個塊設(shè)備的故障而完全丟失，而且還能在設(shè)備被替換后將丟失的數(shù)據(jù)恢復到新的設(shè)備上。關(guān)于不同冗余級別的定義和數(shù)據(jù)塊以及校驗塊的分布示意圖可以參考存儲

2、專業(yè)委員會給出的參考資料 HYPERLINK /developerworks/cn/linux/l-cn-raid/ l resources “Common RAID Disk HYPERLINK javascript:; t _self Data Format Specification ”。目前MD支持linear, multipath, raid0 (stripping), raid1 (mirror), raid4, raid5, raid6, raid10等不同的冗余級別和組成方式，當然也能支持多個RAID陣列的層疊組成raid1+0, raid5+1等類型的陣列。在參考資料 HYP

3、ERLINK /developerworks/cn/linux/l-cn-raid/ l resources “Software RAID HOWTO”中介紹了早期軟件RAID陣列功能特點和使用方式，但是因為軟件RAID程序的功能不斷增加，因此很有必要寫份新的使用介紹。本文主要先講解用戶層mdadm如何 HYPERLINK javascript:; t _self 管理軟件RAID以及使用中經(jīng)常遇到的問題和解決方法。在流行的Linux的發(fā)布版中，如FedoraCore,Gentoo, Ubuntu,Debian,SuseLinux系統(tǒng)中一般已經(jīng)將MD驅(qū)動模塊直接編譯到內(nèi)核中或編譯為可動態(tài)加載的

4、驅(qū)動模塊。我們可以在機器啟動后通過cat /proc/mdstat看內(nèi)核是否已經(jīng)加載MD驅(qū)動或者cat /proc/devices是否有md塊設(shè)備，并且可以使用lsmod看MD是否是以模塊形式加載到系統(tǒng)中。rootfc5 mdadm-2.6.3# cat /proc/mdstatPersonalities :unused devices: rootfc5 mdadm-2.6.3# cat /proc/devices | grep md1 ramdisk9 md253 mdprootfc5 mdadm-2.6.3# lsmod | grep mdmd_mod 73364 0如果Linux系統(tǒng)既沒

5、有將MD編譯到內(nèi)核也沒有自動加載MD模塊，則沒有/proc/mdstat文件，那么需要執(zhí)行命令modprobe md加載驅(qū)動模塊。rootfc5 mdadm-2.6.3#cat /proc/mdstatcat: /proc/mdstat: No such file or directoryrootfc5 mdadm-2.6.3# modprobe mdrootfc5 mdadm-2.6.3# lsmod | grep mdmd_mod 73364 0如果系統(tǒng)中沒有MD驅(qū)動模塊則需要自己從Linux內(nèi)核 HYPERLINK javascript:; t _self 源代碼網(wǎng)站下載源代碼包，并且重

6、新編譯內(nèi)核，并且需要在內(nèi)核的配置文件選擇。*Multiple devices driver support (RAID and LVM) RAID support Linear (append) mode RAID-0 (striping) mode RAID-1 (mirroring) mode RAID-10 (mirrored striping) mode (EXPERIMENTAL) RAID-4/RAID-5/RAID-6 mode * Support adding drives to a raid-5 array Multipath I/O support Faulty test

7、module for MD在Linux系統(tǒng)中用戶層以前使用 HYPERLINK /developerworks/cn/linux/l-cn-raid/ l resources raidtool工具集來管理MD設(shè)備，目前廣泛使用mdadm軟件來管理MD設(shè)備，而且該 HYPERLINK javascript:; t _self 軟件都會集成在Linux的發(fā)布版中。如果系統(tǒng)中沒有 HYPERLINK javascript:; t _self 安裝可以到RAID驅(qū)動程序和mdadm軟件的維護者Neil Brown的個人網(wǎng)站來下載 HYPERLINK javascript:; t _self 源碼包進行

8、編譯安裝，或者下載RPM包直接安裝。mdadm的最新版本是2.6.3?？梢允褂胢dadm -version查看當前系統(tǒng)使用的版本。本文使用的是mdadm-2.6.3, Linux內(nèi)核版本是Linux-。下面的測試命令是在虛擬機環(huán)境中測試運行的。rootfc5 mdadm-2.6.3# uname -rrootfc5 mdadm-2.6.3# ./mdadm -versionmdadm - v2.6.3 - 20th August 2007二. mdadm管理軟RAID陣列mdadm程序是一個獨立的程序，能完成所有的軟RAID管理功能，主要有7種使用模式：模式名字主要功能Create使用空閑的設(shè)

9、備創(chuàng)建一個新的陣列，每個設(shè)備具有元數(shù)據(jù)塊Assemble將原來屬于一個陣列的每個塊設(shè)備組裝為陣列Build創(chuàng)建或組裝不需要元數(shù)據(jù)的陣列，每個設(shè)備沒有元數(shù)據(jù)塊Manage管理已經(jīng)存儲陣列中的設(shè)備，比如增加熱備磁盤或者設(shè)置某個磁盤失效，然后從陣列中刪除這個磁盤Misc報告或者修改陣列中相關(guān)設(shè)備的信息，比如查詢陣列或者設(shè)備的狀態(tài)信息Grow改變陣列中每個設(shè)備被使用的容量或陣列中的設(shè)備的數(shù)目Monitor監(jiān)控一個或多個陣列，上報指定的事件2.1 為磁盤劃分分區(qū)如果MD驅(qū)動被編譯到內(nèi)核中，當內(nèi)核調(diào)用執(zhí)行MD驅(qū)動時會自動查找分區(qū)為FD(Linux raid autodetect)格式的磁盤。所以一般會使用

10、fdisk工具將HD磁盤或者SD磁盤分區(qū)，再設(shè)置為FD的磁盤。rootfc5 mdadm-2.6.3# fdisk /dev/sdkDevice contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabelBuilding a new DOS disklabel. Changes will remain in memory only,until you decide to write them. After that, of course, the previouscontent wont be reco

11、verable.Warning: invalid flag 0 x0000 of partition table 4 will be corrected by w(rite)Command (m for help):nCommand action e extended p primary partition (1-4)pPartition number (1-4):1First cylinder (1-512, default 1):1Using default value 1Last cylinder or +size or +sizeM or +sizeK (1-512, default

12、512):512Using default value 512Command (m for help):tSelected partition 1Hex code (type L to list codes):FDChanged system type of partition 1 to fd (Linux raid autodetect)Command (m for help):wThe partition table has been altered!Calling ioctl() to re-read partition table.Syncing disks.rootfc5 mdadm

13、-2.6.3# fdisk -l /dev/sdkDisk /dev/sdk: 1073 MB, 1073741824 bytes128 heads, 32 sectors/track, 512 cylindersUnits = cylinders of 4096 * 512 = 2097152 bytes Device Boot Start End Blocks Id System/dev/sdk1 1 512 1048560 fd Linux raid autodetect軟RAID陣列實際上也可以使用任何標準的塊設(shè)備作為底層設(shè)備，如SCSI設(shè)備、IDE設(shè)備、RAM disk磁盤和NBD(

14、Network Block Device)等，甚至是其他的MD設(shè)備。如果MD驅(qū)動是模塊形式加載，需要在系統(tǒng)運行時由用戶層腳本控制RAID陣列啟動運行。如在FedoraCore系統(tǒng)中在/etc/rc.d/rc.sysinit文件中有啟動軟RAID陣列的指令，若RAID的配置文件mdadm.conf存在，則調(diào)用mdadm檢查配置文件里的選項，然后啟動RAID陣列。echo raidautorun /dev/md0 | nash -quietif -f /etc/mdadm.conf ; then /sbin/mdadm -A -sfi2.2 創(chuàng)建新的陣列mdadm使用-create(或其縮寫-C)

15、參數(shù)來創(chuàng)建新的陣列，并且將一些重要陣列的標識信息作為元數(shù)據(jù)可以寫在每一個底層設(shè)備的指定區(qū)間。-level(或者其縮寫-l)表示陣列的RAID級別，-chunk(或者其縮寫-c)表示每個條帶單元的大小，以KB為單位，默認為64KB，條帶單元的大小配置對不同負載下的陣列讀寫性能有很大影響。-raid-devices(或者其縮寫-n)表示陣列中活躍的設(shè)備個數(shù)，而-spare-devices(或者其縮寫-x)表示陣列中熱備盤的個數(shù)，一旦陣列中的某個磁盤失效，MD內(nèi)核驅(qū)動程序自動用將熱備磁盤加入到陣列，然后重構(gòu)丟失磁盤上的數(shù)據(jù)到熱備磁盤上。創(chuàng)建一個RAID 0設(shè)備：mdadm -create /dev/

16、md0 -level=0 -chunk=32 -raid-devices=3 /dev/sdi-k1創(chuàng)建一個RAID 1設(shè)備：mdadm -C /dev/md0 -l1 -c128 -n2 -x1 /dev/sdi-k1創(chuàng)建一個RAID 5設(shè)備：mdadm -C /dev/md0 -l5 -n5 /dev/sdc-g -x1 /dev/sdb 創(chuàng)建一個RAID 6設(shè)備：mdadm -C /dev/md0 -l6 -n5 /dev/sdc-g -x2 /dev/sdb /dev/sdh創(chuàng)建一個RAID 10設(shè)備：mdadm -C /dev/md0 -l10 -n6 /dev/sdb-g -x1

17、/dev/sdh創(chuàng)建一個RAID1+0設(shè)備：mdadm -C /dev/md0 -l1 -n2 /dev/sdb /dev/sdcmdadm -C /dev/md1 -l1 -n2 /dev/sdd /dev/sdemdadm -C /dev/md2 -l1 -n2 /dev/sdf /dev/sdgmdadm -C /dev/md3 -l0 -n3 /dev/md0 /dev/md1 /dev/md2當RAID1/4/5/6/10等創(chuàng)建成功后，需要計算每個條帶的校驗和信息并寫入到相應(yīng)磁盤上，所以RAID陣列有一個冗余組數(shù)據(jù)同步的初始化過程(resync)。但是MD設(shè)備只要創(chuàng)建成功后即可對外被

18、上層應(yīng)用讀寫使用，當然由于上層數(shù)據(jù)讀寫降低數(shù)據(jù)同步的性能。初始化的時間長短和磁盤陣列自身性能以及讀寫的應(yīng)用負載相關(guān)，使用cat /proc/mdstat信息查詢RAID陣列當前重構(gòu)的速度和預期的完成時間。rootfc5 mdadm-2.6.3# cat /proc/mdstatPersonalities : raid10md0 : active raid10 sdh6(S) sdg5 sdf4 sde3 sdd2 sdc1 sdb0 3145536 blocks 64K chunks 2 near-copies 6/6 UUUUUU = resync = 15.3% (483072/31455

19、36) finish=0.3min speed=120768K/secunused devices: rootfc5 mdadm-2.6.3# cat /proc/mdstatPersonalities : raid10md0 : active raid10 sdh6(S) sdg5 sdf4 sde3 sdd2 sdc1 sdb0 3145536 blocks 64K chunks 2 near-copies 6/6 UUUUUUunused devices: 如果一個塊設(shè)備已經(jīng)正在被其他的MD設(shè)備或者文件系統(tǒng)使用，則不能用來創(chuàng)建新的MD設(shè)備。rootfc5 mdadm-2.6.3# ./m

20、dadm -C /dev/md1 -l0 -n2 /dev/sdh /dev/sdimdadm: Cannot open /dev/sdh: Device or resource busymdadm: create abortedBuild模式可以用來創(chuàng)建沒有元數(shù)據(jù)的RAID0/1設(shè)備，不能創(chuàng)建RAID4/5/6/10等帶有冗余級別的MD設(shè)備。rootfc5 mdadm-2.6.3# ./mdadm -BR /dev/md0 -l0 -n6 /dev/sdb-gmdadm: array /dev/md0 built and started. rootfc5 mdadm-2.6.3# ./mda

21、dm -BR /dev/md0 -l1 -n2 /dev/sdb-cmdadm: array /dev/md0 built and started.rootfc5 mdadm-2.6.3# ./mdadm -BR /dev/md0 -l5 -n6 /dev/sdb-gmdadm: Raid level 5 not permitted with -build.rootfc5 mdadm-2.6.3# ./mdadm -BR /dev/md0 l6 -n6 /dev/sdb-gmdadm: Raid level 5 not permitted with -build.rootfc5 mdadm-2

22、.6.3# ./mdadm -BR /dev/md0 l10 -n6 /dev/sdb-gmdadm: Raid level 10 not permitted with -build.使用陣列：MD設(shè)備可以像普通塊設(shè)備那樣直接讀寫，也可以做文件系統(tǒng)格式化。#mkfs.ext3 /dev/md0#mkdir -p /mnt/md-test#mount /dev/md0 /mnt/md-test停止正在運行的陣列：當陣列沒有文件系統(tǒng)或者其他存儲應(yīng)用以及高級設(shè)備使用的話，可以使用-stop(或者其縮寫-S)停止陣列；如果命令返回設(shè)備或者資源忙類型的錯誤，說明/dev/md0正在被上層應(yīng)用使用，暫時不

23、能停止，必須要首先停止上層的應(yīng)用，這樣也能保證陣列上數(shù)據(jù)的一致性。rootfc5 mdadm-2.6.3# ./mdadm -stop /dev/md0mdadm: fail to stop array /dev/md0: Device or resource busyrootfc5 mdadm-2.6.3# umount /dev/md0rootfc5 mdadm-2.6.3#./mdadm -stop /dev/md0 mdadm: stopped /dev/md02.3 組裝曾創(chuàng)建過的陣列模式-assemble或者其縮寫(-A)主要是檢查底層設(shè)備的元數(shù)據(jù)信息，然后再組裝為活躍的陣列。如果

24、我們已經(jīng)知道陣列由那些設(shè)備組成，可以指定使用那些設(shè)備來啟動陣列。rootfc5 mdadm-2.6.3# ./mdadm -A /dev/md0 /dev/sdb-hmdadm: /dev/md0 has been started with 6 drives and 1 spare.如果有配置文件(/etc/mdadm.conf)可使用命令mdadm -As /dev/md0。mdadm先檢查mdadm.conf中的DEVICE信息，然后從每個設(shè)備上讀取元數(shù)據(jù)信息，并檢查是否和ARRAY信息一致，如果信息一致則啟動陣列。如果沒有配置/etc/mdadm.conf文件，而且又不知道陣列由那些磁盤

25、組成，則可以使用命令-examine(或者其縮寫-E)來檢測當前的塊設(shè)備上是否有陣列的元數(shù)據(jù)信息。rootfc5 mdadm-2.6.3# ./mdadm -E /dev/sdimdadm: No md superblock detected on /dev/sdi.rootfc5 mdadm-2.6.3# ./mdadm -E /dev/sdb/dev/sdb: Magic : a92b4efc Version : 00.90.00 UUID : 0cabc5e5:842d4baa:e3f6261b:a17a477a Creation Time : Sun Aug 22 17:49:53 1

26、999 Raid Level : raid10 Used Dev Size : 1048512 (1024.11 MiB 1073.68 MB) Array Size : 3145536 (3.00 GiB 3.22 GB) Raid Devices : 6 Total Devices : 7Preferred Minor : 0 Update Time : Sun Aug 22 18:05:56 1999 State : clean Active Devices : 6Working Devices : 7 Failed Devices : 0 Spare Devices : 1 Check

27、sum : 2f056516 - correct Events : 0.4 Layout : near=2, far=1 Chunk Size : 64K Number Major Minor RaidDevice Statethis 0 8 16 0 active sync /dev/sdb 0 0 8 16 0 active sync /dev/sdb 1 1 8 32 1 active sync /dev/sdc 2 2 8 48 2 active sync /dev/sdd 3 3 8 64 3 active sync /dev/sde 4 4 8 80 4 active sync /

28、dev/sdf 5 5 8 96 5 active sync /dev/sdg 6 6 8 112 6 spare /dev/sdh從上面命令結(jié)果可以找到陣列的唯一標識UUID和陣列包含的設(shè)備名字，然后再使用上面的命令來組裝陣列，也可以使用UUID標識來組裝陣列。沒有一致的元數(shù)據(jù)的信息設(shè)備(例如/dev/sda和/dev/sda1等)mdadm程序會自動跳過。rootfc5 mdadm-2.6.3# ./mdadm -Av -uuid=0cabc5e5:842d4baa:e3f6261b:a17a477a /dev/md0 /dev/sd*mdadm: looking for devices

29、for /dev/md0mdadm: no recogniseable superblock on /dev/sdamdadm: /dev/sda has wrong uuid.mdadm: no recogniseable superblock on /dev/sda1mdadm: /dev/sda1 has wrong uuid.mdadm: no RAID superblock on /dev/sdimdadm: /dev/sdi has wrong uuid.mdadm: /dev/sdi1 has wrong uuid.mdadm: no RAID superblock on /de

30、v/sdjmdadm: /dev/sdj has wrong uuid.mdadm: /dev/sdj1 has wrong uuid.mdadm: no RAID superblock on /dev/sdkmdadm: /dev/sdk has wrong uuid.mdadm: /dev/sdk1 has wrong uuid.mdadm: /dev/sdb is identified as a member of /dev/md0, slot 0.mdadm: /dev/sdc is identified as a member of /dev/md0, slot 1.mdadm: /

31、dev/sdd is identified as a member of /dev/md0, slot 2.mdadm: /dev/sde is identified as a member of /dev/md0, slot 3.mdadm: /dev/sdf is identified as a member of /dev/md0, slot 4.mdadm: /dev/sdg is identified as a member of /dev/md0, slot 5.mdadm: /dev/sdh is identified as a member of /dev/md0, slot

32、6.mdadm: added /dev/sdc to /dev/md0 as 1mdadm: added /dev/sdd to /dev/md0 as 2mdadm: added /dev/sde to /dev/md0 as 3mdadm: added /dev/sdf to /dev/md0 as 4mdadm: added /dev/sdg to /dev/md0 as 5mdadm: added /dev/sdh to /dev/md0 as 6mdadm: added /dev/sdb to /dev/md0 as 0mdadm: /dev/md0 has been started

33、 with 6 drives and 1 spare.配置文件：/etc/mdadm.conf作為默認的配置文件，主要作用是方便跟蹤軟RAID的配置，尤其是可以配置監(jiān)視和事件上報選項。Assemble命令也可以使用-config(或者其縮寫-c)來指定配置文件。我們通?？梢匀缦旅顏斫⑴渲梦募?。rootfc5 mdadm-2.6.3#echo DEVICE /dev/sdb-h /dev/sdi-k1 /etc/mdadm.confrootfc5 mdadm-2.6.3# ./mdadm -Ds /etc/mdadm.confrootfc5 mdadm-2.6.3# cat /etc/mda

34、dm.confDEVICE /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi1 /dev/sdj1 /dev/sdk1ARRAY /dev/md1 level=raid0 num-devices=3 UUID=dcff6ec9:53c4c668:58b81af9:ef71989dARRAY /dev/md0 level=raid10 num-devices=6 spares=1 UUID=0cabc5e5:842d4baa:e3f6261b:a17a477a使用配置文件啟動陣列時，mdadm會查詢配置

35、文件中的設(shè)備和陣列內(nèi)容，然后啟動運行所有能運行RAID陣列。如果指定陣列的設(shè)備名字，則只啟動對應(yīng)的陣列。rootfc5 mdadm-2.6.3# ./mdadm -Asmdadm: /dev/md1 has been started with 3 drives.mdadm: /dev/md0 has been started with 6 drives and 1 spare.rootfc5 mdadm-2.6.3# cat /proc/mdstatPersonalities : raid0 raid10md0 : active raid10 sdb0 sdh6(S) sdg5 sdf4 sd

36、e3 sdd2 sdc1 3145536 blocks 64K chunks 2 near-copies 6/6 UUUUUUmd1 : active raid0 sdi10 sdk12 sdj11 7337664 blocks 32k chunksunused devices: rootfc5 mdadm-2.6.3# ./mdadm -S /dev/md0 /dev/md1mdadm: stopped /dev/md0mdadm: stopped /dev/md1rootfc5 mdadm-2.6.3# ./mdadm -As /dev/md0mdadm: /dev/md0 has bee

37、n started with 6 drives and 1 spare.rootfc5 mdadm-2.6.3# cat /proc/mdstatPersonalities : raid0 raid10md0 : active raid10 sdb0 sdh6(S) sdg5 sdf4 sde3 sdd2 sdc1 3145536 blocks 64K chunks 2 near-copies 6/6 UUUUUUunused devices: 2.4 查詢陣列的狀態(tài)我們可以通過cat /proc/mdstat信息查看所有運行的RAID陣列的狀態(tài)，在第一行中首先是MD的設(shè)備名，active和i

38、nactive選項表示陣列是否能讀寫，接著是陣列的RAID級別，后面是屬于陣列的塊設(shè)備，方括號里的數(shù)字表示設(shè)備在陣列中的序號，(S)表示其是熱備盤，(F)表示這個磁盤是faulty狀態(tài)。在第二行中首先是陣列的大小，單位是KB，接著是chunk-size的大小，然后是layout類型，不同RAID級別的layout類型不同，6/6和UUUUUU表示陣列有6個磁盤并且6個磁盤都是正常運行的，而5/6和_UUUUU 表示陣列有6個磁盤中5個都是正常運行的，下劃線對應(yīng)的那個位置的磁盤是faulty狀態(tài)的。rootfc5 mdadm-2.6.3# cat /proc/mdstatPersonalitie

39、s : raid6 raid5 raid4 raid1md0 : active raid5 sdh6(S) sdg5 sdf4 sde3 sdd2 sdc1 sdb0 5242560 blocks level 5, 64k chunk, algorithm 2 6/6 UUUUUUunused devices: rootfc5 mdadm-2.6.3# ./mdadm /dev/md0 -f /dev/sdh /dev/sdbmdadm: set /dev/sdh faulty in /dev/md0mdadm: set /dev/sdb faulty in /dev/md0rootfc5 m

40、dadm-2.6.3# cat /proc/mdstatPersonalities : raid6 raid5 raid4 raid1md0 : active raid5 sdh6(F) sdg5 sdf4 sde3 sdd2 sdc1 sdb7(F) 5242560 blocks level 5, 64k chunk, algorithm 2 6/5 _UUUUUunused devices: 如果Linux系統(tǒng)目前支持sysfs也可以訪問/sys/block/md0目錄查詢陣列信息。rootfc5 mdadm-2.6.3# ls -l /sys/block/md0/capability h

41、olders range size stat ueventdev md removable slaves subsystemrootfc5 mdadm-2.6.3# ls /sys/block/md0/md/array_state dev-sdg rd1 suspend_lobitmap_set_bits dev-sdh rd2 sync_actionchunk_size layout rd3 sync_completedcomponent_size level rd4 sync_speeddev-sdb metadata_version rd5 sync_speed_maxdev-sdc m

42、ismatch_cnt reshape_position sync_speed_mindev-sdd new_dev resync_startdev-sde raid_disks safe_mode_delaydev-sdf rd0 suspend_hirootfc5 mdadm-2.6.3# ls /sys/block/md0/slaves/sdb sdc sdd sde sdf sdg sdh我們也可以通過mdadm命令查看指定陣列的簡要信息(使用-query或者其縮寫-Q)和詳細信息(使用-detail或者其縮寫-D) 詳細信息包括RAID的版本、創(chuàng)建的時間、RAID級別、陣列容量、可用

43、空間、設(shè)備數(shù)量、超級塊狀態(tài)、更新時間、UUID信息、各個設(shè)備的狀態(tài)、RAID算法級別類型和布局方式以及塊大小等信息。設(shè)備狀態(tài)信息分為active, sync, spare, faulty, rebuilding, removing等等。rootfc5 mdadm-2.6.3# ./mdadm -query /dev/md0/dev/md0: 2.100GiB raid10 6 devices, 1 spare. Use mdadm -detail for more detail.rootfc5 mdadm-2.6.3# ./mdadm -detail /dev/md0/dev/md0: Ver

44、sion : 00.90.03 Creation Time : Sun Aug 22 17:49:53 1999 Raid Level : raid10 Array Size : 3145536 (3.00 GiB 3.22 GB) Used Dev Size : 1048512 (1024.11 MiB 1073.68 MB) Raid Devices : 6 Total Devices : 7Preferred Minor : 0 Persistence : Superblock is persistent Update Time : Sun Aug 22 21:55:02 1999 St

45、ate : clean Active Devices : 6Working Devices : 7 Failed Devices : 0 Spare Devices : 1 Layout : near=2, far=1 Chunk Size : 64K UUID : 0cabc5e5:842d4baa:e3f6261b:a17a477a Events : 0.122 Number Major Minor RaidDevice State 0 8 16 0 active sync /dev/sdb 1 8 32 1 active sync /dev/sdc 2 8 48 2 active syn

46、c /dev/sdd 3 8 64 3 active sync /dev/sde 4 8 80 4 active sync /dev/sdf 5 8 96 5 active sync /dev/sdg 6 8 112 - spare /dev/sdh2.5 管理陣列mdadm可以在Manage模式下，對運行中的陣列進行添加及刪除磁盤。常用于標識failed磁盤，增加spare(熱備)磁盤，以及從陣列中移走已經(jīng)失效的磁盤等等。使用-fail(或者其縮寫-f)指定磁盤損壞。rootfc5 mdadm-2.6.3# ./mdadm /dev/md0 -fail /dev/sdbmdadm: set

47、/dev/sdb faulty in /dev/md0當磁盤已經(jīng)損壞時，使用-remove(或者其縮寫-f)參數(shù)將這個磁盤從磁盤陣列中移走；但如果設(shè)備還正在被陣列使用，則不能從陣列中移走。rootfc5 mdadm-2.6.3# ./mdadm /dev/md0 -remove /dev/sdbmdadm: hot removed /dev/sdbrootfc5 mdadm-2.6.3# ./mdadm /dev/md0 -remove /dev/sdemdadm: hot remove failed for /dev/sde: Device or resource busy如果陣列帶有spa

48、re磁盤，那么自動將損壞磁盤上的數(shù)據(jù)重構(gòu)到新的spare磁盤上；rootfc5 mdadm-2.6.3# ./mdadm -f /dev/md0 /dev/sdb ; cat /proc/mdstatmdadm: set /dev/sdb faulty in /dev/md0Personalities : raid0 raid10md0 : active raid10 sdh6 sdb7(F) sdc0 sdg5 sdf4 sde3 sdd2 3145536 blocks 64K chunks 2 near-copies 6/5 U_UUUU = recovery = 35.6% (37388

49、8/1048512) finish=0.1min speed=93472K/secunused devices: 如果陣列沒有熱備磁盤，可以使用-add(或者其縮寫-a)參數(shù)增加熱備磁盤rootfc5 mdadm-2.6.3# ./mdadm /dev/md0 -add /dev/sdhmdadm: added /dev/sdh26 監(jiān)控陣列可以使用mdadm對RAID陣列進行監(jiān)控，監(jiān)控程序定時查詢指定的事件是否發(fā)生，然后根據(jù)配置來妥善處理。例如當陣列中的磁盤設(shè)備出現(xiàn)問題的時候，可以發(fā)送郵件給管理員；或者當磁盤出現(xiàn)問題的時候由回調(diào)程序來進行自動的磁盤替換，所有監(jiān)控事件都可以記錄到系統(tǒng)日志中。目

50、前mdadm支持的事件有RebuildStarted, RebuildNN(NN is 20, 40, 60, or 80), RebuildFinished, Fail,FailSpare,SpareActive,NewArray, DegradedArray, MoveSpare, SparesMissing, TestMessage。如果配置每300秒mdadm監(jiān)控進程查詢MD設(shè)備一次，當陣列出現(xiàn)錯誤，會發(fā)送郵件給指定的用戶，執(zhí)行事件處理的程序并且記錄上報的事件到系統(tǒng)的日志文件。使用-daemonise參數(shù)(或者其縮寫-f)使程序持續(xù)在后臺運行。如果要發(fā)送郵件需要sendmail程序運行

51、，當郵件地址被配置為外網(wǎng)地址應(yīng)先測試是否能發(fā)送出去。rootfc5 mdadm-2.6.3#./mdadm -monitor -mail=rootlocalhost -program=/root/md.sh -syslog -delay=300 /dev/md0 -daemonise查看系統(tǒng)日志信息，可以看到哪個陣列或者陣列中的哪個設(shè)備發(fā)生過的哪些事件。rootfc5 mdadm-2.6.3# mdadm -f /dev/md0 /dev/sdbmdadm: set /dev/sdb faulty in /dev/md0rootfc5 mdadm-2.6.3#tail f /var/log/m

52、essagesAug 22 22:04:12 fc5 mdadm: RebuildStarted event detected on md device /dev/md0Aug 22 22:04:12 fc5 kernel: md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.Aug 22 22:04:12 fc5 kernel: md: using 128k window, over a total of 1048512 blocks.Aug 22 22:04

53、:14 fc5 mdadm: Fail event detected on md device /dev/md0, component device /dev/sdbAug 22 22:04:14 fc5 mdadm: Rebuild80 event detected on md device /dev/md0Aug 22 22:04:16 fc5 mdadm: RebuildFinished event detected on md device /dev/md0Aug 22 22:04:16 fc5 mdadm: SpareActive event detected on md devic

54、e /dev/md0, component device /dev/sdhAug 22 22:04:16 fc5 kernel: md: md0: recovery done.回調(diào)程序從mdadm程序接受兩個或者三個參數(shù)：事件名字，監(jiān)控陣列的名字和特殊事件可能使用到的底層塊設(shè)備名字。上面的事件返回的信息如下：Eventname: RebuildStarted Device: /dev/md0 next:Eventname: Fail Device: /dev/md0 next: /dev/sdbEventname: Rebuild80 Device: /dev/md0 next:Eventna

55、me: RebuildFinished Device: /dev/md0 next:Eventname:SpareActive Device: /dev/md0 next: /dev/sdh27 擴展陣列如果在創(chuàng)建陣列時不想使用整個塊設(shè)備，可以指定用于創(chuàng)建RAID陣列每個塊設(shè)備使用的設(shè)備大小。mdadm -CR /dev/md0 -l5 -n6 /dev/sdb-g -x1 /dev/sdh -size=102400然后在陣列需要擴展大小時，使用模式-grow(或者其縮寫-Q)以及-size參數(shù)(或者其縮寫-z) 在加上合適的大小數(shù)值就能分別擴展陣列所使用每個塊設(shè)備的大小。rootfc5 md

56、adm-2.6.3# ./mdadm -Q /dev/md0/dev/md0: 500.00MiB raid5 6 devices, 1 spare. Use mdadm -detail for more detail. rootfc5 mdadm-2.6.3# ./mdadm -grow /dev/md0 -size=204800rootfc5 mdadm-2.6.3# cat /proc/mdstatPersonalities : raid0 raid10 raid6 raid5 raid4md0 : active raid5 sdh6(S) sdg5 sdf4 sde3 sdd2 sdc

57、1 sdb0 1024000 blocks level 5, 64k chunk, algorithm 2 6/6 UUUUUU = resync = 69.6% (144188/204800) finish=0.0min speed=10447K/secunused devices: rootfc5 mdadm-2.6.3# ./mdadm -Q /dev/md0/dev/md0: 1000.00MiB raid5 6 devices, 1 spare. Use mdadm -detail for more detail.如果上面是文件系統(tǒng)(ext2,ext3, reiserfs)，在設(shè)備大

58、小擴展后，文件系統(tǒng)也要同時擴展。rootfc5 mdadm-2.6.3# df -h | grep md/dev/md0 485M 11M 449M 3% /mnt/md-testrootfc5 mdadm-2.6.3# ext2online /dev/md0rootfc5 mdadm-2.6.3# df -h | grep md/dev/md0 969M 11M 909M 2% /mnt/md-testmdadm還提供增加或減少陣列中設(shè)備個數(shù)的功能(reshape)，使用模式grow和 -raid-disks(或者其縮寫-n)參數(shù)再加上合適的設(shè)備個數(shù)。擴展后陣列中原來的熱備盤變?yōu)榛钴S磁盤，所

59、以陣列的設(shè)備個數(shù)增加，陣列的大小也相應(yīng)增加。rootfc5 mdadm-2.6.3# ./mdadm -D /dev/md0/dev/md0: Version : 00.90.03 Creation Time : Sun Aug 22 22:16:19 1999 Raid Level : raid5 Array Size : 1024000 (1000.17 MiB 1048.58 MB) Used Dev Size : 204800 (200.03 MiB 209.72 MB) Raid Devices : 6 Total Devices : 7Preferred Minor : 0 Per

60、sistence : Superblock is persistent Update Time : Sun Aug 22 22:23:46 1999 State : clean Active Devices : 6Working Devices : 7 Failed Devices : 0 Spare Devices : 1 Layout : left-symmetric Chunk Size : 64K UUID : 53e6395c:1af16258:087cb2a0:b66b087f Events : 0.12 Number Major Minor RaidDevice State 0