2NetApp存儲(chǔ)基礎(chǔ)學(xué)習(xí)匯總磁盤和卷管理

1、NetApp存儲(chǔ)基礎(chǔ)學(xué)習(xí)匯總（第二部分）目 錄一、管理磁盤和卷 11.1、 管理磁盤11.1.1、 raid 組概念12.1.2、 什么是 PLEX 32.1.3、 Hotspare 盤概念32.1.4、 raid組大小的選擇及考慮 42.1.5、 不同大小和轉(zhuǎn)速的硬盤混裝在同一存儲(chǔ)的處理 41.2、 配置 RAID 組51.2.1、 Raid4 和 Raid DP 51.2.2、 一些關(guān)于 raid 組選項(xiàng)的設(shè)置 111.2.3、 一些關(guān)于磁盤操作的常用命令 121.3、 認(rèn)證的磁盤151.4、 怎么標(biāo)識(shí)磁盤161.5、 怎么管理 volume 181.5.1、 磁盤、 RG 組、 plex

2、 與 aggr的關(guān)系 181.5.2、 volume 的定義、傳統(tǒng) volume 和 flexvolume （靈活卷） 181.5.3、 卷組成的層次結(jié)構(gòu) 191.5.4、 傳統(tǒng)卷和靈活卷要考慮的問題 211.5.5、 root volume 和/VOL 221.5.6、 數(shù)據(jù)的可靠性 221.5.7、 aggr 命令和 vol 命令231.5.8、 Disk scrub 命令 27 272.1、 volume 和 aggr 的考慮28一、管理磁盤和卷1.1、 管理磁盤1.1.1、 raid 組概念SCSI磁盤陣列內(nèi)部結(jié)構(gòu)圖（單控制器）:SCM1造口SCSI磁盤陣列內(nèi)部結(jié)構(gòu)圖（雙控制器）:主機(jī)

3、口主機(jī)I.ifliio通遼 1磁盤陣列/控制器通通2 道通學(xué)通道4.遇遺。通道I磁盤陣列/控制器 通諄工通道a 遇道中 r-|Drive里迎電時(shí) ,I廠一f一fL一Fl、- S> 、1一 - JT J J TDrive SCSI 電統(tǒng)冗余控制器 陣列結(jié)構(gòu)RAID GroupParityDparitv3« GQ3G GBDataDats3G GB3G GBDataDataData3G GB3G GB3G GBRaid組是多個(gè)磁盤組合在一起，每個(gè) RAID group (RAID4 )包含一個(gè)校驗(yàn)盤和一個(gè)或多個(gè)數(shù)據(jù)盤，當(dāng) 數(shù)據(jù)盤損壞的時(shí)候，存儲(chǔ)會(huì)確定那個(gè)盤上都有哪些數(shù)據(jù)，然后在ho

4、t spare盤上重建這些數(shù)據(jù)。RAID DP有兩塊校驗(yàn)盤，可以保護(hù) RAID組里面兩塊盤損壞，最少的盤數(shù)量至少是3塊，一塊數(shù)據(jù)盤,一塊校驗(yàn)盤，一塊 dual校驗(yàn)盤。如果是校驗(yàn)盤損壞了，則可以根據(jù)數(shù)據(jù)盤的內(nèi)容來重建。2.1.2、 什么是 PLEXA plex is a collection of one or more RAID groups that together provide storage for one or more Write Anywhere File Layout (W AFL?) file system volumes.PLEX是一個(gè)或多個(gè)RAID組的集合，它彳門在一起

5、為 WAFL文件系統(tǒng)卷提供了存儲(chǔ)能力。Aggregates是一個(gè)或一組 Plex組成的。Plex是由一個(gè)或者多個(gè) RAID4或者RAID DP組成的。2.1.3、 Hotspare 盤概念當(dāng)有盤損壞的時(shí)候，可以用 sysconfig i命令來看具體是那塊盤損壞了。Hot Spare盤有以下特點(diǎn)：不包含數(shù)據(jù)不管是哪個(gè)RAID組的盤損壞了，都可以替換，也就是說hotspare盤是全局起作用的，而不是屬于哪個(gè)raidgroup。可以這么說 hot spare屬于整個(gè)存儲(chǔ)，但是不屬于某個(gè)RAID GROUP 。自動(dòng)替換損壞的盤至少應(yīng)該和損壞的盤大小一樣，而不能比損壞的盤容量還小系統(tǒng)會(huì)選擇正確的盤來作為

6、 hotspare盤可以非?？斓奶鎿QParityDatsDataDsts從上圖可以看見，hotspare盤是屬于存儲(chǔ)的，而不是屬于哪個(gè)raidgroup,當(dāng)出現(xiàn)盤損壞后，存儲(chǔ)會(huì)自動(dòng)的重建數(shù)據(jù)或校驗(yàn)數(shù)據(jù)在 hotspare盤上。你可以在線的更換新磁盤，在壞盤換下來，新盤就作為hotspare盤來使用，如果raidgroup不是做成raid DP則如果出現(xiàn)兩塊盤同時(shí)損壞，就會(huì)發(fā)生數(shù)據(jù)丟失。如果一個(gè)卷包含超過一個(gè)raidgroup,那么可以忍受兩塊盤損壞，但這兩塊盤必須是不屬于同一raidgroup時(shí)，才可以。如果沒有hotspare盤去替換已經(jīng)損壞的盤，系統(tǒng)將會(huì)運(yùn)行在一個(gè)“降級(jí)”模式，這時(shí)候雖然數(shù)

7、據(jù)沒有丟失，但性能不是最佳的，如果超過了這個(gè)時(shí)間還沒有更換新的磁盤，系統(tǒng)就會(huì)自動(dòng)關(guān)機(jī)。缺省的這個(gè)時(shí)間由下 面的參數(shù)決定。wangjun> options raid.timeoutraid.timeout24如果過一個(gè)長(zhǎng)假，希望延長(zhǎng)這個(gè)時(shí)間，則可以修改這個(gè)參數(shù)來實(shí)現(xiàn)。但是延長(zhǎng)這個(gè)時(shí)間帶來了很大風(fēng)險(xiǎn)，會(huì)造成其它盤損壞。在“降級(jí)”運(yùn)行期間，如果是設(shè)置的raid4,再壞塊盤，就會(huì)丟失數(shù)據(jù)，而如果是raid dp還不會(huì)丟失數(shù)據(jù)，除非壞第三塊盤。2.1.4、 raid組大小的選擇及考慮Raid組大小的定義要考慮到客戶的需求以及性能的優(yōu)化，netapp的raid組可以由2-28塊硬盤組成。Raid組支

8、持的最小數(shù)量是與 raidgroup類型有關(guān)系。Raid組支持的最大數(shù)量是與 raidgroup類型有關(guān)系。缺省的raid組大小是在基于不同raid類型的基礎(chǔ)上考慮性能最優(yōu)和容錯(cuò)要求。支持的 最大raid組:平臺(tái)RAID DPRAID 4SyncMirror_Local備注FAS6000FC 或 SAS 盤:28（26個(gè)數(shù)據(jù)磁盤 加2個(gè)奇偶校驗(yàn) 磁盤）SATA 盤:16 （14 個(gè)數(shù)據(jù)磁盤加2個(gè)奇偶校驗(yàn)磁盤FC或SAS盤:14塊 盤（13個(gè)數(shù)據(jù)磁盤 加2個(gè)奇偶校驗(yàn) 磁盤），SATA 盤:7 塊（6 個(gè)數(shù)據(jù)磁盤加1 個(gè)奇偶校驗(yàn)磁盤）RAID 6 + RAID 1 或 RAID 4 + RAID1

9、Raid6是針對(duì)大于 146G盤的配置推 薦。缺省raid組大小是 raid DP 是 16 Raid 4 是 8FAS3100FC 或 SAS 盤:28（26個(gè)數(shù)據(jù)磁盤 加2個(gè)奇偶校驗(yàn) 磁盤）SATA 盤:16 （14 個(gè)數(shù)據(jù)磁盤加2個(gè)奇偶校驗(yàn)磁盤FC或SAS盤:14塊 盤（13個(gè)數(shù)據(jù)磁盤 加2個(gè)奇偶校驗(yàn) 磁盤），SATA 盤:7 塊（6 個(gè)數(shù)據(jù)磁盤加1 個(gè)奇偶校驗(yàn)磁盤）RAID 6 + RAID 1 或 RAID 4 + RAID1FAS2000FC 或 SAS 盤:28（26個(gè)數(shù)據(jù)磁盤 加2個(gè)奇偶校驗(yàn) 磁盤）SATA 盤:16 （14 個(gè)數(shù)據(jù)磁盤加2個(gè)奇偶校驗(yàn)磁盤FC或SAS盤:14塊

10、盤（13個(gè)數(shù)據(jù)磁盤 加2個(gè)奇偶校驗(yàn) 磁盤），SATA 盤:7 塊（6 個(gè)數(shù)據(jù)磁盤加1 個(gè)奇偶校驗(yàn)磁盤）RAID 6 + RAID 1 或 RAID 4 + RAID 12.1.5、 不同大小和轉(zhuǎn)速的硬盤混裝在同一存儲(chǔ)的處理，不同大小的磁盤需要不同的DataONTAP不同時(shí)期采購(gòu)的硬盤可能會(huì)造成同一存儲(chǔ)中，有不同大小的硬盤 版本或者磁盤柜的支持，這個(gè)具體信息需要看系統(tǒng)配置手冊(cè)。Disk 172 GBPuritybilk 271 GBDisk 3陌GBDisk 4DinksT2GBDlnkC3CGBt>isk 772 GBSpamDlskS72 GBSparvVol 1 t dith vot

11、umfrDiski144 GBParityDisk 272 GBDusk 3W GBDilflk 43S GBDi»k5144 GBSpareIMBk6144 GBSpareVol 2 & diftk wolurne一個(gè)raid組里面的hotspare和校驗(yàn)盤必須是最大尺寸的， 否則無(wú)法備份任何數(shù)據(jù)盤里面的數(shù)據(jù)。 一個(gè)volume 里面支持磁盤尺寸不一樣，但是 netapp不推薦這么做，這樣會(huì)帶來性能的下降，即一個(gè)volume里面磁盤尺寸大小最好一致。下表是FAS6000支持的磁盤類型和大小 （2009年12月）T2 QB日MSGE弱 GE3Q SBFC盤9/18/36/72

12、/144/300GB9/18/36/72G雖然支持但現(xiàn)在不出貨了，其實(shí)也就是支持 144G和300G的SATA 盤250GB, 500GB, 750GB, 1TBSAS盤300GB、450GB、600GB上圖表示我那一塊大硬盤去重建數(shù)據(jù)，而被替換的硬盤尺寸小，那么就會(huì)出現(xiàn)容量的損失，上圖72G的盤只能作為36G的來使用了。DATA NOTAP支持把不同轉(zhuǎn)速的盤混合起來使用，需要寸T開raid.rpm.ata.enable和 raid.rpm.fcal.enable 選項(xiàng)。以下是缺省情況這兩個(gè)選項(xiàng)的設(shè)置值：raid.rpm.ata.enableoffraid.rpm.fcal.enableon1

13、.2、 配置RAID組1.2.1、 Raid4 和 Raid DP(1)、RAID4 水平行奇偶校驗(yàn)下列圖表說明了在傳統(tǒng) NetApp RAID4解決方案中使用水平行奇偶校驗(yàn)的方法，也是您了解RAID DP和雙奇偶校驗(yàn)的第一步。圖D R D D P圖25t RMD4水平行奇偶校蕤圖表代表了傳統(tǒng)的RAID4組，使用包括4個(gè)數(shù)據(jù)磁盤(前4歹U,標(biāo)注為“ D”)和一列奇偶校驗(yàn)磁盤(最后一列，標(biāo)注為“ P”)的單向奇偶校驗(yàn)。上面圖表中的行顯示了實(shí)施傳統(tǒng)NetApp RAID4時(shí)使用的標(biāo)準(zhǔn)4KB塊。上面圖表中的第二行在每個(gè) 4KB塊和行中數(shù)據(jù)的奇偶校驗(yàn)計(jì)算中添加了一些樣例數(shù)據(jù)，隨后存儲(chǔ)在 奇偶校驗(yàn)磁盤上

14、相應(yīng)的塊中。在這種情況下，計(jì)算奇偶校驗(yàn)的方式是向每個(gè)水平塊中添加值，然后將這些值的和存儲(chǔ)為奇偶校驗(yàn)值(3 + 1 + 2 + 3 = 9)。實(shí)際上，奇偶校驗(yàn)是通過專門的OR (XOR )過程進(jìn)行計(jì)算，但其它情況也與此例非常相似。如果需要從單一故障中重建數(shù)據(jù)，則產(chǎn)生奇偶校驗(yàn)的過程將與此相反。例如，當(dāng)RAID4恢復(fù)上面第一列的數(shù)據(jù)值 3時(shí)，如果第一個(gè)磁盤發(fā)生故障，就會(huì)從奇偶校驗(yàn)中存儲(chǔ)的值中減 去剩余磁盤上的值(9- 3 - 2 - 1 = 3)。這個(gè)通過單一奇偶校驗(yàn)RAID重建的例子，應(yīng)該有助于從概念上理解為什么能夠?qū)我淮疟P故障提供數(shù)據(jù) 保護(hù)。(2)、添加RAID DP雙奇偶校驗(yàn)條，Raid D

15、P是如何做的下表將一個(gè)以藍(lán)色陰影塊表示的對(duì)角線奇偶校驗(yàn)條和一個(gè)在第六列中以“DP”表示的第二個(gè)奇偶校驗(yàn)磁盤在這個(gè)例子中對(duì)角線奇偶校驗(yàn)條通過相加的方法計(jì)算，并且存儲(chǔ)在第二個(gè)奇偶校驗(yàn)磁盤上，而不是按實(shí)際 使用的XOR校驗(yàn)來計(jì)算的：(1 + 2 + 2 + 7 = 12)。解釋：對(duì)角線校驗(yàn)將第一塊校驗(yàn)盤上的內(nèi)容也作 為數(shù)據(jù)來處理。下一個(gè)圖表為每個(gè)塊加入了余下的數(shù)據(jù)，并且建立了相應(yīng)的行和對(duì)角線奇偶校驗(yàn)條。n n n n p RP第 J7； raid dp從上圖可以明顯看出，在 RAID DP中，對(duì)角線奇偶校驗(yàn)條都在行奇偶校驗(yàn)結(jié)構(gòu)的邊上。在這個(gè)例子中，對(duì)于RAID DP對(duì)雙磁盤故障進(jìn)行恢復(fù)的能力，有兩種

16、重要情況需要注意。第一種情況是，每一個(gè)對(duì)角線條會(huì)錯(cuò)過唯一的一個(gè)磁盤，但是每個(gè)對(duì)角線錯(cuò)過的磁盤都不一樣。一條對(duì)角線：有一行的某個(gè)塊上數(shù)據(jù)的校驗(yàn)沒有被記錄在對(duì)角線校驗(yàn)中，但從上圖看錯(cuò)過的磁盤是不規(guī)律 的。第二種情況的結(jié)果是，在第二個(gè)對(duì)角線奇偶校驗(yàn)磁盤上會(huì)產(chǎn)生一個(gè)沒有得到奇偶校驗(yàn)的對(duì)角線條。上 圖中白色的塊沒有被記錄到校驗(yàn)盤。在這個(gè)例子中，被遺漏的對(duì)角線條是白色的塊。在之后的重建例子中會(huì)明顯的看出，遺漏一個(gè)對(duì)角線條不 會(huì)影響RAID DP在雙磁盤故障中恢復(fù)所有數(shù)據(jù)的能力。值得重視的是，在本例中介紹的許多同樣的 RAID DP對(duì)角線奇偶校驗(yàn)都是真實(shí)的存儲(chǔ)情況；其中涉及到在RAID組中的許多磁盤上，以及

17、通過RAID4組水平寫入成數(shù)百萬(wàn)的數(shù)據(jù)行。并且，通過上面較小的例子我們很容易地例證了 RAID DP ,而且不管RAID組中的有多少磁盤，對(duì)于大尺寸的 RAID組，其恢復(fù)情況 也與此相同。由于RAID DP可以通過兩種方式對(duì)雙磁盤故障進(jìn)行所有數(shù)據(jù)的恢復(fù)：一種是使用數(shù)學(xué)原理并進(jìn)行證明，另一種則是簡(jiǎn)單地通過雙磁盤故障并隨后進(jìn)行恢復(fù)。本文將使用后面的方法來證明 RAID DP的雙奇偶校驗(yàn)保護(hù)的概念。使用數(shù)學(xué)原理和證明的方法，超出了 本文對(duì)RAID DP 的敘述范圍，但我們?cè)诹硗庖黄恼轮袉为?dú)進(jìn)行了描述，而且即將在NetApp的外部網(wǎng)站上發(fā)布。(3)、雙盤數(shù)據(jù)丟失后,RAID DP的重建我們使用最近的

18、圖表開始介紹雙磁盤故障。假定在發(fā)生雙磁盤故障時(shí)，RAID組運(yùn)行正常。在下表中，第一、二列中的所有數(shù)據(jù)都丟失了。D (. D . j D . D , P DP圖RAID UP的更建(1)當(dāng)發(fā)生雙磁盤故障之后，RAID DP首先會(huì)尋找一個(gè)鏈來開始重建。在本例中，我們用藍(lán)色的對(duì)角線奇偶校驗(yàn)條來顯示其所發(fā)現(xiàn)的鏈。不要忘記，當(dāng)在RAID4下為單一磁盤故障重建數(shù)據(jù)時(shí)，只有在丟失的元素不超過一個(gè)時(shí)，這種情況才會(huì)發(fā)生。記住這一點(diǎn)之后，我們可以看到上圖中藍(lán)色對(duì)角線條中只丟失了五個(gè)塊中的一個(gè)。借助五個(gè)元素中仍然存在的四個(gè)，RAID DP能夠獲得所需的全部信息，（也就是說根據(jù)RAID DP數(shù)據(jù)存儲(chǔ)方式和校驗(yàn)方式，有

19、一個(gè)鏈可以開始對(duì)角鏈恢復(fù)，那么就從這個(gè)鏈開始恢復(fù)計(jì)算），來重建藍(lán)色丟 失塊中的數(shù)據(jù)。接下來的圖表反映了這些數(shù)據(jù)被恢復(fù)到空閑的磁盤上。圖29： RAID DP的重建(2)從丟失的藍(lán)色對(duì)角線塊中重建數(shù)據(jù)時(shí)，使用了前面介紹的算法(12 - 7 - 2 - 2 = 1)?，F(xiàn)在,丟失的藍(lán)色對(duì)角線信息已經(jīng)被重建，恢復(fù)過程從使用對(duì)角線奇偶校驗(yàn)轉(zhuǎn)換至使用水平行奇偶校驗(yàn)。特別是，藍(lán)色對(duì)角線之后的頂端的行重建了丟失的對(duì)角線塊，而沒有足夠的信息從行奇偶校驗(yàn)中重建單個(gè) 丟失的水平塊(9 - 3 - 2 - 1 = 3) o這種情況出現(xiàn)在下列圖表中凰 <n. QAin dp WrW-* r*再一次，當(dāng)RAID D

20、P恢復(fù)了對(duì)角線條中相對(duì)的對(duì)角線塊后，它就有了足夠的行奇偶校驗(yàn)信息，來重建第一 列中丟失的水平塊，接下來的圖表中例證了這個(gè)情況。圖32 :圖3A IMIDDP的邕建(5)與我們前面所注意到的一樣，白色對(duì)角線條沒有被存儲(chǔ)，現(xiàn)存的鏈中也沒有額外的對(duì)角線塊能夠重建。RAIDDP將開始尋找新的鏈以開始重建對(duì)角線并且，基于這個(gè)例子，決定了其能夠重建黃色對(duì)角線條中丟失的 數(shù)據(jù)，如下圖所示。國(guó)33： RAID DP的重建(6)在RAID DP重建了丟失的對(duì)角線塊之后，這個(gè)過程再次從行奇偶校驗(yàn)轉(zhuǎn)換至重建丟失的水平塊。當(dāng)黃色對(duì) 角線中丟失的對(duì)角線塊被重建后，可以得到足夠的信息重建行奇偶校驗(yàn)中丟失的水平塊，由下圖可

21、以明顯 看出。圖34； RAIDDP的機(jī)部171RAID DP能夠繼續(xù)處水平行中丟失的塊被重建之后，重建轉(zhuǎn)換回對(duì)角線奇偶校驗(yàn)以創(chuàng)建丟失的對(duì)角線塊。 于當(dāng)前的對(duì)角線鏈中如下圖所示。圖35： RAID DP的及理同樣，在對(duì)角線塊恢復(fù)之后，因?yàn)橛凶銐虻男畔⒅亟ㄒ粋€(gè)水平塊信息，這一過程將會(huì)轉(zhuǎn)換回行奇偶校驗(yàn) 接下來是雙磁盤故障情況的最后一個(gè)圖表，通過RAID DP所有的數(shù)據(jù)都被重建了。圖3M RAID DP的重建RAID DP卷的性能可以與RAID4相媲美。每種類型的 RAID的讀操作幾乎一樣。RAID DP的寫操作性能要比RAID4慢2%至U3%。造成性能微小差距的原因是 RAID DP卷上的第二個(gè)對(duì)

22、角線奇偶校驗(yàn)磁盤會(huì)出現(xiàn)額外的寫操作。相對(duì)于RAID4 ,運(yùn)行RAID DP時(shí)CPU的利用率并無(wú)明顯差別?？偨Y(jié)：RAID DP的寫操作比RAID4+稍有些慢。先恢復(fù)對(duì)象線校驗(yàn)盤上的數(shù)據(jù)，使水平校驗(yàn)有足夠的數(shù)據(jù)，然后再恢復(fù)水平校驗(yàn)盤上的數(shù)據(jù)。1.2.2、 一些關(guān)于raid組選項(xiàng)的設(shè)置RAID組是建立卷的基本結(jié)構(gòu)Netapp存儲(chǔ)使用disk scrub技術(shù)，避免因?yàn)榻橘|(zhì)錯(cuò)誤，壞扇區(qū)等問題造成數(shù)據(jù)丟失。啟動(dòng)這個(gè)功能后，raid組里面的每塊盤都掃描來發(fā)現(xiàn)錯(cuò)誤，如果發(fā)現(xiàn)了錯(cuò)誤，則通過校驗(yàn)數(shù)據(jù)重建和重寫數(shù)據(jù)。如果不這樣做， 如果在降級(jí)模式運(yùn)行則會(huì)造成多塊盤損壞。如果options raid.scrub是of

23、f的，也可以手動(dòng)啟動(dòng)此命令。什么時(shí)候會(huì)造成降級(jí)運(yùn)行，raid group設(shè)置為RAID 4 ,其中一塊盤損壞，設(shè)置為RAID DP,但RAID組中同 時(shí)兩塊盤損壞，而且沒有設(shè)置hot spare磁盤，此時(shí)存儲(chǔ)降級(jí)運(yùn)行， 缺省時(shí)間是24小時(shí)，在此時(shí)間內(nèi)如果沒 有更換磁盤，則系統(tǒng) shutdown o1.2.3、 一些關(guān)于磁盤操作的常用命令首先創(chuàng)建一些物理卷通過標(biāo)記一塊磁盤fail來顯示換盤的過程:CommandMeaningdisk sanitize start disk_nameStart removing all disk data.disk sanitize abort disk_name

24、Stop removing all disk data.disk zero sparesZero all non-zeroed RAID spare disks.disk.auto.assignAutoassign disks on systems with software disk ownership (default: on).disk_fw_update disk_listManually update firmware on disks (automatic on Data ONTAP 6.0 or ater).1.3、 認(rèn)證的磁盤Netapp用的硬盤必須是netapp認(rèn)證的，如果你

25、拿外來的硬盤插入Netapp的磁盤柜，會(huì)有 72小時(shí)的時(shí)間讓你移除它，否則系統(tǒng)就強(qiáng)制shutdown 了。還有一些額外的動(dòng)作：管理端口消息、autosupport沒認(rèn)證的盤被標(biāo)記為unqulified等。wangjun> rdfile /etc/qual_devices=認(rèn)證的盤被保存在這個(gè)文件。DNETAPPNTAP2770849dDTMSFC65 1.4d 512DCurtis Nitro!FC 2.02 512DExavio ExaFCT/ExaMax 2.0 512DSEAGATEST12400N 9072 512DSEAGATEST12550N 0013 512DSEAGATE

26、ST32430N 0000 512DSEAGATEST43400N 0000 512DSEAGATEST43400ND 0000 512DSEAGATEST43401N 0000 512DSEAGATEST43401ND 0000 512DSEAGATEST43402ND 0111 512DSEAGATEST15150N 0023 512DSEAGATEST15150W 0023 512DSEAGATEST15230N 0000 512DSEAGATEST34572WC 0784 512DSEAGATEST19171W 0024 512DSEAGATEST19171FC FB59 512DSE

27、AGATEST39102FC NA27 512為了避免由于插入沒有認(rèn)證的盤造成系統(tǒng)down機(jī)，可以采取以下措施：移走沒有被認(rèn)證的硬盤（不是netapp或認(rèn)證的供應(yīng)商提供的硬盤）下載最新的/etc/qual_devices文件從netapp網(wǎng)站，這會(huì)驗(yàn)證所有不認(rèn)證的磁盤，看現(xiàn)在支持不支持了1.4、 怎么標(biāo)識(shí)磁盤Disk IDtMB/blks)17000/348100017000/34S1600017160/35145032171«0/35145032parity dataCHAN(MB/blkd)U«tAppl> fyeconfig -rVqlvnue vplQ Qil

28、l.±nvTI )ChV©k耳jP1«k /vai0/plexQ (online normalf active)RAID group /vol0/pl«x0/rg0 norniBl) 磁盤標(biāo)識(shí)可以快速定位磁盤的位置OStorageApplianceShelf 1Drive Bavs13 - 0Shelf 11312111O9 B 7 6 5 4Dnin目 Bav磁盤標(biāo)識(shí)是由 path_id和device_id組成，表現(xiàn)為 path_id.device_idPath_id-指得是適配卡所在的插槽，比如下圖就是磁盤柜接到4號(hào)插槽的a 口。所以path_id=

29、4aDevice_id是指磁盤的loop ID或者SCSI ID號(hào)。Device_id是由磁盤柜的類型、磁盤柜的ID號(hào)和這塊磁盤裝在第幾個(gè) bay來決定。4a.16 對(duì)應(yīng) DS14 磁盤柜是 shelf ID=0,BAY=0.看上圖：Bay是從右到左開始編號(hào)，從 0開始。如果你安裝了 DS14型號(hào)的磁盤柜在一個(gè)100P里面，而這個(gè)100P又包含F(xiàn)C7FC8FC9 （這些是老型號(hào)的磁盤柜）光纖磁盤柜，則DS14必須是最后一個(gè)磁盤柜和最高的磁盤柜ID以避免地址沖突。下圖標(biāo)識(shí)出了bay和loop ID的對(duì)應(yīng)關(guān)系：FCx系列磁盤柜Shelf IDFCxLoop IDFCxNot UseDS14系列磁盤

30、柜Shelf IDDS14Loop IDDS14Not Use06 - 0一-114 - 87129 - 1615 - 0222 - 1615245 - 3231 - 30330 - 2423361 - 4847 - 46438 - 3231477 - 6463 - 62546 - 4039593 - 8079 - 78654 - 48476109 - 9695 - 95762 - 56557125 - 112111 - 110Aggregate aggr0 (online, raid0) (zoned checksums)Plex /aggr0/plex0 (online, normal,

31、active)RAID group /aggr0/plex0/rg0 (normal)可以看見 root 卷占用了 shelf1 的 bay 0-3RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)datav4.16v410FC:B-FCALN/A120/246784127/261248datav4.17v411FC:B-FCALN/A120/246784127/261248datav4.18v412FC:B-FCALN/A120/246784127/2612481.5、 怎么管理volu

32、me1.5.1、 磁盤、RG組、plex與aggr的關(guān)系Qoo。 Q8O 5000 / IXooooooooooooQHot spare；Data disk ；"）Parity disk OdParity disk OOOOOO11410 goup一個(gè)RAID組由一塊或多塊數(shù)據(jù)磁盤加上一塊或多塊數(shù)據(jù)校驗(yàn)盤組成，plex是一個(gè)或多個(gè)RG組的集合。一個(gè)aggr是一個(gè)或多個(gè)plex的集合，如果RG組做鏡像了,則一個(gè) aggr包含兩個(gè)plex,否則只包含 一個(gè) plex o .Aggr用來管理plex和RAID組，因?yàn)檫@些實(shí)體只能作為aggr的一部分存在。一個(gè)卷就依賴aggr,因?yàn)樗菍?shí)際物

33、理存儲(chǔ)。而卷是邏輯的存儲(chǔ)實(shí)體，用來保存用戶數(shù)據(jù)，卷可以通過多種協(xié)議來進(jìn)行訪問。1.5.2、 volume 的定義、 傳統(tǒng) volume 和 flexvolume （靈活卷）Volume是保存用戶數(shù)據(jù)的文件系統(tǒng)，它可以被DataONTAP支持的文件系統(tǒng)訪問Aggregate傳統(tǒng)volume：如上圖所示，傳統(tǒng)卷包含在一個(gè)單獨(dú)的專用的aggregate物理卷）里面，連接非常緊密，如果想增加傳統(tǒng)卷的大小，只能把一整塊磁盤加到包含它的物理卷里面來實(shí)現(xiàn)。traditional volumes顧名思義，是系統(tǒng)開發(fā)初期采用的。有諸多限制，例如不能減小，只能在一個(gè)aggregate中，只能通過添加整個(gè)新硬盤的容

34、量來擴(kuò)容。從上圖可以看見傳統(tǒng)卷要包含一個(gè)RG就全部包含了。靈活volume：DataONTAP 7之前的版本創(chuàng)建的卷全是傳統(tǒng)卷，如果你升級(jí)到 DataONTAP 7.0，你的volumes和數(shù)據(jù)不會(huì)被改變，你管理卷和數(shù)據(jù)的命令都仍然被支持。靈活卷與包含它的物理卷結(jié)合的比較松散，可以創(chuàng)建很小的靈活卷（20M或更大），每次可以增加或減小尺寸可以是4K。從上圖可以看見靈活卷可以是某個(gè) raidgroup中盤的一部分，而不是全部。 而靈活卷可以只 包含某個(gè)RG的某個(gè)部分。FlexVol的大小可以增加超過包含它的aggr的大小，這叫做（aggregate overcommitment）.限制：一個(gè)fil

35、er里面靈活卷和傳統(tǒng)卷的數(shù)量是500個(gè)。這個(gè)500是指?jìng)鹘y(tǒng)卷+靈活卷。其中傳統(tǒng)卷和包含它的物理卷最多100個(gè)。而靈活卷可以達(dá)到500個(gè)。這個(gè)數(shù)值在幾個(gè)資料不一致，需要再核實(shí)。1.5.3、 卷組成的層次結(jié)構(gòu)存儲(chǔ)被組織成volume的形式，而卷是由raidgroup組成的，而raidgroup又是由磁盤組成的， 這就是卷組 成的層次關(guān)系。靈活卷是在 aggragate（物理卷）上劃分，物理卷是由raidgroup組成，而raidgroup是由磁盤 組成的。TraditionalZvolO/plexOsr-r are J'AqmK七!L 口rxREA RERAIDgroup 0PUD DRA

36、IDgroup 1PDDD傳統(tǒng)卷直接在raidgroup組成，而沒有將raidgroup在組成一個(gè)物理磁盤池Aggregate;flex?ol1/piexC4忙/口MxO口 RAID Group 1P PDDDDDDD DDD DD而靈活卷是在物理磁盤池上劃分出來的。每個(gè)卷是個(gè)獨(dú)立的文件系統(tǒng)，用戶可以在上面保存或者檢索數(shù)據(jù)。每個(gè)netapp存儲(chǔ)都必須有一個(gè)root volume ,存儲(chǔ)啟動(dòng)的時(shí)候要讀取在它上面保存的數(shù)據(jù)。一般是第一個(gè)shlef的前三塊盤組成root卷，缺省是做成Raid0。一般將磁盤劃分為多個(gè)卷，而不是劃分為一個(gè)很大容量的卷，這樣做的好處如下：在更小的卷上，備份或者恢復(fù)數(shù)據(jù)更快

37、單獨(dú)的卷上的屬性和 options可以設(shè)置成不一樣，這樣管理員可以定制怎么管理它，因?yàn)榭赡苓@些卷 的作用不一樣。單獨(dú)的卷可以臨時(shí)offline 了，來執(zhí)行維護(hù)和管理任務(wù)，而其它卷依然可以在線，并不影響它們的數(shù)據(jù)存取。卷也可以自動(dòng) offline。如果root卷不能訪問了，存儲(chǔ)依然可以從其它volume啟動(dòng)并提供持續(xù)服務(wù)。1.5.4、 傳統(tǒng)卷和靈活卷要考慮的問題傳統(tǒng)卷：如果你是升級(jí)到DataONTAP 7從以前的版本，升級(jí)程序保護(hù)你原有存在的卷全作為傳統(tǒng)卷。你還可以創(chuàng)建一個(gè)傳統(tǒng)卷和物理卷，物理的全部傳輸給另一個(gè)存儲(chǔ)。傳統(tǒng)卷的命名必須遵循以下規(guī)則：以字母或下劃杠口開頭只能包含字母、數(shù)字和口不能超過

38、255個(gè)字符。靈活卷的考慮：Foreign volume或aggragate是從另II的filer整個(gè)移過來安裝到另一個(gè) filer,也就是說把這個(gè) volume包含 的磁盤整個(gè)挪到另一個(gè)存儲(chǔ)。NetApp推薦這種操作最好是從一個(gè) NVRAM容量小的filer挪到一個(gè)容 量大的。靈活卷空間的保證 (aggr commitment)卷的語(yǔ)言種類備份卷克隆采用多個(gè)卷的優(yōu)勢(shì)：備份和恢復(fù)功能占用更少的時(shí)間。可以獨(dú)立為每個(gè)設(shè)置屬性和options可以獨(dú)立將volume offline ,而不影響其它 volume.如果最原始的root卷不可得到，系統(tǒng)還可以從其它卷boot1.5.5、 root volu

39、me 和 /VOL每個(gè)存儲(chǔ)只能有一個(gè) root volume,雖然系統(tǒng)指派的root卷可以是改變的。Root volume的主要作用就是啟 動(dòng)存儲(chǔ)。它是唯一具有 root屬性的卷，而它里面的/etc目錄保存的是配置信息。它與其它 vol差不多，只不 過這個(gè)vol還存放ontap的配置信息、日志、firmware等等東西。如果愿意，你可以往 vol0里面存數(shù)據(jù)， 但不建議那么做。 /vol O /volO 丁 /etcSpecial virtual root pathRoot volume/Directory (configuration informatian| / /VolumeDirect

40、ory0 /users /cheryl目錄名是由/vol開頭的:/vol/vol0 是 volume 名。/vol/user/cheryl 是/vol/usr 卷上的個(gè)目錄。注意：/vol不是一個(gè)目錄，它是一個(gè)特殊的虛擬root路徑，存儲(chǔ)用它來 mount其它目錄。你不能通過Mount /vol來看其它卷，只能是 mount每個(gè)卷單獨(dú)的，所以一定注意/vol并不是一個(gè)根 mount點(diǎn)。1.5.6、 數(shù)據(jù)的可靠性數(shù)據(jù)的可靠性是NetApp存儲(chǔ)的基礎(chǔ)： 這里有兩個(gè)功能來增加數(shù)據(jù)的可靠性：RAID-level checksum -增強(qiáng)數(shù)據(jù)保護(hù)和可靠性，checksum是由一組數(shù)據(jù)計(jì)算得來的， 它和數(shù)

41、據(jù)一起傳 輸，接受者會(huì)比較受到的數(shù)據(jù)和 checksum如果不匹配就表明發(fā)生了數(shù)據(jù)丟失。 Data ONTAP支持兩種 類型的 checksums:Zoned Checksums (ZCS)Block Checksums (BCS)Multipath I/O用來提供鏈路的冗余，消除單點(diǎn)故障。這種多鏈路連接保證了存儲(chǔ)里面的每塊盤都有兩條路徑來連接。兩條環(huán)路，目前一個(gè)環(huán)路支持最多6個(gè)磁盤柜。從上圖可以看見這個(gè)filer在slot7和slot8分別安裝了雙口的主機(jī)卡，磁盤柜上面也是兩塊卡，每塊卡也是兩個(gè)口，一進(jìn)一出。雙口主機(jī)卡不是必須的，但使用雙口卡可以節(jié)省PCI插槽。這樣連接提供了更高的可靠性。每

42、種連接方式和硬件平臺(tái)、主機(jī)卡型號(hào)、磁盤柜型號(hào)都有關(guān)系。上圖shelf0-2組成一個(gè)loop,shelf3-5 組成一個(gè)環(huán)路。1.5.7、 aggr命令和 vol命令aggr命令與vol命令類似，除了它是在 aggr上執(zhí)行外Common Volume Commandsaggr create <3ggmame> options «disklist>aggr add(options <disklist>aggr status <aflgmarr»e>aggr rename <aggnname> <(iew«ag

43、grn3me>aggr options <aggr-nam«> <option-name> <option-val>aggr offline (<atv-nBme> | < pl ex-name aggr online (<atv*<iame> | <plex*name> aggr destroy| <plex-n9me>前面已經(jīng)試驗(yàn)了一些 aggr命令。vol命令用來管理傳統(tǒng)卷和靈活卷，common volume命令針對(duì)傳統(tǒng)卷和靈活卷全有效。Commoni Volume Comma

44、ndsvol create <vol-name> (optionsvol status (vol-name)vol renamevolTirm、<ne4iame>vol options <vol-name> <options-n3tne> <option-val>vol offline <vpbrame> | <plex'<iame>vol online <vol-T3tne> options | <plex-narne>vol restrict <vol-riame>vol destroy <vol-name> I <ple»t-name> optionsT raditionai Volume Corninandsvol add <YOl-name> options <disk-ltst>Flexible Volume Commandsvol create «flexvolname=> <aggrname* size vol she <flexvolriame> +|