MD磁盤陣列及存儲知識點

1、目錄：=MD3200存儲知識分享=-1 基礎知識點-1.1 按結構存儲數據的方式常見的有三種：DAS/NAS/SAN DAS1DAS(Direct-Attached Storage) 即直接連接存儲技術，此為以主機為中心的傳統(tǒng)存儲方式，現在在各大銀行的中心業(yè)務系統(tǒng)中常能見到這種方式。 NAS2NAS (Network Attached Storage) 即網絡附加存儲方式，此為以專業(yè)的網絡文件存儲及文件備份為中心的方式，是現在以文件存儲為主的一種存儲方式。 SAN3SAN(Stroage Area Network) 即存儲局域網，指獨立于異構計算網絡系統(tǒng)之外幾乎擁有無限存儲容量的高速網絡。其采

2、用高速的光纖通道作為傳輸媒介，1)XFCP+SCSI協(xié)議作為存儲訪問協(xié)議，將存儲子系統(tǒng)網絡化、開放化、虛擬化、智能化，實現真正的高速、安全、共享存儲，是今后主流存儲模式。.1 FC-SAN.2 IP-SAN1.2 雙控 控制器RAID 控制器模塊RAID 控制器模塊提供了高性能、高級虛擬磁盤配置以及容錯式磁盤子系統(tǒng)管理。每個 RAID 控制器模塊包含 2 GB 高速緩存，并使用其他控制器的高速緩存制作該高速緩存的鏡像以實現高可用性，同時該高速緩存還受到電池供電的高速緩存卸載機件的保護。RAID 控制器模塊提供以下數據路徑和機柜管理功能：監(jiān)測和控制存儲設備環(huán)境要素（溫度、風扇、電源設備和存儲設備

3、 LED）控制對物理磁盤的訪問將機柜屬性和狀態(tài)報告給主機服務器和管理工作站每個 RAID 控制器模塊均具有多個用于主機訪問的 SAS IN 端口。這些端口提供了冗余主機連接并支持高可用性存儲環(huán)境。用戶能以單控制器（單工）和雙控制器（雙工）模式利用各種配置，將存儲柜連接至主機，具體取決于所需冗余。 電池和緩存.1 電池電池備份單元每個 RAID控制器均含有兩芯鋰離子納米聚合物電池備份單元（BBU）。停電時，可向RAID控制器模塊提供電力，請參閱RAID控制器模塊備用電池裝置。對于虛擬磁盤，RAID控制器固件將根據電池狀態(tài)更改電池高速緩存設置。如果電池缺失或是沒有足夠電量，控制器會清除高速緩存并對

4、所有虛擬磁盤將寫入高速緩存屬性設置為直寫式。如果替換了電池，則會重新啟用回寫。.2 緩存高速緩存的功能和特點高速緩存鏡像高速緩存鏡像功能可將已接收的主機寫入數據從主控制器復制到輔助控制器。該操作可確保成功完成狀態(tài)返回主機之前，將主機寫入數據安全地映射到輔助控制器。如果控制器出現故障，其余控制器則會安全地保留所有映射數據。高速緩存默認啟用?；貙懯礁咚倬彺嬖诨貙懯礁咚倬彺嬷校瑢懭氩僮鲿е赂咚倬彺嬉坏┦盏揭獙懭氲臄祿?，便向主機操作系統(tǒng)發(fā)送完成信號。目標物理磁盤將在更適當的時間接收數據以提高控制器性能。當您采用已啟用回寫式高速緩存的雙活動控制器配置時，在將完成狀態(tài)發(fā)送給主機啟動程序之前，寫入數據始終

5、會映射至第二控制器的高速緩存?；貙懯礁咚倬彺婺J啟用，除非禁用了高速緩存鏡像。直寫式高速緩存在直寫式高速緩存中，在將完成狀態(tài)返回主機操作系統(tǒng)之前，會將數據寫入物理磁盤。由于直寫式高速緩存在發(fā)生電源故障時不易導致數據丟失，因此一般認為它比回寫式高速緩存更為可靠。如果禁用高速緩存鏡像或缺少電池或存在故障，RAID 控制器便會自動切換至直寫式。1.3 硬盤類型PATA/SATA/SCSI/SAS/FC FCFC硬盤FC硬盤是指采用FC-AL( Fiber Channel  Arbitrated  Loop，光纖通道仲裁環(huán)) 接口模式的磁盤。FC-AL使光纖通道能夠直接作為硬盤連接

6、接口，為高吞吐量性能密集型系統(tǒng)的設計者開辟了一條提高I/O性能水平的途徑。目前高端存儲產品使用的都是FC接口的硬盤。FC硬盤名稱由于通過光學物理通道進行工作，因此起名為光纖硬盤，現在也支持銅線物理通道。就像是IEEE-1394, Fibre Channel 實際上定義為SCSI-3標準一類，屬于SCSI的同胞兄弟。作為串行接口FC-AL峰值可以達到2Gbits/s甚至是4Gbits/s。而且通過光學連接設備最大傳輸距離可以達到10KM。通過FC-loop可以連接127個設備，也就是為什么基于FC硬盤的存儲設備通?？梢赃B接幾百顆甚至千顆硬盤提供大容量存儲空間。關于光纖硬盤以其的優(yōu)越的性能、穩(wěn)定的

7、傳輸，在企業(yè)存儲高端應用中擔當重要角色。業(yè)界普遍關注的焦點在于光纖接口的帶寬。最早普及使用的光纖接口帶寬為1Gb，隨后2Gb帶寬光纖產品統(tǒng)治市場已經長達三年時間?，F在的帶寬標準是4Gb，目前普遍廠商都已經采用4Gb相關產品。8Gb光纖產品也將在不久的將來取代4Gb光纖成為市場主流。4Gb是以2Gb為基礎延伸的傳輸協(xié)議，可以向下兼容1Gb和2Gb，所使用的光纖線材、連接端口也都相同，意味著使用者在導入4Gb設備時，不需為了兼容性問題更換舊有的設備，不但可以保護既有的投資，也可以采取漸進式升級的方式，逐步淘汰舊有的2Gb設備。 SASSAS硬盤SAS 是Serial Attached SCSI的縮

8、寫，即串行連接SCSI。和現在流行的Serial ATA(SATA)硬盤相同，都是采用串行技術以獲得更高的傳輸速度，并通過縮短連結線改善內部空間。SAS是新一代的SCSI技術。SAS是并行SCSI接口之后開發(fā)出的全新接口。此接口的設計是為了改善存儲系統(tǒng)的效能、可用性和擴充性，提供與串行ATA (Serial ATA，縮寫為SATA)硬盤的兼容性。SAS技術還有簡化內部連接設計的優(yōu)勢，存儲設備廠商目前投入相當多的成本以支持包括光纖通道陣列、SATA陣列等不同的存儲設備，而SAS連接技術將可以通過共用組件降低設計成本。為保護用戶投資，SAS的接口技術可以向下兼容SATA。SAS系統(tǒng)的背板(Back

9、plane)既可以連接具有雙端口、高性能的SAS驅動器，也可以連接高容量、低成本的SATA驅動器。過去由于SCSI、ATA分別占領不同的市場段，且設備間共享帶寬，在接口、驅動、線纜等方面都互不兼容，造成用戶資源的分散和孤立，增加了總體擁有成本。而現在，用戶即使使用不同類型的硬盤，也不需要再重新投資，對于企業(yè)用戶投資保護來說，實在意義非常。但需要注意的是，SATA系統(tǒng)并不兼容SAS，所以SAS驅動器不能連接到SATA背板上。SAS 使用的擴展器可以讓一個或多個 SAS 主控制器連接較多的驅動器。每個擴展器可以最多連接 128 個物理連接，其中包括其它主控連接，其它 SAS 擴展器或硬盤驅動器。這

10、種高度可擴展的連接機制實現了企業(yè)級的海量存儲空間需求，同時可以方便地支持多點集群，用于自動故障恢復功能或負載平衡。目前，SAS接口速率為3Gbps，其SAS擴展器多為12端口。不久，將會有6Gbps甚至12Gbps的高速接口出現，并且會有28或36端口的SAS擴展器出現以適應不同的應用需求。其實際使用性能足于光纖媲美。由于SAS由SCSI發(fā)展而來，在主機端會有眾多的廠商兼容。SAS采用了點到點的連接方式，每個SAS端口提供3Gb帶寬，傳輸能力與4Gb光纖相差無幾，這種傳輸方式不僅提高了高可靠性和容錯能力，同時也增加了系統(tǒng)的整體性能。在硬盤端，SAS協(xié)議的交換域能夠提供16384個節(jié)點，而光纖環(huán)

11、路最多提供126個節(jié)點。而兼容SATA硬盤所體現的擴展性是SAS的另一個顯著優(yōu)點，針對不同的業(yè)務應用范圍，在硬盤端用戶可靈活選擇不同的存儲介質，按需降低了用戶成本。在SAS接口享有種種得天獨厚的優(yōu)勢的同時，SAS產品的成本從芯片級開始，都遠遠低于FC，而正是因為SAS突出的性價比優(yōu)勢，使SAS在硬盤接口領域，給光纖存儲帶來極大的威脅。 SATASATA硬盤傳統(tǒng)的并行ATA（PATA）技術曾經在低端的存儲應用中有過光輝的歲月，但由于自身的技術局限性，逐步被串行總線接口協(xié)議（Serial ATA，SATA）所替代。SATA以它串行的數據發(fā)送方式得名。在數據傳輸的過程中，數據線和信號線獨立使用，并且

12、傳輸的時鐘頻率保持獨立，因此同以往的PATA相比，SATA的傳輸速率可以達到并行的30倍?？梢哉f：SATA技術并不是簡單意義上的PATA技術的改進，而是一種全新的總線架構。從總線結構上，SATA 使用單個路徑來傳輸數據序列或者按照bit來傳輸，第二條路徑返回響應?？刂菩畔⒂妙A先定義的位來傳輸，并且分散在數據中間，以打包的格式用開/關信號脈沖發(fā)送，這樣就不需要另外的傳輸線。SATA帶寬為16-bit。并行Ultra ATA總線每個時鐘頻率傳輸16bit數據，而SATA僅傳輸1bit，但是串行總線可以更高傳輸速度來彌補串行傳輸的損失。SATA將會引入1500Mbits/sec帶寬或者1.5Gbit

13、s/sec帶寬。由于數據用8b/10b編碼，有效的最大傳輸峰值是150Mbytes/sec。目前能夠見到的有SATA-1和SATA-2兩種標準，對應的傳輸速度分別是150MB/s和300MB/s。從速度這一點上，SATA已經遠遠把PATA硬盤甩到了后面。其次，從數據傳輸角度上，SATA比PATA抗干擾能力更強。此外，串口的數據線由于只采用了四針結構，因此相比較起并口安裝起來更加便捷，更有利于縮減機箱內的線纜，有利散熱。盡管SATA在諸多性能上遠遠優(yōu)越于PATA，甚至在某些單線程任務的測試中，表現出了不輸于SCSI的性能，然而它的機械底盤仍然為低端應用設計的，在面對多線程的傳輸任務時，相比SCS

14、I硬盤，仍然顯得力不從心。 優(yōu)勢總結SAS帶來了哪些技術優(yōu)勢(超強的傳輸速度就不多說了)。SAS帶來的好處首先來自于創(chuàng)新的線纜架構。在系統(tǒng)內部采用比SCSI更細、針腳更少的SATA線纜，有助于服務器廠商更好地解決氣流和散熱問題。而且，用于外部存儲的SAS線纜也比目前的并行SCSI線纜要細也更便宜，并跟InfiniBand的插頭標準一致，從而有益于簡化機房管理。節(jié)省了空間，從而提高了使用SAS硬盤服務器的散熱、通風能力。SAS 技術降低了磁盤陣列的成本。具備簡化內部連接設計的優(yōu)勢，可以通過共用組件降低設計成本。這樣就可以花更少的錢享受SCSI接口的性能。串行接口讓傳輸性能提高。每個傳輸通道都是在

15、全雙工方式下進行的，性能要比傳統(tǒng)SCSI更高。SAS結構有非常好的擴展能力，通過SAS Expander最多可以連接16384個磁盤設備。SAS接口使存儲系統(tǒng)應用更加靈活，可以根據實際需求選擇SAS磁盤或者SATA磁盤。如果需要應用于I/O負載較輕的應用比如文件共享、FTP、音頻存儲、數據備份等可以考慮基于SATA硬盤的陣列。如果I/O負載較重的FTP、VOD、EMAIL、Web、數據庫應用，那么可以考慮基于SAS/FC硬盤的存儲系統(tǒng)。SAS類存儲用于中小規(guī)模的數據庫。從成本、穩(wěn)定性、擴展性等各個方面考慮選擇的。目前最高傳輸速率為6Gb。1.4 多路徑多控制器控制單個邏輯卷需要配置優(yōu)先級，所以

16、就需要有配置多路徑。否則陣列無法確認各個鏈路對磁盤的控制權。1.5 RAID級別 RAID級別RAID 級別RAID 級別定義數據寫入物理磁盤的方式。不同的 RAID 級別提供不同的可訪問性、冗余和容量級別。與使用單個物理磁盤相比，使用多個物理磁盤有以下優(yōu)勢：將數據置于多個物理磁盤（條帶）上可讓輸入/輸出（I/O）操作同時發(fā)生，并且改善性能。如果發(fā)生錯誤，則使用鏡像或奇偶校驗在多個物理磁盤上存儲冗余數據以支持重建丟失的數據，即使錯誤是由物理磁盤的故障引起的。每個 RAID 級別提供不同的性能和保護。應該根據應用程序類型、訪問權限、容錯能力和正在存儲的數據來選擇 RAID 級別。存儲陣列支持 R

17、AID 級別 0、1、5、6 和 10。磁盤組中可使用的最大物理磁盤數目取決于 RAID 級別：RAID 0、1 和 10 為 96 個RAID 5 和 6 為 30 個RAID 級別的用法為確保最佳性能，可在創(chuàng)建系統(tǒng)物理磁盤時選擇最佳 RAID 級別。磁盤陣列的最佳 RAID 級別取決于：磁盤陣列中的物理磁盤的數目磁盤陣列中的物理磁盤的容量數據冗余訪問的需要（容錯能力）磁盤性能要求RAID 0RAID 0 使用磁盤分拆提供高數據吞吐量，尤其適用于不需要數據冗余的環(huán)境中的大型文件。RAID 0 將數據劃分為各個數據段，并將每個數據段寫入單獨的物理磁盤。這樣可通過將 I/O 負載分散到多個物理磁

18、盤上來大幅提高 I/O 性能。盡管在所有 RAID 級別中 RAID 0 可提供最佳的性能，但是它缺少數據冗余。該項僅用于對數據安全性要求不高的場合，因為一個物理磁盤的故障會導致丟失所有數據。RAID 0 應用程序的示例包括視頻編輯、圖像編輯、印前應用程序或任何需要高帶寬的應用程序。RAID 1RAID 1 使用磁盤鏡像，因此可以將寫入一個物理磁盤的數據同時寫入另一個物理磁盤。該 RAID 級別提供最快的性能和最佳的數據可用性，但是磁盤開銷也最高。對于小型數據庫或其他對容量要求不高的應用程序（例如結帳、工資單或財務應用程序），則建議使用 RAID 1。RAID 1 提供完全數據冗余。RAID

19、5RAID 5 在所有物理磁盤中使用奇偶校驗和分拆數據（分布式奇偶校驗）以提供高數據吞吐量和數據冗余，這尤其適用于小型隨機存取。RAID 5 是通用的 RAID 級別，適合多用戶環(huán)境，其中典型 I/O 大小較小且大部分是讀取動作，例如文件、應用程序、數據庫、web、電子郵件、新聞和內部網服務器。RAID 6RAID 6 與 RAID 5 相似，但是可提供額外的奇偶校驗磁盤以實現更佳的冗余。RAID 6 是最通用的 RAID 級別并且適合多用戶環(huán)境，其中典型 I/O 大小較小且大部分是讀取動作。如果使用了較大的物理磁盤或者在磁盤組中使用了大量物理磁盤，則建議使用 RAID 6。RAID 10RA

20、ID 10 是 RAID 1 和 RAID 0 的組合，使用跨鏡像磁盤范圍的磁盤分拆技術。它可以提供高數據吞吐量和完整數據冗余。使用偶數數目的物理磁盤（四個或更多）創(chuàng)建 RAID 級別 10 磁盤組和/或虛擬磁盤。因為 RAID 級別 1 和 10 使用磁盤鏡像，所以物理磁盤有一半的容量會用于鏡像。同時將另一半物理磁盤容量用于實際存儲。在使用四個或更多的物理磁盤時，如果選擇了 RAID 級別 1，則會自動使用 RAID 10。RAID 10 很適合中型數據庫，或者任何需要高性能和容錯能力以及適度到中等容量的環(huán)境。 分段大小分段大小磁盤分拆可實現在多個物理磁盤上寫入數據。由于會同時訪問分拆的磁盤

21、，因此磁盤分拆可增強性能。分段大小或磁條元素大小指定寫入單個磁盤的磁條中的數據大小。MD3200 系列陣列支持的磁條元素大小為 8、16、32、64、128、256 和 512 KB。默認的磁條元素大小為 128 KB。磁條寬度或深度與實施分拆的陣列中涉及的磁盤數目相關。例如，實施磁盤分拆且包含四個磁盤的磁盤組的磁條寬度為四。注：盡管磁盤分拆可實現出色的性能，但分拆本身并不提供數據冗余。1.6 電源和散熱1.7 lun號邏輯卷號，類似于C/D/E類的盤符。lun的全稱是logical unit number，也就是邏輯單元號。我們知道scsi總線上可掛接的設備數量是有限的，一般為6個或者15個

22、，我們可以用target ID(也有稱為scsi id的)來描述這些設備，設備只要一加入系統(tǒng)，就有一個代號，我們在區(qū)別設備的時候,只要說幾號幾號就ok了。而實際上我們需要用來描述的對象，是遠遠超過該數字的，于是我們引進了lun的概念，也就是說lun id的作用就是擴充了target id。每個target下都可以有多個lun device，我們通常簡稱lun device為lun，這樣就可以說每個設備的描述就有原來的target x變成target x lun y了,那么顯而易見的,我們描述設備的能力增強了.就好比,以前你給別人郵寄東西,寫地址的時候,可以寫:xx市人民大街54號 xxx(收)

23、但是自從高樓大廈越來越多,你不得不這么寫:xx市人民大街54號xx大廈518室 xxx (收)所以我們可以總結一下,lun就是我們?yōu)榱耸褂煤兔枋龈嘣O備及對象而引進的一個方法而已,一點也沒什么特別的地方.1.8 HBA卡 HBA卡用于轉換SAS信號（當然也有光纖HBA卡，用于轉換光信號）常規(guī)定義：就是連接主機I/O總線和計算機內存系統(tǒng)的I/O適配器。按照這個定義，像顯卡就是連接視頻總線和內存，網卡就是連接網絡總線和內存，SCSI-FC卡就是連接SCSI或者FC總線和內存的，它們都應該算是HBA。HBA卡有SAS HBA、FC-HBA和iSCSI HBA卡，但是，HBA通常用在SCSI。Adap

24、ter(適配器)和NIC用于FC；而NIC也會用于以太網和令牌環(huán)網。其實，網卡是大家常提到的一個類型設備的總稱，是指安裝在主機里，通過網絡連接線（雙絞線、光纖線纜、同軸電纜等）與網絡交換機（以太網交換機、FC交換機、ISCSI交換機等）、或與其它網絡設備（存儲設備、服務器、工作站等）連接，從而形成一個網絡的硬件設備。 容易混淆的概念光纖網卡這個稱呼到底是不是指光纖口HBA卡呢？實際上常說的光纖網卡指的就是光纖通道網絡里的HBA卡。因傳輸協(xié)議的不同的，網卡可分為三種，一是以太網卡，二是FC網卡，三是iSCSI網卡。以太網卡：學名Ethernet Adapter,傳輸協(xié)議為IP協(xié)議,一般通過光纖線

25、纜或雙絞線與以太網交換機連接。接口類型分為光口和電口。光口一般都是通過光纖線纜來進行數據傳輸，接口模塊一般為SFP（傳輸率2Gb/s）和GBIC（1Gb/s）,對應的接口為SC、ST和LC。電口目前常用接口類型為RJ45,用來與雙絞線連接，也有與同軸電纜連接的接口，不過現在已經用的比較少了。FC網卡：一般也叫光纖網卡，學名Fibre Channel HBA。傳輸協(xié)議為光纖通道協(xié)議，一般通過光纖線纜與光纖通道交換機連接。接口類型分為光口和電口。光口一般都是通過光纖線纜來進行數據傳輸，接口模塊一般為SFP（傳輸率2Gb/s）和GBIC（1Gb/s）,對應的接口為SC和LC。電口的接口類型一般為DB

26、9針或HSSDC。ISCSI網卡：學名ISCSI HBA，傳輸ISCSI協(xié)議，接口類型與以太網卡相同。區(qū)別如下：HBA卡：FC-HBA卡（俗稱：光纖網卡）、iSCSI-HBA卡（RJ45接口） 、SAS-HBA卡（SAS接口）以太網卡：光纖接口的以太網卡（俗稱：光纖以太網卡）-2 管理配置-2.1 管理程序 MDSM支持linux和windows下管理 安裝、使用2.2 管理方法 映射映射:配置主機訪問權限使用映射選項可以在 mappings（映射）選項卡中：定義主機和主機組添加選定主機組的映射創(chuàng)建主機并分配別名或用戶標簽。將新的主機端口標識符添加或關聯(lián)到特定主機。更改主機端口標識符

27、別名或用戶標簽。將主機端口標識符移動或關聯(lián)到其他主機。用新的主機端口標識符替換現有主機端口標識符。手動激活非活動的主機端口以便該端口能夠存取特定于主機或主機組的 LUN 映射。將主機端口類型設置為其他類型。將主機從一個主機組移動到另一主機組。刪除主機組、主機或主機端口標識符。重命名主機組或主機。 帶內管理 帶外管理 卸載硬件2.3 多路徑配置 RedHat5.5默認支持檢測路徑故障并將 I/O 重新路由至其他可用路徑在路徑恢復后重新驗證有故障的路徑利用多個可用路徑使性能最大化根據路徑狀態(tài)和錯誤條件重新配置路徑使用將多個設備節(jié)點統(tǒng)一為單個邏輯多路徑設備節(jié)點識別新的多路徑 LU 并自動配置新的多路

28、徑節(jié)點在 /dev/mapper/ 下為 DM 設備提供永久的設備名稱 /dev/mapper下rootracnode2 # ls -lah /dev/mapper/total 0drwxr-xr-x  2 root root     220 Sep 17 17:36 .drwxr-xr-x 14 root root    4.4K Sep 17 17:37 .crw-  1 root root  10, 63 Sep 17 17:35 controlbrw-rw-  1 root d

29、isk 253,  2 Sep 17 17:36 mpath1brw-rw-  1 root disk 253,  6 Sep 17 17:36 mpath1p1brw-rw-  1 root disk 253,  3 Sep 17 17:36 mpath2brw-rw-  1 root disk 253,  5 Sep 17 17:36 mpath2p1brw-rw-  1 root disk 253,  4 Sep 17 17:36 mpath3brw-rw-  1 root disk 25

30、3,  7 Sep 17 17:36 mpath3p1brw-rw-  1 root disk 253,  0 Sep 17 17:36 VolGroup00-LogVol00brw-rw-  1 root disk 253,  1 Sep 17 17:35 VolGroup00-LogVol01rootracnode2 # ls /dev/mapper/control  mpath1  mpath1p1  mpath2  mpath2p1  mpath3  mpath3p1 

31、; VolGroup00-LogVol00  VolGroup00-LogVol01rootracnode2 # multipath -llmpath2 (36842b2b000529134000003e24c902c42) dm-3 DELL,MD32xxsize=346Gfeatures=3 queue_if_no_path pg_init_retries 50hwhandler=1 rdacrw_ round-robin 0 prio=100active_ 1:0:1:3  sdg 8:96  activeready_ round-robin 0 prio=0enabled_ 1:0:0:3  sdc 8:32  activeghostmpath1 (36842b2b000529134000003e04c902bf0