計(jì)算機(jī)軟件及應(yīng)用存儲基礎(chǔ)知識.pptx

1、目 錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念7/11/2022存儲分類封閉系統(tǒng)的存儲開放系統(tǒng)的存儲內(nèi)置存儲外掛存儲Direct-Attached Storage直接式存儲（DAS）Fabric-Attached Storage網(wǎng)絡(luò)存儲（FAS）Network-Attached Storage網(wǎng)絡(luò)接入存儲（NAS） Storage Area Network存儲區(qū)域網(wǎng)絡(luò)（SAN）7/11/20222DAS/SAN/NAS組網(wǎng)示意圖7/11/20223DAS（Direct Attachment Storage）直接連接存儲：存儲設(shè)備是通過電纜（通常是SCSI接口電纜）直

2、接連到服務(wù)器的。 I/O請求直接發(fā)送到存儲設(shè)備應(yīng)用服務(wù)器Block I/OSCSI協(xié)議StorageDAS4典型DAS結(jié)構(gòu)7/11/20225DAS分析連接簡單集成在服務(wù)器內(nèi)部；點(diǎn)到點(diǎn)的連接；距離短；安裝技術(shù)要求不高低成本需求SCSI總線成本低較好的性能通用的解決方案DAS的投資低，絕大多數(shù)應(yīng)用可以接受DAS優(yōu)勢有限的擴(kuò)展性SCSI總線的距離最大25米；最多15個(gè)設(shè)備專屬的連接空間資源無法與其他服務(wù)器共享備份和數(shù)據(jù)保護(hù)備份到與服務(wù)器直連的磁帶設(shè)備上硬件失敗將導(dǎo)致更高的恢復(fù)成本TCO（總擁有成本高）存儲容量的加大導(dǎo)致管理成本上升存儲使用效率低DAS劣勢6NAS（Network Attachmen

3、t Storage）應(yīng)用服務(wù)器File I/OIP協(xié)議NAS網(wǎng)絡(luò)連接存儲：存儲設(shè)備連接到現(xiàn)有的網(wǎng)絡(luò)上，提供數(shù)據(jù)和文件服務(wù)7典型NAS結(jié)構(gòu)7/11/20228NAS的優(yōu)勢資源共享構(gòu)架于IP網(wǎng)絡(luò)之上部署簡單較好的擴(kuò)展性異構(gòu)環(huán)境下的文件共享易于管理備份方案簡單低的TCONAS優(yōu)勢擴(kuò)展性有限一些應(yīng)用會占用帶寬資源不適應(yīng)某些數(shù)據(jù)庫的應(yīng)用NAS劣勢9SAN（Storage Area Network）應(yīng)用服務(wù)器Block I/OFCP協(xié)議SAN存儲區(qū)域網(wǎng)絡(luò)：它是一個(gè)用在服務(wù)器和存儲資源之間的、專用的、高性能的網(wǎng)絡(luò)體系。它為實(shí)現(xiàn)大量原始數(shù)據(jù)的傳輸而進(jìn)行了專門的優(yōu)化。10典型SAN結(jié)構(gòu)7/11/202211SA

4、N的優(yōu)勢實(shí)現(xiàn)存儲介質(zhì)的共享非常好的擴(kuò)展性易于數(shù)據(jù)備份和恢復(fù)實(shí)現(xiàn)備份磁帶共享LAN Free和Server Free高性能支持服務(wù)器群集技術(shù)容災(zāi)手段低的TCOSAN優(yōu)勢成本較高需要專用的連接設(shè)備如FC交換機(jī)以及HBASAN孤島技術(shù)較為復(fù)雜需要專業(yè)的技術(shù)人員維護(hù)SAN劣勢12DAS/NAS/SAN三種形態(tài)比較DASNASFC-SANIP-SAN傳輸類型SCSI、FCIPFCIP數(shù)據(jù)類型塊級文件級塊級塊級典型應(yīng)用任何文件服務(wù)器數(shù)據(jù)庫應(yīng)用視頻監(jiān)控優(yōu)點(diǎn)易于理解兼容性好易于安裝成本低高擴(kuò)展性高性能高可用性高擴(kuò)展性成本低缺點(diǎn)難以管理，擴(kuò)展性有限存儲空間利用率不高性能較低對某些應(yīng)用不適合比較昂貴，配置復(fù)雜互操

5、作性問題性能較低7/11/202213目 錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念7/11/2022存儲傳輸?shù)挠布ǖ烙腥N： 傳輸通道通過以太網(wǎng)線連接通過SCSI線纜連接通過光纖線纜連接 iSCSI HBA CardiSCSI 磁盤陣列SCSI HBA CardSCSI 磁盤陣列FC HBA CardFC磁盤陣列以太網(wǎng)線SCSI線纜光纖線纜主機(jī)GE Card15SCSI協(xié)議SCSI是小型計(jì)算機(jī)系統(tǒng)接口（Small Computer System Interface）的簡稱，主要用于高端系統(tǒng)的連接，現(xiàn)在已完全普及到了小型機(jī)及高端服務(wù)器。SCSI存儲是以主機(jī)為中心的

6、；一條SCSI總線上可以串接多臺不同類型的設(shè)備。SCSI協(xié)議可以劃分為SCSI-1、SCSI-2、SCSI-3，最新的為SCSI-3，也是目前應(yīng)用最廣泛的SCSI版本。 屬于SCSI-3 的 Ultra 320 SCSI 的最高數(shù)據(jù)傳輸率已經(jīng)達(dá)到了320MB/s。7/11/202216iSCSI協(xié)議的分層結(jié)構(gòu)FC協(xié)議的分層結(jié)構(gòu)iSCSI和FC協(xié)議層次比較目 錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念7/11/202218RAID簡介 RAID是廉價(jià)冗余磁盤陣列(Redundant Array of Inexpensive Disks) 的簡稱名詞說明分區(qū)又稱為Ext

7、ent；是一個(gè)磁盤上的地址連續(xù)的存儲塊。一個(gè)磁盤可以劃分為多個(gè)分區(qū)，每個(gè)分區(qū)可以大小不等，有時(shí)也稱為邏輯磁盤。分塊又稱為Strip；將一個(gè)分區(qū)分成多個(gè)大小相等的、地址相鄰的塊，這些塊稱為分塊。分塊通常被認(rèn)為是條帶的元素。虛擬磁盤以它為單位將虛擬磁盤的地址映射到成員磁盤的地址。條帶又稱為Stripe；是陣列的不同分區(qū)上的位置相關(guān)的strip的集合，是組織不同分區(qū)上條塊的單位。軟RAIDRAID 的所有功能都依賴于操作系統(tǒng)（OS）與服務(wù)器CPU來完成，沒有第三方的控制/處理（業(yè)界稱其為RAID 協(xié)處理器RAID Co-Processor）與I/O芯片硬RAID有專門的RAID 控制/處理與I/O處

8、理芯片，用來處理RAID任務(wù)，不需耗用主機(jī)CPU資源，效率高，性能好。19RAID0 ：Striped Disk Array without Fault Tolerance( 沒有容錯(cuò)設(shè)計(jì)的條帶磁盤陣列，以條帶形式將RAID陣列的數(shù)據(jù)均勻分布在各個(gè)陣列中?？?cè)萘?(磁盤數(shù)量)*(磁盤容量)RAID0（一）20優(yōu)點(diǎn)缺點(diǎn)可多I/O操作并行處理，極高的讀寫效率速度快，由于不存在校驗(yàn)，所以不占用cpu資源設(shè)計(jì)，使用與配置簡單無冗余，一個(gè)RAID 0的磁盤失敗，那么數(shù)據(jù)將徹底丟失不能用于關(guān)鍵數(shù)據(jù)環(huán)境適用領(lǐng)域：視頻生成和編輯圖像編輯較為“擁擠”的操作其他需要大的傳輸帶寬的操作 至少需要磁盤數(shù) ：2個(gè)RAI

9、D0（二）21RAID 1 ：以鏡像作為冗余手段，虛擬磁盤中的數(shù)據(jù)有多個(gè)拷貝，放在成員磁盤上?？?cè)萘?(磁盤數(shù)量 / 2)*(磁盤容量) RAID1（一）22RAID1（二）優(yōu)點(diǎn)缺點(diǎn)理論上讀效率是單個(gè)磁盤的兩倍；100的數(shù)據(jù)冗余；設(shè)計(jì)、使用簡單ECC效率低下，磁盤ECC的CPU占用率是所有RAID等級中最高的，在所有成本高；軟RAID方式下，很少能支持硬盤的熱插拔；空間利用率只有1/2適用領(lǐng)域：財(cái)務(wù)統(tǒng)計(jì)與數(shù)據(jù)庫金融系統(tǒng)其他需要高可用的數(shù)據(jù)存儲環(huán)境至少需要磁盤數(shù) 2個(gè)23 RAID3 (條帶分布+專用盤校驗(yàn))：以xor校驗(yàn)為冗余方式，使用專門的磁盤存放校驗(yàn)數(shù)據(jù)， 虛擬磁盤上的數(shù)據(jù)塊被分為更小的數(shù)

10、據(jù)塊并行傳輸?shù)礁鱾€(gè)成員物理磁盤上 ，同時(shí)計(jì)算出xor校驗(yàn)數(shù)據(jù)存放到校驗(yàn)磁盤上?？?cè)萘?(磁盤數(shù)量 -1)*(磁盤容量) RAID3（一）24RAID3（二）優(yōu)點(diǎn)缺點(diǎn)相對較高的讀取傳輸率高可用性，如果有一個(gè)磁盤損壞，對吞吐量影響較小高效率的ECC操作校驗(yàn)盤成為性能瓶頸每次讀寫牽動整個(gè)組，每次只能完成一次I/O 適用領(lǐng)域：視頻生成和在線編輯圖像和視頻編輯其他需要高吞吐量的的場合至少需要磁盤數(shù) 3個(gè)25RAID5 (條帶技術(shù)+分布式校驗(yàn))：以XOR檢驗(yàn)為冗余方式，校驗(yàn)數(shù)據(jù)均勻分布在各個(gè)數(shù)據(jù)磁盤上，對各個(gè)數(shù)據(jù)磁盤的訪問為異步操作?？?cè)萘?(磁盤數(shù) -1)*(磁盤容量)RAID5（一）A0A1A2A34

11、PRITYC0C12PRITYC2C3B0B1B23PRITYB3D01PRITYD1D2D30PRITYE1E2E3E4ABCDE26RAID5（二）優(yōu)點(diǎn)缺點(diǎn)高讀取速率中等寫速率異或校驗(yàn)影響存儲性能磁盤損壞后，重建很復(fù)雜適用領(lǐng)域：文件服務(wù)器和應(yīng)用服務(wù)器OLTP環(huán)境的數(shù)據(jù)庫WEB，EMAIL服務(wù)器至少需要磁盤數(shù) 3個(gè)27RAID6（二）優(yōu)點(diǎn)缺點(diǎn)快速的讀取性能更高的容錯(cuò)能力 很慢的寫入速度成本更高 適用領(lǐng)域：高可靠性環(huán)境至少需要磁盤數(shù)： 4個(gè)28RAID10（二）優(yōu)點(diǎn)缺點(diǎn)高讀取速率高寫速率，較校驗(yàn)RAID而言，寫開銷最小至多可以容許N個(gè)磁盤同時(shí)損壞（2N個(gè)磁盤組成的RAID10陣列）貴只有1/2

12、的磁盤利用率適用領(lǐng)域：要求高可靠性和高性能的數(shù)據(jù)庫服務(wù)器至少需要磁盤數(shù)： 4個(gè)29RAID50（二）優(yōu)點(diǎn)缺點(diǎn)比單個(gè)RAI5容納更多的磁盤比單個(gè)RAID5有更好的讀性能至多可以容許n個(gè)磁盤同時(shí)損壞（N個(gè)RAID5組成的RAID50陣列）比相同容量的單個(gè)RAID5重建時(shí)間更短比較難實(shí)現(xiàn)同一個(gè)RAID5組內(nèi)的兩個(gè)磁盤損壞會導(dǎo)致整個(gè)RAID50陣列的失效適用領(lǐng)域：大型數(shù)據(jù)庫服務(wù)器應(yīng)用服務(wù)器文件服務(wù)器至少需要磁盤數(shù)： 6個(gè)30目 錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念7/11/2022所謂熱備份是在建立RAID磁盤陣列系統(tǒng)的時(shí)候，將其中一磁盤指定為熱備磁盤，此熱備磁盤在平

13、常并不操作，當(dāng)陣列中某一磁盤發(fā)生故障時(shí)，熱備磁盤便取代故障磁盤，并自動將故障磁盤的數(shù)據(jù)重構(gòu)在熱備磁盤上。熱備盤分為：全局熱備盤和局部熱備盤全局熱備盤：針對整個(gè)磁盤陣列，對陣列中所有RAID組起作用。局部熱備盤：只針對某一RAID組起作用。因?yàn)榉磻?yīng)快速，加上快取內(nèi)存減少了磁盤的存取，所以數(shù)據(jù)重構(gòu)很快即可完成，對系統(tǒng)的性能影響不大。對于要求不停機(jī)的大型數(shù)據(jù)處理中心或控制中心而言，熱備份更是一項(xiàng)重要的功能，因?yàn)榭杀苊馔黹g或無人守護(hù)時(shí)發(fā)生磁盤故障所引起的種種不便。熱備（HotSpare）7/11/202232目 錄存儲組網(wǎng)形態(tài)主要協(xié)議RAID磁盤熱備與重構(gòu)快照與復(fù)制數(shù)據(jù)分級存儲概念7/11/2022邏

14、輯卷快照(snapshot)DEA C基本概念：Base Volume ：快照源卷Repository Volume ：快照倉儲卷，保存快照源卷在快照過程中被修改以前的數(shù)據(jù)Snapshot Volume ：快照卷某一個(gè)時(shí)間點(diǎn)的邏輯卷映像：邏輯上相當(dāng)于整個(gè)Base Volume的拷貝可將Sanpshot Volume分配給任何一臺主機(jī)Snapshot Volume可讀取、寫入或拷貝存儲空間需求需要相當(dāng)于Base Volume 20%的額外空間用途文件、邏輯卷恢復(fù)備份、測試、數(shù)據(jù)分析等7/11/202234W R E P O S I T S N A P S H O T V O L UM B A S E V O L UM E X Y Z R I T E S首先，在快照完成之前控制器是禁止對源卷進(jìn)行寫操作的。倉儲卷默認(rèn)是源卷大小的20%滿足上面條件后，快照過程開始進(jìn)行快照(snapshot)開始 7/11/202235最后一步我們源卷的原數(shù)據(jù)已經(jīng)寫到了倉儲卷上 B A S V O E T S N A P S H O T V O L UMW R I E T E L UM S X Y Z快照卷的指針指到了新的數(shù)據(jù)位置源卷數(shù)據(jù)更新完畢7/1