數(shù)據(jù)存儲與備份基礎知識培訓PPT課件

1、匯報提綱存儲 備份 恢復與容災第1頁/共62頁傳統(tǒng)計算機存儲系統(tǒng)的問題傳統(tǒng)計算機存儲系統(tǒng)的問題l 硬盤的容量有限l 有限的硬盤槽位，難滿足大容量需求l 單個硬盤存放數(shù)據(jù)，數(shù)據(jù)可靠性難以保證l 存儲空間利用率低l 本地存儲，數(shù)據(jù)分散 第2頁/共62頁數(shù)據(jù)被破壞的原因自然災害系統(tǒng)管理員及維護人員的誤操作計算機設備故障病毒感染造成的數(shù)據(jù)破壞Internet上“黑客”的侵入和來自內(nèi)部網(wǎng)的蓄意破壞第3頁/共62頁存儲備份的意義 隨著信息技術的飛速發(fā)展，人們對計算機信息系統(tǒng)的依賴程度越來越強， 信息化給人們帶來快捷的服務和方便的管理時，也給人們帶來數(shù)字信息丟失的風險。數(shù)據(jù)的丟失會中斷企業(yè)的正常運行，同時也

2、會給企業(yè)造成巨大的經(jīng)濟損失。數(shù)字信息丟失、破壞，就無異于丟掉了過去、失去了現(xiàn)在，甚至斷送了未來。數(shù)據(jù)丟失的主要原因可分為二大類，一類為存放數(shù)據(jù)的硬件設備出現(xiàn)故障，另一類是人為因素，如計算機犯罪、計算機病毒、軟軟件錯誤及人為的誤操作。其中，人為的誤操作是最常見的現(xiàn)象。因此，數(shù)據(jù)的存儲、備份成為保證數(shù)據(jù)安全的重要措施。 存儲備份也稱為數(shù)據(jù)備份，數(shù)據(jù)備份是將數(shù)據(jù)以某種方式加以保留，以便在系統(tǒng)遭受破壞或其他特定情況下重新加以利用的一個過程。而數(shù)據(jù)備份的最終目的不是備份，而是快速恢復數(shù)據(jù)。 第4頁/共62頁存儲 第5頁/共62頁 第6頁/共62頁什么是存儲什么是存儲1、存儲是信息的載體，是圍繞“信息、數(shù)

3、據(jù)”而展開的，提供信息保存、信息備份、信息安全以及信息生命周期管理設備。2、存儲是根據(jù)不同的業(yè)務，采用合適、安全、有效的技術方案將信息存放在具有冗余、保護、遷移等功能的物理媒介。3、存儲是 實現(xiàn)核心業(yè)務數(shù)據(jù)存放、關鍵數(shù)據(jù)保護、高效率的備份恢復和歸檔，以及搭建容災系統(tǒng)提供業(yè)務連續(xù)性等 的一個完整的系統(tǒng)。第7頁/共62頁存儲（磁盤陣列磁盤陣列）的構(gòu)造1、控制器2、磁盤柜、擴展柜3、磁盤第8頁/共62頁影響磁盤陣列可靠性穩(wěn)定性的因素電源系統(tǒng)散熱系統(tǒng)背板設計控制器環(huán)境監(jiān)控Host Spare 第9頁/共62頁存儲的分類第10頁/共62頁存儲的三種常見模式DASDirect Attached Stora

4、geNASNetwork Attached StorageSANStorage Area Network第11頁/共62頁DAS DAS（Direct Attached Storage直接連接存儲）是指將存儲設備通過SCSI接口或光纖通道直接連接到一臺計算機上。 DAS的適用環(huán)境為：1）服務器在地理分布上很分散，通過SAN或NAS在它們之間進行互連非常困難時(商店或銀行的分支便是一個典型的例子)；2）存儲系統(tǒng)必須被直接連接到應用服務器（如Microsoft Cluster Server或某些數(shù)據(jù)庫使用的“原始分區(qū)”）上時；3）包括許多數(shù)據(jù)庫應用和應用服務器在內(nèi)的應用，它們需要直接連接到存儲器上

5、，群件應用和一些郵件服務也包括在內(nèi)。當服務器在地理上比較分散，很難通過遠程連接進行互連時，直接連接存儲是比較好的解決方案，甚至可能是唯一的解決方案。利用直接連接存儲的另一個原因也可能是企業(yè)決定繼續(xù)保留已有的傳輸速率并不很高的網(wǎng)絡系統(tǒng)。 第12頁/共62頁DAS 基于DAS結(jié)構(gòu)的存儲備份 第13頁/共62頁DAS 優(yōu)點 v低費用v使用簡單v容易安裝v價格相對較低缺點v不能共享v連接距離有限 v升級困難v缺乏較好的高可用性v維護復雜 適宜于小型機構(gòu)的存儲解決方案第14頁/共62頁 網(wǎng)絡附加存儲設備（Network Attached Storage，NAS）是一種專業(yè)的網(wǎng)絡文件存儲及文件備份設備，它

6、通過標準的網(wǎng)絡拓撲結(jié)構(gòu)連接到計算機網(wǎng)絡上，利用現(xiàn)有的網(wǎng)絡資源來接入專用的網(wǎng)絡存儲設備，因此也稱為網(wǎng)絡直網(wǎng)絡直聯(lián)存儲設備聯(lián)存儲設備、網(wǎng)絡磁盤陣列系統(tǒng)網(wǎng)絡磁盤陣列系統(tǒng)。 NAS 第15頁/共62頁 優(yōu)點 v容易安裝，維護簡單v共享數(shù)據(jù)v跨平臺文件共享v遠程訪問v減輕服務器負擔v充分利用網(wǎng)絡帶寬缺點v不適合數(shù)據(jù)庫存儲v孤立的存儲設備v傳輸速率低成為瓶頸 主要適宜于文件存儲的解決方案NAS 第16頁/共62頁SAN 基于SAN結(jié)構(gòu)的存儲備份 存儲域網(wǎng)絡（Storage Area Network）以數(shù)據(jù)存儲為中心，采用可伸縮的網(wǎng)絡拓撲結(jié)構(gòu)，通過具有高傳輸速率的光纖通道直接連接，提供SAN內(nèi)部任意節(jié)點之間

7、的多路可選擇的數(shù)據(jù)交換，并且將數(shù)據(jù)存儲管理集中在相對獨立的存儲區(qū)域網(wǎng)內(nèi)。第17頁/共62頁光纖通道 = 是SAN Fabric的基礎為存儲系統(tǒng)提供一個網(wǎng)絡連接模式客戶機LAN(局域網(wǎng)局域網(wǎng))廣域網(wǎng)廣域網(wǎng)存儲區(qū)域網(wǎng)（第二網(wǎng)）Fabric = 第二網(wǎng)“Fabric”是一個由智能光纖通道交換機構(gòu)成并具有良好系統(tǒng)設計的高智能網(wǎng)絡, 這一數(shù)據(jù)網(wǎng)絡可以提供企業(yè)級的性能, 擴展能力, 可管理能力, 可靠性和可用能力服務器存儲子系統(tǒng)第一網(wǎng)SAN 第18頁/共62頁Fiber Channel SwitchesDiskArray 主機服務器 光纖交換機 磁盤陣列簡單的SAN存儲結(jié)構(gòu)第19頁/共62頁 線纜（光纖或

8、銅線） FC HBA、 GBIC、& MIAFC HUB/交換機 數(shù)據(jù)網(wǎng)關 服務器存儲管理軟件: Tivoli SANergy VERITAS SANPoint Direct ADIC Centravision SGI CXFS Transoft FibreNet ATTO StudioNet存儲系統(tǒng) RAID，JBOD 磁帶存儲設備 光存儲設備 SAN的組成第20頁/共62頁 優(yōu)點 v設備整合，維護方便v存儲資源利用率高v高擴展性v高數(shù)據(jù)存取效率v充分利用網(wǎng)絡帶寬缺點v成本較高v安裝和升級比NAS復雜 主要適宜于大型數(shù)據(jù)存儲的解決方案SAN 第21頁/共62頁DAS（直連式存儲）NA

9、S（網(wǎng)絡式存儲）SAN（存儲區(qū)域網(wǎng)絡)傳輸類型SCSI、FCIPIP、FC、SAS數(shù)據(jù)類型數(shù)據(jù)塊文件數(shù)據(jù)塊典型應用任何(適用于小型機構(gòu)的存儲解決）文件服務器數(shù)據(jù)庫應用優(yōu)點v磁盤與服務器分離，便于統(tǒng)一管理v使用簡單v容易安裝v價格相對較低v容易安裝，維護簡單v共享數(shù)據(jù)v跨平臺文件共享，支持多系統(tǒng)v遠程訪問v減輕服務器負擔v充分利用網(wǎng)絡帶寬u高擴展性u高可用性u數(shù)據(jù)集中，易管理缺點v不能共享v連接距離有限 v升級困難v缺乏較好的高可用性v維護復雜v不適合數(shù)據(jù)庫存儲v孤立的存儲設備v傳輸速率低成為瓶頸u相比NAS成本較高u安裝和升級比NAS復雜第22頁/共62頁 存儲傳輸?shù)挠布ǖ烙腥N： &

10、;傳輸通道傳輸通道&通過以太網(wǎng)線連接通過SCSI線纜連接通過光纖線纜連接 iSCSI HBA CardiSCSI 磁盤陣列SCSI HBA CardSCSI 磁盤陣列FC HBA CardFC磁盤陣列以太網(wǎng)線SCSI線纜光纖線纜主機GE Card第23頁/共62頁 第24頁/共62頁早期外部存儲系統(tǒng)JBOD （Just a Bunch of Disks） ：是在邏輯上把幾個物理磁盤一個接一個的串聯(lián)在一起，其目的純粹是為了增加磁盤的容量，并不提供數(shù)據(jù)安全保障。CPU硬盤RAMServerRAID功能SCSI卡JBOD(Just Bound Of Disk)第25頁/共62頁存儲技術的核心

11、：RAID RAID是“Redundant Array of Independent Disks”的縮寫，中文意思獨立磁盤冗余陣列，早期又稱“Redundant Array of Inexpensive Disks”廉價磁盤冗余陣列，由美國加州伯克利分校的D.A.Patterson教授在1988年提出。 簡單的說，RAID是一種把多塊獨立的硬盤（物理硬盤）按不同方式組合起來形成一個硬盤組（邏輯硬盤），從而提供比單個硬盤更高的存儲性能和提供數(shù)據(jù)冗余的技術。組成磁盤陣列的不同方式成為RAID級別（RAID Levels）。 第26頁/共62頁RAID 0：條帶化結(jié)構(gòu) 以條帶形式將RAID組的數(shù)據(jù)均

12、勻分布在各個硬盤中，因此具有很高的數(shù)據(jù)傳輸率。它沒有數(shù)據(jù)冗余，盡管不占用CPU資源，但并不能算是真正的RAID結(jié)構(gòu)。RAID 0只是單純地提高性能，并沒有為數(shù)據(jù)的可靠性提供保證，而且其中的一個磁盤失效將影響到所有數(shù)據(jù)。RAID 0不能應用于數(shù)據(jù)安全性要求高的場合。最少磁盤數(shù)2個允許壞0顆磁盤容量計算：C=N* DC：可用容量N：磁盤個數(shù)D：磁盤容量 優(yōu)點：優(yōu)點：傳輸率和硬盤利用率最高，價格便宜。缺點：缺點： 無冗余，可靠性最差，其中一個磁盤發(fā)生故障，所有數(shù)據(jù)將丟失。應用：應用：通常使用在暫存數(shù)據(jù)和高 I/O 速率的工作站 。RAID 0第27頁/共62頁yMyFileliFMe第28頁/共62

13、頁RAID 1：鏡像結(jié)構(gòu) 它是通過磁盤數(shù)據(jù)鏡像實現(xiàn)數(shù)據(jù)冗余，在成對的獨立磁盤上產(chǎn)生互 為備份的數(shù)據(jù)，100%的數(shù)據(jù)冗余。當原始數(shù)據(jù)繁忙時，可直接從鏡像拷貝中讀取數(shù)據(jù)，因此RAID 1可以提高讀取性能。RAID 1的成本比較高，其硬盤空間利用率只有1/2。 當一個磁盤失效時，系統(tǒng)可以自動切換到鏡像磁盤上讀寫，而不需要重組失效的數(shù)據(jù)，提供了很高的數(shù)據(jù)安全性和可用性。最小磁盤數(shù)2個。允許壞1顆磁盤容量計算：C=(N/2)*DC：可用容量N：磁盤個數(shù)D：磁盤容量優(yōu)點：優(yōu)點：可用性高，即使一個磁盤發(fā)生故障，邏輯硬盤上的數(shù)據(jù)依然可用。缺點：缺點：需要 2 個磁盤，但只使用其中一個存儲數(shù)據(jù)。應用：應用：通常

14、使用于較小的系統(tǒng)，其中一個磁盤的容量足夠，并用作啟動盤。 RAID 1第29頁/共62頁MyFileyyeeMMFFiill第30頁/共62頁RAID3：帶奇偶校驗碼的并行傳送將數(shù)據(jù)條塊化分布于不同的硬盤上， RAID 3使用簡單的奇偶校驗，并用單塊磁盤存放奇偶校驗信息。如果一塊磁盤失效，奇偶盤及其他數(shù)據(jù)盤可以重新產(chǎn)生數(shù)據(jù)；如果不過如果校驗盤也損壞，就無法恢復數(shù)據(jù)了。RAID具有較高的讀速率，適合大文件連續(xù)操作的應用。但有數(shù)據(jù)盤故障時，每次讀操作時都需要進行校驗計算，讀性能大幅度下降。最小磁盤數(shù)3個。允許壞1顆磁盤，但不能是校驗盤容量計算：C=(N-1)*DC：可用容量N：磁盤個數(shù)D：磁盤容量

15、優(yōu)點：優(yōu)點：可用性高，即使一個磁盤發(fā)生故障，邏輯硬盤上的數(shù)據(jù)依然可用優(yōu)點：優(yōu)點：很好地利用了磁盤空間（如 n 個磁盤的陣列，n-1 被用作數(shù)據(jù)存儲）缺點：缺點：必須計算冗余信息，這樣就限制了寫入性能 應用：應用：由于安裝容量與實際可用容量的比率較高，通常用于較大的數(shù)據(jù)存儲系統(tǒng)RAID 3第31頁/共62頁yMyFileliFMe第32頁/共62頁RAID5：分布式奇偶校驗的獨立磁盤結(jié)構(gòu) 實際是由RAID3所衍生而來的技術。 RAID3的工作速度比RAID0要慢一些，如果存儲數(shù)據(jù)的硬盤發(fā)生損壞，可利用校驗盤上的校驗信息恢復數(shù)據(jù)，不過如果校驗盤也損壞，就無法恢復數(shù)據(jù)了。 RAID5針對RAID所存

16、在的安全隱患，將數(shù)據(jù)奇偶校驗信息均勻分布在各數(shù)據(jù)硬盤上，硬盤同時保存數(shù)據(jù)和校驗信息，這樣就不用擔心校驗盤損壞所帶來的數(shù)據(jù)安全問題，RAID 5是最常用的RAID方式之一。允許壞1顆磁盤最小磁盤數(shù)3個。容量計算：C=(N-1)*DC：可用容量N：磁盤個數(shù)D：磁盤容量優(yōu)點：優(yōu)點：可用性高，即使一個磁盤發(fā)生故障，邏輯硬盤上的數(shù)據(jù)依然可用；很好地利用了磁盤空間缺點：缺點：必須計算冗余信息，這樣就限制了寫入性能 應用：應用：由于安裝容量與實際可用容量的比率較高，通常用于較大的數(shù)據(jù)存儲系統(tǒng)RAID 5第33頁/共62頁yMyFileliFMe第34頁/共62頁RAID10：高可靠性與高效磁盤結(jié)構(gòu) 是將鏡像

17、和條帶進行兩級組合的級別。第一級是RAID1鏡像，第二級為RAID 0累加，這種組合提高了讀/寫速率，并可用允許硬盤損壞，因此RAID10也是一種應用比較廣泛的RAID級別。但是RAID10和RAID1一樣只有1/2的磁盤利用率。最小硬盤數(shù)4個。適合銀行、證劵類對數(shù)據(jù)非常敏感的企業(yè) 允許壞2顆磁盤容量計算：C=N*D/2C：可用容量N：磁盤個數(shù)D：磁盤容量優(yōu)點：優(yōu)點：高讀取速度；高寫入速度，寫開銷較??；特定情況下，可以允許N/2個硬盤同時損壞缺點：缺點：磁盤利用率低，只有1/2的硬盤利用率，至少需要4塊磁盤應用：應用：數(shù)據(jù)量大，安全性要求高的環(huán)境，如銀行、金融等領域RAID10第35頁/共62

18、頁RAID-0RAID-1RAID-1MMyyFFiilleeMyFile第36頁/共62頁RAID10和RAID01是否一致？第37頁/共62頁RAID1RAID1RAID0RAID0RAID0RAID1RAID10模型模型RAID01模型模型第38頁/共62頁RAID 6（獨立的數(shù)據(jù)硬盤與兩個獨立分布式校方案）RAID 6等級是在RAID 5基礎上，為了進一步加強數(shù)據(jù)保護而設計的一種RAID方式，實際上是一種擴展RAID 5等級。與RAID 5的不同之處于除了每個硬盤上都有同級數(shù)據(jù)XOR校驗區(qū)外，還有一個針對每個數(shù)據(jù)塊的XOR校驗區(qū)。當然，當前盤數(shù)據(jù)塊的校驗數(shù)據(jù)不可能存在當前盤而是交錯存儲

19、的，具體形式見圖。第39頁/共62頁RAID6 DP的工作原理D12D0D4D8D13D1D5D9D14D2D6D10P3P0P1P2DP3DP0DP1DP2驅(qū)動器驅(qū)動器1驅(qū)動器驅(qū)動器2驅(qū)動器驅(qū)動器3橫向校驗盤橫向校驗盤斜向校驗盤斜向校驗盤條帶0條帶1條帶2條帶3DP4D15D3D7D11驅(qū)動器驅(qū)動器4DPDouble Parity，就是在RAID4所使用的一個行XOR校驗磁盤的基礎上又增加了一個磁盤用于存放斜向的XOR校驗信息 橫向校驗盤中P1P4為各個數(shù)據(jù)盤中橫向數(shù)據(jù)的校驗信息例：P0=D0 XOR D1 XOR D2 XOR D3 斜向校驗盤中DP1DP4為各個數(shù)據(jù)盤及橫向校驗盤的斜向數(shù)

20、據(jù)的校驗信息 例：DP0=D0 XOR D5 XOR D10XOR D15磁盤故障 數(shù)據(jù)恢復第40頁/共62頁u 所謂熱備份是在建立RAID磁盤陣列系統(tǒng)的時候，將其中一磁盤指定為熱備磁盤，此熱備磁盤在平常并不操作，當陣列中某一磁盤發(fā)生故障時，熱備磁盤便取代故障磁盤，并自動將故障磁盤的數(shù)據(jù)重構(gòu)在熱備磁盤上。u 熱備盤分為：全局熱備盤和局部熱備盤全局熱備盤：針對整個磁盤陣列，對陣列中所有RAID組起作用。局部熱備盤：只針對某一RAID組起作用。u 因為反應快速，加上快取內(nèi)存減少了磁盤的存取，所以數(shù)據(jù)重構(gòu)很快即可完成，對系統(tǒng)的性能影響不大。對于要求不停機的大型數(shù)據(jù)處理中心或控制中心而言，熱備份更是一

21、項重要的功能，因為可避免晚間或無人守護時發(fā)生磁盤故障所引起的種種不便。熱備（HotSpare）第41頁/共62頁Hot Spare全局 Hot SpareSet 1Set 2本地 Hot SpareSet 1Set 2Hot SpareHot Spare 具有 自動復制 + 替換 功能第42頁/共62頁熱備與重構(gòu)熱備與重構(gòu)RAID5 set of drives:4 active,1 hot-spareCOPY BACK完成完成某個磁盤損壞，重構(gòu)過程開始某個磁盤損壞，重構(gòu)過程開始重構(gòu)過程結(jié)束，重構(gòu)過程結(jié)束，RAID5可靠性恢復冗可靠性恢復冗余余插入新磁盤，插入新磁盤，COPYBACK開始開始第4

22、3頁/共62頁備份 第44頁/共62頁 第45頁/共62頁 數(shù)據(jù)備份：就是使用存儲介質(zhì)，定期將系統(tǒng)/業(yè)務數(shù)據(jù)備份下來，以保證數(shù)據(jù)意外丟失時能盡快恢復，從而將損失降到最低點。其主要目的是通過備份的方式提高數(shù)據(jù)的安全性能。 數(shù)據(jù)備份分類： 離線備份，即把數(shù)據(jù)備份至磁帶，目前的主要技術有LAN-free、Server-free等，這種方式恢復時間比較長，但投資較少； 在線備份，也稱數(shù)據(jù)復制，即同步數(shù)據(jù)備份，恢復時間非常短。備份系統(tǒng)介紹第46頁/共62頁常用備份介質(zhì)常用備份介質(zhì) 目前備份的常用介質(zhì) 磁盤：備份到Disk/RAID存儲子系統(tǒng)中 光盤：備份到光盤庫中 磁帶：使用磁帶機，磁帶自動裝載機或磁帶

23、庫進行備份 以前比較多的是使用磁帶設備來備份數(shù)據(jù) 新趨勢：基于SATA的虛擬磁帶庫技術第47頁/共62頁LCD介介質(zhì)質(zhì)進進出出艙艙門門驅(qū)驅(qū)動動器器1驅(qū)驅(qū)動動器器2驅(qū)驅(qū)動動器器預預留留位位機機械械手手電電源源磁磁帶帶槽槽驅(qū)驅(qū)動動器器預預留留位位磁帶庫構(gòu)成示意圖磁帶庫構(gòu)成示意圖第48頁/共62頁備份窗口備份窗口 它是指在用戶正常使用的業(yè)務系統(tǒng)不受影響的情況下，能夠?qū)I(yè)務系統(tǒng)中的業(yè)務數(shù)據(jù)進行數(shù)據(jù)備份的時間間隔，或者說是用于備份的時間段。 備份窗口根據(jù)操作特性來設定。例如，如果數(shù)據(jù)從早上8點到午夜被使用，則可用于備份時間就為午夜到早上8點（備份窗口）。 為了保證備份數(shù)據(jù)的一致性，在備份過程中數(shù)據(jù)不能被

24、更改。所以在某些情況下，備份窗口是數(shù)據(jù)和應用不可用的間隔時間。第49頁/共62頁備份的內(nèi)容 重要數(shù)據(jù)； 系統(tǒng)文件； 應用程序； 整個分區(qū)或整個硬盤； 日志文件第50頁/共62頁備份的層次：硬件級備份硬件級的備份是指用多余的硬件來保證系統(tǒng)的連續(xù)運行。如硬盤雙工、雙機容錯等。如果一個硬件損壞，后備硬件馬上能夠接替其工作。但這種方式無法防止邏輯上的錯誤，如人為誤操作、病毒、數(shù)據(jù)錯誤等，無法真正保護數(shù)據(jù)。硬件備份的作用實際上是保證系統(tǒng)在出現(xiàn)故障時能連續(xù)運行，更應稱為硬件容錯。第51頁/共62頁備份的層次：軟件級備份軟件級的備份是指通過某種備份軟件將系統(tǒng)數(shù)據(jù)保存在其他介質(zhì)上，當系統(tǒng)出現(xiàn)錯誤時可以再通過軟件將系統(tǒng)恢復到備份時的狀態(tài)。這種方法備份和恢復要花費一定的時間。但這種方法可以完全防止邏輯損壞，因為備份介質(zhì)和計算機系統(tǒng)是分開的，錯誤不會復寫到介質(zhì)上。只要保存足夠長時間的歷史數(shù)據(jù)，就一定能夠恢復正確的數(shù)據(jù)。第52頁/共62頁備份的層次：軟件級備份軟件級的備份是指通過某種備份軟