存儲備份的基本體系結(jié)構(gòu)

1、存儲&備份的基礎(chǔ)bird_man2003-10-26n存儲備份系統(tǒng)的發(fā)展n存儲備份n存儲備份技術(shù)中的誤區(qū)n構(gòu)建存儲備份系統(tǒng)的原則 內(nèi)容存儲備份系統(tǒng)的發(fā)展n軟盤，硬盤，磁帶，磁光盤nscsi技術(shù)，ssa技術(shù)，fc技術(shù)，iscsi技術(shù)ndas，nas，sannLan backup，lanfree backup，serverfree backupn.SCSI技術(shù)與RAID技術(shù)nSCSI是Small Computer System Interface(小型計算機(jī)系統(tǒng)接口)的英文縮寫。SCSI最早是一種并行連接使用SCISI命令的計算機(jī)硬件接口。nRedundant Array of Inexpensi

2、ve (or Independent) Drive。RAID是1988年由美國加州大學(xué)的Berkeley分校的David Patterson等幾人提出來的。 RAIDnRAID條切“striped”的存取模式在使用數(shù)據(jù)條切Data Stripping 的RAID 系統(tǒng)之中，對成員磁盤驅(qū)動器的存取方式，可分為兩種：并行存取Paralleled Access獨立存取Independent AccessRAID 2和RAID 3 是采取并行存取模式。RAID 0、RAID 4、RAID 5及RAID 6則是采用獨立存取模式 平行存取模式n并行存取模式支持里，是把所有磁盤驅(qū)動器的主軸馬達(dá)作精密的控制，

3、使每個磁盤的位置都彼此同步，然后對每一個磁盤驅(qū)動器作一個很短的I/O數(shù)據(jù)傳送，如此一來，從主機(jī)來的每一個I/O 指令，都平均分布到每一個磁盤驅(qū)動器。n為了達(dá)到并行存取的功能，RAID 中的每一個磁盤驅(qū)動器，都必須具備幾乎完全相同的規(guī)格：轉(zhuǎn)速必須一樣；磁頭搜尋速度Access Time必須相同；Buffer 或Cache的容量和存取速度要一致；CPU處理指令的速度要相同；I/O Channel 的速度也要一樣?？偠灾?，要利用并行存取模式，RAID 中所有的成員磁盤驅(qū)動器，應(yīng)該使用同一廠牌，相同型號的磁盤驅(qū)動器。 獨立存取模式n相對于并行存取模式，獨立存取模式并不對成員磁盤驅(qū)動器作同步轉(zhuǎn)動控制，

4、其對每個磁盤驅(qū)動器的存取，都是獨立且沒有順序和時間間格的限制，同時每筆傳輸?shù)臄?shù)據(jù)量都比較大。因此，獨立存取模式可以盡量地利用overlapping 多任務(wù)、Tagged Command Queuing等等高階功能，來“隱藏”上述磁盤驅(qū)動器的機(jī)械時間延遲Seek 和Rotational Latency。n由于獨立存取模式可以做overlapping 多任務(wù)，而且可以同時處理來自多個主機(jī)不同的I/O Requests，在多主機(jī)環(huán)境如Clustering，更可發(fā)揮最大的性能。 RAID級別 相對優(yōu)點 相對缺點nRAID 0 存取速度最快 沒有容錯 nRAID 1 完全容錯 成本高 nRAID 3 寫

5、入性能最好 沒有多任務(wù)功能 nRAID 4 具備多任務(wù)及容錯功能 Parity 磁盤驅(qū)動器造成性能瓶頸 nRAID 5 具備多任務(wù)及容錯功能 寫入時有overhead nRAID 0+1/RAID 10 速度快、完全容錯 成本高 TapenDDS,8mm,AIT(HP,Exabyte,SONY)nDLT(ATL)nLTO(IBM,HP,Segate)n9840(STK)n.SANnSAN = Storage Area Network (存儲區(qū)域網(wǎng)絡(luò))n是一種基于光網(wǎng)的特殊的后臺后臺數(shù)據(jù)存取網(wǎng)絡(luò)n提供了一個性能穩(wěn)定的數(shù)據(jù)高速存取平臺n關(guān)鍵概念:n支持前臺企業(yè)信息處理網(wǎng)絡(luò) (例如：Ethernet

6、及TCP/IP）有助于減輕關(guān)鍵工作量和增加應(yīng)用性能及高可用性n成為一種有靈活同時有擴(kuò)展性的數(shù)據(jù)平臺來解決現(xiàn)有的數(shù)據(jù)遷移和數(shù)據(jù)共享瓶頸問題n基于NCITS T11:光纖通道(Fibre Channel)標(biāo)準(zhǔn)I/O接口 (X3.230-1994) 光纖通道的特性n光纖通道的優(yōu)點n為一個新的多用途網(wǎng)絡(luò)多用途網(wǎng)絡(luò)信息基礎(chǔ)結(jié)構(gòu), 用于連接開放系統(tǒng)存儲, 網(wǎng)絡(luò), 視頻應(yīng)用和服務(wù)器集群應(yīng)用.n為上層協(xié)議(SCSI,IP，ATM，IEEE 802.2等)提供一個通用硬件傳輸平臺n高速高速: 現(xiàn)在可以提供2Gbit(200MB)/秒的數(shù)據(jù)傳輸速率, 全雙工專有連接,未來可升級至

7、10Gbit/秒n串行的串行的, ,無阻塞無阻塞(non-blocking)數(shù)據(jù)傳輸n最大10公里連接距離(通過擴(kuò)展器可連接上千公里上千公里,適于災(zāi)難恢復(fù)應(yīng)用)n多平臺多平臺系統(tǒng)支持(包括 AIX, NT, Solaris, HP/UX, UNIX, LINUX, Novell,等)n支持傳統(tǒng)傳統(tǒng)環(huán)境和應(yīng)用n光纖通道的技術(shù)能力n不存在無線電信號散射 (RFI), 從而消除了電磁信號n串行數(shù)據(jù)傳輸, 每傳輸一位需要0.94納秒(極小的時間延遲)n使用8b/10b編碼方式將8位轉(zhuǎn)換為10b格式進(jìn)行串行傳輸串行傳輸(內(nèi)置時鐘信號)n先進(jìn)的流控制流控制系統(tǒng)保證數(shù)據(jù)按順序傳輸.n最多可以連接1 1千千6

8、 6百萬百萬個節(jié)點(交換Fabric模式)n幀大小可調(diào)整, 支持128128MBMB的批量數(shù)據(jù)傳輸n強(qiáng)大的錯誤更正能力(位錯誤位錯誤率率 = 1= 1x10 x10-12-12), 比原有銅連接網(wǎng)絡(luò)強(qiáng)大1,000倍光纖通道 = 是SAN Fabric的基礎(chǔ)為存儲系統(tǒng)提供一個網(wǎng)絡(luò)連接模式客戶機(jī)LAN(局域網(wǎng)局域網(wǎng))廣域網(wǎng)廣域網(wǎng)存儲區(qū)域網(wǎng)存儲區(qū)域網(wǎng)（第二網(wǎng)）Fabric = 第二網(wǎng)第二網(wǎng)“Fabric”是一個由智能光纖通道交換機(jī)構(gòu)成并具有良好系統(tǒng)設(shè)計的高智能網(wǎng)絡(luò), 這一數(shù)據(jù)網(wǎng)絡(luò)可以提供企業(yè)級的性能, 擴(kuò)展能力, 可管理能力, 可靠性和可用能力服務(wù)器存儲子系統(tǒng)第一網(wǎng)第一網(wǎng)光纖通道的拓?fù)浣Y(jié)構(gòu)nFibr

9、e Channel有三種拓?fù)浣Y(jié)構(gòu)有三種拓?fù)浣Y(jié)構(gòu):n點對點點對點(Point-to-Point) 兩個設(shè)備之間互連n仲裁環(huán)仲裁環(huán)(Arbitrated Loop) 最多支持126個設(shè)備互連，形成一個仲裁環(huán) n交換式交換式Fabric(Switch Fabric) 最多1千6百萬個設(shè)備互連點對點點對點交換式交換式 FabricArbitrated Loop (仲裁環(huán)仲裁環(huán))光纖通道協(xié)議映射ATMFC - ATMIPFC鏈路封裝FC - LE高層協(xié)議 (ULPs) 支持現(xiàn)有協(xié)議 對于操作系統(tǒng)是透明的 不做更改+ 新的能力SCSI-3SCSI 3命令集映射 IPI - 3 命令集映射 (IPI-3 S

10、TD)FC-4FC - AL -2FC-3通用服務(wù)FC-0FC-1FC-2光纖物理與信號接口 ( FC- PH, FC-PH2, FC-PH3 )物理變換編碼 / 解碼結(jié)構(gòu)協(xié)議FC - AL8b/10b 編碼銅, 光連接第二網(wǎng)啟動順序：n建議遵循一定的順序啟動網(wǎng)絡(luò)設(shè)備n首先要啟動的就是網(wǎng)絡(luò)系統(tǒng)，包括所有的交換機(jī)并確定所有的設(shè)備連接正常n第二網(wǎng)啟動進(jìn)程:(1)啟動Fabric1(3)啟動服務(wù)器系統(tǒng)3(2)啟動存儲設(shè)備2NASn網(wǎng)絡(luò)附加存儲設(shè)備（Network Attached Storage，NAS）是一種專業(yè)的網(wǎng)絡(luò)文件存儲及文件備份設(shè)備，或稱為網(wǎng)絡(luò)直聯(lián)存儲設(shè)備、網(wǎng)絡(luò)磁盤陣列。NAS是基于LAN

11、的，按照TCP/IP協(xié)議進(jìn)行通信，面向消息傳遞，以文件的I/O方式進(jìn)行數(shù)據(jù)傳輸。在LAN環(huán)境下，NAS已經(jīng)完全可以實現(xiàn)異構(gòu)平臺之間的數(shù)據(jù)級共享。nNAS 結(jié)構(gòu)和SAN最大的區(qū)別就在于NAS有文件操作和管理系統(tǒng)，而SAN卻沒有這樣的系統(tǒng)功能，其功能僅僅停留在文件管理的下一層，即數(shù)據(jù)管理。nSAN和NAS并不是相互沖突的，是可以共存于一個系統(tǒng)網(wǎng)絡(luò)中的，但NAS通過一個公共的接口實現(xiàn)空間的管理和資源共享，SAN僅僅是為服務(wù)器存儲數(shù)據(jù)提供一個專門的快速后方通道，在空間的利用上，SAN和NAS也有截然不同之處，SAN是只能獨享的數(shù)據(jù)存儲池，NAS是共享與獨享兼顧的數(shù)據(jù)存儲池。ISCSIniSCSI（互聯(lián)

12、網(wǎng)小型計算機(jī)系統(tǒng)接口）是一種在Internet協(xié)議網(wǎng)絡(luò)上，特別是以太網(wǎng)上進(jìn)行數(shù)據(jù)塊傳輸?shù)臉?biāo)準(zhǔn)。它是由Cisco和IBM兩家發(fā)起的，并且得到了IP存儲技術(shù)擁護(hù)者的大力支持。是一個供硬件設(shè)備使用的可以在IP協(xié)議上層運行的SCSI指令集。簡單地說，iSCSI可以實現(xiàn)在IP網(wǎng)絡(luò)上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進(jìn)行路由選擇。nISCSI的工作流程niSCSI協(xié)議就是一個在網(wǎng)絡(luò)上封包和解包的過程，在網(wǎng)絡(luò)的一端，數(shù)據(jù)包被封裝成包括TCP/IP頭、iSCSI識別包和SCSI數(shù)據(jù)三部分內(nèi)容，傳輸?shù)骄W(wǎng)絡(luò)另一端時，這三部分內(nèi)容分別被順序地解開。數(shù)據(jù)時任何資源的基礎(chǔ)DataBusinessIntel

13、ligenceKnowledgeWisdomInformationBackup（備份）nBackup - Definitionn“Backup is a copy type of operation, designed to protect data from accidental or malicious loss or damage”File12 (or more)Backup Copy備份過程拷貝為什么要備份System stolenUser Data and System LossSystem damagedUser Data and System Loss/DowntimeAccid

14、ental File DeletionFile LossAccidental File OverwriteFile LossAccidental Directory DeletionDirectory and/or File LossHacker IntrusionCorrupt or Lost DataMagnetic Disk FailureCorrupt or Lost DataCPU/Motherboard FailureCorrupt or Lost Data and DowntimeNetwork/Interface FailureCorrupt or Lost Data/Loss

15、 of Connectivity Application Halt or CrashCorrupt or Lost DataOperating System Halt or CrashCorrupt or Lost Data事件結(jié)果為什么要備份FloodSite Loss - Complete or PartialExtreme Weather EventSite Loss - Complete or PartialSeismic EventSite Loss - Complete or PartialAviation AccidentSite Loss - Complete or Parti

16、alTerrorismSite Loss - Complete or PartialEmergency EvacuationLoss of Access to Site災(zāi)難后果Full backup（全備份）全備份.全備份全備份是在某一個時間點上所有數(shù)據(jù)的一個完全拷貝Differential(差分) BackupsFull BackupDifferentialFull BackupA differential backup is a copy of all the data since the last full Backup.Incremental(增量) BackupsFull Backu

17、p.IncrementalsFull BackupIncremental backup is a copy of only the data that have changed since the last backup.恢復(fù)n恢復(fù)過程將數(shù)據(jù)從磁帶拷貝回磁盤n備份是比恢復(fù)早的一個時間點的完全映象備份記錄了文件的目錄結(jié)構(gòu)，權(quán)限等，備份在具體的某盤磁帶，磁帶在磁帶庫中具體的槽位等這些信息存儲在備份軟件的數(shù)據(jù)庫中通常被稱為元數(shù)據(jù)DiskTape備份數(shù)據(jù)的生命周期Databacked upBrowse PolicyExpiresBROWSABLERetentionPolicy ExpiresRECOV

18、ERABLEVolumeRecycledRECYCLABLE / RECOVERABLEArchive(歸檔)Archive - Definition“Archive is a move type of operation, designed to preserve a file for future reference”源文件1.1.備份歸檔的文件歸檔過程移動, 校驗, (刪除)Hierarchical Storage Management (HSM)HSM 是充分保護(hù)現(xiàn)有的硬盤存儲資源的基礎(chǔ)上，將很少使用的文件保存到相對較為便宜的磁帶上，當(dāng)應(yīng)用需要訪問的時候自動進(jìn)行回調(diào)，相對而言在訪問速度

19、上會有所影響；對于應(yīng)用來說是透明的。1.1.HSM Process “透明的” 移動備份服務(wù)器，備份客戶端nBackup Server Definitionn“The Backup Server is the central control and management point of the backup and restore process. It holds the Index database (Metadata)”nA Client - Definitionn“A client is a server or workstation that backs up its data o

20、ver the network to the backup server”.傳統(tǒng)lan環(huán)境下數(shù)據(jù)流走向ApplicationServerLANRAID or JBODTape LibraryBackupServerLanfree備份數(shù)據(jù)流的走向Local Area NetworkMetadataReadWriteBackupServerBackupClientServerfree數(shù)據(jù)流走向DiskFibre ChannelLocal Area NetworkTapeStorage Area NetworkSan環(huán)境下磁帶驅(qū)動器的共享TapeLocal Area NetworkSANFibreC

21、hannel集群環(huán)境下的備份Backup ServerVirtual ClientBackupNas的備份NAS ServerTapeBackupServerNDMP CommunicationNDMP - Network Data Management Protocol - is a storage specific communications protocol that allowsNAS systems to backup to local tape libraries under the control of a remote backup server存儲備份的誤區(qū)誤區(qū)1: 混淆備

22、份、雙機(jī)熱備份和容災(zāi)系統(tǒng)在為大型企業(yè)提供咨詢服務(wù)時，經(jīng)常有用戶反映: “我們的數(shù)據(jù)庫軟件有容錯和自動恢復(fù)功能，服務(wù)器主機(jī)也做了雙機(jī)熱備份，而且以后還要建立容災(zāi)系統(tǒng)。在這么高標(biāo)準(zhǔn)的安全性保證下，我們再也不需要用磁帶設(shè)備和備份軟件每天做備份了?！?誤區(qū)2: 錯解數(shù)據(jù)遷移 n隨著社會的發(fā)展，現(xiàn)代企業(yè)的流動性大大增加，給企業(yè)的數(shù)據(jù)“搬家”在所難免。很多企業(yè)由于業(yè)務(wù)需要，都建立了異地的數(shù)據(jù)分發(fā)、數(shù)據(jù)集中或者數(shù)據(jù)同步一類的系統(tǒng)。一些用戶把這種系統(tǒng)稱為“數(shù)據(jù)遷移”。不妥的是，在存儲技術(shù)中，“數(shù)據(jù)遷移”這一概念早已有了明確的定義，而且與之相去甚遠(yuǎn)。真正的數(shù)據(jù)遷移技術(shù)(也被稱為分層存儲管理)是指: 由在線存儲設(shè)

23、備和離線存儲設(shè)備共同構(gòu)成一個協(xié)調(diào)工作的存儲系統(tǒng)，該系統(tǒng)在在線存儲設(shè)備和離線存儲設(shè)備之間動態(tài)地管理數(shù)據(jù)，使得訪問頻率高的數(shù)據(jù)存放于性能較高的在線存儲設(shè)備中，而訪問頻率低的數(shù)據(jù)存放于較為廉價的離線存儲設(shè)備中。這樣，既可以保證在絕大部分狀況下系統(tǒng)的性能，同時又大幅度降低了系統(tǒng)成本。 構(gòu)建存儲備份的原則原則一: 信息是存儲的核心 n什么樣的企業(yè)需要存儲系統(tǒng)，實際上，任何企業(yè)都需要存儲系統(tǒng)。因為今天企業(yè)的核心問題之一是信息，而建立存儲系統(tǒng)的目的，就是對信息進(jìn)行保護(hù)、管理和共享。 原則二: 要產(chǎn)品也要技術(shù) n一個典型的數(shù)據(jù)存儲系統(tǒng)基本由以磁盤陣列為主的在線存儲系統(tǒng)、以磁帶設(shè)備為主的離線存儲系統(tǒng)、存儲管理軟

24、件、交換設(shè)備和主機(jī)適配器等周邊設(shè)備共4部分的產(chǎn)品構(gòu)成。由于產(chǎn)品提供商很難對用戶的具體數(shù)據(jù)特征做出深入細(xì)致的分析，并給出具有針對性的方案，所以在用戶還沒有足夠的能力來自行設(shè)計存儲系統(tǒng)之前，選擇一家有經(jīng)驗的存儲專業(yè)集成商是很必要的。 原則三: 明確需求，切勿一味追新 n作為用戶，應(yīng)該充分把握自己的實際情況，不要盲目地跟隨廠商的思路。在明確需求之時，可以咨詢有經(jīng)驗的行業(yè)專家顧問，或者考察同行業(yè)的系統(tǒng)設(shè)計和實施情況，萬不可把自己至關(guān)重要的業(yè)務(wù)作為“試驗田”。 原則四: 長遠(yuǎn)考慮，打好基礎(chǔ) n存儲是應(yīng)用系統(tǒng)的基礎(chǔ)和核心，它的絲毫變化都將“牽一發(fā)而動全身”，同時，存儲系統(tǒng)出現(xiàn)的問題和故障也可能影響到整個IT系統(tǒng)的正常運行。所以，建立存儲系統(tǒng)之初就應(yīng)該考慮到穩(wěn)定性和結(jié)構(gòu)擴(kuò)展性等方面的要求，保證系統(tǒng)能夠穩(wěn)定而長期的工作。 綜合評價 為我所用 n確定好選擇哪種存儲系統(tǒng)的基本結(jié)構(gòu)后，我們可以考慮產(chǎn)品問題。存儲產(chǎn)品的評價基本可以集中在下面幾個方面n容錯能力、n性能、n容量、n連接性、n管理性n附加功能1容錯能力n容錯能力是指在存儲設(shè)