存儲基礎知識2_應用與存儲.

1、第一部分：存儲應用第二部分：OS與存儲快照備份生命周期管理存儲虛擬化容災存儲應用存儲的應用存儲的應用從數(shù)據(jù)保護說起從數(shù)據(jù)保護說起 每個企業(yè)都在大量的使用計算機處理自己的核心數(shù)據(jù)，這些數(shù)據(jù)往往是企業(yè)生產(chǎn)經(jīng)營必不可少的部分。依賴這些數(shù)據(jù)的計算機系統(tǒng)的停機往往會造成企業(yè)生產(chǎn)經(jīng)營活動的停頓，給企業(yè)造成巨大的損失。所以，可以說，這些數(shù)據(jù)是企業(yè)的生命核心。企業(yè)的IT管理員為了保證生產(chǎn)經(jīng)營活動的持續(xù)運行 數(shù)據(jù)丟失的原因硬件故障 RAID也會損壞病毒入侵人為操作應用錯誤自然災難快照快照 關于指定數(shù)據(jù)集合的一個完全可用拷貝，該拷貝包括相應數(shù)據(jù)在某個時間點（拷貝開始的時間點）的映像?？煺湛梢允瞧渌硎镜臄?shù)據(jù)的一個

2、副本，也可以是數(shù)據(jù)的一個復制品。 快照是指向保存在存儲設備中的數(shù)據(jù)的引用標記或指針?？梢岳斫鉃椋嚎煺沼悬c像是詳細的目錄表，但它被計算機作為完整的數(shù)據(jù)備份來對待。 分割鏡像快照分割鏡像快照 分割鏡像快照（Splitting a mirror）寫操作寫操作鏡像子系統(tǒng)鏡像子系統(tǒng)（存儲陣列，邏輯卷管理器，虛擬化設備）（存儲陣列，邏輯卷管理器，虛擬化設備）源源鏡像鏡像寫操作寫操作鏡像子系統(tǒng)鏡像子系統(tǒng)（存儲陣列，邏輯卷管理器，虛擬化設備）（存儲陣列，邏輯卷管理器，虛擬化設備）鏡像關系終止鏡像關系終止源源鏡像鏡像快照代理保證數(shù)據(jù)一致性快照代理保證數(shù)據(jù)一致性 database consistency 快照的數(shù)

3、據(jù)一致性問題業(yè)界大多數(shù)的存儲系統(tǒng)在做快照時，都僅僅是對磁盤中的數(shù)據(jù)進行快照操作，而沒有顧及服務器緩存中的數(shù)據(jù)。因此，經(jīng)常發(fā)現(xiàn)快照出來的數(shù)據(jù)“不對”，與預期中的數(shù)據(jù)不一致。在存儲設備執(zhí)行數(shù)據(jù)快照操作時，必須同時兼顧磁盤和緩存中的數(shù)據(jù)，才能嚴格保證數(shù)據(jù)的一致性。 保證快照數(shù)據(jù)一致性的方法接口調(diào)用：部分存儲廠商提供編程接口，在主機端放置手動編寫的腳本程序。做數(shù)據(jù)快照時，通過腳本調(diào)用數(shù)據(jù)庫的接口，將緩存“刷”到磁盤上，以此保證數(shù)據(jù)一致性?？煺沾恚荷贁?shù)廠商提供完全自動化的快照代理程序，針對不同的客戶端應用，比如Oracle、SQL Server、Exchange、Notes等，在客戶端安裝不同的快照代

4、理程序，與應用程序進行聯(lián)動，保證各種存儲服務運行時關鍵業(yè)務數(shù)據(jù)的一致性和完整性。備份系統(tǒng)構(gòu)成和架構(gòu)備份系統(tǒng)構(gòu)成和架構(gòu)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)局域網(wǎng)備份系統(tǒng)LAN備份設備備份服務器備份客戶機工作站業(yè)務/數(shù)據(jù)庫服務器 備份服務器安裝備份管理服務器軟件 備份客戶機安裝備份客戶機軟件 備份服務器連接備份設備備份軟件作用備份軟件作用 復制拷貝的局限性a) 只能完成一般文件系統(tǒng)的全備份，而不能完成增量備份；b) 不能靈活的制定自動備份策略；c) 不能自動的將大數(shù)據(jù)自動的備份到多個備份存儲介質(zhì)上去；d) 數(shù)據(jù)庫模塊，完成數(shù)據(jù)的聯(lián)機備份e) 操作系統(tǒng)備份，完成操作

5、系統(tǒng)的備份 f) 不能有效的記錄備份索引，如：什么時間備份，備份什么內(nèi)容，備份級別？備份數(shù)據(jù)保存在哪，備份數(shù)據(jù)需要保存時間？備份軟件體系結(jié)構(gòu)備份軟件體系結(jié)構(gòu) 傳統(tǒng)軟件：集中式、文件式。性能下降、擴展問題備份源數(shù)據(jù)備份客戶端備份客戶端Agent備份服務器備份服務器備份目錄/索引 備份管理目錄/索引管理磁帶管理備份數(shù)據(jù)備份數(shù)據(jù)目錄目錄/索引信息索引信息備份發(fā)起備份發(fā)起增量與差分備份的差異增量與差分備份的差異 增量備份備份前次備份后所產(chǎn)生的數(shù)據(jù)恢復時需要最新的全備份及所有的增量備份 差分備份備份所有在前一次全備份后所產(chǎn)生的數(shù)據(jù)恢復時只需要最新的全備份及最新的差分備份備份數(shù)據(jù)流向管理備份數(shù)據(jù)流向管理

6、LAN Free基于基于基于基于基于基于SANSANSAN的的的的的的LanfreeLanfreeLanfree備份系統(tǒng)備份系統(tǒng)備份系統(tǒng)備份系統(tǒng)備份系統(tǒng)備份系統(tǒng)備份設備Disk/Tape Library/VTL備份服務器SANLAN磁盤陣列應用服務器磁盤輔助備份的技術(shù)磁盤輔助備份的技術(shù)磁帶 (tape drives, tape automation)虛擬磁帶(Virtual Library System) 基本備份和恢復功能 離線保存 針對惡意破壞(黑客&病毒)的最佳保護 增強性能 增強可靠性 無縫的集成 “即時”大量恢復 平衡高可用性投資快照和克隆技術(shù)(Business Copy)性

7、能增加獲得成本增加Write-to-Disk技術(shù)如何工作的技術(shù)如何工作的foo 1foo 2foo 3foo nhost 1host 2host 3host n低成本的磁盤本地或共享的存儲 每個主機將自己的文件寫到低成本的磁盤上. 所有文件的傳輸通過備份軟件管理 通過備份服務器將數(shù)據(jù)傳輸?shù)酱艓焐螧ackup serverTape虛擬磁帶庫如何工作虛擬磁帶庫如何工作host 1host 2host 3host n虛擬磁帶設備本地或共享存儲 每個主機象磁帶庫備份一樣寫到一個或多個虛擬驅(qū)動器上. 所有文件的傳輸通過備份軟件管理 通過備份服務器將數(shù)據(jù)傳輸?shù)酱艓焐螧ackup serverTapeW

8、rite-to-Disk 和虛擬磁帶庫技術(shù)比較和虛擬磁帶庫技術(shù)比較虛擬磁帶庫虛擬磁帶庫Write-to-Disk設置復雜性設置復雜性設置僅僅和真正的磁帶庫一樣設置僅僅和真正的磁帶庫一樣需要配置需要配置RAID組組, LUNs,卷和文件卷和文件系統(tǒng)系統(tǒng)數(shù)據(jù)壓縮數(shù)據(jù)壓縮可以實現(xiàn)軟件和硬件的壓縮可以實現(xiàn)軟件和硬件的壓縮 (軟件壓縮通常會影響性能軟件壓縮通常會影響性能) 不可以基于設備級的壓縮不可以基于設備級的壓縮費用費用較昂貴的購置成本較昂貴的購置成本備份軟件許可證好象是帶庫一樣備份軟件許可證好象是帶庫一樣或按每個或按每個TB頒發(fā)許可證頒發(fā)許可證通過壓縮獲得存儲效率通過壓縮獲得存儲效率較低的管理費用

9、較低的管理費用在絕大部分備份應用中都是免費或在絕大部分備份應用中都是免費或按按TB頒發(fā)許可頒發(fā)許可較高的管理費用較高的管理費用性能性能針對連續(xù)讀寫操作調(diào)試硬件設備針對連續(xù)讀寫操作調(diào)試硬件設備性能取決于設定的磁盤陣列和服務性能取決于設定的磁盤陣列和服務器器虛擬磁帶的目標客戶虛擬磁帶的目標客戶 由于緩慢的服務器而不能滿足備份時間（backup windows）要求的客戶。容量200Gb左右或更高的Windows服務器是一個很好的目標。 要執(zhí)行很多單個文件恢復的客戶 期望不再使用磁帶的客戶。警告這些客戶并向他們解釋可拆卸介質(zhì)的益處-站點保護、防范惡意攻擊（病毒/黑客）。同時，確保客戶了解磁帶的其它用

10、途（數(shù)據(jù)分配和復制、存檔、法規(guī)） 要備份具有較短生命周期的數(shù)據(jù)的客戶。 對非關鍵數(shù)據(jù)使用快照和克隆技術(shù)的客戶。數(shù)據(jù)生命周期的三個概念數(shù)據(jù)生命周期的三個概念ABCDEFGABCDEFGABCDEFGABCDEFG 備份 Backup 歸檔 Archive 遷移 MigratorDataMigrator 數(shù)據(jù)遷移數(shù)據(jù)遷移 降低了在線存儲的大小，從而改進了應用、備份和恢復的性能。 用N層存儲體系結(jié)構(gòu)來透明的擴展主存儲容量。 遷移數(shù)據(jù)可用來達到保存的目的（文件歸檔） 消除了時常發(fā)生的容量配額問題 當前用經(jīng)濟的磁盤系統(tǒng)來做分級存儲是很實用的Data MigrationSet1,000 GbbeforeS

11、tatic dataWeekly94Data Protection Backupsets700 Gb300 GbFree 300 Gbafter6630% increase in free space30% decrease in backupRecallDM policyItems over 365 days old and bigger than 10K虛擬化的原理虛擬化的原理16857管理2客客 戶戶管理員管理員物理資源物理資源邏輯資源邏輯資源存儲虛擬化的目的存儲虛擬化的目的抽象抽象Abstract統(tǒng)一數(shù)據(jù)管理功能統(tǒng)一數(shù)據(jù)管理功能“Virtualization”降低管理難度降低管理難度數(shù)

12、據(jù)跨設備流動數(shù)據(jù)跨設備流動提高可擴展性提高可擴展性提高設備使用效率提高設備使用效率隱藏隱藏Hide隔離隔離Isolate設備構(gòu)件化設備構(gòu)件化帶內(nèi)帶內(nèi) virtualization 優(yōu)點不需修改主機結(jié)點具有平臺無關性 不足虛擬化功能部件作為I/O路徑上的集中環(huán)節(jié)容易成為系統(tǒng)性能瓶頸擴展性較差帶外帶外 virtualization 不足需要在主機上增加代理軟件 優(yōu)點appliance在I/O路徑之外而不觸及真正數(shù)據(jù)，性能較高沒有在I/O路徑上引入集中環(huán)節(jié)，擴展性較好容災設計的關鍵指標容災設計的關鍵指標 RTO（Recovery Time Objective）代表容災系統(tǒng)在災難發(fā)生后數(shù)據(jù)或者系統(tǒng)恢復

13、所用的時間。 RPO（Recovery Point Objective）代表災難發(fā)生時已經(jīng)備份的數(shù)據(jù)與生產(chǎn)中心數(shù)據(jù)的時間差。 參考下圖便于理解RPO與RTO的概念。成本效益分析成本效益分析 不能片面追求RPO與RTO TCO與RIO的關系 成本效益模型分析 性能最好的方案不一定是最佳方案常見數(shù)據(jù)保護技術(shù)區(qū)別常見數(shù)據(jù)保護技術(shù)區(qū)別IIIIIIIVV12345678910（CDP)最新數(shù)據(jù)備份備份快照快照復制復制CDP保護顆粒度保護顆粒度1-N 天天1-N 小時小時只有最新數(shù)據(jù)只有最新數(shù)據(jù)保留過去時間點保留過去時間點基于智能存儲系統(tǒng)的數(shù)據(jù)容災基于智能存儲系統(tǒng)的數(shù)據(jù)容災 利用存儲系統(tǒng)內(nèi)建的固件或操作系

14、統(tǒng),通過IP網(wǎng)絡或DWDM光纖通道等傳輸界面連接,將數(shù)據(jù)以同步或異步的方式復制到遠端。智能存儲將存儲器I/O操作Log復制到遠端的存儲系統(tǒng)中并執(zhí)行，保證數(shù)據(jù)的一致性。較容易實現(xiàn)主中心和備份中心的操作系統(tǒng)、數(shù)據(jù)庫、文件的實時拷貝維護能力。 優(yōu)點就是數(shù)據(jù)與運行分開,對主機系統(tǒng)的運行資源影響比較小。另外,借助高速緩存加速I/O存取,兩端的數(shù)據(jù)差異時間點比較小, 存儲系統(tǒng)本身具備一定的容錯能力,使之具有一定的運行性能和可靠性。 最大的限制在于其昂貴的構(gòu)造成本。一般需要來自同一個廠家的存儲系統(tǒng)。 SourceUnlimited DistanceTargetSourceLimited DistanceTa

15、rget基于智能存儲系統(tǒng)的數(shù)據(jù)容災基于智能存儲系統(tǒng)的數(shù)據(jù)容災以下所有技術(shù)支持同步和異步CA直接FC500m為1Gbit 300m為2Gbit 50m線纜9m線纜交換的FC 10km，通過標準的LW GBIC或SFP40 或 80km，通過ELW GBIC和延伸的結(jié)構(gòu) 50m50mFC交換機FC交換機9m線纜CWDM / DWDM200km DWDM，視交換機/FW而定100km CWDM hp continetalcluster/hp metrocluster支持無協(xié)議轉(zhuǎn)換。使用專用的光纖?？梢耘c其它光纖協(xié)議共享鏈路實時數(shù)據(jù)復制容災技術(shù)層次實時數(shù)據(jù)復制容災技術(shù)層次存儲設備（磁盤陣列/光纖交換機

16、）交易控制存儲設備（磁盤陣列/光纖交換機）數(shù)據(jù)庫數(shù)據(jù)庫應用軟件應用軟件消息傳輸I/O控制數(shù)據(jù)塊傳輸邏輯卷（卷管理/虛擬化）邏輯卷（卷管理/虛擬化）RealSync操作系統(tǒng)（卷管理軟件）操作系統(tǒng)（卷管理軟件）文件傳輸OS與存儲與存儲OS與存儲與存儲邏輯卷管理邏輯卷管理 傳統(tǒng)分區(qū)缺點：磁盤的劃分通過分區(qū)來實現(xiàn)，在系統(tǒng)安裝之前用戶必須正確選擇每個分區(qū)的大小分區(qū)大小是固定不變的，同時也就限制文件系統(tǒng)和文件的大小分配給分區(qū)的磁盤空間必須是連續(xù)，這個特點限制了分區(qū)不能跨越多個物理卷 LVM邏輯卷管理優(yōu)點：可分配非連續(xù)空間，可以跨越多個硬盤可以動態(tài)增大邏輯卷的大小方便存儲管理操作，包括文件系統(tǒng)的備份、分區(qū)的

17、刪除、新分區(qū)的建立和文件系統(tǒng)的恢復等新的硬盤很容易動態(tài)地添加到系統(tǒng)DriversVG操作系統(tǒng)物理存儲Logical Volume Manager (LVM)LVLV數(shù)據(jù)庫文件系統(tǒng)VGLV文件系統(tǒng)卷組卷組VG ：Volume Group 一個卷組VG可以擁有多個硬盤，但至少擁有一個硬盤(hdisk) 一個硬盤(hdisk)只能屬于一個VG，不能同時屬于多個不同VG 用戶可以創(chuàng)建多個不同VG，rootvg是操作系統(tǒng)所在的VG物理卷物理卷PV和和PP 存儲管理器中，一個硬盤就是一個PV 一個PV要劃分為大小相等的PP 同一個VG中的不同PV的PP大小要一樣，默認的PP大小為4M PV必須加入一個VG

18、中，系統(tǒng)才能使用其存儲空間Physical Volume (物理卷)Physical Partition (物理分區(qū))邏輯卷邏輯卷LV(Logical Volume) 存儲管理一個很重要的特點就是引入了“邏輯卷”這個概念，幾乎所有的存儲管理都圍繞“邏輯卷”展開 邏輯卷LV有多個邏輯上連續(xù)的邏輯分區(qū)LP組成，邏輯分區(qū)與物理分區(qū)存在映射關系，他們大小一樣Logical Partition 邏輯分區(qū) 創(chuàng)建了邏輯卷后，可以在上面創(chuàng)建文件系統(tǒng)，還可以直接是裸設備，用于數(shù)據(jù)庫軟件的數(shù)據(jù)存取等 邏輯卷空間不足，只要卷組中還有足夠的PP數(shù)量，那么邏輯卷空間都可以動態(tài)增大邏輯卷邏輯卷LV與文件系統(tǒng)與文件系統(tǒng) 邏

19、輯卷管理器：扮演的角色就是管理好邏輯卷與物理卷之間的映射關系，保證所有的上層存儲操作命令都正確地把數(shù)據(jù)寫入相應的物理設備中 文件系統(tǒng)：是數(shù)據(jù)存儲方式。它扮演的角色就是以清晰層次結(jié)構(gòu)的文件和目錄，去管理好用戶數(shù)據(jù)存取，保證用戶寫入的數(shù)據(jù)以可靠的存儲方式存放，且無差錯地響應用戶請求的數(shù)據(jù) 不同文件系統(tǒng)的數(shù)據(jù)存在硬盤的不同邏輯卷中邏輯卷策略邏輯卷策略 - 鏡像鏡像mirror 鏡像mirror，類似于RAID1，可以實現(xiàn)邏輯卷中邏輯分區(qū)的鏡像，在獨立的不同硬盤中保存兩個或三個副本，從而保證硬盤出錯時數(shù)據(jù)不受損壞而且是可用的 鏡像的調(diào)度策略Parallel(并行)：每個副本的寫請求是同時進行的，當更新時間最長的副本完成后，控制就返回給程序。執(zhí)行效率很高，但當副本更新時若有硬盤錯誤發(fā)生，數(shù)據(jù)的完整性有可能遭到破壞。讀操作時候，讀最相近的副本，所以響應