存儲基礎(chǔ)知識2-應(yīng)用與存儲

第一部分：存儲應(yīng)用第二部分：OS與存儲快照

備份

生命周期管理

存儲虛擬化

容災(zāi)存儲應(yīng)用存儲的應(yīng)用從數(shù)據(jù)保護說起每個企業(yè)都在大量的使用計算機處理自己的核心數(shù)據(jù)，這些數(shù)據(jù)往往是企業(yè)生產(chǎn)經(jīng)營必不可少的部分。依賴這些數(shù)據(jù)的計算機系統(tǒng)的停機往往會造成企業(yè)生產(chǎn)經(jīng)營活動的停頓，給企業(yè)造成巨大的損失。所以，可以說，這些數(shù)據(jù)是企業(yè)的生命核心。企業(yè)的IT管理員為了保證生產(chǎn)經(jīng)營活動的持續(xù)運行數(shù)據(jù)丟失的原因硬件故障

RAID也會損壞病毒入侵人為操作應(yīng)用錯誤自然災(zāi)難快照關(guān)于指定數(shù)據(jù)集合的一個完全可用拷貝，該拷貝包括相應(yīng)數(shù)據(jù)在某個時間點（拷貝開始的時間點）的映像。快照可以是其所表示的數(shù)據(jù)的一個副本，也可以是數(shù)據(jù)的一個復(fù)制品?？煺帐侵赶虮４嬖诖鎯υO(shè)備中的數(shù)據(jù)的引用標(biāo)記或指針?？梢岳斫鉃椋嚎煺沼悬c像是詳細的目錄表，但它被計算機作為完整的數(shù)據(jù)備份來對待。分割鏡像快照分割鏡像快照（Splittingamirror）寫操作鏡像子系統(tǒng)（存儲陣列，邏輯卷管理器，虛擬化設(shè)備）源鏡像寫操作鏡像子系統(tǒng)（存儲陣列，邏輯卷管理器，虛擬化設(shè)備）鏡像關(guān)系終止源鏡像快照代理－－保證數(shù)據(jù)一致性databaseconsistency快照的數(shù)據(jù)一致性問題業(yè)界大多數(shù)的存儲系統(tǒng)在做快照時，都僅僅是對磁盤中的數(shù)據(jù)進行快照操作，而沒有顧及服務(wù)器緩存中的數(shù)據(jù)。因此，經(jīng)常發(fā)現(xiàn)快照出來的數(shù)據(jù)“不對”，與預(yù)期中的數(shù)據(jù)不一致。在存儲設(shè)備執(zhí)行數(shù)據(jù)快照操作時，必須同時兼顧磁盤和緩存中的數(shù)據(jù)，才能嚴格保證數(shù)據(jù)的一致性。保證快照數(shù)據(jù)一致性的方法接口調(diào)用：部分存儲廠商提供編程接口，在主機端放置手動編寫的腳本程序。做數(shù)據(jù)快照時，通過腳本調(diào)用數(shù)據(jù)庫的接口，將緩存“刷”到磁盤上，以此保證數(shù)據(jù)一致性?？煺沾恚荷贁?shù)廠商提供完全自動化的快照代理程序，針對不同的客戶端應(yīng)用，比如Oracle、SQLServer、Exchange、Notes等，在客戶端安裝不同的快照代理程序，與應(yīng)用程序進行聯(lián)動，保證各種存儲服務(wù)運行時關(guān)鍵業(yè)務(wù)數(shù)據(jù)的一致性和完整性。 備份系統(tǒng)構(gòu)成和架構(gòu)

局域網(wǎng)備份系統(tǒng)LAN備份設(shè)備備份服務(wù)器備份客戶機工作站業(yè)務(wù)/數(shù)據(jù)庫服務(wù)器備份服務(wù)器安裝備份管理服務(wù)器軟件備份客戶機安裝備份客戶機軟件備份服務(wù)器連接備份設(shè)備備份軟件作用復(fù)制拷貝的局限性a)只能完成一般文件系統(tǒng)的全備份，而不能完成增量備份；b)不能靈活的制定自動備份策略；c)不能自動的將大數(shù)據(jù)自動的備份到多個備份存儲介質(zhì)上去；d)數(shù)據(jù)庫模塊，完成數(shù)據(jù)的聯(lián)機備份e)操作系統(tǒng)備份，完成操作系統(tǒng)的備份

f)不能有效的記錄備份索引，如：什么時間備份，備份什么內(nèi)容，備份級別？備份數(shù)據(jù)保存在哪，備份數(shù)據(jù)需要保存時間？備份軟件體系結(jié)構(gòu)傳統(tǒng)軟件：集中式、文件式。性能下降、擴展問題備份源數(shù)據(jù)備份客戶端Agent備份服務(wù)器備份目錄/索引備份管理目錄/索引管理磁帶管理備份數(shù)據(jù)目錄/索引信息備份發(fā)起增量與差分備份的差異增量備份備份前次備份后所產(chǎn)生的數(shù)據(jù)恢復(fù)時需要最新的全備份及所有的增量備份差分備份備份所有在前一次全備份后所產(chǎn)生的數(shù)據(jù)恢復(fù)時只需要最新的全備份及最新的差分備份備份數(shù)據(jù)流向管理–LANFree基于SAN的Lanfree備份系統(tǒng)備份設(shè)備Disk/TapeLibrary/VTL備份服務(wù)器SANLAN磁盤陣列應(yīng)用服務(wù)器磁盤輔助備份的技術(shù)磁帶

(tapedrives,tapeautomation)虛擬磁帶

(VirtualLibrarySystem)基本備份和恢復(fù)功能離線保存針對惡意破壞(黑客&病毒)的最佳保護增強性能增強可靠性無縫的集成“即時”大量恢復(fù)平衡高可用性投資快照和克隆技術(shù)

(BusinessCopy)性能增加

獲得成本增加Write-to-Disk技術(shù)如何工作的foo1foo2foo3foonhost1host2host3hostn低成本的磁盤本地或共享的存儲每個主機將自己的文件寫到低成本的磁盤上.所有文件的傳輸通過備份軟件管理通過備份服務(wù)器將數(shù)據(jù)傳輸?shù)酱艓焐螧ackupserverTape虛擬磁帶庫如何工作host1host2host3hostn虛擬磁帶設(shè)備本地或共享存儲每個主機象磁帶庫備份一樣寫到一個或多個虛擬驅(qū)動器上.

所有文件的傳輸通過備份軟件管理通過備份服務(wù)器將數(shù)據(jù)傳輸?shù)酱艓焐螧ackupserverTapeWrite-to-Disk和虛擬磁帶庫技術(shù)比較虛擬磁帶庫Write-to-Disk設(shè)置復(fù)雜性設(shè)置僅僅和真正的磁帶庫一樣需要配置RAID組,LUNs,卷和文件系統(tǒng)數(shù)據(jù)壓縮可以實現(xiàn)軟件和硬件的壓縮

(軟件壓縮通常會影響性能)不可以基于設(shè)備級的壓縮費用較昂貴的購置成本備份軟件許可證好象是帶庫一樣或按每個TB頒發(fā)許可證通過壓縮獲得存儲效率較低的管理費用在絕大部分備份應(yīng)用中都是免費或按TB頒發(fā)許可較高的管理費用性能針對連續(xù)讀寫操作調(diào)試硬件設(shè)備性能取決于設(shè)定的磁盤陣列和服務(wù)器虛擬磁帶的目標(biāo)客戶由于緩慢的服務(wù)器而不能滿足備份時間（backupwindows）要求的客戶。容量200Gb左右或更高的Windows服務(wù)器是一個很好的目標(biāo)。要執(zhí)行很多單個文件恢復(fù)的客戶期望不再使用磁帶的客戶。警告這些客戶并向他們解釋可拆卸介質(zhì)的益處-站點保護、防范惡意攻擊（病毒/黑客）。同時，確?？蛻袅私獯艓У钠渌猛荆〝?shù)據(jù)分配和復(fù)制、存檔、法規(guī)）要備份具有較短生命周期的數(shù)據(jù)的客戶。對非關(guān)鍵數(shù)據(jù)使用快照和克隆技術(shù)的客戶。數(shù)據(jù)生命周期的三個概念A(yù)BCDEFGABCDEFGABCDEFGABCDEFG備份Backup歸檔Archive遷移MigratorDataMigrator數(shù)據(jù)遷移降低了在線存儲的大小，從而改進了應(yīng)用、備份和恢復(fù)的性能。用N層存儲體系結(jié)構(gòu)來透明的擴展主存儲容量。遷移數(shù)據(jù)可用來達到保存的目的（文件歸檔）消除了時常發(fā)生的容量配額問題當(dāng)前用經(jīng)濟的磁盤系統(tǒng)來做分級存儲是很實用的DataMigrationSet1,000GbbeforeStaticdataWeekly94DataProtectionBackupsets700Gb300GbFree300Gbafter6630%increaseinfreespace30%decreaseinbackupRecallDMpolicyItemsover365daysoldandbiggerthan10K虛擬化的原理16857管理2客戶管理員物理資源邏輯資源存儲虛擬化的目的抽象Abstract統(tǒng)一數(shù)據(jù)管理功能“Virtualization”降低管理難度數(shù)據(jù)跨設(shè)備流動提高可擴展性提高設(shè)備使用效率隱藏Hide隔離Isolate設(shè)備構(gòu)件化帶內(nèi)virtualization優(yōu)點不需修改主機結(jié)點具有平臺無關(guān)性不足虛擬化功能部件作為I/O路徑上的集中環(huán)節(jié)容易成為系統(tǒng)性能瓶頸擴展性較差帶外virtualization不足需要在主機上增加代理軟件優(yōu)點appliance在I/O路徑之外而不觸及真正數(shù)據(jù)，性能較高沒有在I/O路徑上引入集中環(huán)節(jié)，擴展性較好容災(zāi)設(shè)計的關(guān)鍵指標(biāo)RTO（RecoveryTimeObjective）代表容災(zāi)系統(tǒng)在災(zāi)難發(fā)生后數(shù)據(jù)或者系統(tǒng)恢復(fù)所用的時間。RPO（RecoveryPointObjective）代表災(zāi)難發(fā)生時已經(jīng)備份的數(shù)據(jù)與生產(chǎn)中心數(shù)據(jù)的時間差。參考下圖便于理解RPO與RTO的概念。成本效益分析不能片面追求RPO與RTOTCO與RIO的關(guān)系成本效益模型分析性能最好的方案不一定是最佳方案常見數(shù)據(jù)保護技術(shù)區(qū)別IIIIIIIVV12345678910（CDP)最新數(shù)據(jù)備份快照復(fù)制CDP保護顆粒度1-N天1-N小時只有最新數(shù)據(jù)保留過去時間點基于智能存儲系統(tǒng)的數(shù)據(jù)容災(zāi)利用存儲系統(tǒng)內(nèi)建的固件或操作系統(tǒng),通過IP網(wǎng)絡(luò)或DWDM光纖通道等傳輸界面連接,將數(shù)據(jù)以同步或異步的方式復(fù)制到遠端。智能存儲將存儲器I/O操作Log復(fù)制到遠端的存儲系統(tǒng)中并執(zhí)行，保證數(shù)據(jù)的一致性。較容易實現(xiàn)主中心和備份中心的操作系統(tǒng)、數(shù)據(jù)庫、文件的實時拷貝維護能力。優(yōu)點就是數(shù)據(jù)與運行分開,對主機系統(tǒng)的運行資源影響比較小。另外,借助高速緩存加速I/O存取,兩端的數(shù)據(jù)差異時間點比較小,存儲系統(tǒng)本身具備一定的容錯能力,使之具有一定的運行性能和可靠性。最大的限制在于其昂貴的構(gòu)造成本。一般需要來自同一個廠家的存儲系統(tǒng)。SourceUnlimitedDistanceTargetSourceLimitedDistanceTarget基于智能存儲系統(tǒng)的數(shù)據(jù)容災(zāi)以下所有技術(shù)支持同步和異步CA直接FC500m為1Gbit300m為2Gbit50μm線纜9μm線纜交換的FC10km，通過標(biāo)準的LWGBIC或SFP40或80km，通過ELWGBIC和延伸的結(jié)構(gòu)50μm50μmFC交換機FC交換機9μm線纜CWDM/DWDM>200kmDWDM，視交換機/FW而定≤100kmCWDMhpcontinetalcluster/hpmetrocluster支持無協(xié)議轉(zhuǎn)換。使用專用的光纖?？梢耘c其它光纖協(xié)議共享鏈路實時數(shù)據(jù)復(fù)制容災(zāi)技術(shù)層次生產(chǎn)系統(tǒng)容災(zāi)系統(tǒng)存儲設(shè)備（磁盤陣列/光纖交換機）交易控制存儲設(shè)備（磁盤陣列/光纖交換機）數(shù)據(jù)庫數(shù)據(jù)庫應(yīng)用軟件應(yīng)用軟件消息傳輸I/O控制數(shù)據(jù)塊傳輸邏輯卷（卷管理/虛擬化）邏輯卷（卷管理/虛擬化）熱容災(zāi)冷容災(zāi)RealSync操作系統(tǒng)（卷管理軟件）操作系統(tǒng)（卷管理軟件）文件傳輸OS與存儲OS與存儲邏輯卷管理傳統(tǒng)分區(qū)缺點：磁盤的劃分通過分區(qū)來實現(xiàn)，在系統(tǒng)安裝之前用戶必須正確選擇每個分區(qū)的大小分區(qū)大小是固定不變的，同時也就限制文件系統(tǒng)和文件的大小分配給分區(qū)的磁盤空間必須是連續(xù)，這個特點限制了分區(qū)不能跨越多個物理卷LVM邏輯卷管理優(yōu)點：可分配非連續(xù)空間，可以跨越多個硬盤可以動態(tài)增大邏輯卷的大小方便存儲管理操作，包括文件系統(tǒng)的備份、分區(qū)的刪除、新分區(qū)的建立和文件系統(tǒng)的恢復(fù)等新的硬盤很容易動態(tài)地添加到系統(tǒng)DriversVG操作系統(tǒng)物理存儲LogicalVolumeManager(LVM)LVLV數(shù)據(jù)庫文件系統(tǒng)VGLV文件系統(tǒng)卷組VG：VolumeGroup一個卷組VG可以擁有多個硬盤，但至少擁有一個硬盤(hdisk)一個硬盤(hdisk)只能屬于一個VG，不能同時屬于多個不同VG用戶可以創(chuàng)建多個不同VG，rootvg是操作系統(tǒng)所在的VGhdisk0hdisk1hdisk2datavgrootvg物理卷PV和PP存儲管理器中，一個硬盤就是一個PV一個PV要劃分為大小相等的PP同一個VG中的不同PV的PP大小要一樣，默認的PP大小為4MPV必須加入一個VG中，系統(tǒng)才能使用其存儲空間hdisk(硬盤)PVPPPhysicalVolume(物理卷)PhysicalPartition(物理分區(qū))邏輯卷LV123459678101112123459678101112PVPVLV邏輯卷(LogicalVolume)映射關(guān)系12345678……n存儲管理一個很重要的特點就是引入了“邏輯卷”這個概念，幾乎所有的存儲管理都圍繞“邏輯卷”展開邏輯卷LV有多個邏輯上連續(xù)的邏輯分區(qū)LP組成，邏輯分區(qū)與物理分區(qū)存在映射關(guān)系，他們大小一樣VGLogicalPartition邏輯分區(qū)創(chuàng)建了邏輯卷后，可以在上面創(chuàng)建文件系統(tǒng)，還可以直接是裸設(shè)備，用于數(shù)據(jù)庫軟件的數(shù)據(jù)存取等邏輯卷空間不足，只要卷組中還有足夠的PP數(shù)量，那么邏輯卷空間都可以動態(tài)增大LV邏輯卷的意義邏輯卷LV與文件系統(tǒng)

hd4LVhd1limhaihome(root)LVhd2binusrlpplibhd9varspoolvaretcmnt邏輯卷管理器：扮演的角色就是管理好邏輯卷與物理卷之間的映射關(guān)系，保證所有的上層存儲操作命令都正確地把數(shù)據(jù)寫入相應(yīng)的物理設(shè)備中文件系統(tǒng)：是數(shù)據(jù)存儲方式。它扮演的角色就是以清晰層次結(jié)構(gòu)的文件和目錄，去管理好用戶數(shù)據(jù)存取，保證用戶寫入的數(shù)據(jù)以可靠的存儲方式存放，且無差錯地響應(yīng)用戶請求的數(shù)據(jù)不同文件系統(tǒng)的數(shù)據(jù)存在硬盤的不同邏輯卷中邏輯卷策略--鏡像mirrorPP1PP2PP1PP2PP1PP2LP1LP2..hdisk0hdisk1hdisk2LV00鏡像mirror，類似于RAID1，可以實現(xiàn)邏輯卷中邏輯分區(qū)的鏡像，在獨立的不同硬盤中保存兩個或三個副本，從而保證硬盤出錯時數(shù)據(jù)不受損壞而且是可用的鏡像的調(diào)度策略Parallel(并行)：每個副本的寫請求是同時進行的，當(dāng)更新時間最長的副本完成后，控制就返回給程序。執(zhí)行效率很高，但當(dāng)副本更新時若有硬盤錯誤發(fā)生，數(shù)據(jù)的完整性有可能遭到破壞。讀操作時候，讀最相近的副本，所以響應(yīng)速率快Sequential(串行)：當(dāng)數(shù)據(jù)寫到邏輯分區(qū)時，只有所有的副本都更新后控制才返回給程序，而且副本是一個個輪留更新。執(zhí)行速率比并行鏡像慢，但是數(shù)據(jù)完整性較好。讀操作時候，總是先讀主副本邏輯卷策略--條帶化striping1234