數(shù)據(jù)備份與災難恢復

1、數(shù)據(jù)備份與災難恢復技術課程內(nèi)容第一部分第一部分 數(shù)據(jù)存儲技術概述第二部分第二部分 數(shù)據(jù)備份技術第三部分第三部分 數(shù)據(jù)容災技術第一部分 數(shù)據(jù)存儲技術概述1.系統(tǒng)和數(shù)據(jù)保護概述2.數(shù)據(jù)存儲技術的概況 1.系統(tǒng)和數(shù)據(jù)保護概述 各種災難導致系統(tǒng)崩潰 軟件故障、黑客、人為破壞 火災、水災 地震、戰(zhàn)爭 區(qū)域電力中斷 后果: 重要信息丟失 業(yè)務運作中斷 導致經(jīng)濟損失 導致客戶流失 更嚴重:企業(yè)倒閉為什么要進行數(shù)據(jù)備份和容災？1.2 多種系統(tǒng)和數(shù)據(jù)保護技術1.2.1 系統(tǒng)保護系統(tǒng)保護 冗余部件 集群（ cluster ）技術 系統(tǒng)災難恢復1.2.2 數(shù)據(jù)保護數(shù)據(jù)保護 raid multipathing poi

2、nt-in-time 數(shù)據(jù)拷貝（磁盤備份） 磁帶備份 (lan, lan free, serverfree) 異地數(shù)據(jù)復制（容災）1.2.1 系統(tǒng)保護冗余部件集群（ cluster ）技術系統(tǒng)災難恢復1.2.1 系統(tǒng)保護 集群(cluster)networkheartbeatlinksmulti-ported shared diskcluster硬件的組成相同操作系統(tǒng)的兩臺或以上服務器共享磁盤心跳networkheartbeatlinksmulti-ported shared disk資源監(jiān)控和管理 磁盤 應用 網(wǎng)絡心跳協(xié)議日志cluster軟件的組成系統(tǒng)級cluster應用級cluster1

3、.2.1 系統(tǒng)保護 集群(cluster)常見的集群(cluster)軟件sun sunclusterhp mc/service guard， mc/service guard ops edition，extension for rac truclusteribm hacmp hacmp/es crm，psspmicrosoft mscsveritas veritas cluster server database editon / advanced cluster其它(rose,legato cluster server,etc.)1.2.1 系統(tǒng)保護 集群(cluster)硬件復制軟件復制

4、軟件復制軟件復制0 - .kmlanclusteringman clustering(aka stretch or campus clustering)wanclustering*plannedcluster與應用級容災硬件復制1.2.1 系統(tǒng)保護 集群(cluster)1.2.2 數(shù)據(jù)保護raid與邏輯卷管理動態(tài)多路徑(multipathing)point-in-time 數(shù)據(jù)拷貝磁帶備份 (lan, lan free, serverfree)異地數(shù)據(jù)復制（容災）磁盤陣列raid5raid1物理磁盤lun服務器lundg1dg1dg1服務器/fs1/fs2裸設備1/fs1, /fs2, /f

5、s3裸設備1,裸21.2.2 數(shù)據(jù)保護 raid與邏輯卷管理邏輯卷管理 靈活的空間管理 動態(tài)多路徑 在線改變空間大小 在線轉(zhuǎn)移數(shù)據(jù) 在線改變raid結(jié)構(gòu) 控制器和陣列之間鏡像lundg1dg1dg1服務器/fs1/fs2裸設備1/fs1, /fs2, /fs3裸設備1,裸21.2.2 數(shù)據(jù)保護raid與邏輯卷管理動態(tài)多路徑(multipathing)point-in-time 數(shù)據(jù)拷貝磁帶備份 (lan, lan free, serverfree)異地數(shù)據(jù)復制（容災）1.2.2 數(shù)據(jù)保護 動態(tài)多路徑multipathing磁盤陣列raid5raid1物理磁盤lun服務器/dev/rdsk/c5

6、t1d5/dev/rdsk/c6t1d5ora_disk01/dev/hdisk10/dev/hdisk20/dev/vpath5動態(tài)多路徑multipathing軟件 veritas vxvm dmp功能 emc powerpath hds dlm hp autopath ibm sdd1.2.2 數(shù)據(jù)保護 動態(tài)多路徑multipathing1.2.2 數(shù)據(jù)保護raid與邏輯卷管理動態(tài)多路徑(multipathing)point-in-time 數(shù)據(jù)拷貝磁帶備份 (lan, lan free, serverfree)異地數(shù)據(jù)復制（容災） 快照技術snapshot 實現(xiàn)方式 克隆型，split

7、-mirror 指針型，copy-on-write1.2.2 數(shù)據(jù)保護 (point-in-time) 數(shù)據(jù)拷貝常用技術 emc，timefinder hds，shadowimage hp，surestore business copy xp ibm，flashcopy veritas，snapshot/flashsnap1.2.2 數(shù)據(jù)保護 (point-in-time) 數(shù)據(jù)拷貝1.3影響系統(tǒng)和數(shù)據(jù)保護的因素1.3.1 1.3.1 各種技術并非完全孤立的各種技術并非完全孤立的 各種系統(tǒng)數(shù)據(jù)保護技術不是孤立的，是根據(jù)具體需求而定的。1.3.2 1.3.2 應對什么樣的災難應對什么樣的災難系統(tǒng)

8、故障系統(tǒng)故障通過集群集群系統(tǒng)和相應的冗余配置，一般多能解決。軟件故障和人為破壞軟件故障和人為破壞，往往直接破壞數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，單一的容災系統(tǒng)是沒有辦法解決這個問題的，因為，本地系統(tǒng)的任何數(shù)據(jù)改動，包括破壞，都將實時的被復制到異地容災系統(tǒng)。這種形式的數(shù)據(jù)丟失，一般只能通過備份備份系統(tǒng)來保護。火災、區(qū)域性電力系統(tǒng)故障、地震、水災、戰(zhàn)爭火災、區(qū)域性電力系統(tǒng)故障、地震、水災、戰(zhàn)爭等形式的災難，需要容災容災手段解決。第一部分 數(shù)據(jù)存儲技術概述1.系統(tǒng)和數(shù)據(jù)保護概述2.數(shù)據(jù)存儲技術的概況 2.數(shù)據(jù)存儲技術的概況n 主流的數(shù)據(jù)存儲結(jié)構(gòu)直連存儲das (direct attached storage)網(wǎng)絡連接

9、存儲 nas (network attached storage)存儲區(qū)域網(wǎng) san (storage area network)n 數(shù)據(jù)存儲結(jié)構(gòu)的發(fā)展趨勢直連存儲das (direct attached storage)最早的存儲系統(tǒng)，大約80年代直連存儲das (direct attached storage)數(shù)據(jù)節(jié)點a 數(shù)據(jù)節(jié)點b數(shù)據(jù)節(jié)點clocal area network90年代初期tscsi技術的出現(xiàn)使得服務器可以實現(xiàn)對磁盤一定的共享(雙機共享)tserver為分布式的訪問節(jié)點,節(jié)點內(nèi)部直接訪問磁盤。t各節(jié)點間和客戶機均通過lan訪問不同節(jié)點的數(shù)據(jù)，由于lan的性能限制，數(shù)據(jù)訪問效

10、率不是很高。t實現(xiàn)雙機hat存儲的擴展和平滑擴容受到限制t分布式的存儲管理網(wǎng)絡連接存儲 nas (network attached storage)ciscoswitcheslinuxsolarisweb serverswin 2000nt 4.0win 95/98exchangesqloraclenetappfilerdirect tousersfsciscoswitcheslinuxsolarisweb serverswin 2000nt 4.0win 95/98exchangesqloraclefsfsfsfsfsfsfc交換機fc交換機存儲區(qū)域網(wǎng)fc san (storage area

11、 network)基于fiber channel協(xié)議存儲區(qū)域網(wǎng) san (storage area network)光纖卡（hba)gbic光電轉(zhuǎn)換模塊光纖交換機san的主要組成部件光纖磁帶庫光纖磁盤陣列光纖線纜存儲模型的比較scsi, fcdasapplicationserverfile system jbodapplicationserverethernet switchesnas fc switchsanapplicationserverfile systemraidraidfile systemraidfile systemraidip san - iscsiciscoswitches

12、linuxsolarisdatabaseappliacationserverswin 2000nt 4.0win 95/98ciscostandardswitchnetappunifiedstorageiscsiothersaniscsiiscsiiscsiiscsi iscsiiscsiciscoiscsirouterdatabaseappliacationservers用戶面臨的問題和解決方案所有的應用將整合在同一存儲內(nèi)每一應用擁有獨立的存儲nas & sanciscoswitcheslinuxsolariswin 2000nt 4.0win 95/98ciscosubnetnet

13、appunifiedstoragefsfsfsothersanfsdatabaseappliacationserversdatabaseappliacationservers統(tǒng)一存儲（存儲虛擬化）san(block數(shù)據(jù)塊)nas(file文件)企業(yè)千兆以太私網(wǎng)fibre channel光通道網(wǎng)絡iscsi企業(yè)級san企業(yè)級nas部門級nas企業(yè)公網(wǎng)netappfas部門級san統(tǒng)一存儲（存儲虛擬化）存儲虛擬化：利用專業(yè)的存儲管理軟件把異構(gòu)存儲設備整合成為一個虛擬的存儲池，根據(jù)需要分配存儲資源。如：美國datacore sansymphony存儲管理軟件第二部分 數(shù)據(jù)備份技術1.數(shù)據(jù)備份系統(tǒng)的構(gòu)

14、成2.數(shù)據(jù)備份系統(tǒng)的體系結(jié)構(gòu)3.如何選擇數(shù)據(jù)備份系統(tǒng)1.數(shù)據(jù)備份系統(tǒng)的構(gòu)成 備份硬件介質(zhì)磁帶庫光盤庫 磁盤陣列(虛擬帶庫) 備份軟件veritas netbackup legato networker ibm tsm ca brightstor bakbone 磁帶庫磁盤陣列第二部分 數(shù)據(jù)備份技術1.數(shù)據(jù)備份系統(tǒng)的構(gòu)成2.數(shù)據(jù)備份系統(tǒng)的體系結(jié)構(gòu)3.如何選擇數(shù)據(jù)備份系統(tǒng)2. 備份系統(tǒng)的四種體系結(jié)構(gòu) 1.1 本機備份 1.2 網(wǎng)絡備份 1.3 lan-free備份 1.4 server-free備份 1.5 ndmp 備份磁帶機或磁帶庫本機備份/恢復優(yōu)點：備份速度快缺點：不適合多主機環(huán)境直連存儲陣

15、列tcp/ip network磁帶庫網(wǎng)絡備份/恢復備份服務器優(yōu)點：集中備份，充分利用磁帶庫資源缺點：占用網(wǎng)絡資源要求：支持異構(gòu)系統(tǒng)可控制備份網(wǎng)絡帶寬tcp/ip networkfc-to-scsi bridge光纖交換機 磁帶庫lan-free 備份/恢復主備份服務器介質(zhì)服務器優(yōu)點：備份速度快要求：共享磁帶庫資源支持異構(gòu)光纖磁盤陣列server-free 備份/恢復lansanmaster serversan media serversan media serversan media server數(shù)據(jù)流nas設備的備份專用nas及開放nas備份服務器第二部分 數(shù)據(jù)備份技術1.數(shù)據(jù)備份系統(tǒng)的構(gòu)成

16、2.數(shù)據(jù)備份系統(tǒng)的體系結(jié)構(gòu)3.如何選擇數(shù)據(jù)備份系統(tǒng) 3.1 備份結(jié)構(gòu)及備份服務器的選擇 備份需求 數(shù)據(jù)量 備份窗口 影響因素 網(wǎng)絡 磁帶驅(qū)動器速度 磁盤讀寫速度 備份服務器 i/o3.2 數(shù)據(jù)備份系統(tǒng)選擇的要點 備份結(jié)構(gòu)的選擇 自動化備份 集中管理 數(shù)據(jù)庫在線保護手段 系統(tǒng)保護手段 磁帶保護手段 擴展性及備份窗口縮短3.3 備份策略制定 什么時間 頻率、具體日期 什么服務器類型及平臺 什么數(shù)據(jù)類型 文件、數(shù)據(jù)庫 備份方式 全備份、增量備份 通過哪臺備份服務器 lan備份、lan-free備份 備份到哪組磁帶 保留多長時間 過期時間3.4 集中管理 策略管理 設備管理 任務監(jiān)控 報表分析3.5

17、數(shù)據(jù)庫備份技術 物理備份 數(shù)據(jù)文件 日志文件 邏輯備份 表數(shù)據(jù)備份 oracle rman sybasebackup server informixon-bar sql server exchange lotus notes數(shù)據(jù)庫備份接口備份軟件接口 全自動系統(tǒng)恢復 安全簡單的步驟 快速簡便 無需重裝 os 自動重建硬件配置 支持多平臺 windows solaris aix hp-uxrepair hardwarecollect all necessary media togetherreload os from cd-rom or floppiesrebootreload backup s

18、oftware from cd-romload recovery tape and restore systemrebootreboot傳恢復方法repair hardwareclick “prepare to restore”bmrrebootreboot第三部分 容災技術1.容災系統(tǒng)的概述2.容災系統(tǒng)的實現(xiàn)方式1.為什么建立容災系統(tǒng)？我們的業(yè)務越來越依賴于計算機信息系統(tǒng)1993年，紐約世貿(mào)中心姊妹樓大爆炸事件 50% 公司的業(yè)務在2年里無法經(jīng)營 43% 倒閉在 9.11 遭受了災難的企業(yè)中 50% 以上的公司倒閉 只有6% 幸免于難系統(tǒng)容災，已經(jīng)刻不容緩！ 恢復點數(shù)據(jù)必須恢復到某一個時間點

19、,保證應用繼續(xù)運行秒分時日 周秒分時 日 周磁帶備份同步復制定期復制異步復制 恢復時間完全恢復應用數(shù)據(jù)所需的最長的時間磁帶恢復廣域集群手工轉(zhuǎn)移恢復時間包括:錯誤檢測恢復數(shù)據(jù)應用上線秒分時日 周秒分時 日 周第三部分 容災技術1.容災系統(tǒng)的概述2.數(shù)據(jù)容災的實現(xiàn)方式2.數(shù)據(jù)容災的實現(xiàn)方式容災技術包含兩個部分：l 數(shù)據(jù)復制技術l 應用系統(tǒng)接管技術。容災系統(tǒng)建設的核心技術和難點主要在如何保證容災中心和生產(chǎn)中心保證數(shù)據(jù)零丟失，保證數(shù)據(jù)狀態(tài)的同步、保證業(yè)務功能恢復時間在可控制的范圍內(nèi)，其中關鍵的技術在于數(shù)據(jù)復制技術。 2.數(shù)據(jù)容災的實現(xiàn)方式根據(jù)數(shù)據(jù)復制技術不同，容災方式主要可以分為：l磁帶級、l數(shù)據(jù)庫級

20、、l應用級、l邏輯卷級、l磁盤級l專業(yè)容災軟件等。 2.1 數(shù)據(jù)容災的實現(xiàn)方式 磁帶級磁帶級容災是： 在本地磁帶介質(zhì)的定點拷貝備份的基礎上，利用備份軟件的自動復制功能，復制出一套備份clone磁帶，然后定期通過直接復制或通過人工運送到異地保管。這種容災實現(xiàn)方式是目前花費最低，而且實施最為簡便的方案，但涉及大量的人工勞動，并且數(shù)據(jù)的實時性較差。如果出現(xiàn)災難，在線系統(tǒng)恢復時間較長，不能滿足日益增長的客戶需求?；謴蜁r間一般在一周左右，不適于大數(shù)據(jù)量的恢復與備份。 2.1 數(shù)據(jù)容災的實現(xiàn)方式 磁帶級2.2 數(shù)據(jù)容災的實現(xiàn)方式 數(shù)據(jù)庫級 數(shù)據(jù)庫復制技術是： 使用oracle數(shù)據(jù)庫或其他專業(yè)軟件，通過分析

21、數(shù)據(jù)庫實時事務處理日志，按照事務處理提交順序在容災中心數(shù)據(jù)庫中進行異步提交（或追加），達到主備中心兩邊數(shù)據(jù)庫數(shù)據(jù)復制。這種方式只復制數(shù)據(jù)庫數(shù)據(jù)，應用復雜度較低，但是災難發(fā)生時可能損失數(shù)據(jù)（損失至少一個log）。 2.2 數(shù)據(jù)容災的實現(xiàn)方式 數(shù)據(jù)庫級2.3 數(shù)據(jù)容災的實現(xiàn)方式 應用級 基于三層結(jié)構(gòu)的中間件軟件，將日常業(yè)務交易分別在主備中心兩邊數(shù)據(jù)庫中進行提交，數(shù)據(jù)同步實時性以及業(yè)務數(shù)據(jù)邏輯一致性很好，但是對中間件上已有應用需要做大量修改，同時對現(xiàn)有主中心系統(tǒng)運行性能影響較大。 2.4 數(shù)據(jù)容災的實現(xiàn)方式 主機邏輯卷級 這種方式工作在主機的卷管理器這一層，通過磁盤卷的鏡像或復制，實現(xiàn)數(shù)據(jù)的容災。這

22、種方式也不需要在兩邊采用同樣的存儲設備，具有很大的靈活性，但復制功能會占用較多主機的cpu資源，對主機的性能有一定的影響，從而直接影響在線系統(tǒng)實際運行效率。 2.4 數(shù)據(jù)容災的實現(xiàn)方式 主機邏輯卷級2.5 數(shù)據(jù)容災的實現(xiàn)方式 磁盤陣列級 這種方式通過高端存儲設備的控制器的遠程復制功能，將兩臺這樣的設備布署在異地，然后通過高速的線路將二者連接起來，由控制器自動的將數(shù)據(jù)復制到遠端。這種方案的數(shù)據(jù)實時性較好，但花費較高，它要求兩邊的存儲設備必須是同構(gòu)，并且對線路帶寬的要求通常也較高。但是由于這種實現(xiàn)方式使用存儲設備用于數(shù)據(jù)同步或異步復制，所以對于服務器設備影響較小，所以在大數(shù)據(jù)量時通常采用此方式用于實施。 2.5 數(shù)據(jù)容災的實現(xiàn)方式 磁盤陣列級primarysecondary2.6 數(shù)據(jù)容災的實現(xiàn)方式 專業(yè)容災軟件1.sansymp