數據中心解決方案之災備方案設計

1、數據中心解決方案之災備方案設計1.數據中心容災備份解決方案隨著社會的發(fā)展和科技的進步，政府日常工作越來越依賴于數據處理來進行，政務系統(tǒng)的連續(xù)性依賴于數據中心系統(tǒng)的穩(wěn)定運行。然而，災難就像灰塵一樣伏擊在運營環(huán)境周圍，政務系統(tǒng)的數據中心可能正在一個充滿風險和威脅的環(huán)境下運行。如果不能對這些風險采取有效治理，一旦數據由于某種原因丟失，就很有可能對政府的日常工作造成嚴重的影響。如果核心數據丟失，將會使得某些核心功能陷入癱瘓，造成不可估量的損失。因此，保證政務的連續(xù)性和數據的高可靠性和可用性，已經成為政府部門在數據中心建設中，必須要考慮的問題。1.1災備解決方案原則首先，在制定容災系統(tǒng)方案的過程中要考慮

2、的就是容災系統(tǒng)建設對原有業(yè)務系統(tǒng)帶來的影響。比如，采用數據復制技術對系統(tǒng)I/O帶來的延遲，應用數據同步對日常業(yè)務處理系統(tǒng)帶來的壓力等。因此，企業(yè)要通過周密的測試和分析來規(guī)避容災系統(tǒng)建設時帶來的這些風險，以保證業(yè)務系統(tǒng)不會因容災系統(tǒng)的建設而出現在處理性能上下降的問題。第二，數據狀態(tài)要保持同步。為保證在災難發(fā)生時，業(yè)務可以成功地切換到備份中心，就必須保證容災系統(tǒng)數據同步機制的可靠性。因此，建立可靠的數據同步校驗機制是必須的; 同時，還要考慮建立定時的、自動的數據同步核查對比機制，以檢驗兩個中心數據的一致性，這是數據容災工作中非常重要的一部分。第三，容災系統(tǒng)的日常維護工作要盡可能輕，并能承擔部分業(yè)務

3、處理和測試的工作。容災系統(tǒng)的維護和管理是容災切換成功的重要保證，在系統(tǒng)建設中，就必須要考慮系統(tǒng)的維護管理流程。生產中心任何業(yè)務處理過程的改變都必須完整地復制到備份中心; 所有新業(yè)務系統(tǒng)上線時，必須通知備份中心，并在備份中心配置好數據同步機制; 對原程序的改動也必須保證兩個中心同時上線。第四，系統(tǒng)恢復時間要盡可能短。容災系統(tǒng)主要是為了實現在主中心系統(tǒng)發(fā)生災難時，可以在規(guī)定時間切換到備份中心，保證數據不會丟失，并且繼續(xù)向用戶提供服務。但往往在災難發(fā)生時，主要技術人員不能及時到達現場，為了順利實現系統(tǒng)間的切換，應該讓系統(tǒng)切換操作盡可能地簡單; 并建立固定化的、標準化的切換流程，要求維護人員在切換演習

4、時嚴格按照流程的指導步驟進行操作。第五，可實現部分業(yè)務子系統(tǒng)的切換和回切。當人事變動、業(yè)務變化、IT設施變化以及其他可能引起恢復規(guī)劃文檔失效的變化發(fā)生時，應及時更新各恢復規(guī)劃文檔，并在必要時啟動模擬測試或演習，確保業(yè)務連續(xù)性系統(tǒng)的工作能力。第六，技術方案選擇要遵循成熟穩(wěn)定、高可靠性、可擴展性、透明性的原則。目前，國際上比較成熟的容災技術包括： SAN/NAS技術、遠程鏡像技術、虛擬存儲、基于IP的SAN互連技術以及快照技術等。其中基于IP的SAN遠程數據容災備份技術應用比較廣泛，其是利用基于IP的SAN的互連協(xié)議，將主數據中心SAN中的信息通過現有的TCP/IP網絡，遠程復制到備份中心的SAN

5、中的。當備份中心存儲的數據量過大時，可利用快照技術將其備份到磁帶庫或光盤庫。這種基于IP的SAN遠程容災備份，可以跨越LAN、MAN和WAN，成本低、可擴展性好?；贗P的互連協(xié)議主要包括FCIP、iFCP、InfiniBand、iSCSI等。第七，構建系統(tǒng)方案可以選擇多種技術組合方式。目前，業(yè)內應用較多的容災方案是基于智能存儲系統(tǒng)的遠程數據復制技術，它是由智能存儲系統(tǒng)自身實現的數據遠程復制和同步，即智能存儲系統(tǒng)將對該系統(tǒng)中的存儲器I/O操作請求復制到遠端的存儲系統(tǒng)中并執(zhí)行。由于在這種方式下，數據復制軟件運行在存儲系統(tǒng)內，因此較容易實現主中心和容災備份中心的操作系統(tǒng)、數據庫、系統(tǒng)庫和目錄的實時

6、拷貝及維護能力，且不會影響主中心主機系統(tǒng)的性能。如果在系統(tǒng)恢復場具備了實時數據，那么就可以做到在災難發(fā)生時，及時開始應用處理過程的恢復。但這種方案也有開放性差(不同廠家的存儲設備系統(tǒng)一般不能配合使用)、對于主、備中心之間的網絡條件(穩(wěn)定性、帶寬、鏈路空間距離)要求較苛刻等缺點。1.2災備解決方案設計需要考慮的因素1.2.1 RTO和RPORTO（RecoveryTime Object）：是指災難發(fā)生后，從IT系統(tǒng)宕機導致業(yè)務停頓之刻開始，到IT系統(tǒng)恢復至可以支持各部門運作，業(yè)務恢復運營之時，此兩點之間的時間段成為RTO。RTO是反映業(yè)務恢復及時性的指標，表示業(yè)務從中斷到回復正常所需要的時間。R

7、TO值越小，代表容災系統(tǒng)的數據恢復能力越強。各種容災解決方案的RTO有較大差別，基于光通道技術的同步數據復制，配合異地備用的業(yè)務系統(tǒng)和跨業(yè)務中心與備份中心的高可用管理，這種容災解決方案具有最小的RTO。RPO（Recovery Point Objective），是指從系統(tǒng)和應用數據而言，要實現能夠恢復至可以支持各部門業(yè)務運作，系統(tǒng)及生產數據應恢復到怎樣的更新程度。RPO是反映恢復數據完整性的指標，在同步數據復制方式下，RPO等于數據傳輸延遲的時間；在異步數據復制下，RPO基本為異步傳輸數據排隊的時間。在實際應用中，考慮導數據傳輸的因素，業(yè)務數據庫與容災備份數據庫的一致性（SCN）是不同的，RP

8、O表示業(yè)務數據庫與容災備份數據庫SCN的時間差。發(fā)生災難后，啟動容災系統(tǒng)完成數據恢復，RPO就是新恢復業(yè)務系統(tǒng)的數據損失量。設計容災系統(tǒng)不能只看RTO和RPO，對于不同的業(yè)務系統(tǒng)和用戶特殊的要求，其它一些指標有可能成為選擇容災解決方案的主要因素。例如，某些地區(qū)為了防范一些特定自然災害的風險，要求容災備份中心與業(yè)務中心保持足夠的距離，在這種情況下，容災備份中心與業(yè)務中心的距離要求就是容災系統(tǒng)的重要指標。1.2.2數據安全數據的完整性，一致性是保證業(yè)務連續(xù)的關鍵。在本地，數據安全需要使用RAID技術來保證。在災備方案的設計中，數據復制方案的設計是整個設計的基礎。目前業(yè)界主流的數據復制技術有：基于數

9、據庫本身的復制技術，基于操作系統(tǒng)的數據復制，基于虛擬存儲的復制技術和基于存儲的復制技術。在方案所用技術的選擇時，應當根據客戶的預算，現場的條件，綜合來進行考量。后續(xù)在1.6.1數據同步章節(jié)，將會有這4類數據復制技術的綜合對比，可以作為選擇的參考。1.2.3網絡安全通信網絡是容災系統(tǒng)的組成部分，通信線路的質量也是容災系統(tǒng)的性能指標之一，其中包括網絡的數據傳輸帶寬、網絡傳輸通道的冗余和網絡服務商的服務水平（網絡年中斷率）。如果容災系統(tǒng)使用的通信網絡是確定的，為了比較不同容災解決方案，可以用單位存儲容量的數據庫在同一通信網絡上的數據完全恢復時間作為一項設計指標。1.2.4業(yè)務連續(xù)性業(yè)務連續(xù)性是災備方

10、案的最終目標，是方案的價值所在。為了保證業(yè)務的連續(xù)，首先需要數據的連續(xù)，之前我們討論了數據安全相關的內容。其次，在數據連續(xù)的基礎上，出現災難時，系統(tǒng)需要能夠滿足（1）網絡切換（2）應用切換。以此，來保證系統(tǒng)能夠順利切換到災備地，繼續(xù)安全運營，最大化保證客戶利益。1.3國標系統(tǒng)災備等級劃分及應對措施國家信息系統(tǒng)災難恢復規(guī)范（GB/T 20988-2007）規(guī)定了六個級別的容災，下表分別針對每個級別給出了相應的應對措施。級別內容措施Level6數據零丟失和遠程集群支持實現遠程數據實時備份，實現零丟失；應用軟件可以實現實時無縫切換；遠程集群系統(tǒng)的實時監(jiān)控和自動切換能力；Level5實時數據傳輸及完整

11、設備支持實現遠程數據復制技術；備用網絡也具備字哦那個或集中切換能力；Level4電子傳輸及完整設備支持配置所需要的全部數據和通訊線路及網絡設備，并處于就緒狀態(tài)；7*24運行；更高的技術支持和運維管理；Level3電子傳輸和部分設備支持配置部分數據，通信線路和網絡設備；每天實現多次的數據電子傳輸；備用場地配置專制的運行管理人員；Level2備用場地支持預定時間調配數據，通信線路和網絡設備；備用場地管理制度；設備及網絡緊急供貨協(xié)議；Level1基本支持每周至少做一次完全數據備份；制定介質存取驗證和轉儲的管理制度；完整測試和演練的災難恢復計劃；1.4容災技術分析1.4.1備份方式(1)冷備份備份系統(tǒng)

12、未安裝或未配置成與當前使用的系統(tǒng)相同或相似的運行環(huán)境, 應用系統(tǒng)數據沒有及時裝入備份系統(tǒng)。一旦發(fā)生災難，需安裝配置所需的運行環(huán)境，用數據備份介質（磁帶或光盤）恢復應用數據，手工逐筆或自動批量追補孤立數據，將終端用戶通過通訊線路切換到備份系統(tǒng)，恢復業(yè)務運行。優(yōu)點：設備投資較少，節(jié)省通信費用，通信環(huán)境要求不高。缺點：恢復時間較長，一般要數天至1周，數據完整性與一致性較差。(2)溫備份將備份系統(tǒng)已安裝配置成與當前使用的系統(tǒng)相同或相似的系統(tǒng)和網絡運行環(huán)境，安裝了應用系統(tǒng)業(yè)務定期備份數據。一旦發(fā)生災難，直接使用定期備份數據，手工逐筆或自動批量追補孤立數據或將終端用戶通過通訊線路切換到備份系統(tǒng)，恢復業(yè)務運

13、行。優(yōu)點：設備投資較少，通信環(huán)境要求不高。缺點：恢復時間長，一般要十幾個小時至數天，數據完整性與一致性較差。(3)熱備份備份處于聯(lián)機狀態(tài)，當前應用系統(tǒng)通過高速通信線路將數據實時傳送到備份系統(tǒng)，保持備份系統(tǒng)與當前應用系統(tǒng)數據的同步；也可定時在備份系統(tǒng)上恢復應用系統(tǒng)的數據。一旦發(fā)生災難，不用追補或只需追補很少的孤立數據，備份系統(tǒng)可快速接替生產系統(tǒng)運行，恢復營業(yè)。優(yōu)點：恢復時間短，一般幾十分鐘到數小時，數據完整性與一致性最好，數據丟失可能性最小。缺點：設備投資大，通信費用高，通信環(huán)境要求高，平時運行管理較復雜。在計算機服務器備份和恢復中，冷備份服務器（cold server）是在主服務器丟失的情況下

14、才使用的備份服務器。冷備份服務器基本上只在軟件安裝和配置的情況下打開，然后關閉直到需要時再打開。溫備份服務器（warm server）一般都是周期性開機，根據主服務器內容進行更新，然后關機。經常用溫備份服務器來進行復制和鏡像操作。熱備份服務器（hot server）時刻處于開機狀態(tài)，同主機保持同步。當主機失靈時，可以隨時啟用熱備份服務器來代替。對于關鍵的業(yè)務，Primeton建議采用同城熱備異地熱備的方式進行部署，對于一般性的業(yè)務，建議采用同城熱備異地溫備（應用不啟動，數據保持異步復制）的方式進行部署。1.4.2數據復制技術目前數據復制技術主要有如下表所列4種，基于紅色字體部分的要求，結合客戶

15、的需要，Primeton推薦采用基于存儲或者基于應用程序的數據復制技術來進行數據同步。存儲系統(tǒng)數據復制操作系統(tǒng)層數據復制應用程序層數據復制基于存儲的數據復制虛擬存儲技術基本原理數據的復制過程通過本地的存儲系統(tǒng)和遠端的存儲系統(tǒng)之間的通信完成。復制技術是伴隨著存儲局域網的出現引入的，通過構建虛擬存儲上實現數據復制。通過操作系統(tǒng)或者數據卷管理器來實現對數據的遠程復制。數據庫的異地復制技術，通常采用日志復制功能，依靠本地和遠程主機間的日志歸檔與傳遞來實現兩端的數據一致。平臺要求同構存儲與平臺無關，需要增加專有的復制服務器或帶有復制功能的SAN交換機同構主機、異構存儲與平臺無關復制性能高高高較高資源占用

16、對生產系統(tǒng)存儲性能有影響對網絡要求高對生產系統(tǒng)主機性能有影響占用部分生產系統(tǒng)數據庫資源技術成熟度成熟成熟度有待提高，非主流復制技術。成熟成熟投入成本高，需要同構存儲較高，需要專有設備較高，需要同構主機一般部分軟件免費，如DataGuard復制軟件IBM PPRCEMC SRDFHP CA（Continues Access）HDS TrueCopyBrocade Tapestry DMMUIT SVMEMC VSM 原廠技術：IBM AIX LVMHP-UINX MirrorDiskSun Solaris SVM專業(yè)的復制軟件：Symantec SF/VVROracle DataGua

17、rdOracle GoldenGateDNT IDRDSG RealSyncQuest SharePlex1.4.3重復數據刪除技術重復數據刪除技術是指將存儲系統(tǒng)中存在的大量內容相同的數據刪除，只保留其中一份，從而縮減存儲空間的技術。在云災備中，該技術既能大幅減少災備中心存儲的數據量，降低災備中心的建設和運維成本，又能大幅減少數據備份和恢復過程中用戶和災備提供商間的數據傳輸量，提高備份和恢復的性能，是一項十分重要的技術。隨著災備中心的規(guī)模不斷增大，存儲的數據量和訪問量不斷增加，單一節(jié)點上的重復數據刪除方法已不能滿足性能和容量的需求。除上述基本重復數據刪除技術外，一些優(yōu)化和改進技術對云災備是至關

18、重要的，包括高性能、可擴展的、分布式的重復數據刪除技術，以及為提高災備中心數據可靠性的高可靠重復數據刪除技術。1.4.4操作系統(tǒng)虛擬化技術    除了數據級的災備，還應提供系統(tǒng)級的災備。即在將數據復制到云端的同時，也將受保護的應用程序的狀態(tài)復制到云端，當災難發(fā)生時可以立即切換到云端的應用程序運行，保證業(yè)務連續(xù)性。系統(tǒng)級災備是通過操作系統(tǒng)虛擬化和檢查點實現的。檢查點用來捕獲進程某一時刻的運行狀態(tài)，從而實現進程遷移。進程遷移既可以是用戶應用程序進程到云災備中心的遷移，也可以是云災備中心內部的虛擬機池間進程遷移，以實現根據前端用戶的需求自動地調節(jié)災備服務提供商有限的硬件與軟件資源

19、，動態(tài)地、彈性的反應前端業(yè)務對災備的需求。當程序因故障中斷，如果不能保留其中間運行狀態(tài)，恢復后從頭運行將會帶來極大的消耗。檢查點技術能夠解決這個問題。通過保留各個進程的運行狀態(tài)，恢復時能夠復原到最近一次保留的數據映像。傳統(tǒng)的檢查員機制是基于庫的檢查點機制。例如以靜態(tài)庫的形式實現，或通過加載動態(tài)鏈接庫來追蹤程序運行過程中的數據變化。也有一些檢查點機制實現于內核級別甚至硬件級別。例如通過在文件系統(tǒng)層之上引入一個中間層來實現保留文件系統(tǒng)狀態(tài)的檢查點機制；或者借助Fuse內核模塊實現的支持檢查點機制的文件系統(tǒng)，通過Fuse偵測、攔截內核級別的文件系統(tǒng)操作并將控制權傳遞給用戶，從而能夠在用戶空間對文件系

20、統(tǒng)狀態(tài)進行保留。隨著操作系統(tǒng)虛擬化技術的發(fā)展，基于虛擬容器的檢查點技術也得到了很好的應用。虛擬容器是通過系統(tǒng)虛擬化技術構建出來的一個進程運行的較獨立的上下文環(huán)境。虛擬容器檢查點技術能夠有效保護容器內運行的應用程序和服務而不需要對應用進行修改。1.5總體架構設計1.5.1Primeton“兩地三中心”容災解決方案架構設計結合近年國內出現的大范圍自然災害，以同城雙中心加異地災備中心的“兩地三中心”的災備模式也隨之出現，這一方案兼具高可用性和災難備份的能力。1.5.1.1“兩地三中心”本地高可用和容災保護策略（1）本地保護策略： 本地高可用 本地clone 持續(xù)數據保護 B2DBVTL 磁帶備份 A

21、rchive Log備份（2）容災保護策略 應用級或者數據級容災 同級容災、降級容災 同步數據保護異步數據保護 容災數據復制技術 主備中心運營方式雙主中心運營方式多中心運營方式 短、中、遠期容災策略1.5.1.2“兩地三中心”功能定位生產中心同城備份中心異地災備中心生產生產（雙活或熱備）生產備份備份備份災備災備災備開發(fā)監(jiān)控測試測試 監(jiān)控監(jiān)控 管理管理  同城雙中心是指在同城或鄰近城市建立兩個可獨立承擔關鍵系統(tǒng)運行的數據中心，雙中心具備基本等同的業(yè)務處理能力并通過高速鏈路實時同步數據，日常情況下可同時分擔業(yè)務及管理系統(tǒng)的運行，并可切換運行；災難情況下可在基

22、本不丟失數據的情況下進行災備應急切換，保持業(yè)務連續(xù)運行。與異地災備模式相比較，同城雙中心具有投資成本低、建設速度快、運維管理相對簡單、可靠性更高等優(yōu)點。異地災備中心是指在異地的城市建立一個備份的災備中心，用于雙中心的數據備份，當雙中心出現自然災害等原因而發(fā)生故障時，異地災備中心可以用備份數據進行業(yè)務的恢復。1.5.1.3“兩地三中心”容災架構設計邏輯架構模型設計：物理架構設計：方案特點： 同城范圍有效保證了數據的安全性和業(yè)務連續(xù)性； 異地復制數據根據災難情形，盡可能降低數據丟失機率； 同城雙中心為同步復制，數據實時同步，RPO=0； 異地無距離限制，保證數據一致性，保證了數據的有效保護； 異地

23、容災帶寬要求低，先進的復制機制提高帶寬利用率。對于本地本級備份，應建立在線、近線、離線等多級存儲備份系統(tǒng)，充分利用先進的備份手段和備份策略，形成完整的本地備份管理解決方案；備份的數據包括操作系統(tǒng)、數據文件以及應用服務環(huán)境等多個方面；日常訪問的重要數據采用磁盤或者虛擬帶庫方式備份，歸檔數據和非重要數據采用磁帶庫方式備份；重要數據應至少保證每周做一個全量備份，平時做增量備份。對于數據級異地災備中心，選址上，應進行風險分析，避免異地備份中心與主中心同時遭受同類風險；網絡備用系統(tǒng)上，必須在核心網絡層面實現熱備，保證災備中心區(qū)域內通信的可靠性；數據備份系統(tǒng)上，主中心與備份中心的備份鏈路應有冗余，并確保2

24、小時內將主中心的增量數據復制或備份到災備中心；數據處理備用系統(tǒng)上，配備災難恢復所需的全部數據處理設備，并處于就緒狀態(tài)或運行狀態(tài)，與主中心共同承擔部分核心應用的查詢服務功能。對于同城應用級災備中心，選址上，主中心與同城災備中心距離應小于100KM；網絡備用系統(tǒng)上，在核心網絡層面實現熱備，主中心與應用級災備中心間通過裸光纖互聯(lián)或VPLS互聯(lián)，部署TRILL構建大二層網絡，滿足虛擬化需求；網絡負載均衡上，主中心網絡與災備中心網絡的負載均衡，提高災備網絡利用率與災備網絡可用性，正常情況下數據流同時使用兩個中心的網絡，主中心網絡出現故障時，則全部數據流向災備網絡；應用集群切換上，關鍵業(yè)務系統(tǒng)集群實現手動

25、切換，主中心與同城災備中心之間建立高可用性監(jiān)控技術，實現災備中心應用服務器集群與主中心生產服務器集群之間的高可用性切換；云計算技術采用上，采用虛擬化技術對同城災備中心進行規(guī)劃建設，同時，根據業(yè)務關鍵程度、對性能的要求，系統(tǒng)平臺選擇不同檔次和不同平臺的主機資源池、存儲資源池。1.5.2基于不同服務需求選擇不同可靠性“兩地三中心”架構1.5.2.1服務等級劃分的可靠性服務級別tier1tier2tier3tier4服務內容關鍵任務服務,需要最高級別的可靠性。高端技術和工具將會被用來滿足最高級別的可靠性。如果丟失一個組件，如服務器，一塊存儲，或者一個通信鏈接，都將會導致服務不可靠。每個應用和基礎服務都會制定性能指標。這些指標都將會被監(jiān)控，并會通過業(yè)務支持的流程以特定格式輸出。這個site不僅僅包含基礎架構組件。關鍵業(yè)務服務的運維和tier1一樣，但是某些限制非可靠級別的服務可以容忍短時間的不可恢復的影響。高端技術和工具將會盡量