清晰解讀數(shù)據(jù)備份系統(tǒng)設(shè)計思路

引言對于企業(yè)來講，數(shù)據(jù)備份是信息系統(tǒng)容災(zāi)的基礎(chǔ)，它是指為防止邏輯錯誤以及物理錯誤導(dǎo)致數(shù)據(jù)丟失，而將數(shù)據(jù)集合從應(yīng)用主機的存儲系統(tǒng)復(fù)制到其它的存儲介質(zhì)。數(shù)據(jù)備份對于任何企業(yè)都是IT的關(guān)鍵性工作，它直接決定企業(yè)對數(shù)據(jù)威脅及事故的應(yīng)對靈活性和應(yīng)對水平。近些年來，隨著互聯(lián)網(wǎng)相關(guān)科技的飛速發(fā)展，數(shù)據(jù)本身發(fā)生了極大的變化，從數(shù)據(jù)量級、數(shù)據(jù)形態(tài)、數(shù)據(jù)關(guān)聯(lián)等多方面都發(fā)生了翻天覆地的變化。這無疑對數(shù)據(jù)備份系統(tǒng)的設(shè)計規(guī)劃提出了極大的挑戰(zhàn)。因此，有必要明確數(shù)據(jù)備份系統(tǒng)設(shè)計的清晰邏輯思路以及必要的分析步驟。1.

確定備份對象及數(shù)據(jù)特性首先，所謂確定備份對象就是要決定哪些數(shù)據(jù)需要備份。我們需要確定數(shù)據(jù)的重要性程度。本文通過結(jié)果導(dǎo)向的思路從以下維度來分析企業(yè)數(shù)據(jù)的重要性，最終決定哪些數(shù)據(jù)需要備份，哪些數(shù)據(jù)可以不備份，哪些數(shù)據(jù)需要根據(jù)企業(yè)的實際業(yè)務(wù)情況來決定。首先我們假定一個結(jié)果，那就是某個應(yīng)用系統(tǒng)的某類型數(shù)據(jù)由于硬件故障或者其他原因?qū)е聰?shù)據(jù)丟失掉了。那么就看企業(yè)對該結(jié)果的容忍程度，假設(shè)不能容忍，那么就沒什么好商量的了，肯定要做備份。有行業(yè)監(jiān)管標(biāo)準(zhǔn)的通常會按照監(jiān)管標(biāo)準(zhǔn)確定數(shù)據(jù)的重要性，沒有行業(yè)監(jiān)管的通常需要按照數(shù)據(jù)對企業(yè)的經(jīng)濟影響和社會影響程度來確定。無論是哪一種方式，最終都要以量化的形式確定下來數(shù)據(jù)的分級標(biāo)準(zhǔn)。接下來，就是要根據(jù)確定下來的備份對象來分析它的IT特性和業(yè)務(wù)特性。所謂IT特性就是數(shù)據(jù)在量級、形態(tài)、發(fā)展等方面展現(xiàn)出來的特性。近些年來，企業(yè)的數(shù)據(jù)逐漸呈現(xiàn)多元化格局，傳統(tǒng)分析方法可能會以簡單粗暴的方式，將數(shù)據(jù)分為結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化。但是近些年來隨著互聯(lián)網(wǎng)的不斷發(fā)展和擴展，數(shù)據(jù)已不能簡單地以數(shù)據(jù)模型特點來劃分了。很多數(shù)據(jù)展示出來混合模式的特點，并且在半結(jié)構(gòu)化和非結(jié)構(gòu)化歸類當(dāng)中需要更加細(xì)分，例如：(1).NOSQL&NewSQL數(shù)據(jù)庫中的文檔、JSON、鍵值等類型數(shù)據(jù)。(2).以ASC方式記錄的文本、PDF、XML等文件形式的數(shù)據(jù)。(3).以二進(jìn)制方式記錄形成的圖片、網(wǎng)頁等數(shù)據(jù)。(4).以視頻流方式記錄形成的媒體類數(shù)據(jù)。所謂數(shù)據(jù)的業(yè)務(wù)特性就是不同數(shù)據(jù)之間的業(yè)務(wù)關(guān)聯(lián)性，割裂了業(yè)務(wù)的關(guān)聯(lián)性，即使數(shù)據(jù)備份可以很好地完成，但是數(shù)據(jù)恢復(fù)是無法完成的，因為多種數(shù)據(jù)只有通過業(yè)務(wù)的維度聯(lián)系起來才能形成業(yè)務(wù)層面可以識別的業(yè)務(wù)信息。因此以應(yīng)用系統(tǒng)為單位的數(shù)據(jù)關(guān)聯(lián)性分析也是必不可少的步驟。2.

確定數(shù)據(jù)備份策略所謂數(shù)據(jù)備份的策略，從大的維度要確定哪些數(shù)據(jù)全量備份？哪些數(shù)據(jù)增量備份？哪些數(shù)據(jù)需要差量備份？從細(xì)的維度要確定備份的頻度、模式、窗口等各種必要因素。這部分內(nèi)容需要考慮到數(shù)據(jù)本身的量級、數(shù)據(jù)的具體類型、極端條件下對數(shù)據(jù)恢復(fù)時間及數(shù)據(jù)丟失量的容忍程度、數(shù)據(jù)備份系統(tǒng)以及備份介質(zhì)本身的性能特性、業(yè)務(wù)發(fā)展的規(guī)模及趨勢判斷等等。同樣會從以下幾個維度進(jìn)行評估：(1).數(shù)據(jù)庫里面的結(jié)構(gòu)化表數(shù)據(jù)，這部分?jǐn)?shù)據(jù)通常是比較重要的。一般來講既要有全量的備份，也要有事務(wù)日志的差量備份。全量備份的頻度需要、副本數(shù)量、時間需要綜合數(shù)據(jù)的量級、變化的速度、業(yè)務(wù)的繁忙窗口等綜合考慮。歸檔日志的備份頻度、備份源選擇、備份作業(yè)發(fā)起的時間、備份的窗口需要根據(jù)歸檔速度以及業(yè)務(wù)要求的RTO目標(biāo)等來進(jìn)行綜合評估。(2).可單獨利用的文件類型數(shù)據(jù)，主要包括一些可以單獨恢復(fù)利用的的日志、圖片、PDF等。該類數(shù)據(jù)一般情況下數(shù)據(jù)量級較大，但是重要性相對而言偏弱。因此需要結(jié)合現(xiàn)有備份工具確定全量備份和增量備份的相關(guān)因素。(3).需要結(jié)合結(jié)構(gòu)化信息利用的文件類數(shù)據(jù)，一般是通過業(yè)務(wù)系統(tǒng)端有序?qū)⒔Y(jié)構(gòu)化信息和非結(jié)構(gòu)化文件讀取、校驗、轉(zhuǎn)化等最終轉(zhuǎn)化成業(yè)務(wù)端可以識別的有效信息。這類數(shù)據(jù)的備份不僅僅要考慮通常的策略因素，還需要綜合所有涉及到的數(shù)據(jù)，以恢復(fù)目標(biāo)為依據(jù)來決定最終的備份策略。3.

確定數(shù)據(jù)備份工具及備份介質(zhì)所謂數(shù)據(jù)備份的工具，就是采用什么樣的備份軟件。備份軟件有很多，市場上備份軟件非常多，傳統(tǒng)的備份軟件有EMCNetworker、SYMANTICNBU、COMMVAULT等，近些年來隨著云計算的不斷發(fā)展，一些新型的面向云計算領(lǐng)域的備份軟件也不斷涌現(xiàn)。但是作為企業(yè)來講，選擇備份工具更重要的是要根據(jù)備份數(shù)據(jù)的特性來選擇，在符合數(shù)據(jù)特性的基礎(chǔ)之上再來選擇工具的技術(shù)標(biāo)準(zhǔn)（備份速度、恢復(fù)速度、實現(xiàn)功能、兼容性、穩(wěn)定性等）。通常對于事務(wù)性的數(shù)據(jù)備份工具，要考慮到備份工具本身對數(shù)據(jù)恢復(fù)時的事務(wù)支持。對于海量非結(jié)構(gòu)化數(shù)據(jù)的備份要考慮到備份工具的效率問題，備份軟件底層對數(shù)據(jù)的識別原理決定了其本質(zhì)效率?？梢圆捎镁邆淇煺展δ?、對象識別功能的工具來大幅提升備份效率。所謂數(shù)據(jù)備份的介質(zhì)，就是采用什么樣的存儲設(shè)備。傳統(tǒng)備份介質(zhì)包含磁帶設(shè)備、通用Nas存儲、物理或虛擬帶庫、光存儲、DataDomain等。近些年來隨著云計算的發(fā)展出現(xiàn)了很多具備數(shù)據(jù)備份功能的分布式對象存儲，還有公有云上的一些具備備份功能的資源池資源。企業(yè)選擇什么樣的備份介質(zhì)同樣取決于數(shù)據(jù)的情況。主要決定備份介質(zhì)的因素包括其備份的效率、空間以及成本。數(shù)據(jù)的恢復(fù)目標(biāo)決定了備份介質(zhì)的存取效率要求，數(shù)據(jù)的量級決定了備份介質(zhì)的空間要求以及擴展要求，數(shù)據(jù)的重要性及安全要求決定了存儲介質(zhì)是否可以采用公有云資源。在符合以上原則的前提下，遵循最優(yōu)的性價比。4.

確定數(shù)據(jù)備份系統(tǒng)架構(gòu)企業(yè)的備份系統(tǒng)不是單一的備份工具，它是包含了數(shù)據(jù)、工具、介質(zhì)、恢復(fù)等各方面的有機整體，需要將選擇的各類元素進(jìn)行有機整合，形成完備的數(shù)據(jù)備份和恢復(fù)系統(tǒng)。在進(jìn)行整體規(guī)劃之前，需要先解決以下幾個問題：(1).備份系統(tǒng)的網(wǎng)絡(luò)架構(gòu)是私有還是混合？取決于是否利用外部云資源。(2).備份系統(tǒng)是否有雙備份域的要求？取決于數(shù)據(jù)中心整體容災(zāi)要求。在解決了以上幾個重要問題之后，接下來就是對于備份系統(tǒng)當(dāng)中各個元素以及其組合方式的規(guī)劃和設(shè)計工作了，具體說來包含以下幾個方面：(1).數(shù)據(jù)客戶端層：要備份的數(shù)據(jù)保存在哪些服務(wù)器？保存在哪些位置下？需要安裝哪些客戶端代理或者部署哪些軟件腳本？安裝部署的具體方式是不是要采用集中管理的模式？(2).數(shù)據(jù)備份過程控制層：主要包括備份主服務(wù)器和備份作業(yè)服務(wù)器，主服務(wù)器根據(jù)配置好的調(diào)度策略以及整體架構(gòu)中的備份元素發(fā)送作業(yè)調(diào)度指令，并且將存儲片的元數(shù)據(jù)存儲到主服務(wù)器上的數(shù)據(jù)庫當(dāng)中。然后作業(yè)服務(wù)器可以通過與客戶端的交互完成具體備份作業(yè)。這里除了需要考慮到功能上的基本元素配置問題，還需要考慮到高可用及性能要求，通常采用分布式架構(gòu)可以解決。(3).數(shù)據(jù)存儲層：備份數(shù)據(jù)最終要存儲的地方，可以通過光纖網(wǎng)絡(luò)或者以太網(wǎng)絡(luò)實現(xiàn)其與備份控制層的連接。傳統(tǒng)模式一般會是光纖網(wǎng)絡(luò)和虛擬帶庫的組合模式，其優(yōu)點在于備份速度和容量的性價比上。但是近些年來隨著以太網(wǎng)技術(shù)的發(fā)展，利用高速網(wǎng)絡(luò)實現(xiàn)的備份數(shù)據(jù)傳輸同樣可以保障其備份速度，同時具備更好的靈活性。另外，數(shù)據(jù)存儲層還需要考慮到歸檔、離線、在線等數(shù)據(jù)生命周期和存儲介質(zhì)的映射關(guān)系以及數(shù)據(jù)的流動順序。(4).數(shù)據(jù)恢復(fù)層：通常數(shù)據(jù)恢復(fù)實際發(fā)生的概率非常低，數(shù)據(jù)恢復(fù)也基本上是在數(shù)據(jù)的原始存放位置進(jìn)行恢復(fù)。但是為了保障危急時刻的有效性，很多企業(yè)的IT部分要對備份系統(tǒng)功能進(jìn)行定期驗證，這個事后就需要異機恢復(fù)。因此考慮好具備有效性驗證的數(shù)據(jù)恢復(fù)資源，并且將其融入（網(wǎng)絡(luò)、空間、配置、應(yīng)用）到備份系統(tǒng)當(dāng)中也是必須考慮的重要一環(huán)。5.

優(yōu)化備份作業(yè)調(diào)度通常按照編制好的作業(yè)備份表進(jìn)行備份調(diào)度之后，會產(chǎn)生一些問題。比如：備份作業(yè)過度集中于某一個時間段，備份作業(yè)頻繁掛起，備份作業(yè)影響網(wǎng)絡(luò)性能等等。引起著一系列問題的原因在于以下幾個方面：(1).業(yè)務(wù)RTO目標(biāo)與備份作業(yè)頻度的不平衡。按照業(yè)務(wù)RTO的過高要求，數(shù)據(jù)備份的頻度和數(shù)據(jù)備份的效率無法滿足，這個時候需要考慮結(jié)合數(shù)據(jù)庫本身的歸檔配置參數(shù)、數(shù)據(jù)備份工具的效率參數(shù)、承載業(yè)務(wù)本身的硬件性能等多個方面進(jìn)行調(diào)整，從而達(dá)到平衡狀態(tài)。(2).全量備份作業(yè)的時間窗口沒有周期性進(jìn)行調(diào)整。通常來講全量備份的作業(yè)時間必須在規(guī)定的時間窗口內(nèi)完成，否則就會影響網(wǎng)絡(luò)性能。但是全量備份作業(yè)的作業(yè)量會呈現(xiàn)不斷增長的態(tài)勢，最初設(shè)計的時間窗口已經(jīng)無法滿足要求，這個時候就需要根據(jù)備份作業(yè)的實際情況進(jìn)行調(diào)優(yōu)。一方面要從應(yīng)用層面調(diào)整數(shù)據(jù)量的暴增，該離線離線該歸檔歸檔。另外一方面要及時調(diào)整作業(yè)的啟動時間和分布。(3).業(yè)務(wù)高峰期的作業(yè)分布不夠科學(xué)合理。通常我們應(yīng)該針對某些業(yè)務(wù)高峰期的備份作業(yè)日志進(jìn)行觀察、統(tǒng)計、梳理，在這些特殊的業(yè)務(wù)高峰期，盡可能減少備份作業(yè)數(shù)量。一方面讓備份作業(yè)在相鄰周期段內(nèi)趨于平衡分布，另外一方面要保障業(yè)務(wù)高峰期的備份作業(yè)適度減少?？偠灾瑐浞葑鳂I(yè)的調(diào)度是一個長期的過程，需要管理人員經(jīng)常調(diào)閱作業(yè)調(diào)度日志進(jìn)行分析，從作業(yè)分布、重點時間窗口、作業(yè)調(diào)度失敗情況、作業(yè)平均持續(xù)時間等多個維度梳理分析，