企業(yè)備份系統(tǒng)運維管理的關(guān)鍵問題

企業(yè)備份系統(tǒng)運維管理的關(guān)鍵問題

對于每一個企業(yè)來講，數(shù)據(jù)備份恢復是企業(yè)IT運維當中非

常重要的一部分。如何保障必要的數(shù)據(jù)在必要的時間完成必要模式

的備份，并且能在需要的時刻將正確的數(shù)據(jù)在正確的位置恢復，這

是數(shù)據(jù)備份恢復運維工作必然的考核指標。本文通過大量的運維實

踐總結(jié)出備份系統(tǒng)運維工作當中遇到的一些關(guān)鍵問題，并且按照實

際解決方案提煉解決思路。

1.如何解決平衡數(shù)據(jù)庫歸檔頻度和數(shù)據(jù)恢復完整性

1.1數(shù)據(jù)庫恢復的基本原理

對于數(shù)據(jù)庫的恢復來說有很多種，我們只討論需要介質(zhì)恢復的情況。在

這種場合下，首先我們需要找到一個最近時刻點的全量備份進行恢復；然后

需要從備份介質(zhì)上找到這個時刻點之后的重做日志進行數(shù)據(jù)追平，最后我

們需要找到本地沒有丟失的重做日志進行再次追平直到?jīng)]有可用日志。如

如圖所示，在時刻A,我們開始做在線全庫備份，在B時刻全庫備

份結(jié)束。當數(shù)據(jù)庫運行到E時刻之后數(shù)據(jù)庫發(fā)生了重大介質(zhì)故障，只能通

過介質(zhì)恢復。那么在A~C時間段內(nèi)，大部分REDO日志文件都已經(jīng)歸檔到

備份介質(zhì)池當中，服務器本地存儲目錄當中只剩下CE（小于一個歸檔備

份時間間隔）的歸檔日志和沒有來得及歸檔的REDO日志文件。假設(shè)發(fā)生

的故障嚴重到服務器本地存儲目錄也無法恢復的時候，那么相當于在C-E

這段時間產(chǎn)生的重做日志就丟失掉了。相當在這種極端場合下，數(shù)據(jù)丟失的

最大窗口就是一個歸檔間隔時間段。當然如果把這個間隔設(shè)置的足夠小的

話，那么另外的問題就產(chǎn)生了，備份作業(yè)隨著系統(tǒng)增加會呈爆發(fā)式并發(fā)啟動

狀態(tài)，最終會影響到整個備份系統(tǒng)的健康運行導致歸檔無法及時轉(zhuǎn)儲，最終

還是可能會導致數(shù)據(jù)庫的宕機。這就是一個矛盾，需要我們?nèi)ズ芎玫钠胶狻?/p>

1.2平衡數(shù)據(jù)庫歸檔頻率的方法

數(shù)據(jù)庫歸檔備份的頻率是指一天24小時內(nèi)間隔多長時間進行一次歸

檔日志的備份，一方面是要保障增量數(shù)據(jù)備份的完整性，另外一方面是要避

免因為恢復空間不足導致數(shù)據(jù)庫的宕機時間。要平衡這個頻率窗口需要采

集以下幾類數(shù)據(jù)：

1）單位時間內(nèi)不同數(shù)據(jù)庫系統(tǒng)平均的歸檔日志量。

采集這個數(shù)據(jù)的目的在于詳細分析不同業(yè)務系統(tǒng)在不同時間段的寫操

作頻繁程度。對于日志歸檔速度較快的系統(tǒng)，我們需要提高其恢復區(qū)的空間

大小，同時加快歸檔備份的頻率，使得數(shù)據(jù)庫既能處于安全運行狀態(tài)又能保

障極端故障場合下數(shù)據(jù)丟失的量在較小范圍之內(nèi)。

2）業(yè)務系統(tǒng)類型。

所謂業(yè)務系統(tǒng)類型即OLTP或者是OLAP,因為對于OLAP來講，每

次的讀寫操作都會是批量的執(zhí)行，它的歸檔速度是正常OLAP系統(tǒng)的幾十

倍甚至上百倍。最麻煩的是兩者皆有的業(yè)務系統(tǒng)，比如說銀行業(yè)中的交易系

統(tǒng)，白天跑聯(lián)機交易，晚上跑核算批量，白天和晚上的日志歸檔速度有著巨

大的反差。那么我們就需要在批量作業(yè)時間段內(nèi)將備份頻率調(diào)快，將恢復區(qū)

空間設(shè)置提高。

3）備份系統(tǒng)可以容忍的最大并發(fā)量。

備份系統(tǒng)可以容忍的最大并發(fā)Jobs,不僅僅取決于備份軟件系統(tǒng)可

以并發(fā)調(diào)度的作業(yè)數(shù)目和備份作業(yè)服務器的數(shù)目，還要取決于備份介質(zhì)池

可以容忍的資源消耗限制。及時我們可以同時調(diào)度幾百個作業(yè)，但是當幾十

個作業(yè)同時寫入備份介質(zhì)池時就會把備份介質(zhì)池的計算資源或者是10資

源使用殆盡。那么最終整個備份系統(tǒng)的并發(fā)數(shù)取決于短板因素。

4）不同數(shù)據(jù)庫系統(tǒng)恢復區(qū)能夠支撐最小時間窗口。

這個最小時間窗口是我們用數(shù)據(jù)庫的恢復區(qū)可用空間大小/單位時

間內(nèi)的最大歸檔速度來估算出來的時間窗口。因為我們在安裝數(shù)據(jù)庫或者

是做變更的時候不可能按照每一個系統(tǒng)的特點詳細計算出其日志存儲空間

的大小，只能按照有限的幾個規(guī)格來做初始規(guī)劃。

有了以上數(shù)據(jù)之后，我們需要根據(jù)以下幾個原則來詳細設(shè)計我們的歸

檔作業(yè)頻率。

首先，根據(jù)4當中采集到的數(shù)據(jù)，將時間窗口較小的幾個系統(tǒng)進行存

儲空間調(diào)整，使其日志存儲空間能夠滿足我們期望的最小時間標準。

然后，將一天24小時定義為幾個時間段，批量業(yè)務集中的時間段、

聯(lián)機業(yè)務集中的時間段、特殊任務集中的時間段等。當然這個定義主要是根

據(jù)1&2中采集到的詳細數(shù)據(jù)來定義的。

接著，我們需要根據(jù)1中數(shù)據(jù)估算出一個歸檔作業(yè)大概持續(xù)的時間長

度。為保障每一個時刻點的并發(fā)執(zhí)行備份作業(yè)數(shù)目遠小于3中估算出來的

數(shù)據(jù)。

最后，需要把備份作業(yè)的頻度根據(jù)不同的時間段特點調(diào)整到以上條件

都滿足的狀態(tài)，并在此前提條件下可以為了保障極端情況下的數(shù)據(jù)完整性

而適當調(diào)快歸檔作業(yè)的備份頻率。下圖是一個根據(jù)以上采集數(shù)據(jù)進行多維

分析的實例，僅僅是一個方法示意，歸檔頻率根據(jù)數(shù)據(jù)重要性分級、歸檔速

度、業(yè)務時間段分類等前提進行的粗略分析，最下面的一行數(shù)字表示每一個

時刻點并發(fā)的歸檔備份數(shù)目，其目標在于平衡每一個時間間隔內(nèi)的平均備

份作業(yè)數(shù)。實際情況會比以下情況復雜很多，我們可以將時間間隔劃分的更

小，涉及的因素更多，分析的更加細致。

圖2數(shù)據(jù)庫歸檔頻率規(guī)劃分析案例

2.如何評估數(shù)據(jù)庫全量備份的策略

數(shù)據(jù)庫的全量備份來講，隨著數(shù)據(jù)量的不斷增加，其冬份作業(yè)耗費的時

間也就會越長，耗費的數(shù)據(jù)庫資源也越多，對在線業(yè)務的影響也就越大。另

外同一個時間段內(nèi)發(fā)起的全量備份越多，那么其占用的備份系統(tǒng)整體資源

（備份服務器、備份介質(zhì)池、鏈路帶寬等）也就會越多，其影響范圍也會越

廣。

首先，這個問題是一個需要不斷優(yōu)化的問題。對于每一個應用系統(tǒng)來講,

根據(jù)業(yè)務服務的特點，其備份的時間窗口也是不同的?？赡艹跗趥浞葑鳂I(yè)能

夠在備份窗口內(nèi)完成，但是隨著數(shù)據(jù)量的增長，后期的備份作業(yè)就會超過備

份時間窗口。所以我們需要定期監(jiān)控數(shù)據(jù)庫的全量備份作業(yè)時間，在事件窗

口范圍內(nèi)盡量通過調(diào)整合適的調(diào)度時間來完成全量備份。但是當數(shù)據(jù)量增

長到完全沒辦法在備份窗口完成的時候，那么我們就需要進行調(diào)整全量備

份的頻度和具體調(diào)度時間點了。

其次，這個問題是一個跟業(yè)務特點密切相關(guān)的的問題。有些人喜歡把所

有的業(yè)務系統(tǒng)都按照一個標準去定義其數(shù)據(jù)庫全量備份的策略。比如說TB

以下的數(shù)據(jù)庫，每天一次全量備份；比如說業(yè)務等級屬于重要的系統(tǒng)，每天

一次全量備份；比如說只要能備份的系統(tǒng)，全部進行每天一次的全量備份等

等策略。這些都是不科學的策略。應該從業(yè)務系統(tǒng)的數(shù)據(jù)重要性去評估數(shù)據(jù)

庫全量備分的頻率，在現(xiàn)有備份系統(tǒng)有限的處理能力內(nèi)保障數(shù)據(jù)重要性高

的系統(tǒng)完成相應的全量備份。

最后，這個問題是一個需要從各個方面著手去解決的問題。從備份網(wǎng)絡

的帶寬和隔離性考慮，應該用單獨的告訴備份網(wǎng)絡，備份客戶端應該設(shè)置區(qū)

分于業(yè)務的單獨網(wǎng)絡通道及配置。從備份作業(yè)服務器的配置層面，我們應該

配置相對合理的資源（內(nèi)存、磁盤）來保障備份片在作業(yè)服務器層沒有瓶頸。

從備份介質(zhì)池層面，我們需要保障備份介質(zhì)的10處理能力不能成為備份

作業(yè)底端的性能瓶頸。

3.如何解決備份作業(yè)分布合理性問題

其實這個問題很簡單，目的就是要保障備份時間窗口內(nèi)調(diào)度起來以及

運行過程中的備份作業(yè)處于一種平衡狀態(tài)，不能使其作業(yè)調(diào)用或者是并發(fā)

運行過于集中。但是當系統(tǒng)數(shù)目非常多，系統(tǒng)特點復雜，數(shù)據(jù)重要性級別有

很多種，數(shù)據(jù)量以及數(shù)據(jù)增速各不相同時，這個問題就變得比較復雜。我們

很難有一種精確的計算方法來實現(xiàn)其做到絕對，但是我們可以根據(jù)以下的

方法進行定性的分析和調(diào)整。

假設(shè)我們定義一個系統(tǒng)的備份作業(yè)在備份體系當中必須具備的屬性為:

P1-應用系統(tǒng)數(shù)據(jù)的重要性級別屬性，可以通過業(yè)務分析劃分為有限

的幾個級別。

P2-應用系統(tǒng)在不同時間段內(nèi)的數(shù)據(jù)增量屬性，需要通過梳理歷史數(shù)

據(jù)來評估。

P3-應用系統(tǒng)當前的備份作業(yè)的時間長度屬性，需要通過歷史數(shù)據(jù)結(jié)

合數(shù)據(jù)量來評估。

P4-應用系統(tǒng)是否是具備雙重業(yè)務特性，比如兼?zhèn)渑亢吐?lián)機業(yè)務特

性。

通過以上幾個屬性的加權(quán)計算或者其他方法的定性分析，計算出每一

個系統(tǒng)的不同備份作業(yè)的定性矢量，然后我們可以將這些矢量根據(jù)其具體

備份窗口設(shè)置初始的調(diào)度時間點，然后分析其具體分布圖是否均衡穩(wěn)定并

且進行微調(diào)。例如下圖是一個粗略的分析實例，可以提供相關(guān)的參考思路：

ZAfiJlZM0

5翕--二-

ASI二I三三1-8-2§

<11■，37?、??-■-二um

<G)tt二二三-?--林，林W*.

IL1

VmoSHBDDDDDOI1111II

10Iaoo

y62000

?31

741930

$8■■2145

331奇8

1S640S0

JS1110

144iyo

141■onn■1VO

4」210

SJ4SO

一510

1110■■■■■0X)

?“04□QB■22SO

?17a-2230

)471720

?16.4八g

??“40

.14?!1!300

?34511188

r,■

￡_!011，10

24111300

1311■3IS

UH:■J>0

&2021SO

241?14IS

￡so218

1181,,000

21?218

優(yōu)化目標。0223333J22222222322222122232222123333:232211111

圖3備份作業(yè)分布定性分析案例

以上案例僅僅是一個相對粗略的分析方式，僅僅是一個基于某一特定

案例的分析思路。我們可以根據(jù)業(yè)務系統(tǒng)特點結(jié)合更好的專業(yè)工具進行更

加細節(jié)的分析