數(shù)據(jù)庫備份管理體系概述

數(shù)據(jù)庫備份管理體系概述

【導(dǎo)讀】本文系統(tǒng)梳理了備份管理體系全景圖：包括備份體系總體思路、備份對象、備份頻率、備份方式、存儲策略、恢復(fù)管理。本文絕不鼓勵“刪庫跑路”，其意在為備份相關(guān)工作提供參考，以及警示企業(yè)防止刪庫刪備份跑路的情況發(fā)生。備份實在是太重要了。從刪庫到跑路，大家聽過很多，筆者也來說說。如果沒刪備份的話，只能說玩的不夠徹底，不專業(yè)。所以仔細研究一下備份，從刪庫加刪備份，最后到跑路，還是很有必要的。當然要是會點奇門遁甲（徹底清除操作痕跡）、尿遁后門之術(shù)無影蹤等，那就真的成功入神了。所以這里大致分析一下備份管理體系，以備在刪庫的時候，能夠徹底些。一備份體系總體思路備份體系大致分為定義備份對象、確定備份頻率和備份方式、制定備份集存儲策略和恢復(fù)管理五個部分。具體如下：圍繞備份管理體系，進行集中的架構(gòu)和管理，包括：監(jiān)控備份是否按時按成；備份集驗證策略以及恢復(fù)演練的計劃等。因為備份一般涉及大容量文件的拷貝復(fù)制，所以通常會占用較多IO和網(wǎng)絡(luò)帶寬，不好好規(guī)劃的話，極容易影響生產(chǎn)系統(tǒng)的正常使用。

二備份對象備份體系的第一步是定義備份對象，即確定有哪些需要對象是需要備份。一般情況下，備份對象包括：應(yīng)用、文件以及圖片、數(shù)據(jù)庫、日志（網(wǎng)絡(luò)安全法對日志有特別要求，一般保留180天）、虛擬機服務(wù)器等OS級別對象等。往大了說，物理服務(wù)器、網(wǎng)絡(luò)設(shè)備等硬件設(shè)備及其配件都應(yīng)該作為備份的對象，以防止硬件故障沒有備件及時替換；人員備份也可以作為備份對象，運維工作很多oncall24H，如果沒有人員備份，只靠個人很難。經(jīng)過備份定義，大致會得出下列3個表格：表格一：序號備份對象1應(yīng)用程序2靜態(tài)資源3數(shù)據(jù)庫4日志5虛擬機表格二：備件列表序號備件名稱備件類型備件型號數(shù)量狀態(tài)登記時間使用時間備注1表格三：人員備份列表序號系統(tǒng)名稱負責(zé)人電話備份人員電話備注1

三備份頻率定義好備份對象之后，接下來就要根據(jù)不同的備份對象定義不同的備份頻率。備份頻率也可以成為備份策略，一般分為兩類，實時備份和非實時備份。實時備份更多是高可用架構(gòu)或是負載均衡的架構(gòu)，允許單點故障，如應(yīng)用部署多臺，數(shù)據(jù)庫主從同步或是Cluster架構(gòu)等。實時同步的情況下，一般只需要備份一個節(jié)點的內(nèi)容和數(shù)據(jù)即可。非實時備份更多的需要依賴腳本或是其他備份工具按照一定頻率進行全量備份或是增量備份?？梢赃x擇每日全量備份或是周一、三、五全量備份，二、四增量備份等靈活的策略。比較典型的有Oracle的Rman備份，以一周為周期，可以周天0級備份、周一、周二2級備份，周三1級備份，四、五、六2備份等策略。不同的備份頻率產(chǎn)生的最終備份集大小不一樣、備份耗時不一樣、備份恢復(fù)的時間和恢復(fù)復(fù)雜度都不一樣。一般情況下，每日全備最簡單，但是有耗時久，占用空間大，恢復(fù)時間慢等缺點，詳細的增量備份，可以節(jié)省備份空間，提高恢復(fù)速度，但是管理和恢復(fù)比較復(fù)雜是其一缺點。經(jīng)過指定備份頻率之后，上述表格一可以優(yōu)化為表格1.1：序號備份對象備份頻率備注1應(yīng)用程序每日全備應(yīng)用程序一般出變更發(fā)布外，很少更新，可以選擇每日全備，也可以選擇每次變更前備份一次，變更后，備份一次，直至下次變更在備份。一般搭建集群，只需備份單節(jié)點即可2靜態(tài)資源全備+增量靜態(tài)資源一般情況下選擇云服務(wù)，借助云來實現(xiàn)高可用和備份。自主備份的話，最好是全備和根據(jù)日期的增量備份結(jié)合。靜態(tài)資源根據(jù)日期增量備份較佳3數(shù)據(jù)庫全備+增量數(shù)據(jù)庫一般全備+增量備份，同時對于數(shù)據(jù)庫日志的備份應(yīng)該提高頻率，保障數(shù)據(jù)最小程度丟失。4日志全備+增量日志主要包括應(yīng)用日志、數(shù)據(jù)庫日志為主，其他網(wǎng)絡(luò)設(shè)備、安全設(shè)備日志為次，進行備份。日志也有明顯的時間標志，增量備份較佳5虛擬機全備一般情況下是不需要虛擬機或是服務(wù)器級別的備份，太耗費資源，只需備份其上應(yīng)用即可。如需一般推薦全備。表格1.1四備份方式定義好備份對象，指定好備份頻率之后，接下來需要根據(jù)不同的對象進行備份方式的定義。備份方式主要有兩種方式：自己編寫腳本+定時任務(wù)實現(xiàn)自動備份；購買專業(yè)的商業(yè)備份軟件進行備份。技術(shù)尚可的話，一般情況下采用編寫腳本+定時任務(wù)的方式實現(xiàn)自動備份。編寫的腳本一般需要以下幾個注意點：1調(diào)用備份工具的時候，注意環(huán)境變量。2設(shè)置單獨的備份賬號，并且對備份賬戶的權(quán)限進行最小原則設(shè)計。3備份異常處理設(shè)計并且拋出郵件等方式通知。4除了每一備份對象的備份腳本外，還需一個腳本檢查是否所有備份對象已經(jīng)自動備份完成。5腳本定時任務(wù)的執(zhí)行時間一般選擇業(yè)務(wù)低峰期，減少對生產(chǎn)系統(tǒng)的影響。經(jīng)過備份方式，上表格1.1可以優(yōu)化為表格1.2：序號備份對象備份頻率備份方式備注1應(yīng)用程序每日全備腳本可以腳本拷貝文件，也可以采用resync的方式自動同步文件變化。但是實時同步的一個缺點：如果源文件誤刪或是篡改，備份文件也會相應(yīng)變化。可以采用延遲同步的情況。2靜態(tài)資源全備+增量腳本3數(shù)據(jù)庫全備+增量腳本腳本調(diào)用數(shù)據(jù)庫備份工具進行備份4日志全備+增量腳本同應(yīng)用程序、靜態(tài)資源的方式5虛擬機全備腳本全備，拷貝虛擬機文件表格1.2

五存儲策略完整的備份腳本除上述四中5點外，還需增加兩點：存儲策略、失效備份集刪除策略。備份集的存儲策略需要考慮兩點：存儲的位置和周期。一般建議備份集存儲位置分為本機+同機房備份服務(wù)器+異地或云端；不同位置的備份集存放的周期不必一致，一般情況本機存放最近3天或最近1~3次的備份集即可。存儲策略的考慮除了基于備份集的大小和存儲空間外，還需考量一點，就是所處行業(yè)的法律法規(guī)：例如有些行業(yè)按照網(wǎng)絡(luò)安全法或是行業(yè)監(jiān)管單位規(guī)定，日志需要存放180天，數(shù)據(jù)庫備份需要保留30天等規(guī)定。通過對存儲策略的完善，上述表格1.2可以優(yōu)化為表格1.3：序號備份對象備份頻率備份方式存儲策略1應(yīng)用程序每日全備腳本本機：3天備份服務(wù)器：15天異地備份：30天2靜態(tài)資源全備+增量腳本本機：3天備份服務(wù)器：15天異地備份：30天3數(shù)據(jù)庫全備+增量腳本本機：3天備份服務(wù)器：15天異地備份：30天4日志全備+增量腳本本機：3天備份服務(wù)器：180天異地備份：365天5虛擬機全備腳本本機：1天備份服務(wù)器：3天表格1.3

六恢復(fù)管理一般在架構(gòu)備份體系的時候，往往會忽略恢復(fù)管理這一塊。這一塊其實非常重要，在需要使用備份集恢復(fù)的情況，一般都比較緊急，越緊急的情況越不應(yīng)該依賴個人的經(jīng)驗和技術(shù)，而應(yīng)該更多的依賴提前備好的預(yù)案。恢復(fù)管理同備份一樣重要，不可或缺?；謴?fù)管理包括四部分：1恢復(fù)腳本，即備份對象的備份集所對應(yīng)的灰度腳本。使用該腳本即可完成備份集的自動恢復(fù)。2恢復(fù)條件，定義恢復(fù)腳本在何種情況或條件下才可執(zhí)行，避免在不適宜的情況下進行恢復(fù)造成數(shù)據(jù)不準確。3恢復(fù)評價，即對于恢復(fù)條件下，使用恢復(fù)腳本對于備份集進行恢復(fù)的時候，會有什么樣的影響，例如數(shù)據(jù)會有多少丟失等。4恢復(fù)測試，在執(zhí)行恢復(fù)之后，需要進行測試看是否達到預(yù)期效果。特別特別注意：在執(zhí)行數(shù)據(jù)恢復(fù)的時候，請務(wù)必將當期環(huán)境進行備份，例如做快照等方式。避免恢復(fù)期間出現(xiàn)問題，導(dǎo)致問題更加復(fù)雜。經(jīng)過恢復(fù)管理，上述表格1.3可以優(yōu)化為表格1.4：序號備份對象備份頻率備份方式存儲策略恢復(fù)管理1應(yīng)用程序每日全備腳本本機：3天備份服務(wù)器：15天異地備份：30天恢復(fù)腳本恢復(fù)條件恢復(fù)評價恢復(fù)測試2靜態(tài)資源全備+增量腳本本機：3天備份服務(wù)器：15天異地備份：30天3數(shù)據(jù)庫全備+增量腳本本機：3天備份服務(wù)器：15天異地備份：30天4日志全備+增量腳本本機：3天備份服務(wù)器：180天異地備份：365天5虛擬機全備腳本本機：1天備份服務(wù)器：3天

七總結(jié)在經(jīng)歷了備份對象定義、指定備份頻率、確定備份方式、完成存儲策略和恢復(fù)管理之后，根據(jù)產(chǎn)品線和項目的思路，以項目為單位進行備份，綜合上述幾個表格，可以優(yōu)化為如下表格：序號產(chǎn)品線項目名稱備份對象IP/Hosts備份頻率備份方式備份集管理1PL-XXPM-XX應(yīng)用服務(wù)器172.X.X.X每日全備腳本最近備份集恢復(fù)刪除備份集明細子表格：序號IP/Hosts存儲位置保留時間備份時間備份集狀態(tài)恢復(fù)管理本機備份服務(wù)器異地1172.X.X.XN/N/N通過腳本或是編程，將備份集相關(guān)信息記錄并且進行展示，實現(xiàn)對備份集的管理。但是完整的備份管理體系還需要包括備份架構(gòu)、備份監(jiān)控、備份集驗證策略、應(yīng)急恢復(fù)演練等配套措施。為了最大程度的減少備份對生產(chǎn)系統(tǒng)的影響，一般建議服務(wù)器內(nèi)備份用的本地硬盤和網(wǎng)絡(luò)與生產(chǎn)系統(tǒng)用的隔離。；例如單獨指定一塊網(wǎng)卡用來做備份集的傳輸，單獨的一塊或是幾塊硬盤做本地備份集的存放。對于備份集集中管理和監(jiān)控，可以了解指定的備份對象的備份集是否正常完成。備份集驗證策略制定備份集驗證計劃，確保備份集的準確可用性。同時要定期執(zhí)行恢復(fù)演練和系統(tǒng)的應(yīng)急演練，以增加對備份恢復(fù)的熟悉程度。

八繼續(xù)從刪庫、刪備份到跑路好了，至此，備份體系的建立大致就是這些。再繼續(xù)文章開頭的話題，從刪庫到刪備份，再到跑路，還是有可能被抓，缺少了另一個關(guān)鍵點：操作痕跡。一般來講，干壞事最怕被現(xiàn)場抓住，所以簡單點，定時執(zhí)行是很有必要的，離職倆月或半年后在進行自動破壞，結(jié)果會更壞。定時執(zhí)行加徹底刪除操作痕跡，是一個合格的報復(fù)者的必備技能啊。刪除痕跡三步走：1history–c2vi/etc/profile，找到HISTSIZE這個值，修改為03刪除日志：刪除登錄失敗記錄:echo>/var/log/btmp刪除登錄成功記錄:echo>/var/log/wtmp（此時執(zhí)行l(wèi)ast命令就會發(fā)現(xiàn)沒有記錄）刪除日志記錄:echo>/var/log/secure當然徹底一些的話，可以清理一下/var/log下的所有日志文件。清楚痕跡之后，還需要做一下偽裝，常用的惡搞是給命令起別名，還有就是偽裝成系統(tǒng)用戶或是系統(tǒng)腳本，定期執(zhí)行，這樣也不易被發(fā)覺。綜合一下，完整的從刪庫到刪備份到完美跑路的腳本應(yīng)該是：1腳本名稱偽裝，執(zhí)行用戶偽裝，定時任務(wù)偽裝。2編寫腳本觸發(fā)器，可以定時觸發(fā)，也可以人為操作觸發(fā)，如定義別名，引導(dǎo)用戶執(zhí)行。3腳本執(zhí)行：①不記錄操作日志②進行破壞操作③清理日志，清空操作痕跡。4腳本定時任務(wù)刪除、腳本徹底刪除，不可恢復(fù)。5思考五分