系統(tǒng)備份的前期規(guī)劃設(shè)計實踐

典型問題與案例分析系統(tǒng)備份的前期規(guī)劃設(shè)計實踐

目前很多企業(yè)中備份環(huán)境存在的困境，大部分都是在前期的規(guī)劃設(shè)計方面存在不足，導(dǎo)致后期問題頻出，后期在運維或升級等方面都會顯得比較吃力。所以備份的前期規(guī)劃設(shè)計顯得尤為重要，本文針對社區(qū)會員提出的典型問題和場景案例，圍繞備份需求相關(guān)問題、備份設(shè)計相關(guān)問題、備份容災(zāi)相關(guān)問題和場景案例四方面進行了分析解讀。本文問題和解讀內(nèi)容由多位社區(qū)會員貢獻，匯總整理：王巧雷。1.

備份需求相關(guān)問題1.1如何界定自己的備份需求指標？【分析解讀】數(shù)據(jù)備份需求指標依據(jù)業(yè)務(wù)系統(tǒng)的特點和行業(yè)類數(shù)據(jù)保護管理的要求特點，容災(zāi)備份較容易化管理量化指標RPO和RTO。數(shù)據(jù)系統(tǒng)按照等保管理規(guī)定的要求而制定備份相關(guān)指標。RPO：RecoveryPointObjectives，恢復(fù)點目標，可以理解為從丟失事件到最近一次在前備份的時間度量RTO：RecoveryTimeObjectives，恢復(fù)時間目標，理解為可以中斷或關(guān)閉多少時間而不會對業(yè)務(wù)造成重大損害1.2對所有的企業(yè)數(shù)據(jù)做備份代價較高，現(xiàn)實中也不具備條件，那么如何評估哪些數(shù)據(jù)需要做備份？數(shù)據(jù)規(guī)模越來越大，數(shù)據(jù)種類也多種多樣，除了存量系統(tǒng)的數(shù)據(jù)增長外，新增的IT系統(tǒng)或新采用的技術(shù)架構(gòu)也會產(chǎn)生各種各樣的數(shù)據(jù)。對所有的企業(yè)數(shù)據(jù)做備份代價較高，現(xiàn)實中也不具備條件，那么如何評估這些數(shù)據(jù)是否需要做備份以及如何備份？【分析解讀】這個實際上還是備份需求的分析，需要在調(diào)研的時候?qū)Σ煌膽?yīng)用數(shù)據(jù)做一個區(qū)分，個人總結(jié)了以下幾點：1.先區(qū)分下目的，一般情況下業(yè)務(wù)數(shù)據(jù)的使用都有冷熱特性。備份數(shù)據(jù)同樣也是，有的數(shù)據(jù)副本是為了應(yīng)對數(shù)據(jù)丟失，這種是備份，特點是數(shù)據(jù)經(jīng)常發(fā)生變化，保留周期相對較短，備份的頻率相對較多；有的副本是為了法規(guī)遵從，或者很小概率使用的歷史數(shù)據(jù)，這個對應(yīng)歸檔，特點是基本不發(fā)生變化，保留周期長，備份頻率很少。2.

對數(shù)據(jù)類型分類，大體上我覺得可以是三種情況。數(shù)據(jù)庫（核心數(shù)據(jù)），非結(jié)構(gòu)化數(shù)據(jù)（比如程序代碼，圖片，文檔），應(yīng)用環(huán)境（應(yīng)用業(yè)務(wù)的操作系統(tǒng)和應(yīng)用配置環(huán)境），然后根據(jù)數(shù)據(jù)的重要性和可以接受丟失的程度來決定怎樣的備份手段。所數(shù)據(jù)都備份肯定是不現(xiàn)實的，備份目的是為了恢復(fù)，反向推，如果業(yè)務(wù)出現(xiàn)數(shù)據(jù)丟失，按最壞的情況算，都需要哪些數(shù)據(jù)，就備份哪些數(shù)據(jù)。然后再根據(jù)數(shù)據(jù)的特點設(shè)計，以O(shè)racle為例，歸檔日志備份的頻率最高，數(shù)據(jù)文件次之，基礎(chǔ)環(huán)境最少，甚至可以不用備份。2.分類后的數(shù)據(jù)按照rto和rpo的指標設(shè)計備份策略即可，既要避免備份無法覆蓋需求，也要避免過度設(shè)計，浪費資源。3.根據(jù)業(yè)務(wù)數(shù)據(jù)實際需求進行分類，可以進行分級存儲存放設(shè)計，比如長期保存，且使用頻率極低的歸檔數(shù)據(jù)存放到磁帶庫，定期出庫離線保存，保證備份數(shù)據(jù)有效可查即可

中長期保存的備份數(shù)據(jù)，使用頻率較低的數(shù)據(jù)，可存放磁帶存儲、對象存儲或大容量低速磁盤存儲。短期保存視頻頻率較高的備份數(shù)據(jù)可存放到性能較高的磁盤池，后期酌情遷移到磁帶庫。1.3存儲備份系統(tǒng)按前端容量設(shè)計好，還是后端容量設(shè)計好？另外，備份帶寬的選擇如何確定比較好？【分析解讀】備份系統(tǒng)的規(guī)劃涉及到數(shù)據(jù)存量和增量的分析，數(shù)據(jù)類型的分析，備份窗口的分析以及未來發(fā)展的分析。建議：1.以業(yè)務(wù)系統(tǒng)出發(fā)，對備份內(nèi)容，每天增量，備份策略，時間，都要有一個系統(tǒng)的評估，以此設(shè)計后端容量。備份存儲最終是存放備份后的業(yè)務(wù)數(shù)據(jù)的，數(shù)據(jù)在前端是一份，備份以后的容量受備份方式和保留策略影響，如果完全按前端容量對等設(shè)計后端，肯定是放不下的。設(shè)計時還要考慮其他因素，比如預(yù)留容量、后端是否采用了壓縮或去重等技術(shù)，這些都會影響最終的容量值。另外如果做了數(shù)據(jù)分層，需要根據(jù)各業(yè)務(wù)系統(tǒng)的分類做針對性設(shè)計，最終的目的存儲（比如帶庫）一定要滿足最終容量要求，或者滿足一次出庫周期。中間層的備份存儲（如vtl或重刪池）滿足一次遷移周期即可。2.帶寬方面，最低要求是在給定的窗口內(nèi)完成數(shù)據(jù)備份。在這個前提下，根據(jù)實際環(huán)境和規(guī)劃來做帶寬設(shè)計，新環(huán)境有條件的可以按照規(guī)劃一步到位，老環(huán)境的升級改造可以按照長遠規(guī)劃，分批實施的原則來做。--備份作業(yè)和生產(chǎn)作業(yè)錯峰運行--采用高速網(wǎng)絡(luò)：萬兆ip網(wǎng)，16G或以上FC網(wǎng)--生產(chǎn)網(wǎng)絡(luò)和備份網(wǎng)絡(luò)隔離--設(shè)計或預(yù)留足夠的IO通道（如多網(wǎng)卡，多hba卡，多驅(qū)動器）--備份存儲的性能也是制約帶寬的一個因素，如有必要需升級或更換備份存儲2.

備份設(shè)計相關(guān)問題2.1備份體系建設(shè)如何適應(yīng)未來五年的發(fā)展？傳統(tǒng)的備份體系，包括基于文件、數(shù)據(jù)庫、操作系統(tǒng)、虛擬機的備份；容器、大數(shù)據(jù)、微服務(wù)、各種云等新技術(shù)層出不窮。傳統(tǒng)的備份還能適應(yīng)新時代的發(fā)展嗎，傳統(tǒng)的Symantec、TSM、Netwok等還能滿足現(xiàn)實需求不？備份體系建設(shè)如何適應(yīng)未來五年的發(fā)展？在數(shù)據(jù)保護方面現(xiàn)在都有哪些新技術(shù)、新產(chǎn)品？【分析解讀】傳統(tǒng)備份軟件災(zāi)備體系繼續(xù)可使用，發(fā)揮數(shù)據(jù)保護的作用。國內(nèi)外災(zāi)備服務(wù)商備份軟件繼續(xù)發(fā)布新的版本，新功能。比如云原生，容器，虛擬化，超融合，混合云，信創(chuàng)相關(guān)領(lǐng)域。1.時代和數(shù)據(jù)中心都在發(fā)展，備份的核心目標沒變，在給定的允許時間內(nèi)，安全高效的創(chuàng)建數(shù)據(jù)副本。2.圍繞備份目標的工作還得做：需求分析、存儲規(guī)劃、調(diào)度規(guī)劃、容災(zāi)規(guī)劃這些本質(zhì)上沒太大變化。3.基礎(chǔ)架構(gòu)方面，老的技術(shù)不斷增強，比如現(xiàn)在的萬兆網(wǎng)、16G的san，40G的infiniband，閃存存儲，甚至LTO9的驅(qū)動器；新的技術(shù)不斷涌現(xiàn)：壓縮、重刪、分布式存儲，云存儲、cdp等等4.傳統(tǒng)的備份產(chǎn)品在逐步兼容新技術(shù)，各大備份軟件都增加了對云存儲的支持，還有一些公有云、重刪、cdp等特性，模塊上也開始兼容更多的產(chǎn)品，比如nbu都已經(jīng)支持openstack、容器、超融合等新技術(shù)的備份。5.也有新的產(chǎn)品和解決方案出現(xiàn)解決新的痛點，比如veeam，通過虛擬化備份做大后，一方面開始支持傳統(tǒng)unix平臺、nas、hana等場景，一方面也在收購kasten，做容器平臺的數(shù)據(jù)保護。6.綜合數(shù)據(jù)備份平臺很重要，覆蓋不到的新型業(yè)務(wù)也可以通過其他新技術(shù)來解決，后期再整合。綜上，備份體系本身也是隨著數(shù)據(jù)中心的發(fā)展而發(fā)展的，如果底層構(gòu)建做的好，最大的問題可能就是多樣化的支持，這個一方面可以通過現(xiàn)有軟件的升級來完成，一方面可以引入新的解決方案，通過并行的方式來覆蓋所有的數(shù)據(jù)保護需求。2.2數(shù)據(jù)備份是否需要建本地備份服務(wù)器？是否需要根據(jù)本地的數(shù)據(jù)量大小和RTO的要求建立一個備份服務(wù)器用來保留最近幾天的數(shù)據(jù)？而不是數(shù)據(jù)直接落到磁帶庫?！痉治鼋庾x】可以，兩種實現(xiàn)方式1.庫不大的情況下，有的dba想自己備份，技術(shù)實力可以，先從腳本化方式或開源備份軟件bacula2.已經(jīng)存在備份軟件。大多數(shù)的備份軟件都有分層存儲功能，備份的數(shù)據(jù)先落在磁盤存儲上，然后根據(jù)策略，在一定的時間后遷移到磁帶庫。這樣既保證了短期用到備份集時的效率，又能保證數(shù)據(jù)的長期存放。具體需要和備份管理員商量著來就行2.3怎樣制定合理的備份策略？【分析解讀】備份策略的規(guī)劃要從實際需求出發(fā)，參考自身的RPO和RTO指標來完成設(shè)計。要避免設(shè)計不足，達不到恢復(fù)需求；同時也要避免過度設(shè)計，浪費寶貴的存儲資源和計算資源。1.制定合理備份策略需求前期進行詳細的需求收集和需求分析，了解業(yè)務(wù)系統(tǒng)的詳細信息，包括數(shù)據(jù)量、數(shù)據(jù)類型、備份窗口等信息。2.需求分析完畢后對各業(yè)務(wù)系統(tǒng)進行分類，然后備份軟件按照分類將業(yè)務(wù)數(shù)據(jù)劃分到不同的策略，進行集中備份管理。一般情況下，策略的內(nèi)容會包含備份主機、備份內(nèi)容、備份頻率，備份保留周期等內(nèi)容。在分類上可以基于以下維度：---基于相同的業(yè)務(wù)數(shù)據(jù)類型---基于相同的業(yè)務(wù)系統(tǒng)類型---基于相同的業(yè)務(wù)數(shù)據(jù)保留周期---相關(guān)聯(lián)、相依賴的業(yè)務(wù)系統(tǒng)組合3.調(diào)度規(guī)劃指的就是業(yè)務(wù)系統(tǒng)備份作業(yè)的發(fā)起窗口。不同的業(yè)務(wù)系統(tǒng)有自己的特性，在調(diào)度設(shè)計時要充分考慮備份作業(yè)對業(yè)務(wù)系統(tǒng)的影響。在調(diào)度規(guī)劃時要從多方面綜合考慮，要確保在不影響業(yè)務(wù)正常運行的情況下，在給定的備份窗口內(nèi)完成數(shù)據(jù)備份，一般情況下規(guī)劃調(diào)度時，需要考慮如下因素：---業(yè)務(wù)主機備份的數(shù)據(jù)量和給定的備份窗口---備份服務(wù)器的資源負載程度---備份網(wǎng)絡(luò)環(huán)境的負載程度---業(yè)務(wù)方面的其他特殊要求總結(jié)：調(diào)度的規(guī)劃要根據(jù)實際業(yè)務(wù)做好平衡，整體上來要根據(jù)調(diào)研的結(jié)果盡量去滿足各個業(yè)務(wù)系統(tǒng)的備份要求，但如果這個需求超出了整個備份系統(tǒng)的能力，需要從其他方面做出考慮。2.4

怎樣進行備份存儲和備份網(wǎng)絡(luò)的規(guī)劃設(shè)計？【分析解讀】可以從以下幾個點來考慮：1.通過備份需要調(diào)研，確定存儲空間的用量。首先應(yīng)該先調(diào)研并匯總，確認整個環(huán)境中當前要需要備份的系統(tǒng)有多少，各大概有多少數(shù)據(jù)量，最終得到1個初步的數(shù)據(jù)總量。其次，應(yīng)該了解并估算整個備份環(huán)境的增長量，以及規(guī)劃的年數(shù)。比如，初步估算所有的備份數(shù)據(jù)總量為5T，每年增長20%，規(guī)劃5年周期。最后的總量應(yīng)該是12.5T左右最后，要確認保存的周期或保存的副本數(shù)。比如，初步按3個副本保存，40T的有效容量應(yīng)該是沒問題的。2.根據(jù)存儲空間初步確定設(shè)備選型。根據(jù)需求選擇存儲，目前可供選擇的有磁盤存儲、一體機、云存儲（含本地對象存儲、私有云和公有云、磁帶庫等，比如有離線保存需求，則一定要使用物理帶庫。存儲選型時，可以優(yōu)先考慮含高級特性的存儲或一體機，比如重刪、快照等技術(shù)。3.備份窗口的確定通過和業(yè)務(wù)系統(tǒng)的負責人的溝通，了解每個要備份的業(yè)務(wù)系統(tǒng)的最大備份窗口，根據(jù)備份窗口選擇合適的備份方式，最終獲取備份速度指標。4.備份網(wǎng)絡(luò)需要獨立設(shè)計要求和生產(chǎn)網(wǎng)絡(luò)隔離，前端網(wǎng)絡(luò)盡量使用萬兆網(wǎng)絡(luò)，采用獨立的網(wǎng)絡(luò)設(shè)備；后端san網(wǎng)絡(luò)也要獨立使用，和生產(chǎn)存儲的分開，盡量使用較新的16G網(wǎng)絡(luò)，根據(jù)備份速度要求，做好預(yù)留，使用多通道技術(shù)提升備份速度。3.

備份容災(zāi)相關(guān)問題3.1如何進行備份容災(zāi)設(shè)計，如何與已有的災(zāi)備系統(tǒng)匹配？【分析解讀】常見有以下幾種模式：1.主中心備份到磁帶庫，定期做磁帶出庫，將磁帶運輸?shù)絺渲行谋４?，備中心可選設(shè)計一套備份系統(tǒng)用來做恢復(fù)驗證。嚴格意義上來講，這只能算是備份介質(zhì)的異地存放，不能算容災(zāi)。2.主備中心獨立部署備份系統(tǒng)。在主備中心已經(jīng)基于業(yè)務(wù)或數(shù)據(jù)層面做了數(shù)據(jù)同步的情況下，這種方式實際上是部署了兩套獨立的備份系統(tǒng)，兩套備份軟件在數(shù)據(jù)和架構(gòu)上都是獨立的。3.主備中心采用了相同備份存儲，并且基于備份存儲層面做了數(shù)據(jù)同步。備份軟件直接使用同步后的數(shù)據(jù)。這種方式下，備份軟件獨立部署，但是備份數(shù)據(jù)存在復(fù)制關(guān)聯(lián)。4.主備中心采用了相同的備份軟件平臺，并且做了基于備份軟件的數(shù)據(jù)同步，一般情況下，同步會基于重刪和壓縮技術(shù)來減少數(shù)據(jù)傳輸量。比如TSM的nodereplication復(fù)制，NBU的air等。具體使用哪種容災(zāi)備份模式，并沒有一定的成例。需要結(jié)合企業(yè)自身的實際情況，選擇最合適自己的。另外，備份容災(zāi)的規(guī)劃可以放長遠一些，分階段逐步完成，沒有必要一蹴而就。3.2數(shù)據(jù)容災(zāi)設(shè)計和容災(zāi)備份是基于何種備份？數(shù)據(jù)容災(zāi)設(shè)計和容災(zāi)備份是基于何種備份？是基于網(wǎng)絡(luò)存儲、虛擬化、還是云備份？安全性、可靠性和智能糾錯方面如何？【分析解讀】容災(zāi)備份是容災(zāi)設(shè)計的一部分，通常我們說的容災(zāi)大部分情況下都是指業(yè)務(wù)系統(tǒng)的容災(zāi)。容災(zāi)備份指的是備份系統(tǒng)在容災(zāi)系統(tǒng)中的實現(xiàn)。這個目前沒有統(tǒng)一的標準和要求，一般有如下幾種方式，企業(yè)可以結(jié)合自己的實際情況來實現(xiàn)。1.生產(chǎn)和備份中心的備份系統(tǒng)各做各的，沒有關(guān)聯(lián)。因為業(yè)務(wù)系統(tǒng)已經(jīng)做了容災(zāi)，所以也可以認為備份數(shù)據(jù)有兩份，只是從備份系統(tǒng)的角度來，是各自獨立的，備份發(fā)生了兩次。2.通過備份存儲實現(xiàn)備份容災(zāi)。兩個數(shù)據(jù)中心都使用了相同品牌的存儲，并且存儲直接具備數(shù)據(jù)復(fù)制功能，可以確保一個中心的備份數(shù)據(jù)傳送到另一個中心，備份數(shù)據(jù)也是兩份，備份發(fā)生了一次。3.通過備份軟件實現(xiàn)，現(xiàn)在很多備份軟件自身都有容災(zāi)選項，比如nbu的air，tsm的nodereplication等，也可以實現(xiàn)一次備份，兩中心的副本。4.在上述3點的基礎(chǔ)上，結(jié)合分級存儲或者磁帶出庫，可達到更靈活的設(shè)計方式。3.3commvault做異地2copy吞吐量一直上不去？用commvault做從北京硬盤到廣州的2copy操作，專線帶寬300M，一直占用100M，吞吐量80G/小時。問一下社區(qū)專家，commvault是不是有限制帶寬使用的參數(shù)？如何充分利用專線帶寬？【分析解讀】1.首先拋開備份軟件，單獨做一下普通文件的復(fù)制，看一下帶寬能到多少，排除一下帶寬本身的問題。2.再從CV的角度來看，commvault的異地拷貝一般是DASH拷貝方式，從源磁盤庫只傳輸變化的數(shù)據(jù)塊到目標端磁盤庫，有兩種模式：網(wǎng)絡(luò)優(yōu)化：

源端MA讀取需要拷貝數(shù)據(jù)塊的Hash值，先與本地SSDB比對，沒有匹配項再與目標端MA的DDB比對。可以降低Hash在網(wǎng)絡(luò)中的傳輸，減少網(wǎng)絡(luò)流量，適用于低帶寬環(huán)境下的數(shù)據(jù)拷貝。磁盤讀取優(yōu)化：

源端MA讀取需要拷貝數(shù)據(jù)塊的Hash值，再將Hash值通過網(wǎng)絡(luò)傳到目標端MA進行比對，適合高速網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)拷貝。你這種情況應(yīng)該是網(wǎng)絡(luò)優(yōu)化模式，確認一下是否源或目標端的MA服務(wù)器處理器或磁盤讀取性能壓力比較大4.

場景案例4.1

如何備份有共享盤的VMware虛機?我使用networker備份虛機，但有一點，一旦VMware虛機有共享盤，則無法備份，連快照都不能做，只能通過rman備份數(shù)據(jù)庫，但系統(tǒng)就無法備份。哪位兄弟備份過有共享盤的VMware虛機，兄弟指點一下?【分析解讀】首先，VMware的共享盤設(shè)置必須是獨立持久的,否則用不了，但卻無法做快照。而包括networker在內(nèi)的大部分備份軟件，備份VMware都是調(diào)用VMware的接口，如果無法做快照是沒辦法備份的。需要按照物理機的方式去備份。至于系統(tǒng)和文件可以采用下面幾種方式：1.通過文件備份備份系統(tǒng)內(nèi)的重要文件，也就是在虛擬機里安裝備份軟件客