江蘇移動信息技術(shù)中心云備份平臺實(shí)踐

1、中國移動江蘇公司信息技術(shù)中心云備份 平臺實(shí)踐 作者姓名：張晶、王堅(jiān)、王宏圖、孫凱 作者單位：中國移動通信集團(tuán)江蘇有限公司 單位地址：南京市虎踞路 59 號 郵政編碼：210029 摘摘 要要 隨著運(yùn)營商用戶數(shù)的持續(xù)增長，業(yè)務(wù)的飛速發(fā)展，3g 業(yè)務(wù)的推廣，企業(yè)數(shù) 據(jù)中心的規(guī)模越來越大，數(shù)據(jù)也越來越重要，需要備份的數(shù)據(jù)量在持續(xù)的增長。 與之對應(yīng)的卻是業(yè)務(wù)系統(tǒng)要求的越來越苛刻的恢復(fù)準(zhǔn)確率。 業(yè)務(wù)支撐部門面對分散的數(shù)據(jù)中心，持續(xù)擴(kuò)大的系統(tǒng)平臺規(guī)模，7*24 小時 的服務(wù)時間要求，全面嚴(yán)謹(jǐn)?shù)臉I(yè)務(wù)指標(biāo)考核標(biāo)準(zhǔn)，業(yè)務(wù)數(shù)據(jù)“零”丟失的嚴(yán)謹(jǐn) 要求現(xiàn)狀，緊張的維護(hù)人力資源配置狀況，迫切需要提高現(xiàn)有備份系統(tǒng)的備份

2、效能，提高運(yùn)維管理效率高、降低運(yùn)維成本。并根據(jù)這些經(jīng)驗(yàn)及公司未來的 ict 業(yè)務(wù)發(fā)展戰(zhàn)略，也可以將這些成熟服務(wù)產(chǎn)品推向市場。 本文通過介紹中國移動江蘇公司統(tǒng)一備份平臺在備份虛擬化、備份服務(wù)差 異化、備份系統(tǒng)管理自動化、系統(tǒng)架構(gòu)云備份模型優(yōu)化的具體實(shí)踐，能夠很好 的解決中國移動江蘇公司現(xiàn)網(wǎng)系統(tǒng)運(yùn)行遇到的種種問題，為讀者建立了一種全 新的備份系統(tǒng)架構(gòu)設(shè)計(jì)思路。 關(guān)鍵字關(guān)鍵字：備份虛擬化， 云備份，獨(dú)立備份 san 網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)設(shè)計(jì) 目 錄 1、 引言 -1 2、 系統(tǒng)建設(shè)背景 -1 3、 系統(tǒng)技術(shù)實(shí)現(xiàn)方案 -3 3.1 虛擬化 -3 3.2 soa 備份服務(wù) -4 3.3 自動化管理 -7 4、

3、 架構(gòu)收益 -8 5、 結(jié)束語 -9 1 1、引言引言 如今的數(shù)據(jù)中心越來越復(fù)雜，不僅系統(tǒng)規(guī)模每年翻番，系統(tǒng)的復(fù)雜性及 面臨的風(fēng)險(xiǎn)也與日俱增，另一面，業(yè)務(wù)部門對業(yè)務(wù)連續(xù)運(yùn)行的要求卻是不斷提 高的，甚至越來越多的系統(tǒng)要求“零數(shù)據(jù)丟失” 。拿中國移動江蘇公司的核心業(yè) 務(wù)支撐系統(tǒng)來看，包括 boss 系統(tǒng)、經(jīng)營分析系統(tǒng)、客服系統(tǒng)、企業(yè)信息化系統(tǒng) 等子系統(tǒng)，總計(jì)近 400 臺服務(wù)器（tpcc 值超過 10000 萬） ，近 100 臺高、中、 低端存儲設(shè)備，超過 1000tb 的重要業(yè)務(wù)數(shù)據(jù)，分布于南京和無錫的 5 個數(shù)據(jù)中 心。為了提高數(shù)據(jù)的安全性，作為數(shù)據(jù)保護(hù)的最后一道防線-備份的重要性就不 言而

4、喻了。但是根據(jù)國際知名調(diào)研機(jī)構(gòu)對世界五百強(qiáng)大企業(yè)的技術(shù)主管的回訪 記錄和巡檢記錄來看，大部分企業(yè)用戶的平均備份成功率在 75%左右。事實(shí)上， 我們還注意到很多時候的備份成功率小于 50%，恢復(fù)率就更低。一方面我們面 臨的實(shí)際情況是每天需要備份的數(shù)據(jù)量在增長，中國移動江蘇公司業(yè)務(wù)支撐系 統(tǒng)每年需要備份數(shù)據(jù)的增長量在 50%75%之間，但備份系統(tǒng)的預(yù)算的增長卻遠(yuǎn) 遠(yuǎn)小于這個速度。 傳統(tǒng)的備份系統(tǒng)都是和項(xiàng)目一起采購，造成數(shù)據(jù)中心多個獨(dú)立的備份系統(tǒng)， 備份的效率差和備份資源的浪費(fèi)很嚴(yán)重，備份系統(tǒng)架構(gòu)及其不合理，管理也極 其復(fù)雜。 相同的問題也給 it 行業(yè)的發(fā)展帶來挑戰(zhàn)。因此“虛擬化” 、 “云備份”

5、 、 “標(biāo) 準(zhǔn)化”和“備份資源整合”等成為目前業(yè)界最為熱門的技術(shù)話題，同樣也代表 著未來技術(shù)發(fā)展的方向。近幾年來，在業(yè)界也涌現(xiàn)出幾家在這個領(lǐng)域運(yùn)營不錯 的云備份服務(wù)的廠商-如賽門鐵克的 norton online backup, emc 的 mozy. 作為 it 技術(shù)、it 系統(tǒng)大量應(yīng)用的中國移動江蘇公司該如何解決自己發(fā)展中遇 到的問題，如何整合行業(yè)先進(jìn)經(jīng)驗(yàn)、新技術(shù)、解決方案，如何規(guī)劃 it 系統(tǒng)架構(gòu) 科學(xué)發(fā)展，我們在上述領(lǐng)域做出了一些自己的實(shí)踐。 2、 系統(tǒng)建設(shè)背景 中國移動江蘇公司擁有一套完整的企業(yè)備份產(chǎn)品，在架構(gòu)設(shè)計(jì)上基于原來 的經(jīng)驗(yàn)進(jìn)行了創(chuàng)新，并結(jié)合一些云技術(shù)的設(shè)計(jì)理念，為業(yè)務(wù)支撐系

6、統(tǒng)的數(shù)據(jù)保 駕護(hù)航。 虛擬化-以整個數(shù)據(jù)中心為視角的備份資源部署，而不是基于應(yīng)用和設(shè) 備的備份資源管理； soa-建立跨越整個備份資源的統(tǒng)一兼容的面向業(yè)務(wù)需求的備份服務(wù)，而 不是綁定特定的應(yīng)用或設(shè)備的備份軟硬件設(shè)備； 自動化-以整個數(shù)據(jù)中心為視角的基于策略的圖形化備份資源管理，實(shí) 現(xiàn)備份任務(wù)的靈活調(diào)度、實(shí)時監(jiān)控和報(bào)告，而不僅僅是僵化的為備份而 備份 圖圖 1 1：中國移動江蘇公司業(yè)務(wù)支撐系統(tǒng)備份云示意：中國移動江蘇公司業(yè)務(wù)支撐系統(tǒng)備份云示意 3、 系統(tǒng)技術(shù)實(shí)現(xiàn)方案 系統(tǒng)的技術(shù)設(shè)計(jì)及實(shí)現(xiàn)方案分為以下幾個層次： 備份虛擬化技術(shù)引入及部署-建立一個可擴(kuò)展的基礎(chǔ)架構(gòu) soa-建立跨越整個備份資源的統(tǒng)一

7、兼容的面向業(yè)務(wù)需求的備份服務(wù) 自動化管理-提高云備份基礎(chǔ)架構(gòu)管理效率降低復(fù)雜度 3.1 虛擬化 首先，在云備份架構(gòu)中將備份 san 從生產(chǎn) san 分離出來，這一變革，使 得原有的四個數(shù)據(jù)中心中，分散在各個應(yīng)用系統(tǒng)中的備份設(shè)備通過備份 san 虛擬化地呈現(xiàn)給整個數(shù)據(jù)中心，形成了一個集中的備份資源池。同 時備份的 san 可以根據(jù)業(yè)務(wù)的變化，備份任務(wù)的變化靈活的擴(kuò)展和回收， 實(shí)現(xiàn)了備份資源的靈活調(diào)度和靈活的縮放，對生產(chǎn) san 沒有任何影響。 在數(shù)據(jù)中心備份 san 的基礎(chǔ)上，建立了跨數(shù)據(jù)中心的備份 san 連接，使 得所有數(shù)據(jù)中心都能物理共享第五個數(shù)據(jù)中心（浦口高新機(jī)房）的備份 設(shè)備，這樣當(dāng)任

8、何一個數(shù)據(jù)中心的備份設(shè)備故障時，云備份架構(gòu)將自動 啟用第五數(shù)據(jù)中心的備份設(shè)備，保證核心生產(chǎn)系統(tǒng)備份作業(yè)，如數(shù)據(jù)庫 歸檔日志備份能夠持續(xù)進(jìn)行。這里的關(guān)鍵是第五數(shù)據(jù)中心的備份設(shè)備是 共享的而不是其中一個數(shù)據(jù)中心專享的。 對于 ip 網(wǎng)絡(luò)的資源虛擬化，則在云備份架構(gòu)中建立了一個具有負(fù)載均衡 功能的介質(zhì)服務(wù)器資源池，接入云備份架構(gòu)的任何一個網(wǎng)絡(luò)備份客戶端 的備份任務(wù)可以自動計(jì)算并分配到一個負(fù)載最低的備份介質(zhì)服務(wù)器。所 以對于通過網(wǎng)絡(luò)備份的應(yīng)用系統(tǒng)來說，備份系統(tǒng)是即插即用式的，備份 客戶端軟件從備份服務(wù)器自動下發(fā)，同時客戶端不需要關(guān)心對應(yīng)哪個介 質(zhì)服務(wù)器，或具體使用哪里的備份設(shè)備。 多層次的備份架構(gòu)，除

9、了傳統(tǒng)的磁帶庫設(shè)備，還采用了新型的磁盤備份 技術(shù)，如虛擬磁帶庫技術(shù)，數(shù)據(jù)重復(fù)刪除技術(shù)，這些技術(shù)都作為基礎(chǔ)架 構(gòu)的形式提供，為接入云備份系統(tǒng)的不同性質(zhì)數(shù)據(jù)提供不同類型的存儲 方式。其中使用的數(shù)據(jù)重復(fù)刪除技術(shù)是云備份體系中核心組成部分即備 份軟件自帶的功能，在對客服系統(tǒng)中大量的具有冗余性質(zhì)的 vmware 虛擬 環(huán)境的備份有良好的效果。 建立面向地市分公司支撐系統(tǒng)的共享備份架構(gòu)，對于分公司的備份需求， 統(tǒng)一提供備份資源池，提供用戶透明的集中備份服務(wù)，用戶不需要考慮 備份系統(tǒng)所在的地點(diǎn)和具體結(jié)構(gòu)，同時通過重復(fù)數(shù)據(jù)刪除技術(shù)，減少本 地寫入的數(shù)據(jù)量，相應(yīng)的減少網(wǎng)絡(luò)數(shù)據(jù)流量。 3.2 soa 備份服務(wù) 一

10、個共享的、可伸縮的備份架構(gòu)是實(shí)現(xiàn)一個滿足 sla 的備份服務(wù)投送平 臺的基礎(chǔ)。我們所定義的備份服務(wù)基于備份云上的各個關(guān)鍵要素?cái)?shù) 據(jù)、網(wǎng)絡(luò)、存儲資源，分別細(xì)化、組合、封裝，最后形成備份服務(wù)的 sla。對服務(wù)的使用者來說，云服務(wù)通過封裝底層技術(shù)屏蔽了復(fù)雜的技術(shù) 組合，使得一個復(fù)雜的備份策略設(shè)置操作，變成簡單的服務(wù)挑選。 我們首先通過區(qū)分應(yīng)用系統(tǒng)數(shù)據(jù)重要性等級，分別定義金，銀，銅三個 服務(wù)等級；數(shù)據(jù)重要性等級指標(biāo)有三個，一為是否需要快速恢復(fù)，二為 是否需要長期保存，三為是否需要異地保存。之后我們將應(yīng)用系統(tǒng)對應(yīng) 到備份平臺的 sla； 從服務(wù)等級的角度看，銅牌服務(wù)僅提供長期保存 （磁帶備份） ，銀牌服

11、務(wù)則在滿足長期保存基礎(chǔ)上提供了異地保護(hù)(磁帶 復(fù)制等)，金牌服務(wù)除包括長期保存和異地保存外還提供了數(shù)據(jù)的快速恢 復(fù)（綜合磁盤備份等多種技術(shù)） 。這樣在備份平臺上每個服務(wù)器都被賦予 了 sla 的屬性，并將貫徹到其對應(yīng)數(shù)據(jù)的整個備份生命周期。這其中用 到了 slp(storage lifecycle policy)技術(shù)，不同服務(wù)標(biāo)準(zhǔn)的備份作業(yè) 會自動尋找合適的存儲資源，備份數(shù)據(jù)也可以根據(jù)設(shè)定的數(shù)據(jù)生命周期 在存儲資源間進(jìn)行流動。 圖圖 2 2：備份服務(wù)等級管理：備份服務(wù)等級管理 對備份系統(tǒng)服務(wù)水平的評價(jià)標(biāo)準(zhǔn)之一是是否滿足集團(tuán)對數(shù)據(jù)保護(hù)的要求， 其中關(guān)鍵的一點(diǎn)是能否為特定數(shù)據(jù)提供異地的備份數(shù)據(jù)冗余

12、，比如跨機(jī) 房的數(shù)據(jù)復(fù)制。由于備份 san 架構(gòu)的形成，使得南京各數(shù)據(jù)中心和無錫 數(shù)據(jù)中心的備份數(shù)據(jù)可以互相流動，流動的形式是多樣的，可以是在線 多數(shù)據(jù)流復(fù)制，也可以是離線的 vault（保險(xiǎn)柜）復(fù)制，相比傳統(tǒng)的手 工出庫和磁帶運(yùn)送方式先進(jìn)很多。 共享的備份數(shù)據(jù)驗(yàn)證服務(wù)，大多數(shù)企業(yè)的集中備份環(huán)境都缺少可行的數(shù) 據(jù)恢復(fù)驗(yàn)證環(huán)節(jié)，但事實(shí)上數(shù)據(jù)的恢復(fù)是比備份更復(fù)雜的過程，即使系 統(tǒng)在初始備份后進(jìn)行了成功的恢復(fù)測試，也不代表在實(shí)際生產(chǎn)中需要恢 復(fù)的時候一定能成功，實(shí)際情況中數(shù)據(jù)庫軟件的升級，備份軟件的參數(shù) 調(diào)整，失敗的備份作業(yè)，操作系統(tǒng)參數(shù)的調(diào)整都有可能造成恢復(fù)失敗， 而恢復(fù)失敗時現(xiàn)場定位錯誤原因需要

13、的時間將直接影響業(yè)務(wù)系統(tǒng)恢復(fù)的 時間，所以常規(guī)例行的數(shù)據(jù)恢復(fù)驗(yàn)證能最大程度保證生產(chǎn)系統(tǒng)的快速恢 復(fù)。在我們的云備份架構(gòu)中提供了共享的數(shù)據(jù)恢復(fù)平臺，能夠滿足多個 核心系統(tǒng)的數(shù)據(jù)恢復(fù)驗(yàn)證需求。并專門立項(xiàng)建立了業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)備 份恢復(fù)測試環(huán)境，覆蓋了支撐系統(tǒng)主機(jī)的所有相關(guān)機(jī)型和版本和存儲的 主要型號。 數(shù)據(jù)安全性，不同的業(yè)務(wù)系統(tǒng)其數(shù)據(jù)的敏感程度不同，對備份數(shù)據(jù)安全 性的要求也不同，當(dāng)所有系統(tǒng)的備份都?xì)w入云備份架構(gòu)后如何保證數(shù)據(jù) 的安全性，如何保證敏感信息不泄露？事實(shí)上我們可以利用云備份架構(gòu) 中的數(shù)據(jù)加密模塊，啟用數(shù)據(jù)加密的備份數(shù)據(jù)只能被數(shù)據(jù)源系統(tǒng)所恢復(fù)， 數(shù)據(jù)加密所需要的證書管理和認(rèn)證都作為平臺服

14、務(wù)提供，對于高負(fù)載的 業(yè)務(wù)系統(tǒng)的加密備份可以由資源池中的介質(zhì)服務(wù)器承擔(dān)加密運(yùn)算，減少 對業(yè)務(wù)系統(tǒng)的性能影響。 3.3 自動化管理 集中的報(bào)表平臺，報(bào)表平臺作為云備份架構(gòu)的重要組成部分，可以為遵 從驗(yàn)證和業(yè)務(wù)規(guī)劃提供高級備份報(bào)告。在云備份作為 soa 存儲服務(wù)的情 況下，我們需要具有跟蹤和分析備份服務(wù)水平遵從以及將操作作為一項(xiàng) 業(yè)務(wù)來進(jìn)行管理的能力。備份管理平臺為我們提供了所需的報(bào)告，以驗(yàn) 證各關(guān)鍵系統(tǒng)的數(shù)據(jù)庫等數(shù)據(jù)受到確實(shí)的保護(hù)，以及 rto（恢復(fù)時間目 標(biāo)）和 rpo （恢復(fù)點(diǎn)目標(biāo)）要求可以得到滿足。同時還可以深入了解數(shù) 據(jù)保護(hù)基礎(chǔ)架構(gòu)，這樣就可以為備份操作進(jìn)行有效的業(yè)務(wù)計(jì)劃。例如， 可以按

15、照業(yè)務(wù)系統(tǒng)、用戶和部門分析增長趨勢和資源需求。同時，可以 為備份服務(wù)使用部門或系統(tǒng)提供在線的報(bào)表展示，確保服務(wù)水平承諾。 報(bào)表平臺還可以根據(jù)各部門或應(yīng)用系統(tǒng)統(tǒng)計(jì)固定時間段內(nèi)其備份所產(chǎn)生 的費(fèi)用成本，這樣的報(bào)表數(shù)據(jù)既可以做為部門成本核算的依據(jù)，也可以 做為系統(tǒng)擴(kuò)容的參考。 圖圖 3 3：集中報(bào)表平臺：集中報(bào)表平臺 集中的管理平臺，我們通過基于 web 的集中管理門戶能夠?qū)崿F(xiàn)所有監(jiān)控、 警報(bào)、報(bào)告和故障排除功能，并通過圖形化的方式顯示。管理員能夠?qū)?時收集信息，包括恢復(fù)的成功率、哪些系統(tǒng)由于備份故障而面臨風(fēng)險(xiǎn)、 存儲使用的趨勢、關(guān)于特定警報(bào)與錯誤的詳細(xì)信息?？商峁┱麄€基礎(chǔ)設(shè) 施范疇的所有數(shù)據(jù)保護(hù)操

16、作的視圖。為了簡化日常管理工作，還能夠通 過統(tǒng)一備份界面，保護(hù)和管理數(shù)據(jù)資源。管理員能夠主動診斷故障，識 別可能的問題，并采取正確的糾正措施。 4、 架構(gòu)收益 隨著該系統(tǒng)架構(gòu)投入使用，我們獲得了諸多收益，很好的解決了目前系統(tǒng) 采購、建設(shè)、運(yùn)行、維護(hù)、使用、應(yīng)用支撐方面的諸多問題，具體的內(nèi)容如下： （1） 成本 云架構(gòu)的采用對備份系統(tǒng)成本的影響是革命性的。備份系統(tǒng)占總體架構(gòu) 的投資比例顯著下降了。原來備份系統(tǒng)占總體投資的 10，云架構(gòu)使得 這個比例下降到不足 5，節(jié)約了 50以上的投資。 備份資源的增加來自云備份架構(gòu)整體需求，資源復(fù)用率和整體利用率提 高，由此帶來了成本的相對減少。 維護(hù)成本的減

17、少來自兩個方面，一個方面，低端磁帶庫主要面向中小型 業(yè)務(wù)系統(tǒng)的獨(dú)立備份需求，由于機(jī)械故障率極高，帶來的維護(hù)成本較高， 云備份使得這方面的維護(hù)成本消失。另一方面，由于備份標(biāo)準(zhǔn)不統(tǒng)一、 業(yè)務(wù)平臺各自為陣，一個數(shù)據(jù)中心就有多個備份管理員，云備份把多個 備份平臺整合成一個，一個專業(yè)備份管理員就夠了。 （2） 構(gòu)架“云”模型來提高備份服務(wù)能力 實(shí)現(xiàn)任意業(yè)務(wù)數(shù)據(jù)備份可以隨時運(yùn)行在任意“云節(jié)點(diǎn)”上, 實(shí)現(xiàn)了負(fù)載 均衡與隨需調(diào)度 充分利用云架構(gòu)的擴(kuò)展能力，實(shí)現(xiàn)了比業(yè)務(wù)增長速度更高的擴(kuò)展性。核 心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)量在增長，備份/恢復(fù)窗口卻在縮小。 針對業(yè)務(wù)系統(tǒng)的架構(gòu)瓶頸和備份策略, 通過交叉?zhèn)浞莘绞絹硖嵘龜?shù)據(jù)備

18、份和恢復(fù)的效率和成功率，成功實(shí)現(xiàn)了 it 部門承諾的 99.99的恢復(fù)成 功率。 備份系統(tǒng)處理余量由原來的 30%下降到 15%甚至更低 （3） 利用備份“解耦”提升備份系統(tǒng)可靠性 業(yè)務(wù)應(yīng)用模塊并不關(guān)心備份數(shù)據(jù)在哪里 一套完整備份策略可以靈活在任意的備份中心部署 （4） 利用備份共享提高備份資源利用率，提高備份調(diào)度運(yùn)維效率 通過構(gòu)建全局備份視圖將需要管理的備份空間數(shù)量有效降低了 20%，將 預(yù)留的冗余備份空間容量有效降低了 25%。 更好的根據(jù)業(yè)務(wù)調(diào)整備份策略，充分利用網(wǎng)絡(luò)的資源, 提高備份的處理 效率 通過細(xì)分業(yè)務(wù)、方式調(diào)整備份策略，實(shí)現(xiàn)業(yè)務(wù)服務(wù)水平和備份服務(wù)水平 的的精細(xì)化管理，既提高了整體備份服務(wù)水平，也優(yōu)化了備份資源 備份系統(tǒng)運(yùn)行及配置環(huán)境集中管理，實(shí)現(xiàn)一點(diǎn)配置，全網(wǎng)生效 （5） 極佳的魯棒性和系統(tǒng)彈性 每個業(yè)務(wù)模塊的備份策略部署已經(jīng)可以完全產(chǎn)品化，提升了系統(tǒng)整體備 份能力； 備份系統(tǒng)處理的能力可以線性擴(kuò)充，對現(xiàn)有系統(tǒng)不產(chǎn)生影響，只需增加 新的軟硬件資源； 未來新的業(yè)務(wù)模塊增減、數(shù)據(jù)存儲空間添加、業(yè)務(wù)模塊調(diào)度調(diào)整或備份 備份策略的調(diào)整都可以分別在線進(jìn)行，系統(tǒng)架構(gòu)不需要發(fā)生聯(lián)動變化， 為生產(chǎn)系統(tǒng)、備份系統(tǒng)平臺的能力提升提供了安全、高效的手段； 提供分級備份規(guī)劃能力，幫助對業(yè)務(wù)系統(tǒng)生命周期管理，實(shí)現(xiàn)分級備份， 隨需調(diào)度，降低硬件采購成本并體現(xiàn)節(jié)能減排效益。 5、 結(jié)束語 中國