江蘇移動信息技術(shù)中心云備份平臺實踐.doc

中國移動江蘇公司信息技術(shù)中心云備份 平臺實踐 作者姓名 張晶 王堅 王宏圖 孫凱 作者單位 中國移動通信集團江蘇有限公司 單位地址 南京市虎踞路 59 號 郵政編碼 210029 摘摘 要要 隨著運營商用戶數(shù)的持續(xù)增長 業(yè)務(wù)的飛速發(fā)展 3G 業(yè)務(wù)的推廣 企業(yè)數(shù) 據(jù)中心的規(guī)模越來越大 數(shù)據(jù)也越來越重要 需要備份的數(shù)據(jù)量在持續(xù)的增長 與之對應(yīng)的卻是業(yè)務(wù)系統(tǒng)要求的越來越苛刻的恢復(fù)準(zhǔn)確率 業(yè)務(wù)支撐部門面對分散的數(shù)據(jù)中心 持續(xù)擴大的系統(tǒng)平臺規(guī)模 7 24 小時 的服務(wù)時間要求 全面嚴(yán)謹(jǐn)?shù)臉I(yè)務(wù)指標(biāo)考核標(biāo)準(zhǔn) 業(yè)務(wù)數(shù)據(jù) 零 丟失的嚴(yán)謹(jǐn) 要求現(xiàn)狀 緊張的維護人力資源配置狀況 迫切需要提高現(xiàn)有備份系統(tǒng)的備份 效能 提高運維管理效率高 降低運維成本 并根據(jù)這些經(jīng)驗及公司未來的 ICT 業(yè)務(wù)發(fā)展戰(zhàn)略 也可以將這些成熟服務(wù)產(chǎn)品推向市場 本文通過介紹中國移動江蘇公司統(tǒng)一備份平臺在備份虛擬化 備份服務(wù)差 異化 備份系統(tǒng)管理自動化 系統(tǒng)架構(gòu)云備份模型優(yōu)化的具體實踐 能夠很好 的解決中國移動江蘇公司現(xiàn)網(wǎng)系統(tǒng)運行遇到的種種問題 為讀者建立了一種全 新的備份系統(tǒng)架構(gòu)設(shè)計思路 關(guān)鍵字關(guān)鍵字 備份虛擬化 云備份 獨立備份 SAN 網(wǎng)絡(luò)系統(tǒng) 系統(tǒng)設(shè)計 目 錄 1 引言 1 2 系統(tǒng)建設(shè)背景 1 3 系統(tǒng)技術(shù)實現(xiàn)方案 3 3 1 虛擬化 3 3 2 SOA 備份服務(wù) 4 3 3 自動化管理 7 4 架構(gòu)收益 8 5 結(jié)束語 9 1 1 1 引言引言 如今的數(shù)據(jù)中心越來越復(fù)雜 不僅系統(tǒng)規(guī)模每年翻番 系統(tǒng)的復(fù)雜性及 面臨的風(fēng)險也與日俱增 另一面 業(yè)務(wù)部門對業(yè)務(wù)連續(xù)運行的要求卻是不斷提 高的 甚至越來越多的系統(tǒng)要求 零數(shù)據(jù)丟失 拿中國移動江蘇公司的核心業(yè) 務(wù)支撐系統(tǒng)來看 包括 BOSS 系統(tǒng) 經(jīng)營分析系統(tǒng) 客服系統(tǒng) 企業(yè)信息化系統(tǒng) 等子系統(tǒng) 總計近 400 臺服務(wù)器 TPCC 值超過 10000 萬 近 100 臺高 中 低端存儲設(shè)備 超過 1000TB 的重要業(yè)務(wù)數(shù)據(jù) 分布于南京和無錫的 5 個數(shù)據(jù)中 心 為了提高數(shù)據(jù)的安全性 作為數(shù)據(jù)保護的最后一道防線 備份的重要性就不 言而喻了 但是根據(jù)國際知名調(diào)研機構(gòu)對世界五百強大企業(yè)的技術(shù)主管的回訪 記錄和巡檢記錄來看 大部分企業(yè)用戶的平均備份成功率在 75 左右 事實上 我們還注意到很多時候的備份成功率小于 50 恢復(fù)率就更低 一方面我們面 臨的實際情況是每天需要備份的數(shù)據(jù)量在增長 中國移動江蘇公司業(yè)務(wù)支撐系 統(tǒng)每年需要備份數(shù)據(jù)的增長量在 50 75 之間 但備份系統(tǒng)的預(yù)算的增長卻遠 遠小于這個速度 傳統(tǒng)的備份系統(tǒng)都是和項目一起采購 造成數(shù)據(jù)中心多個獨立的備份系統(tǒng) 備份的效率差和備份資源的浪費很嚴(yán)重 備份系統(tǒng)架構(gòu)及其不合理 管理也極 其復(fù)雜 相同的問題也給 IT 行業(yè)的發(fā)展帶來挑戰(zhàn) 因此 虛擬化 云備份 標(biāo) 準(zhǔn)化 和 備份資源整合 等成為目前業(yè)界最為熱門的技術(shù)話題 同樣也代表 著未來技術(shù)發(fā)展的方向 近幾年來 在業(yè)界也涌現(xiàn)出幾家在這個領(lǐng)域運營不錯 的云備份服務(wù)的廠商 如賽門鐵克的 Norton Online Backup EMC 的 Mozy 作為 IT 技術(shù) IT 系統(tǒng)大量應(yīng)用的中國移動江蘇公司該如何解決自己發(fā)展中遇 到的問題 如何整合行業(yè)先進經(jīng)驗 新技術(shù) 解決方案 如何規(guī)劃 IT 系統(tǒng)架構(gòu) 科學(xué)發(fā)展 我們在上述領(lǐng)域做出了一些自己的實踐 2 系統(tǒng)建設(shè)背景 中國移動江蘇公司擁有一套完整的企業(yè)備份產(chǎn)品 在架構(gòu)設(shè)計上基于原來 的經(jīng)驗進行了創(chuàng)新 并結(jié)合一些云技術(shù)的設(shè)計理念 為業(yè)務(wù)支撐系統(tǒng)的數(shù)據(jù)保 駕護航 2 虛擬化 以整個數(shù)據(jù)中心為視角的備份資源部署 而不是基于應(yīng)用和設(shè) 備的備份資源管理 SOA 建立跨越整個備份資源的統(tǒng)一兼容的面向業(yè)務(wù)需求的備份服務(wù) 而 不是綁定特定的應(yīng)用或設(shè)備的備份軟硬件設(shè)備 自動化 以整個數(shù)據(jù)中心為視角的基于策略的圖形化備份資源管理 實 現(xiàn)備份任務(wù)的靈活調(diào)度 實時監(jiān)控和報告 而不僅僅是僵化的為備份而 備份 圖圖 1 1 中國移動江蘇公司業(yè)務(wù)支撐系統(tǒng)備份云示意 中國移動江蘇公司業(yè)務(wù)支撐系統(tǒng)備份云示意 3 系統(tǒng)技術(shù)實現(xiàn)方案 系統(tǒng)的技術(shù)設(shè)計及實現(xiàn)方案分為以下幾個層次 備份虛擬化技術(shù)引入及部署 建立一個可擴展的基礎(chǔ)架構(gòu) SOA 建立跨越整個備份資源的統(tǒng)一兼容的面向業(yè)務(wù)需求的備份服務(wù) 自動化管理 提高云備份基礎(chǔ)架構(gòu)管理效率降低復(fù)雜度 3 3 1 虛擬化 首先 在云備份架構(gòu)中將備份 SAN 從生產(chǎn) SAN 分離出來 這一變革 使 得原有的四個數(shù)據(jù)中心中 分散在各個應(yīng)用系統(tǒng)中的備份設(shè)備通過備份 SAN 虛擬化地呈現(xiàn)給整個數(shù)據(jù)中心 形成了一個集中的備份資源池 同 時備份的 SAN 可以根據(jù)業(yè)務(wù)的變化 備份任務(wù)的變化靈活的擴展和回收 實現(xiàn)了備份資源的靈活調(diào)度和靈活的縮放 對生產(chǎn) SAN 沒有任何影響 在數(shù)據(jù)中心備份 SAN 的基礎(chǔ)上 建立了跨數(shù)據(jù)中心的備份 SAN 連接 使 得所有數(shù)據(jù)中心都能物理共享第五個數(shù)據(jù)中心 浦口高新機房 的備份 設(shè)備 這樣當(dāng)任何一個數(shù)據(jù)中心的備份設(shè)備故障時 云備份架構(gòu)將自動 啟用第五數(shù)據(jù)中心的備份設(shè)備 保證核心生產(chǎn)系統(tǒng)備份作業(yè) 如數(shù)據(jù)庫 歸檔日志備份能夠持續(xù)進行 這里的關(guān)鍵是第五數(shù)據(jù)中心的備份設(shè)備是 共享的而不是其中一個數(shù)據(jù)中心專享的 對于 IP 網(wǎng)絡(luò)的資源虛擬化 則在云備份架構(gòu)中建立了一個具有負(fù)載均衡 功能的介質(zhì)服務(wù)器資源池 接入云備份架構(gòu)的任何一個網(wǎng)絡(luò)備份客戶端 的備份任務(wù)可以自動計算并分配到一個負(fù)載最低的備份介質(zhì)服務(wù)器 所 以對于通過網(wǎng)絡(luò)備份的應(yīng)用系統(tǒng)來說 備份系統(tǒng)是即插即用式的 備份 客戶端軟件從備份服務(wù)器自動下發(fā) 同時客戶端不需要關(guān)心對應(yīng)哪個介 質(zhì)服務(wù)器 或具體使用哪里的備份設(shè)備 多層次的備份架構(gòu) 除了傳統(tǒng)的磁帶庫設(shè)備 還采用了新型的磁盤備份 技術(shù) 如虛擬磁帶庫技術(shù) 數(shù)據(jù)重復(fù)刪除技術(shù) 這些技術(shù)都作為基礎(chǔ)架 構(gòu)的形式提供 為接入云備份系統(tǒng)的不同性質(zhì)數(shù)據(jù)提供不同類型的存儲 方式 其中使用的數(shù)據(jù)重復(fù)刪除技術(shù)是云備份體系中核心組成部分即備 份軟件自帶的功能 在對客服系統(tǒng)中大量的具有冗余性質(zhì)的 VMware 虛擬 環(huán)境的備份有良好的效果 建立面向地市分公司支撐系統(tǒng)的共享備份架構(gòu) 對于分公司的備份需求 統(tǒng)一提供備份資源池 提供用戶透明的集中備份服務(wù) 用戶不需要考慮 備份系統(tǒng)所在的地點和具體結(jié)構(gòu) 同時通過重復(fù)數(shù)據(jù)刪除技術(shù) 減少本 地寫入的數(shù)據(jù)量 相應(yīng)的減少網(wǎng)絡(luò)數(shù)據(jù)流量 3 2 SOA 備份服務(wù) 一個共享的 可伸縮的備份架構(gòu)是實現(xiàn)一個滿足 SLA 的備份服務(wù)投送平 臺的基礎(chǔ) 我們所定義的備份服務(wù)基于備份云上的各個關(guān)鍵要素 數(shù) 據(jù) 網(wǎng)絡(luò) 存儲資源 分別細(xì)化 組合 封裝 最后形成備份服務(wù)的 SLA 對服務(wù)的使用者來說 云服務(wù)通過封裝底層技術(shù)屏蔽了復(fù)雜的技術(shù) 組合 使得一個復(fù)雜的備份策略設(shè)置操作 變成簡單的服務(wù)挑選 我們首先通過區(qū)分應(yīng)用系統(tǒng)數(shù)據(jù)重要性等級 分別定義金 銀 銅三個 服務(wù)等級 數(shù)據(jù)重要性等級指標(biāo)有三個 一為是否需要快速恢復(fù) 二為 是否需要長期保存 三為是否需要異地保存 之后我們將應(yīng)用系統(tǒng)對應(yīng) 到備份平臺的 SLA 從服務(wù)等級的角度看 銅牌服務(wù)僅提供長期保存 4 磁帶備份 銀牌服務(wù)則在滿足長期保存基礎(chǔ)上提供了異地保護 磁帶 復(fù)制等 金牌服務(wù)除包括長期保存和異地保存外還提供了數(shù)據(jù)的快速恢 復(fù) 綜合磁盤備份等多種技術(shù) 這樣在備份平臺上每個服務(wù)器都被賦予 了 SLA 的屬性 并將貫徹到其對應(yīng)數(shù)據(jù)的整個備份生命周期 這其中用 到了 SLP Storage Lifecycle Policy 技術(shù) 不同服務(wù)標(biāo)準(zhǔn)的備份作業(yè) 會自動尋找合適的存儲資源 備份數(shù)據(jù)也可以根據(jù)設(shè)定的數(shù)據(jù)生命周期 在存儲資源間進行流動 圖圖 2 2 備份服務(wù)等級管理 備份服務(wù)等級管理 對備份系統(tǒng)服務(wù)水平的評價標(biāo)準(zhǔn)之一是是否滿足集團對數(shù)據(jù)保護的要求 其中關(guān)鍵的一點是能否為特定數(shù)據(jù)提供異地的備份數(shù)據(jù)冗余 比如跨機 房的數(shù)據(jù)復(fù)制 由于備份 SAN 架構(gòu)的形成 使得南京各數(shù)據(jù)中心和無錫 數(shù)據(jù)中心的備份數(shù)據(jù)可以互相流動 流動的形式是多樣的 可以是在線 多數(shù)據(jù)流復(fù)制 也可以是離線的 Vault 保險柜 復(fù)制 相比傳統(tǒng)的手 工出庫和磁帶運送方式先進很多 共享的備份數(shù)據(jù)驗證服務(wù) 大多數(shù)企業(yè)的集中備份環(huán)境都缺少可行的數(shù) 據(jù)恢復(fù)驗證環(huán)節(jié) 但事實上數(shù)據(jù)的恢復(fù)是比備份更復(fù)雜的過程 即使系 統(tǒng)在初始備份后進行了成功的恢復(fù)測試 也不代表在實際生產(chǎn)中需要恢 復(fù)的時候一定能成功 實際情況中數(shù)據(jù)庫軟件的升級 備份軟件的參數(shù) 調(diào)整 失敗的備份作業(yè) 操作系統(tǒng)參數(shù)的調(diào)整都有可能造成恢復(fù)失敗 而恢復(fù)失敗時現(xiàn)場定位錯誤原因需要的時間將直接影響業(yè)務(wù)系統(tǒng)恢復(fù)的 時間 所以常規(guī)例行的數(shù)據(jù)恢復(fù)驗證能最大程度保證生產(chǎn)系統(tǒng)的快速恢 復(fù) 在我們的云備份架構(gòu)中提供了共享的數(shù)據(jù)恢復(fù)平臺 能夠滿足多個 核心系統(tǒng)的數(shù)據(jù)恢復(fù)驗證需求 并專門立項建立了業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)備 5 份恢復(fù)測試環(huán)境 覆蓋了支撐系統(tǒng)主機的所有相關(guān)機型和版本和存儲的 主要型號 數(shù)據(jù)安全性 不同的業(yè)務(wù)系統(tǒng)其數(shù)據(jù)的敏感程度不同 對備份數(shù)據(jù)安全 性的要求也不同 當(dāng)所有系統(tǒng)的備份都?xì)w入云備份架構(gòu)后如何保證數(shù)據(jù) 的安全性 如何保證敏感信息不泄露 事實上我們可以利用云備份架構(gòu) 中的數(shù)據(jù)加密模塊 啟用數(shù)據(jù)加密的備份數(shù)據(jù)只能被數(shù)據(jù)源系統(tǒng)所恢復(fù) 數(shù)據(jù)加密所需要的證書管理和認(rèn)證都作為平臺服務(wù)提供 對于高負(fù)載的 業(yè)務(wù)系統(tǒng)的加密備份可以由資源池中的介質(zhì)服務(wù)器承擔(dān)加密運算 減少 對業(yè)務(wù)系統(tǒng)的性能影響 3 3 自動化管理 集中的報表平臺 報表平臺作為云備份架構(gòu)的重要組成部分 可以為遵 從驗證和業(yè)務(wù)規(guī)劃提供高級備份報告 在云備份作為 SOA 存儲服務(wù)的情 況下 我們需要具有跟蹤和分析備份服務(wù)水平遵從以及將操作作為一項 業(yè)務(wù)來進行管理的能力 備份管理平臺為我們提供了所需的報告 以驗 證各關(guān)鍵系統(tǒng)的數(shù)據(jù)庫等數(shù)據(jù)受到確實的保護 以及 RTO 恢復(fù)時間目 標(biāo) 和 RPO 恢復(fù)點目標(biāo) 要求可以得到滿足 同時還可以深入了解數(shù) 據(jù)保護基礎(chǔ)架構(gòu) 這樣就可以為備份操作進行有效的業(yè)務(wù)計劃 例如 可以按照業(yè)務(wù)系統(tǒng) 用戶和部門分析增長趨勢和資源需求 同時 可以 為備份服務(wù)使用部門或系統(tǒng)提供在線的報表展示 確保服務(wù)水平承諾 報表平臺還可以根據(jù)各部門或應(yīng)用系統(tǒng)統(tǒng)計固定時間段內(nèi)其備份所產(chǎn)生 的費用成本 這樣的報表數(shù)據(jù)既可以做為部門成本核算的依據(jù) 也可以 做為系統(tǒng)擴容的參考 圖圖 3 3 集中報表平臺 集中報表平臺 集中的管理平臺 我們通過基于 Web 的集中管理門戶能夠?qū)崿F(xiàn)所有監(jiān)控 6 警報 報告和故障排除功能 并通過圖形化的方式顯示 管理員能夠?qū)?時收集信息 包括恢復(fù)的成功率 哪些系統(tǒng)由于備份故障而面臨風(fēng)險 存儲使用的趨勢 關(guān)于特定警報與錯誤的詳細(xì)信息 可提供整個基礎(chǔ)設(shè) 施范疇的所有數(shù)據(jù)保護操作的視圖 為了簡化日常管理工作 還能夠通 過統(tǒng)一備份界面 保護和管理數(shù)據(jù)資源 管理員能夠主動診斷故障 識 別可能的問題 并采取正確的糾正措施 4 架構(gòu)收益 隨著該系統(tǒng)架構(gòu)投入使用 我們獲得了諸多收益 很好的解決了目前系統(tǒng) 采購 建設(shè) 運行 維護 使用 應(yīng)用支撐方面的諸多問題 具體的內(nèi)容如下 1 成本 云架構(gòu)的采用對備份系統(tǒng)成本的影響是革命性的 備份系統(tǒng)占總體架構(gòu) 的投資比例顯著下降了 原來備份系統(tǒng)占總體投資的 10 云架構(gòu)使得 這個比例下降到不足 5 節(jié)約了 50 以上的投資 備份資源的增加來自云備份架構(gòu)整體需求 資源復(fù)用率和整體利用率提 高 由此帶來了成本的相對減少 維護成本的減少來自兩個方面 一個方面 低端磁帶庫主要面向中小型 業(yè)務(wù)系統(tǒng)的獨立備份需求 由于機械故障率極高 帶來的維護成本較高 云備份使得這方面的維護成本消失 另一方面 由于備份標(biāo)準(zhǔn)不統(tǒng)一 業(yè)務(wù)平臺各自為陣 一個數(shù)據(jù)中心就有多個備份管理員 云備份把多個 備份平臺整合成一個 一個專業(yè)備份管理員就夠了 2 構(gòu)架 云 模型來提高備份服務(wù)能力 實現(xiàn)任意業(yè)務(wù)數(shù)據(jù)備份可以隨時運行在任意 云節(jié)點 上 實現(xiàn)了負(fù)載 均衡與隨需調(diào)度 充分利用云架構(gòu)的擴展能力 實現(xiàn)了比業(yè)務(wù)增長速度更高的擴展性 核 心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)量在增長 備份 恢復(fù)窗口卻在縮小 針對業(yè)務(wù)系統(tǒng)的架構(gòu)瓶頸和備份策略 通過交叉?zhèn)浞莘绞絹硖嵘龜?shù)據(jù)備 份和恢復(fù)的效率和成功率 成功實現(xiàn)了 IT 部門承諾的 99 99 的恢復(fù)成 功率 備份系統(tǒng)處理余量由原來的 30 下降到 15 甚至更低 3 利用備份 解耦 提升備份系統(tǒng)可靠性 業(yè)務(wù)應(yīng)用模塊并不關(guān)心備份數(shù)據(jù)在哪里 一套完整備份策略可以靈活在任意的備份中心部署 7 4 利用備份共享提高備份資源利用率 提高備份調(diào)度運維效率 通過構(gòu)建全局備份視圖將需要管理的備份空間數(shù)量有效降低了 20 將 預(yù)留的冗余備份空間容量有效降低了 25 更好的根據(jù)業(yè)務(wù)調(diào)整備份策略 充分利用網(wǎng)絡(luò)的資源 提高備份的處理 效率 通過細(xì)分業(yè)務(wù) 方式調(diào)整備份策略 實現(xiàn)業(yè)務(wù)服務(wù)水平和備份服務(wù)水平 的的精細(xì)化管理 既提高了整體備份服務(wù)水平 也優(yōu)化了備份資源 備份系統(tǒng)運行及配置環(huán)境集中管理 實現(xiàn)一點配置 全網(wǎng)生效 5 極佳的魯棒性和系統(tǒng)彈性 每個業(yè)務(wù)模塊的備份策略部署已經(jīng)可以完全產(chǎn)品化 提升了系統(tǒng)整體備 份能力 備份系統(tǒng)處理的能力可以線性擴充 對現(xiàn)有系統(tǒng)不產(chǎn)生影響 只需增加 新的軟硬件資源 未來新的業(yè)務(wù)模塊增減 數(shù)據(jù)存儲空間添加 業(yè)務(wù)模塊調(diào)度調(diào)整或備份 備份策略的調(diào)整都可以分別在線進行 系統(tǒng)架構(gòu)不需要發(fā)生聯(lián)動變化 為生產(chǎn)系統(tǒng) 備份系統(tǒng)平臺的能力提升提供了安全 高效的手段 提供分級備份規(guī)劃能力 幫助對業(yè)務(wù)系統(tǒng)生命周期管理 實現(xiàn)分級備份 隨需調(diào)度 降低硬件采購成本并體現(xiàn)節(jié)能減排效益 5 結(jié)束語 中國移