BOSS系統(tǒng)容災(zāi)備份技術(shù)規(guī)范_第1頁
BOSS系統(tǒng)容災(zāi)備份技術(shù)規(guī)范_第2頁
BOSS系統(tǒng)容災(zāi)備份技術(shù)規(guī)范_第3頁
已閱讀5頁,還剩59頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、動通信 MOBILE中國移動BOSS系統(tǒng)容災(zāi)備份技術(shù)標(biāo)準(zhǔn)中國移動集團(tuán)公司二零零三年四月目 錄1. 總那么31.1. 概述31.2. 目標(biāo)和原那么31.3. 考慮的因素41.4. 適用范圍51.5. 起草單位51.6. 解釋權(quán)52. 容災(zāi)備份系統(tǒng)概述 62.1. 災(zāi)難的定義62.2. 容災(zāi)的定義72.2.1. 容災(zāi)定義72.2.2. 業(yè)務(wù)連續(xù)性定義72.3. 系統(tǒng)建設(shè)模型72.4. BOSS系統(tǒng)-容災(zāi)備份系統(tǒng)架構(gòu) 93. 容災(zāi)技術(shù)模型容災(zāi)備份系統(tǒng)技術(shù)模型 123.1. 容災(zāi)備份系統(tǒng)的技術(shù)框架 123.2. 容災(zāi)備份系統(tǒng)IT技術(shù)映射133.2.1. 應(yīng)用層143.2.2. 存儲層153.2.3.

2、主機層153.2.4. 網(wǎng)絡(luò)層163.2.5. 物理層164. 容災(zāi)備份系統(tǒng)模型的技術(shù)實現(xiàn) 184.1. 數(shù)據(jù)平臺-業(yè)務(wù)狀態(tài)數(shù)據(jù)的保護(hù) 184.1.1. 業(yè)務(wù)狀態(tài)數(shù)據(jù)的定義 184.1.2. 業(yè)務(wù)狀態(tài)數(shù)據(jù)保護(hù)機制的技術(shù)要求 184.1.3. 技術(shù)手段分類 204.1.4. 定點拷貝的技術(shù)實現(xiàn) 224.1.5. 連續(xù)復(fù)制的技術(shù)實現(xiàn)254.1.6. 遠(yuǎn)程復(fù)制通信鏈路 334.1.7. 技術(shù)手段的組合使用354.2. 業(yè)務(wù)平臺業(yè)務(wù)處理能力的有效冗余和故障切換恢復(fù) 364.2.1. 生產(chǎn)中心內(nèi)部的處理要素有效冗余和業(yè)務(wù)流程切換恢復(fù) 364.2.2. 雙生產(chǎn)中心環(huán)境下的有效冗余和網(wǎng)絡(luò)結(jié)構(gòu)394.3. 接

3、入平臺的保護(hù)-外部接口冗余設(shè)計和外部接口的切換 414.3.1. 外部接口類型分析414.3.2. 生產(chǎn)中心內(nèi)部的接口冗余424.3.3. 雙生產(chǎn)中心環(huán)境下的接口冗余424.4. 容災(zāi)備份系統(tǒng)IT技術(shù)實現(xiàn)映射435. 系統(tǒng)切換和回切 445.1. 系統(tǒng)切換445.1.1. 切換原那么445.1.2. 切換必要性確認(rèn)455.1.3. 切換可行性確認(rèn)465.1.4. 切換方式465.1.5. 切換流程485.2. 回切495.2.1. 回切原那么495.2.2. 回切可行性確認(rèn)495.2.3. 回切流程496. 容災(zāi)備份系統(tǒng)建設(shè)策略 516.1. 異地中心的選擇策略 516.1.1. 距離選擇策略

4、 516.1.2. 建設(shè)模式策略526.1.3. 設(shè)備部署策略536.1.4. 地點選擇策略546.2. 容災(zāi)技術(shù)選擇策略 556.2.1. 容災(zāi)技術(shù)選擇的根本原貝V 556.2.2. 容災(zāi)技術(shù)可行性判斷的一般方法566.3. 容災(zāi)備份系統(tǒng)不同實現(xiàn)級別的技術(shù)選擇 596.3.1. 平臺完整性606.3.2. 備份和恢復(fù)完整性616.3.3. 信息完整性636.3.4. 處理完整性676.3.5. 企業(yè)完整性697. 名詞解釋711. 總那么1.1. 概述中國移動業(yè)務(wù)運營支撐系統(tǒng)-容災(zāi)備份系統(tǒng)是中國移動業(yè)務(wù)運營支撐系統(tǒng), 如BOSS經(jīng)營分析系統(tǒng)等的延伸。本標(biāo)準(zhǔn)作為中國移動的業(yè)務(wù)運營支撐系統(tǒng) 容災(zāi)

5、備份系統(tǒng)建設(shè)的技術(shù)指導(dǎo)意見,初步解決中國移動目前存在的缺乏統(tǒng)一 的、系統(tǒng)化、標(biāo)準(zhǔn)化的業(yè)務(wù)運營支撐系統(tǒng)-容災(zāi)技術(shù)解決方案的問題。本技術(shù)標(biāo)準(zhǔn)主要包含容災(zāi)備份系統(tǒng)建設(shè)中相關(guān)技術(shù)方面的指導(dǎo)性意見。其 中主要涉及中國移動業(yè)務(wù)業(yè)務(wù)運營支撐系統(tǒng)的技術(shù)模型、容災(zāi)模型的技術(shù)實 現(xiàn)、容災(zāi)備份系統(tǒng)的切換 回切、容災(zāi)建設(shè)策略等方面的問題。本文檔附件包括相關(guān)名詞解釋各省、自治區(qū)、直轄市公司在業(yè)務(wù)運營支撐系統(tǒng)-容災(zāi)備份系統(tǒng)的建設(shè)過程 中,應(yīng)以本技術(shù)標(biāo)準(zhǔn)為指導(dǎo),根據(jù)實際情況,進(jìn)行技術(shù)選擇、工程設(shè)計、系統(tǒng) 實施和系統(tǒng)維護(hù)工作。1.2. 目標(biāo)和原那么中國移動業(yè)務(wù)運營支撐系統(tǒng)的容災(zāi)備份系統(tǒng)的總體建設(shè)目標(biāo)是:?針對目前系統(tǒng)潛在的中

6、斷風(fēng)險災(zāi)難,提供預(yù)防機制,提高系統(tǒng)連 續(xù)運行能力?對無法抗拒的嚴(yán)重災(zāi)難,提供系統(tǒng)恢復(fù)機制,將引發(fā)的業(yè)務(wù)損失降低 到可接受的程度具體到本期工程而言,中國移動業(yè)務(wù)運營支撐系統(tǒng)-容災(zāi)備份系統(tǒng)規(guī)劃和建 設(shè)的目標(biāo)是:?實現(xiàn)關(guān)鍵業(yè)務(wù)系統(tǒng)及其關(guān)聯(lián)系統(tǒng)的數(shù)據(jù)平安?減少方案停機次數(shù)/時間,消除對核心數(shù)據(jù)的爭用?將異地中心接管業(yè)務(wù)的時間控制在可以接受的范圍內(nèi)?實現(xiàn)異地中心的軟硬件設(shè)備和數(shù)據(jù)的復(fù)用中國移動業(yè)務(wù)運營支撐系統(tǒng)-容災(zāi)備份系統(tǒng)規(guī)劃和建設(shè)中須遵循以下技術(shù)原 那么:1. 實用性與成熟性使用業(yè)界成熟、可靠和實用的容災(zāi)技術(shù)。2. 先進(jìn)性系統(tǒng)結(jié)構(gòu)能夠滿足和適應(yīng)中國移動IT系統(tǒng)快速變化和開展的要求。3. 開放性與標(biāo)準(zhǔn)化

7、采用開放的技術(shù)標(biāo)準(zhǔn)和協(xié)議支持整個系統(tǒng)的運行,兼容性和恢復(fù)性強。4. 自動化和操作的簡單化系統(tǒng)各局部有機集成,集中控制。1.3. 考慮的因素業(yè)務(wù)運營支撐系統(tǒng)-容災(zāi)備份系統(tǒng)的建設(shè)應(yīng)綜合考慮中國移動在本系統(tǒng)業(yè)務(wù)標(biāo)準(zhǔn)中制定的總體建設(shè)策略、各省的建設(shè)目標(biāo)及本錢。具體因素包括:?系統(tǒng)的可恢復(fù)程度系統(tǒng)的可恢復(fù)程度包括:處理能力的恢復(fù)程度、數(shù)據(jù)的恢復(fù)程度、業(yè)務(wù)功能的恢復(fù)程度?系統(tǒng)的可容忍的中斷時間系統(tǒng)中斷時間長短對應(yīng)的業(yè)務(wù)損失程度應(yīng)在可以接受的范圍內(nèi)?本錢包括系統(tǒng)建設(shè)、維護(hù)本錢,以及資源復(fù)用情況。?現(xiàn)有系統(tǒng)的保護(hù)機制包括現(xiàn)有的技術(shù)、管理和人員?上述因素的綜合考慮1.4. 適用范圍本標(biāo)準(zhǔn)適用于中國移動各省直轄市

8、、自治區(qū)業(yè)務(wù)運營支撐系統(tǒng)-容災(zāi)備份系統(tǒng)建設(shè)。1.5. 起草單位本技術(shù)標(biāo)準(zhǔn)由中國移動通信集團(tuán)公司負(fù)責(zé)起草。1.6. 解釋權(quán)本標(biāo)準(zhǔn)的增補、修訂及解釋權(quán)屬中國移動通信集團(tuán)公司。如中國移動在此 之前的文件與本標(biāo)準(zhǔn)有矛盾,按此標(biāo)準(zhǔn)執(zhí)行。2. 容災(zāi)備份系統(tǒng)概述2.1. 災(zāi)難的定義災(zāi)難,對計算機應(yīng)用系統(tǒng)來說,任何導(dǎo)致業(yè)務(wù)停頓并帶來重大損失的事故或 意外都意味著災(zāi)難。如果企業(yè)的計算機應(yīng)用系統(tǒng)由于停機而中斷了不可忍受的一段時間的事故或 喪失的重要信息無法恢復(fù),從而導(dǎo)致業(yè)務(wù)停頓的自然的、人為的或技術(shù)上的故 障或問題,我們均稱之 風(fēng)險!因此,從廣義來講,任何風(fēng)險都可能引起災(zāi)難。中國移動業(yè)務(wù)運營支撐系統(tǒng)主要面臨的風(fēng)險

9、有:?方案內(nèi)1. 應(yīng)用軟件等的升級,2. 備份/恢復(fù)/歸檔3. 數(shù)據(jù)中心遷移、整合4. 測試、容災(zāi)演習(xí)?方案外1. 系統(tǒng)處理能力下降2. 人為操作故障:錯誤刪除文件數(shù)據(jù),造成不可恢復(fù);錯 誤執(zhí)行程序或命令,造成系統(tǒng)死機3. 系統(tǒng)軟硬件故障,主要包括電源及 UPS故障、硬盤故 障、通訊控制器故障、系統(tǒng)總線、內(nèi)存、 CPU故障等4. 平安體系被攻破5. 生產(chǎn)地點的災(zāi)難:水災(zāi)、火災(zāi)、地震及其他機房事故等6. 瘟疫?其它:包括災(zāi)難的潛在影響,如水災(zāi)、地震等,常伴隨著電力的供應(yīng)問題。22容災(zāi)的定義221.容災(zāi)定義容災(zāi),對于IT而言,就是一個提供能防止各種災(zāi)難的計算機信息系統(tǒng)。當(dāng) 政府、企業(yè)、商家的核心計

10、算機系統(tǒng)遭受諸如火災(zāi)、水災(zāi)、地震、戰(zhàn)爭、人為 破、瘟疫等不可抗拒的災(zāi)難和意外時,能夠及時恢復(fù)系統(tǒng)的正常運行。因此, 容災(zāi)的目的在于及時恢復(fù)系統(tǒng)運行而不在于數(shù)據(jù)復(fù)制。容災(zāi)是業(yè)務(wù)連續(xù)性的實現(xiàn)方式之一。2.2.2.業(yè)務(wù)連續(xù)性定義業(yè)務(wù)連續(xù)性是一種預(yù)防性機制。它明確一個機構(gòu)的關(guān)鍵職能以及可能對這些 職能構(gòu)成的威脅,并據(jù)此采取相應(yīng)的技術(shù)手段,制定方案和流程,確保這些關(guān) 鍵職能在任何環(huán)境下都能持續(xù)發(fā)揮作用;業(yè)務(wù)連續(xù)性=從方案外停機中實現(xiàn)災(zāi)難恢復(fù)+在方案停機期間保持連續(xù)可 用+利用冗余資源提供增值效勞2.3.系統(tǒng)建設(shè)模型中國移動業(yè)務(wù)運營支撐系統(tǒng)容災(zāi)備份系統(tǒng)的建設(shè),必須按照需求分析、方案 設(shè)計、方案實施、測試/

11、演習(xí)/維護(hù)的科學(xué)流程進(jìn)行。本文檔依據(jù)下面 2.1圖示 的系統(tǒng)建設(shè)模型,對各省移動公司進(jìn)行 BOSS系統(tǒng)-容災(zāi)備份系統(tǒng)建設(shè)時的各個 階段的工作,做出指導(dǎo)和標(biāo)準(zhǔn)。臂二二空二映射圖2.1業(yè)務(wù)運營支撐系統(tǒng)-容災(zāi)備份系統(tǒng)建設(shè)模型人員、流程和技術(shù)是保證業(yè)務(wù)運營支撐系統(tǒng)-容災(zāi)備份系統(tǒng)成功實施、有效 運行的三個重要方面:?人員,是技術(shù)和流程的制定者和執(zhí)行者。?流程,是由人員制定的,人員依據(jù)容災(zāi)備份系統(tǒng)的目標(biāo)的要求,為保障目標(biāo)的實現(xiàn)而制訂了一整套完整的流程。在某些時 候,它也是技術(shù)的補充和完善。包括恢復(fù)、測試、演習(xí)和維護(hù) 等;?技術(shù),是手段、是載體;人員、流程和技術(shù)通過管理機制有效結(jié)合。管理機制包括方案、映射、

12、驅(qū) 動、調(diào)控等手段。首先,人員制訂了流程,并驅(qū)動流程的貫徹執(zhí)行,維護(hù)流程的變更及催促流 程的完善。流程一旦建立,就對人員起到了調(diào)控作用,人員就要依據(jù)流程的要 求執(zhí)行相應(yīng)的工作步驟。其次,人員依據(jù)容災(zāi)備份系統(tǒng)目標(biāo)的要求,選擇適當(dāng) 的技術(shù)來支持這些目標(biāo)的實現(xiàn),這時,就需要對當(dāng)今的各種相關(guān)IT技術(shù)進(jìn)行計劃,采用一種或多種技術(shù)建立容災(zāi)備份系統(tǒng)的技術(shù)根底。最后,流程也是技術(shù) 中國移動通信集團(tuán)公司-8 -的映射,采用了哪種技術(shù),人們就會制訂適合這種技術(shù)的流程,而且,技術(shù)通 常會有一些缺陷,在對技術(shù)進(jìn)行充分評估后,通過制訂流程,可以對技術(shù)進(jìn)行 補充,以實現(xiàn)系統(tǒng)目標(biāo)。人員、流程和技術(shù)這三個重要的系統(tǒng)因素將貫穿

13、整個容災(zāi)備份系統(tǒng)建設(shè)的始2.4. BOSS系統(tǒng)-容災(zāi)備份系統(tǒng)架構(gòu)中國移動BOSS容災(zāi)系統(tǒng)的體系架構(gòu)應(yīng)按照BOSS系統(tǒng)建設(shè)的體系進(jìn)行劃分,即集團(tuán)公司全國 BOSS容災(zāi)系統(tǒng)和省公司 BOSS容災(zāi)系統(tǒng)或區(qū)域級容災(zāi)系統(tǒng),采用兩層的結(jié)構(gòu)體系,如以下圖所示:第一級:集團(tuán)公司全國BOSS容災(zāi)系統(tǒng),負(fù)責(zé)中國移動集團(tuán)公司的 BOSS系統(tǒng) 的容災(zāi)建設(shè);第二級:省公司BOSS容災(zāi)系統(tǒng)或區(qū)域級的BOSS容災(zāi)系統(tǒng),根據(jù)中國移動 BOSS災(zāi)系統(tǒng)的標(biāo)準(zhǔn)要求,負(fù)責(zé)本省市/自治區(qū)的BOSS系統(tǒng)運行狀況,或按業(yè) 務(wù)量大小、自然環(huán)境等具體情況,在鄰近的幾個省份實施區(qū)域級/BOSS容災(zāi)系統(tǒng),構(gòu)架區(qū)域級的容災(zāi)中心。省公司業(yè)務(wù)業(yè)務(wù)運營支

14、撐系統(tǒng)-容災(zāi)備份系統(tǒng)架構(gòu)如以下圖2.3所示:D時DM專澤昭進(jìn)r ok j?. yt '-xltf-|! ! -S1 - !F F ! S !T r > ter = £!* 、n 一也輕15圖2.3省公司BOSS系統(tǒng)-容災(zāi)備份系統(tǒng)架構(gòu)3. 容災(zāi)備份系統(tǒng)技術(shù)模型3.1. 容災(zāi)備份系統(tǒng)的技術(shù)框架中國移動核心業(yè)務(wù)支撐系統(tǒng)BOSS。系統(tǒng)的容災(zāi)備份保護(hù),主要著眼于對 業(yè)務(wù)處理平臺,數(shù)據(jù)平臺和接入平臺這三個重要的系統(tǒng)領(lǐng)域的保護(hù):如圖3.2示意:業(yè)務(wù)平臺臺異妣申心二1接入平臺螂平倚坤產(chǎn)電心Txf業(yè)務(wù)平臺異妣申心 、二-接入平臺外幫系統(tǒng)圖3.2揣入平耳的冗余和切換?業(yè)務(wù)平臺的保護(hù)一業(yè)務(wù)處

15、理能力的冗余容災(zāi)備份系統(tǒng)中,對于BOSS業(yè)務(wù)平臺的保護(hù),主要表現(xiàn)為對業(yè)務(wù)處理能力 的冗余和復(fù)用,其中牽涉:o支持應(yīng)用系統(tǒng)運行的效勞器和操作系統(tǒng)等系統(tǒng)軟件o支持應(yīng)用系統(tǒng)運行的存儲器及存儲器和效勞器的連接存儲網(wǎng)絡(luò) 等o連接效勞器的IP網(wǎng)絡(luò)系統(tǒng)o支持應(yīng)用系統(tǒng)實現(xiàn)的Application Server、中間件或數(shù)據(jù)庫等o實現(xiàn)業(yè)務(wù)邏輯的應(yīng)用軟件系統(tǒng)?數(shù)據(jù)平臺的保護(hù)-業(yè)務(wù)狀態(tài)數(shù)據(jù)的復(fù)制在容災(zāi)備份系統(tǒng)中,對數(shù)據(jù)平臺的保護(hù)主要表現(xiàn)為對業(yè)務(wù)狀態(tài)數(shù)據(jù)的保護(hù)、 備份和恢復(fù)以及復(fù)制,需要保護(hù)的業(yè)務(wù)狀態(tài)數(shù)據(jù)包括:o業(yè)務(wù)交易狀態(tài)數(shù)據(jù)本身的數(shù)據(jù)屬性為文件、數(shù)據(jù)庫等o系統(tǒng)狀態(tài)-包括應(yīng)用軟件的初始數(shù)據(jù)、參數(shù)設(shè)置、以及系統(tǒng)軟件的

16、 配置數(shù)據(jù)、參數(shù)設(shè)置等。o中間數(shù)據(jù)或臨時數(shù)據(jù)?接入平臺冗余和切換接入平臺在容災(zāi)備份系統(tǒng)里,需要實現(xiàn)對外部接口的冗余及切換,其中牽涉:o應(yīng)用數(shù)據(jù)接口的切換-包括文件傳輸、消息機制等o應(yīng)用連接接口的切換-HTTP連接、數(shù)據(jù)庫連接、遠(yuǎn)過程調(diào)用、對 象的調(diào)用等o網(wǎng)絡(luò)連接的冗余和切換-包括城域網(wǎng)網(wǎng)絡(luò)連接、撥號連接等等-3.2. 容災(zāi)備份系統(tǒng)IT技術(shù)映射根據(jù)上節(jié)對容災(zāi)備份系統(tǒng)技術(shù)框架的描述,對于某個或數(shù)個需要提供容 災(zāi)保護(hù)的BOSS關(guān)鍵業(yè)務(wù),其容災(zāi)備份系統(tǒng)建設(shè)將分別包括對其相應(yīng)支撐系統(tǒng) 的處理平臺、數(shù)據(jù)平臺和接入平臺的保護(hù)。而構(gòu)成三個重要平臺系統(tǒng)的IT元素包括:應(yīng)用軟件,網(wǎng)絡(luò),效勞器、數(shù)據(jù)庫,存儲, 中間

17、件等等。這些技術(shù)分 屬于應(yīng)用,主機,存儲,網(wǎng)絡(luò)和物理 5個層次。在分別討論實現(xiàn)處理平臺的冗 余和復(fù)用、接入平臺的冗余和切換以及業(yè)務(wù)數(shù)據(jù)的有效復(fù)制的相關(guān)IT技術(shù)時,將按照這5個層次逐一羅列相關(guān)技術(shù)。邏輯關(guān)系見下表 3-1。©中國移動通信容災(zāi)備份系統(tǒng)IT技術(shù)矩陣接入平合應(yīng)用三機網(wǎng)絡(luò)物埋處理平臺數(shù)據(jù)平臺表3-1容災(zāi)備份系統(tǒng)IT技術(shù)矩陣3.2.1. 應(yīng)用層應(yīng)用層指建立在網(wǎng)絡(luò)系統(tǒng)之上的應(yīng)用效勞系統(tǒng),如應(yīng)用軟件模塊、Web服務(wù)、目錄效勞、認(rèn)證效勞等。BOSS容災(zāi)技術(shù)架構(gòu)中,業(yè)務(wù)平臺和接入平臺牽涉應(yīng)用層技術(shù)。在業(yè)務(wù)平臺中,應(yīng)用層主要涉及運行在應(yīng)用效勞器上或數(shù)據(jù)庫系統(tǒng)當(dāng) 中的實現(xiàn)業(yè)務(wù)邏輯、形成內(nèi)部數(shù)

18、據(jù)流的應(yīng)用軟件。接入平臺中,應(yīng)用層指各類終端系統(tǒng)上運行的表示軟件,如營業(yè)廳中運行 的基于瀏覽器界面的營業(yè)員操作終端軟件;賬務(wù)系統(tǒng)和銀行代理系統(tǒng)之間的前 端機上運行的接口軟件等。理論上,業(yè)務(wù)狀態(tài)數(shù)據(jù)是應(yīng)用層技術(shù)產(chǎn)生的,因此可以在應(yīng)用層技術(shù)中實 現(xiàn)其復(fù)制;但這樣將使容災(zāi)技術(shù)實現(xiàn)和目前已經(jīng)十分復(fù)雜的BOSS軟件系統(tǒng)架構(gòu)過分緊密相關(guān);將要求大量更動現(xiàn)有 BOSS軟件。322.存儲層BOSS技術(shù)架構(gòu)中,數(shù)據(jù)平臺涉及存儲層技術(shù)。存儲層是業(yè)務(wù)數(shù)據(jù)存儲的物 理平臺,它包括存儲系統(tǒng),存儲網(wǎng)絡(luò)和存儲軟件三類技術(shù)。而利用存儲軟件功 能實現(xiàn)關(guān)鍵業(yè)務(wù)狀態(tài)數(shù)據(jù)的復(fù)制,是容災(zāi)備份系統(tǒng)的最重要的技術(shù)組成局部之 一。由于它和B

19、OSS系統(tǒng)其他局部完全透明,因此是本次 BOSS容災(zāi)備份系統(tǒng) 建設(shè)中首選的業(yè)務(wù)狀態(tài)數(shù)據(jù)復(fù)制方案。3.2.3 .主機層主機層技術(shù)系效勞器或工作站平臺相關(guān)的技術(shù),包括系統(tǒng)軟件-操作系統(tǒng),集群系統(tǒng);以及數(shù)據(jù)庫,Application Server、中間件系統(tǒng)等應(yīng)用軟件平臺 等。主機層技術(shù)涉及BOSS系統(tǒng)的所有局部。其中最重要的局部是:在業(yè)務(wù)處 理平臺當(dāng)中所采用的Application Server/中間件技術(shù),以及BOSS各個內(nèi)部子系 統(tǒng)之間的其他接口技術(shù)-如消息隊列技術(shù)、文件傳輸協(xié)議等如果業(yè)務(wù)邏輯部 分由數(shù)據(jù)庫中的存儲過程實現(xiàn),那么業(yè)務(wù)處理平臺還包括數(shù)據(jù)庫技術(shù)。在 BOSS容災(zāi)備份系統(tǒng)構(gòu)成中,要考

20、慮這些主機層技術(shù)對于BOSS內(nèi)部各個處理子系統(tǒng)之間,在系統(tǒng)局部或全部切換過程中相應(yīng)的處理技術(shù)。主機層技術(shù)在數(shù)據(jù)平臺局部主要牽涉數(shù)據(jù)庫技術(shù),文件系統(tǒng)或網(wǎng)絡(luò)文件系 統(tǒng)效勞,這些技術(shù)實現(xiàn)業(yè)務(wù)狀態(tài)數(shù)據(jù)的根本邏輯組織。在BOSS容災(zāi)備份系統(tǒng)構(gòu)成中,要考慮關(guān)鍵業(yè)務(wù)數(shù)據(jù)復(fù)制功能和這些技術(shù)的集成能力。另外,這些技 術(shù)本身也可實現(xiàn)業(yè)務(wù)狀態(tài)數(shù)據(jù)的保護(hù)和復(fù)制功能。主機層技術(shù)在接入平臺局部牽涉和其他系統(tǒng)之間的各種軟件接口技術(shù)如消 息隊列技術(shù)、文件傳輸協(xié)議等。在 BOSS容災(zāi)備份系統(tǒng)構(gòu)成中,要考慮這些主 機層技術(shù)在系統(tǒng)局部或全部切換過程中,外部系統(tǒng)和BOSS系統(tǒng)之間連接的相應(yīng)切換的支持處理技術(shù)。324.網(wǎng)絡(luò)層本標(biāo)準(zhǔn)中的

21、網(wǎng)絡(luò)層包括兩個主要局部,即:1、BOSS系統(tǒng)省中心及其災(zāi)備中心的局域網(wǎng),這些局域網(wǎng)用以聯(lián)結(jié)省中心和災(zāi)備中心的各種效勞器。BOSS系統(tǒng)業(yè)務(wù)平臺主要涉及本局部技術(shù)。2、省中心和災(zāi)備中心和外部系統(tǒng)連接的廣域網(wǎng)或城域網(wǎng),包括和營業(yè)廳的網(wǎng)絡(luò)連接、和各個代理銀行的網(wǎng)絡(luò)連接、和各類采集系統(tǒng)、HLR的網(wǎng)絡(luò)連接等。BOSS系統(tǒng)接入平臺主要涉及本局部技術(shù)。3.2.5 .物理層物理層指中國移動業(yè)務(wù)支撐系統(tǒng)為實現(xiàn)應(yīng)用所需要的場地,電源,通信線路等根底設(shè)施以及空調(diào)、防塵、消防、門禁、保安等輔助設(shè)施。顯然,它是整 個BOSS的IT實現(xiàn)的根本物質(zhì)保障,將涉及整個 BOSS系統(tǒng)中的所有局部,本 標(biāo)準(zhǔn)統(tǒng)一考慮業(yè)務(wù)平臺、數(shù)據(jù)平臺

22、、接入平臺的物理層要求。綜上所述,五個不同技術(shù)層面對BOSS關(guān)鍵業(yè)務(wù)其相應(yīng)支撐系統(tǒng)的處理平臺、數(shù)據(jù)平臺和接入平臺的映射關(guān)系如以下圖黃色所示:容災(zāi)備份系統(tǒng)IT技術(shù)映射接入平臺處鋰平甘刼據(jù)平言應(yīng)用存借主機網(wǎng)絡(luò)物理4. 容災(zāi)備份系統(tǒng)模型的技術(shù)實現(xiàn)容災(zāi)備份系統(tǒng)技術(shù)實現(xiàn)包含三個領(lǐng)域:業(yè)務(wù)狀態(tài)數(shù)據(jù)的備份和復(fù)制、業(yè)務(wù) 處理能力的冗余和切換、外部接口的冗余和切換。本章說明這三個領(lǐng)域在應(yīng)用 層、存儲層、主機層、網(wǎng)絡(luò)層以及物理層的不同技術(shù)實現(xiàn)方法和特點,以及如 何將這些技術(shù)應(yīng)用于容災(zāi)備份系統(tǒng)的不同實現(xiàn)階段中。4.1. 數(shù)據(jù)平臺-業(yè)務(wù)狀態(tài)數(shù)據(jù)的保護(hù)對業(yè)務(wù)狀態(tài)數(shù)據(jù)即完整的業(yè)務(wù)運行狀態(tài)的記錄以下簡稱生產(chǎn)數(shù)據(jù)進(jìn)行 保護(hù),

23、主要目的有兩個:第一是生成定點拷貝,以防止生產(chǎn)數(shù)據(jù)發(fā)生邏輯故障 如人為誤操作破壞、病毒破壞、應(yīng)用系統(tǒng)缺陷造成數(shù)據(jù)邏輯混亂等或后臺 業(yè)務(wù)處理如磁帶備份、新軟件測試、報表生成、統(tǒng)計分析等影響業(yè)務(wù)系統(tǒng) 的運作,;第二是連續(xù)復(fù)制,在生產(chǎn)運行過程中,連續(xù)不斷地將生產(chǎn)數(shù)據(jù)復(fù)制 到異地,應(yīng)對生產(chǎn)中心的嚴(yán)重故障對生產(chǎn)數(shù)據(jù)的整體或局部物理性損壞。4.1.1. 業(yè)務(wù)狀態(tài)數(shù)據(jù)的定義業(yè)務(wù)狀態(tài)數(shù)據(jù)應(yīng)包括系統(tǒng)狀態(tài)和完整的交易狀態(tài)。系統(tǒng)狀態(tài)包括操作系統(tǒng)、數(shù)據(jù)庫、中間件、應(yīng)用程序等軟件的運行版本和 當(dāng)前軟件運行的配置數(shù)據(jù)等。完整的交易狀態(tài)指企業(yè)范圍內(nèi)各種交易執(zhí)行涉及到的完整一致的數(shù)據(jù)對象 的集合,如用戶的效勞訂購信息、帳務(wù)信

24、息、明細(xì)賬單、交費記錄等。4.1.2. 業(yè)務(wù)狀態(tài)數(shù)據(jù)保護(hù)機制的技術(shù)要求完整性:對維持業(yè)務(wù)正常運行的所有生產(chǎn)數(shù)據(jù)進(jìn)行保護(hù)??梢圆扇煞N策 中國移動通信集團(tuán)公司略:分而治之或統(tǒng)一解決。分而治之即對生產(chǎn)數(shù)據(jù)的不同組成局部采用不同的 方法,如對操作系統(tǒng)軟件和數(shù)據(jù)庫數(shù)據(jù)分別采用不同的方法;統(tǒng)一解決即用一 種方法保護(hù)所有的生產(chǎn)數(shù)據(jù)。雖然兩種方法都能實現(xiàn)完整性,但統(tǒng)一解決方法 獨立性強、易于擴展、維護(hù),而且易于實現(xiàn)以下的一致性、管理性等指標(biāo)。一致性:保證被保護(hù)的生產(chǎn)數(shù)據(jù)的各局部的業(yè)務(wù)邏輯上的一致??梢圆扇?事后一致性檢驗和事前同一時間點生產(chǎn)數(shù)據(jù)凍結(jié)技術(shù)。事后一致性檢驗技術(shù)主 要針對分而治之的完整性實現(xiàn)方法,

25、在保護(hù)生成后驗證各局部數(shù)據(jù)的邏輯一致 性;事前同一時間點生產(chǎn)數(shù)據(jù)凍結(jié)技術(shù)對生產(chǎn)數(shù)據(jù)各局部在同一時間的映像進(jìn) 行保護(hù),主要針對統(tǒng)一解決的完整性實現(xiàn)方法,從數(shù)據(jù)各局部之間時間上的同 步性實現(xiàn)業(yè)務(wù)邏輯一致性??沈炞C性:針對備份或復(fù)制的數(shù)據(jù),具有事先驗證手段??沈炞C性保證在 需要利用保護(hù)介質(zhì)恢復(fù)業(yè)務(wù)狀態(tài)時,可順利讀出生產(chǎn)數(shù)據(jù)、恢復(fù)業(yè)務(wù)狀態(tài)。時效性:生成完整的生產(chǎn)數(shù)據(jù)的保護(hù)工作進(jìn)行頻率。頻率越高,時效性越 強,在業(yè)務(wù)終止時,不能恢復(fù)或需要人工恢復(fù)的數(shù)據(jù)就越少,業(yè)務(wù)就越易于準(zhǔn) 確的恢復(fù),業(yè)務(wù)的停頓時間和相關(guān)的損失就越少。RPO是衡量時效性要求的重要指標(biāo)。可擴展性:生產(chǎn)數(shù)據(jù)保護(hù)機制隨著IT根底結(jié)構(gòu)和業(yè)務(wù)的變

26、化而不斷擴展、 適應(yīng)的能力即可擴展性。可擴展性的優(yōu)劣將決定保護(hù)機制的可持續(xù)開展能力和 投資保護(hù)能力??刹僮餍裕涸诒WC完整性、一致性、可驗證性、時效性、可擴展性的前提 下,所選擇的技術(shù)手段的技術(shù)復(fù)雜度、可實施能力以及易維護(hù)能力??芍赜眯裕核傻纳a(chǎn)數(shù)據(jù)的保護(hù)的多重利用能力。生成生產(chǎn)數(shù)據(jù)的保 護(hù)會占用IT的一局部資源,除利用其恢復(fù)業(yè)務(wù)狀態(tài)之外,利用其進(jìn)行其他任 務(wù),如數(shù)據(jù)歸檔、軟件測試、報表生成、統(tǒng)計分析將充分發(fā)揮這局部IT資源的價值,增加投資回報。可管理性:監(jiān)控業(yè)務(wù)狀態(tài)的保護(hù)機制的運行狀態(tài)、運行性能、故障處理的 能力,保證其按照設(shè)定的保護(hù)要求運行。集成性:業(yè)務(wù)狀態(tài)的保護(hù)機制與業(yè)務(wù)的運行和恢復(fù)機

27、制的整合能力。整合能力上下決定保護(hù)機制是否可順利和當(dāng)前業(yè)務(wù)運行體系良好配合,以及當(dāng)業(yè)務(wù) 中國移動通信集團(tuán)公司-19 -中斷時,如何和業(yè)務(wù)處理能力恢復(fù)系統(tǒng)一起順利恢復(fù)業(yè)務(wù)的運行4.1.3 .技術(shù)手段分類從生產(chǎn)數(shù)據(jù)的保護(hù)的生成的時間和目標(biāo)分,可分為以下兩類:?定點拷貝?連續(xù)復(fù)制. 定點拷貝定點拷貝Point-in-time Copy 是在業(yè)務(wù)運行過程中某一時刻的生產(chǎn)數(shù)據(jù)的 保護(hù)。該保護(hù)一般在業(yè)務(wù)正常運行時生成,主要預(yù)防業(yè)務(wù)因生產(chǎn)數(shù)據(jù)的邏輯故 障而造成的停頓;當(dāng)生產(chǎn)數(shù)據(jù)因人為誤操作或病毒破壞而損壞時,可以利用該 定點拷貝將業(yè)務(wù)狀態(tài)恢復(fù)到損壞發(fā)生前的某一個時刻即執(zhí)行定點拷貝時的 業(yè)務(wù)正常

28、狀態(tài)。在具體的業(yè)務(wù)恢復(fù)過程中,輔以其他手段如手工錄入等,在 技術(shù)上做好對已明確的業(yè)務(wù)恢復(fù)流程的支撐,可補充自定點拷貝生成時刻起 至業(yè)務(wù)中斷時這一段時間業(yè)務(wù)運行產(chǎn)生的生產(chǎn)數(shù)據(jù)。從保存定點拷貝的介質(zhì)分,可分為以下三類:?磁帶或光盤備份?磁盤快照?磁盤備份. 連續(xù)復(fù)制連續(xù)復(fù)制是對業(yè)務(wù)狀態(tài)數(shù)據(jù)進(jìn)行持續(xù)不斷的復(fù)制。主要預(yù)防業(yè)務(wù)系統(tǒng)遭遇 嚴(yán)重故障而造成生產(chǎn)系統(tǒng)長時間無法修復(fù)時,利用該復(fù)制作為恢復(fù)生產(chǎn)的基 礎(chǔ)。當(dāng)嚴(yán)重故障發(fā)生時,連續(xù)復(fù)制過程也終止;在進(jìn)行業(yè)務(wù)恢復(fù)時利用復(fù)制結(jié) 果可以恢復(fù)系統(tǒng)中斷現(xiàn)場的生產(chǎn)數(shù)據(jù),從而恢復(fù)業(yè)務(wù)。同步按照連續(xù)復(fù)制過程中生產(chǎn)數(shù)據(jù)和復(fù)制結(jié)果之間的時間關(guān)系,可以分為復(fù)制和異

29、步復(fù)制,以及介于這二者之間的半同步復(fù)制。按照數(shù)據(jù)復(fù)制的執(zhí)行方,可以分為如下幾種方式:? 應(yīng)用嵌入方式-采用應(yīng)用層技術(shù)實現(xiàn)執(zhí)行方為應(yīng)用程序的內(nèi)嵌代碼,復(fù)制的粒度是應(yīng)用級交易,復(fù)制涉及的范 圍為單個應(yīng)用。復(fù)制的原理是應(yīng)用程序負(fù)責(zé)將同一筆交易在本地中心或稱生 產(chǎn)中心和備份中心或稱備份中心都得到執(zhí)行。其同步方式為“兩階段提 交two-phase commit 方式,同一筆交易同時向兩個中心提交,獲得兩個中 心的交易完成應(yīng)答后,該交易作為一個整體完成。其異步方式為“交易日志重 放方式,生產(chǎn)中心定期將已完成的交易所需要的輸入或直接將輸出結(jié)果 發(fā)往備份中心,在備份中心重新執(zhí)行或直接記錄結(jié)果。? 數(shù)據(jù)庫方式-

30、采用依靠主機層技術(shù)實現(xiàn)執(zhí)行方為數(shù)據(jù)庫管理系統(tǒng)的輔助程序,復(fù)制的粒度是數(shù)據(jù)庫內(nèi)數(shù)據(jù)操縱動 作Data Manipulation Operation,復(fù)制涉及的范圍為單個數(shù)據(jù)庫。數(shù)據(jù)庫管 理系統(tǒng)在執(zhí)行數(shù)據(jù)操縱動作過程中,將需要整體完成的動作集合作為交易來管 理;利用聯(lián)機日志On li ne Logs記錄交易的執(zhí)行情況,利用歸檔日志 Archive Logs 定期將聯(lián)機日志進(jìn)行一定期限的保存。其同步方式為同時傳輸 歸檔日志和聯(lián)機日志,保持備份中心和生產(chǎn)中心的數(shù)據(jù)庫中已提交的交易的執(zhí) 行的一致性;其異步方式為只傳輸歸檔日志。? 文件系統(tǒng)方式-采用主機層技術(shù)執(zhí)行方為系統(tǒng)中特定的文件系統(tǒng)復(fù)制引擎,復(fù)制的粒

31、度為文件系統(tǒng)中的文 件,復(fù)制涉及的范圍為單個效勞器中的文件系統(tǒng)。文件是粗粒度的數(shù)據(jù)對象, 復(fù)制多發(fā)生在文件被關(guān)閉時。其復(fù)制方式多為異步的數(shù)據(jù)遷移方式,復(fù)制引擎 在文件一級比較生產(chǎn)中心和備份中心的差異,定期將生產(chǎn)中心被修改正的文件 傳輸?shù)絺浞葜行摹? 效勞器卷管理軟件方式-采用主機層技術(shù)執(zhí)行方為效勞器中的卷管理系統(tǒng)或操作系統(tǒng)的特定復(fù)制輔助部件,復(fù)制的 粒度為卷管理系統(tǒng)接受到的來自文件系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、效勞器內(nèi)存管理 系統(tǒng)的IO更新操作,復(fù)制涉及的范圍為單個效勞器管理的邏輯卷。一般利用服 務(wù)器的CPU、Memory、磁盤更新日志、以及效勞器之間的TCP/IP網(wǎng)絡(luò)資源完中國移動通信集團(tuán)公司-21

32、 -成復(fù)制。運行方式可以為同步、異步方式。? 智能存儲系統(tǒng)方式-米用存儲層技術(shù)執(zhí)行方為智能存儲系統(tǒng),復(fù)制的粒度為存儲系統(tǒng)接受到來自效勞器的IO更新操作,復(fù)制涉及的范圍為企業(yè)中存放在智能存儲系統(tǒng)中的所有信息,包括應(yīng) 用程序、數(shù)據(jù)庫、文件系統(tǒng)、數(shù)據(jù)卷等等。運行方式可以為同步、異步、半同 步方式。同步方式可分為兩種:同步拷貝和完全鏡像。異步方式下,在生產(chǎn)中 心可以按照兩種方式緩存需延時復(fù)制的數(shù)據(jù):復(fù)制隊列技術(shù)和定點拷貝一復(fù)制 技術(shù)。(延遲同步和緩沖區(qū)技術(shù))4.1.4 定點拷貝的技術(shù)實現(xiàn)4.141.磁帶或光盤備份存儲層技術(shù)磁帶或光盤備份是基于磁帶或光盤介質(zhì)的定點拷貝。目前磁帶備份應(yīng)用較普遍,下面以磁帶

33、備份描述備份技術(shù)。磁帶備份包括分散式備份和集中式備份。在分散式備份方式下,每臺效勞器自帶磁帶機,對該效勞器管理的數(shù)據(jù)進(jìn) 行備份。這種分散型備份存在擴展性不強、難以管理、平安性差等特點。集中式備份的架構(gòu)是對備份采取集中式管理,要備份的生產(chǎn)數(shù)據(jù)分布在多 臺效勞器中。一般存在一臺備份管理效勞器(BACKUP SERVER),多個擁有生產(chǎn)數(shù)據(jù)的備份客戶端(Backup Clie nt),個或多個控制磁帶庫機械臂和磁 帶驅(qū)動器的磁帶介質(zhì)效勞器(Media Server),介質(zhì)效勞器可以位于備份管理服 務(wù)器、特定的備份客戶端或?qū)iT的效勞器中。備份管理效勞器控制備份客戶端和介質(zhì)效勞器,引導(dǎo)備份客戶端將數(shù)據(jù)傳

34、 送到介質(zhì)效勞器中,并通過記錄備份過程中的管理信息,對備份系統(tǒng)的設(shè)置、 監(jiān)控、恢復(fù)進(jìn)行有效的管理。為了支持各種不同的備份客戶端,如不同的操作系統(tǒng)、文件系統(tǒng)、數(shù)據(jù) 庫、商用應(yīng)用軟件,各系統(tǒng)開發(fā)廠商在不同備份客戶端中安裝備份代理程序, 實現(xiàn)備份系統(tǒng)各部件之間統(tǒng)一、可擴展的備份架構(gòu)。其中對于文件系統(tǒng)效勞器,業(yè)界包括文件系統(tǒng)效勞器和備份軟件系統(tǒng)廠商開發(fā)了NDMP協(xié)議,可對各廠商的文件系統(tǒng)效勞器進(jìn)行統(tǒng)一的備份和恢復(fù)。根據(jù)備份客戶端和磁帶設(shè)備之間數(shù)據(jù)傳輸使用的通信資源情況,備份架構(gòu) 又可分為如下幾類:? LAN-FREE在介質(zhì)效勞器對磁帶介質(zhì)的控制以及備份管理效勞器對 備份過程的控制配合下,備份客戶端可以

35、直接由 SAN訪問磁帶設(shè) 備;? SERVER-LESS備份數(shù)據(jù)由數(shù)據(jù)所在的在線存儲設(shè)備直接寫入磁帶 設(shè)備,這一過程不使用生產(chǎn)效勞器的處理資源。根據(jù)備份客戶端備份代理程序的不同,要備份的數(shù)據(jù)可以位于不同的層面:?應(yīng)用程序?數(shù)據(jù)庫?文件系統(tǒng)?效勞器卷?磁盤存儲設(shè)備在不同層面?zhèn)浞莸臄?shù)據(jù),在恢復(fù)數(shù)據(jù)時也將在對應(yīng)層面進(jìn)行,在整個業(yè)務(wù) 恢復(fù)流程中也將在對應(yīng)層面和其他步驟進(jìn)行整合。根據(jù)備份進(jìn)程對要備份的數(shù)據(jù)的爭用情況,可以分為以下兩類:?脫機備份:在備份代理程序從備份客戶端讀取要備份的數(shù)據(jù)時,該 數(shù)據(jù)對生產(chǎn)進(jìn)程已處于脫機狀態(tài);?聯(lián)機備份:在備份代理程序從備份客戶端讀取要備份的數(shù)據(jù)時,該 數(shù)據(jù)對生產(chǎn)進(jìn)程仍處

36、于聯(lián)機狀態(tài);根據(jù)對備份介質(zhì)的數(shù)量的要求,備份可分為如下兩類:?單路備份:備份時為生產(chǎn)數(shù)據(jù)形成一份磁帶拷貝;?多路備份:備份時為生產(chǎn)數(shù)據(jù)形成多份磁帶拷貝。根據(jù)備份客戶端和介質(zhì)效勞器之間的距離,可以分為兩類:中國移動通信集團(tuán)公司?本地備份:備份客戶端和介質(zhì)效勞器在同一機房內(nèi);?遠(yuǎn)程備份:備份客戶端和介質(zhì)效勞器在不同機房內(nèi)??煺沾鎯蛹夹g(shù)快照是將數(shù)據(jù)快速備份到在線介質(zhì)中。根據(jù)快照保存的機制,快照可以分為兩類:? 指針型快照被快照的生產(chǎn)數(shù)據(jù)在物理上由數(shù)據(jù)塊構(gòu)成,每個數(shù)據(jù)塊具有相應(yīng)的指針。 快照生成時完整拷貝生產(chǎn)數(shù)據(jù)包含的所有數(shù)據(jù)塊的指針,邏輯上獲得一個新的 生產(chǎn)數(shù)據(jù)的備份,但共享物理數(shù)據(jù)塊;使用快照時

37、,通過指針指向的物理塊, 而獲得實際的數(shù)據(jù)。無論生產(chǎn)數(shù)據(jù)還是快照被修改時,一般通過“copy on firstwrite 機制,將共享的物理塊的數(shù)據(jù)拷貝到專門的緩存區(qū)中,然后再對數(shù)據(jù)進(jìn) 行修改。指針型快照適用于修改量小、快照保存時間短,并不需要對快照數(shù)據(jù)進(jìn)行 大量讀寫操作的場合。在這種情況下,緩沖區(qū)的大小可以設(shè)計為相當(dāng)于生產(chǎn)數(shù) 據(jù)物理空間較小數(shù)量的百分比,如 5%20%。? 物理拷貝型快照即克隆快照生成時完整拷貝生產(chǎn)數(shù)據(jù)包含的所有物理數(shù)據(jù)塊;隨后對快照的修改與 生產(chǎn)數(shù)據(jù)無關(guān),反之亦然。當(dāng)生產(chǎn)數(shù)據(jù)發(fā)生損壞時,利用快照可以恢復(fù)生產(chǎn)數(shù) 據(jù)。在恢復(fù)過程中,利用生產(chǎn)數(shù)據(jù)和快照之間數(shù)據(jù)塊的對應(yīng)關(guān)系,可以只

38、恢復(fù) 被修改正的數(shù)據(jù)塊,以增量方式實現(xiàn)快速恢復(fù)。物理型快照適用于修改量大、保存時間長、對生產(chǎn)數(shù)據(jù)和克隆數(shù)據(jù)需要同 時讀寫操作的場合。根據(jù)快照生成的執(zhí)行方層面,快照可分類如下:? 文件系統(tǒng)方式執(zhí)行方為操作系統(tǒng)中的文件管理系統(tǒng),快照粒度為文件的數(shù)據(jù)塊,快照范圍 可以為單個文件至整個文件系統(tǒng)。? 效勞器邏輯卷執(zhí)行方為操作系統(tǒng)中的卷管理系統(tǒng),快照粒度為卷的數(shù)據(jù)塊,快照范圍為單 個卷至所有卷。? 智能磁盤設(shè)備執(zhí)行方為智能磁盤系統(tǒng),快照粒度為磁盤的磁道或柱面。快照范圍為磁盤卷 至整個磁盤陣列;或者根據(jù)效勞器文件及效勞器邏輯卷與物理磁道的映射關(guān) 系,可以按文件或效勞器邏輯卷執(zhí)行快照操作。由于不同廠商在不同層

39、面上實現(xiàn)快照,必須對快照的定義、生成、監(jiān)控、 恢復(fù)進(jìn)行統(tǒng)一的管理。通過統(tǒng)一的管理,可以屏蔽不同實現(xiàn)的技術(shù)差異,按照 業(yè)務(wù)要求有效利用快照。和磁帶備份相比,磁盤快照具有速度快、數(shù)據(jù)易于驗證等特點,要求高速 備份、頻繁備份和快速恢復(fù)的應(yīng)用程序傾向于使用磁盤快照。4.143.磁盤備份存儲層技術(shù)磁盤備份是利用磁盤代替磁帶作為備份介質(zhì),具有備份、恢復(fù)速度快,數(shù) 據(jù)易于驗證、備份管理手段成熟等優(yōu)勢,隨著磁盤性價比的不斷優(yōu)化,可優(yōu)先 考慮使用磁盤備份滿足關(guān)鍵數(shù)據(jù)的備份要求。4.1.5 .連續(xù)復(fù)制的技術(shù)實現(xiàn). 應(yīng)用嵌入方式復(fù)制應(yīng)用層技術(shù)應(yīng)用嵌入方式下的業(yè)務(wù)狀態(tài)復(fù)制嵌入到應(yīng)用代碼內(nèi),在兩個中心業(yè)務(wù)

40、平臺邏 輯結(jié)構(gòu)完全一致的前提下,利用對兩個中心相同的系統(tǒng)輸入,確保相同的系統(tǒng) 輸出,同時保持業(yè)務(wù)交易在生產(chǎn)中心和備份中心的交易完整性。在交叉耦合情況下,應(yīng)用級別的交易可以涉及到多個效勞器中運行的多個 應(yīng)用模塊,更新多個數(shù)據(jù)庫;在進(jìn)行交易復(fù)制時,如果不能保證這些應(yīng)用模塊 和數(shù)據(jù)庫在備份中心的“原子級更新原子級更新的含義為要么全部完成要 么都不更新,不允許局部更新對業(yè)務(wù)狀態(tài)一致性的影響)。故嵌入的復(fù)制代碼 除了傳輸交易數(shù)據(jù)外,必須編寫大量的交易管理 /異常處理/交易平安代碼保證交 易完整性和平安性。應(yīng)用模式發(fā)生改變或交易的原子操作發(fā)生變化時,兩個中心內(nèi)嵌的復(fù)制代 碼必須同步更新,從而增加同時維護(hù)多

41、個系統(tǒng)的要求,否那么會發(fā)生交易復(fù)制缺 失或交易復(fù)制不完整的錯誤。由于需要重新初始化復(fù)制過程、重新測試復(fù)制機 制,將增加系統(tǒng)升級的周期,增大新業(yè)務(wù)投產(chǎn)的風(fēng)險。當(dāng)生產(chǎn)數(shù)據(jù)發(fā)生結(jié)構(gòu)性變化時,這種結(jié)構(gòu)性變化往往不能通過交易復(fù)制傳 輸?shù)絺浞葜行?;此時必須終止交易復(fù)制機制,在備份中心進(jìn)行同樣的數(shù)據(jù)結(jié)構(gòu) 改變,從而要求系統(tǒng)管理人員實際上維護(hù)兩個生產(chǎn)系統(tǒng)。從保證業(yè)務(wù)狀態(tài)數(shù)據(jù)的完整性看,該技術(shù)只能復(fù)制應(yīng)用涉及的用戶數(shù)據(jù)部 分,系統(tǒng)狀態(tài)的同步必須通過其他方式來維護(hù)。這種復(fù)制方式較適合于串行的流程,對于多個子系統(tǒng)交叉耦合的復(fù)雜業(yè)務(wù) 系統(tǒng),因業(yè)務(wù)頻繁發(fā)生變化而導(dǎo)致處理流程和數(shù)據(jù)結(jié)構(gòu)頻繁更動的情況下,需 頻繁維護(hù)復(fù)制系

42、統(tǒng)。實現(xiàn)難度很大。數(shù)據(jù)庫方式主機層技術(shù)數(shù)據(jù)庫方式的數(shù)據(jù)復(fù)制通過數(shù)據(jù)庫管理系統(tǒng)對數(shù)據(jù)更新操作的交易管理來 實現(xiàn),不同數(shù)據(jù)庫的數(shù)據(jù)復(fù)制機制各不相同,其共性的原理如下。數(shù)據(jù)庫的更新分為兩種更新,元數(shù)據(jù)(metadata)的改變和用戶數(shù)據(jù)的改變。元數(shù)據(jù)的改變即數(shù)據(jù)庫結(jié)構(gòu)的改變,如數(shù)據(jù)庫的表空間的擴展等;用戶數(shù) 據(jù)的改變?nèi)缬脩魯?shù)據(jù)庫表中記錄的增、刪、改等。應(yīng)用的某個交易可能涉及到多個數(shù)據(jù)庫表的增刪改等操作。為了實現(xiàn)應(yīng)用 交易的完整性,數(shù)據(jù)庫管理程序?qū)⒍鄠€用戶數(shù)據(jù)修改操作定義為數(shù)據(jù)庫交易, 而在交易日志中具體記錄交易的開始、子操作細(xì)節(jié)和結(jié)束(commit)。當(dāng)數(shù)據(jù)庫重啟或進(jìn)行數(shù)據(jù)恢復(fù)操作時,利用日志中記錄

43、的信息,執(zhí)行前滾操作(rollforward)保證已結(jié)束的數(shù)據(jù)庫交易數(shù)據(jù)的不喪失,執(zhí)行回滾操作(roll back) 完全丟棄未完成的交易的局部更新。數(shù)據(jù)庫交易的復(fù)制機制利用日志的這種特性,在生產(chǎn)中心將日志傳輸?shù)絺?份中心;如果備份中心的數(shù)據(jù)庫結(jié)構(gòu)和生產(chǎn)中心的數(shù)據(jù)庫結(jié)構(gòu)保持一致,那么備 份中心的數(shù)據(jù)庫對日志中記載的交易執(zhí)行前滾操作,即實現(xiàn)了對備份中心數(shù)據(jù) 庫數(shù)據(jù)的更新。日志分為聯(lián)機日志和歸檔日志。聯(lián)機日志在生產(chǎn)中心執(zhí)行數(shù)據(jù)庫交易時實 時生成,而歸檔日志為聯(lián)機日志寫滿關(guān)閉后的狀態(tài)。同步方式由于同時復(fù)制歸檔日志和聯(lián)機日志,而聯(lián)機日志與數(shù)據(jù)庫交易的 本地提交存在時序關(guān)系,會因為復(fù)制過程引入的處理開銷

44、和網(wǎng)絡(luò)延遲而影響本 地數(shù)據(jù)庫的性能,因而適用于近距離、低數(shù)據(jù)庫交易負(fù)載的場合。其異步方式由于只復(fù)制歸檔日志,可在長距離下防止復(fù)制聯(lián)機日志而對生 產(chǎn)數(shù)據(jù)庫產(chǎn)生的影響,但要承受不復(fù)制聯(lián)機日志而帶來的交易喪失。從數(shù)據(jù)庫復(fù)制的過程看,數(shù)據(jù)庫交易復(fù)制時要求數(shù)據(jù)庫的結(jié)構(gòu)保持穩(wěn)定; 當(dāng)數(shù)據(jù)庫結(jié)構(gòu)發(fā)生變化,如擴展表空間時,必須重新初始化復(fù)制過程。從保證業(yè)務(wù)狀態(tài)的完整性看,該技術(shù)只能復(fù)制數(shù)據(jù)庫中的數(shù)據(jù),需要采用 其他技術(shù)復(fù)制系統(tǒng)狀態(tài)和為與數(shù)據(jù)庫之外的如位于文件系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)庫方式復(fù)制適用于單數(shù)據(jù)庫應(yīng)用,對于多數(shù)據(jù)庫、異構(gòu)數(shù)據(jù)庫等企業(yè) 級的IT生產(chǎn)環(huán)境,需同時妥善維護(hù)多個數(shù)據(jù)庫方式復(fù)制系統(tǒng)。文件系統(tǒng)方式主

45、機層技術(shù)文件系統(tǒng)級復(fù)制嵌入到操作系統(tǒng)的文件管理模塊中,不同操作系統(tǒng)采用不 同的復(fù)制機制。文件作為操作系統(tǒng)為上層提供的抽象數(shù)據(jù)效勞單元,和數(shù)據(jù)庫一樣,文件 發(fā)生的變化分為結(jié)構(gòu)的變化和文件內(nèi)容的變化。文件系統(tǒng)用日志來記錄文件內(nèi) 容的變化,而文件結(jié)構(gòu)的變化如文件系統(tǒng)分區(qū)大小的改變,文件屬性的改 變那么需要日志記錄之外的手段來實現(xiàn)。文件被復(fù)制時的狀態(tài)分為兩種:關(guān)閉和翻開。針對已關(guān)閉的文件,復(fù)制過程可直接傳輸文件的內(nèi)容;傳輸文件內(nèi)容時可 采取全傳輸和增量傳輸?shù)姆绞?;采用全傳輸方式時,需考慮對網(wǎng)絡(luò)、生產(chǎn)系統(tǒng) 性能的影響;采用增量傳輸時,需使用效勞器 CPU和Memory計算增量內(nèi)容, 需考慮對效勞器處理性

46、能的影響;經(jīng)過網(wǎng)絡(luò)傳輸時,為保障文件內(nèi)容的完全, 應(yīng)采用加密傳輸方式,需考慮加密解密過程對效勞器處理性能的影響。可以采 用壓縮方式來減少網(wǎng)絡(luò)傳輸?shù)膲毫途W(wǎng)上傳輸?shù)钠桨残?。針對正翻開的文件,復(fù)制過程較為復(fù)雜,傳輸日志可以將在生產(chǎn)中心對文 件的修改持續(xù)不斷的在備份中心得到重現(xiàn);應(yīng)考慮該復(fù)制過程對效勞器性能的 影響。從文件復(fù)制的過程看,文件內(nèi)容或日志復(fù)制時要求文件系統(tǒng)的結(jié)構(gòu)保持穩(wěn) 定;當(dāng)文件系統(tǒng)結(jié)構(gòu)發(fā)生變化,如文件系統(tǒng)空間擴大,由于備份中心文件系統(tǒng) 的預(yù)留空間可能發(fā)生缺乏,必須重新檢查復(fù)制的配置狀況,重新設(shè)置復(fù)制過 程。從保證業(yè)務(wù)狀態(tài)的完整性看,該技術(shù)只能復(fù)制文件系統(tǒng)中的數(shù)據(jù),需要采 用其他技術(shù)復(fù)制

47、數(shù)據(jù)庫系統(tǒng)和裸設(shè)備中的數(shù)據(jù)。文件系統(tǒng)方式復(fù)制適用于單操作系統(tǒng)、無數(shù)據(jù)庫應(yīng)用,對于多效勞器平 臺、業(yè)務(wù)流程經(jīng)常變化的企業(yè)級的IT生產(chǎn)系統(tǒng)的數(shù)據(jù)復(fù)制,需同時采用其他復(fù) 制方式以保持業(yè)務(wù)狀態(tài)的完整復(fù)制。效勞器邏輯卷方式主機層技術(shù)效勞器邏輯卷方式復(fù)制嵌入在操作系統(tǒng)的卷管理系統(tǒng)中,不同操作系統(tǒng)采 用不同的卷管理系統(tǒng),也有第三方的卷管理系統(tǒng)適用于多個操作系統(tǒng)平臺,但 目前沒有一個卷管理系統(tǒng)被所有操作系統(tǒng)使用。操作系統(tǒng)的卷管理系統(tǒng)位于磁 盤設(shè)備驅(qū)動程序之上,屏蔽各設(shè)備驅(qū)動程序形成的裸設(shè)備的差異,為上層實體 如文件系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)提供統(tǒng)一的邏輯磁盤設(shè)備。卷發(fā)生的變化分為結(jié)構(gòu)的變化和卷內(nèi)容的變化。卷內(nèi)容的變

48、化通過數(shù)據(jù)復(fù) 制過程將引起該變化的操作在備份中心重現(xiàn)獲得。復(fù)制的粒度為針對卷的根本 塊的修改、插入、刪除等操作。卷結(jié)構(gòu)的變化包括卷組中包含設(shè)備的變化、邏輯卷的大小變化等,該變化 不能通過數(shù)據(jù)復(fù)制過程獲得,需要由系統(tǒng)管理員在備份中心執(zhí)行同樣的結(jié)構(gòu)變 化操作。由于卷復(fù)制部件引入的效勞器 CPU、Memory運行開銷和TCP/IP網(wǎng)絡(luò)的傳 輸延遲,同步方式將對業(yè)務(wù)的正常運行產(chǎn)生性能影響。性能影響的程度和當(dāng)前 的IT資源配置和業(yè)務(wù)繁忙程度相關(guān)。從保持?jǐn)?shù)據(jù)復(fù)制的一致性看,某個復(fù)制進(jìn)程只能復(fù)制一臺效勞器所管理的 數(shù)據(jù),多臺效勞器的數(shù)據(jù)復(fù)制需采用多個復(fù)制進(jìn)程,其數(shù)據(jù)一致性通過數(shù)據(jù)復(fù) 制機制實現(xiàn)。從數(shù)據(jù)復(fù)制機

49、制的可管理性看,某一復(fù)制管理程序只能管理某一類卷管理 系統(tǒng)下的復(fù)制,對于屬于不同卷管理程序的多平臺IT系統(tǒng),必須同時對多個復(fù)制機制進(jìn)行管理。從卷復(fù)制的過程看,操作復(fù)制時要求卷管理系統(tǒng)的結(jié)構(gòu)保持穩(wěn)定;當(dāng)卷系 統(tǒng)結(jié)構(gòu)發(fā)生變化,如卷包含設(shè)備發(fā)生增刪,由于備份中心設(shè)備配置的不同,必 須重新檢查復(fù)制的配置狀況,重新設(shè)置復(fù)制過程。從保證業(yè)務(wù)狀態(tài)的完整性看,該技術(shù)只能特定卷管理系統(tǒng)所管理的數(shù)據(jù), 需要采用其他技術(shù)復(fù)制裸設(shè)備中如操作系統(tǒng)啟動盤的數(shù)據(jù)。效勞器邏輯卷方式復(fù)制適用于單卷管理系統(tǒng)、無裸設(shè)備應(yīng)用,對于多平 臺、業(yè)務(wù)及卷管理結(jié)構(gòu)將發(fā)生變化的企業(yè)級的IT生產(chǎn)系統(tǒng)的數(shù)據(jù)復(fù)制,需妥善維護(hù)多個復(fù)制系統(tǒng),保證相互之

50、間的數(shù)據(jù)一致性。.智能存儲系統(tǒng)方式存儲層技術(shù)磁盤系統(tǒng)利用自身的處理能力,通過磁盤系統(tǒng)之間的通道連接復(fù)制磁盤系 統(tǒng)內(nèi)的數(shù)據(jù)更新,從而在備份中心保存生產(chǎn)數(shù)據(jù)的記錄。磁盤系統(tǒng)是信息的真正物理所在地,利用磁盤復(fù)制可以獨立于效勞器、操作系統(tǒng)、卷管理系統(tǒng)、數(shù)據(jù)庫、文件系統(tǒng)、中間件、應(yīng)用程序。磁盤系統(tǒng)數(shù)據(jù)的物理構(gòu)成單位為扇區(qū)Sector、簇Cluster 、磁道Track、柱面Cyli nder 、卷Volume。一般基于卷建立磁盤復(fù)制的復(fù)制對應(yīng)關(guān)系,復(fù)制過程中的數(shù)據(jù)傳輸單位可 能為簇、磁道或柱面。從生產(chǎn)中心和備份中心中心之間數(shù)據(jù)是否保持完全一致看,傳輸模式可分 為如下三種:?同步:從效勞器來

51、看,一個完整的磁盤IO更新同時包含對兩個數(shù) 據(jù)中心的磁盤IO更新。?異步:效勞器照常執(zhí)行對生產(chǎn)中心的磁盤IO更新,復(fù)制程序?qū)O 更新異步地從生產(chǎn)中心傳輸?shù)絺浞葜行?。備份中心的IO更新將落后于生產(chǎn)中心。?半同步:備份中心的IO更新將落后于生產(chǎn)中心指定的數(shù)量。當(dāng)復(fù)制過程因為網(wǎng)絡(luò)原因中斷后,恢復(fù)時是否只追補自中斷后新增的更新 來分,復(fù)制可分為兩類:?增量復(fù)制:只復(fù)制中斷期間新產(chǎn)生的IO更新。?全復(fù)制:全部復(fù)制生產(chǎn)卷中的所有數(shù)據(jù)。當(dāng)進(jìn)行系統(tǒng)切換時,需要進(jìn)行反向復(fù)制時,根據(jù)反向復(fù)制使用的技術(shù),可 分為三類:?增量:只復(fù)制切換后在新生產(chǎn)中心新產(chǎn)生的IO更新。?完全:將新生產(chǎn)中心修改正的卷完全復(fù)制到老生產(chǎn)

52、中心。?角色轉(zhuǎn)換:在切換后轉(zhuǎn)換復(fù)制關(guān)系,將新生產(chǎn)中心設(shè)置為復(fù)制源Source,將原生產(chǎn)中心設(shè)置為復(fù)制目的地Target。從監(jiān)控數(shù)據(jù)復(fù)制過程的方式看,分為兩類:?命令行:通過根本命令行監(jiān)控。?圖形:通過圖形化的界面監(jiān)控。從監(jiān)控程序使用的通信介質(zhì)看,分為兩類: 中國移動通信集團(tuán)公司?帶內(nèi)監(jiān)控:通過數(shù)據(jù)復(fù)制網(wǎng)絡(luò)即磁盤之間的通道連接進(jìn)行監(jiān)控?帶外監(jiān)控:通過和存儲設(shè)備相連接的效勞器之間的 TCP/IP網(wǎng)絡(luò)進(jìn)行監(jiān)控從監(jiān)控者所在位置看,分為兩類:?生產(chǎn)中心:在數(shù)據(jù)復(fù)制遠(yuǎn)端監(jiān)控數(shù)據(jù)復(fù)制。?備份中心:在數(shù)據(jù)復(fù)制目的端監(jiān)控數(shù)據(jù)復(fù)制。從監(jiān)控數(shù)據(jù)復(fù)制過程的范圍看,分為三類:?性能:監(jiān)控數(shù)據(jù)復(fù)制過程是否到達(dá)業(yè)務(wù)的復(fù)制要

53、求?流量:監(jiān)控數(shù)據(jù)復(fù)制系統(tǒng)各部件具體的IO流量。?故障:監(jiān)控數(shù)據(jù)復(fù)制系統(tǒng)各部件的完好狀態(tài)。從數(shù)據(jù)復(fù)制在備份中心被存取的方式看,分為兩類:?只讀:備份中心對數(shù)據(jù)復(fù)制只能進(jìn)行讀操作。?可讀可寫:備份中心對數(shù)據(jù)復(fù)制可進(jìn)行讀寫操作。上層數(shù)據(jù)應(yīng)用實體如效勞器卷、數(shù)據(jù)庫、文件系統(tǒng)、裸設(shè)備與磁盤系 統(tǒng)中的物理設(shè)備存在映射關(guān)系,從磁盤數(shù)據(jù)復(fù)制保障上層數(shù)據(jù)應(yīng)用實體的一致 性的層次和范圍看,分為三類:?數(shù)據(jù)庫:將數(shù)據(jù)庫對應(yīng)的所有磁盤卷納入到可統(tǒng)一進(jìn)行復(fù)制操作的 磁盤數(shù)據(jù)設(shè)備組中。?應(yīng)用:將某一應(yīng)用對應(yīng)的所有磁盤設(shè)備卷納入到可統(tǒng)一進(jìn)行復(fù)制操 作的磁盤數(shù)據(jù)設(shè)備組中。?跨應(yīng)用:將多個應(yīng)用對應(yīng)的所有磁盤設(shè)備卷納入到可統(tǒng)一

54、進(jìn)行復(fù)制 操作的磁盤數(shù)據(jù)設(shè)備組中。這些磁盤卷可以位于多個磁盤效勞器 中。通過對多個磁盤效勞器復(fù)制的集中管理實現(xiàn)跨磁盤效勞器復(fù)制 的數(shù)據(jù)一致性。從數(shù)據(jù)復(fù)制過程在復(fù)制過程故障中斷情況下對數(shù)據(jù)一致性的保障看,分為 兩類:? 凍結(jié)停頓(freeze and stop ):旦檢測到復(fù)制機制任一故障, 立即停止復(fù)制操作并關(guān)閉應(yīng)用。應(yīng)用于需保證兩個數(shù)據(jù)中心數(shù)據(jù)完全一致的環(huán)境。?凍結(jié)繼續(xù)(freeze and go ):一旦檢測到復(fù)制機制任一故障,立 即停止復(fù)制操作,生產(chǎn)中心業(yè)務(wù)繼續(xù)。應(yīng)用于需保證生產(chǎn)中心業(yè)務(wù)運行的環(huán)境。從數(shù)據(jù)復(fù)制過程對兩端磁盤系統(tǒng)的硬件和軟件要求看,分為:?硬件前后代兼容:不同硬件版本的磁盤

55、效勞器之間可以進(jìn)行磁盤數(shù) 據(jù)復(fù)制。?軟件前后代兼容:不同軟件版本的磁盤效勞器之間可以進(jìn)行磁盤數(shù) 據(jù)復(fù)制。在同步狀態(tài)下,從生產(chǎn)系統(tǒng)是否可聯(lián)機存取數(shù)據(jù)目的端的能力看,分為:?數(shù)據(jù)同步拷貝:同步拷貝只能被備份效勞器使用,當(dāng)生產(chǎn)數(shù)據(jù)發(fā)生 損壞時,生產(chǎn)效勞器不能在不中斷業(yè)務(wù)的前提下透明聯(lián)機訪問拷貝 中的數(shù)據(jù),而只能通過啟動備份效勞器來恢復(fù)業(yè)務(wù)。?數(shù)據(jù)同步鏡像:除實現(xiàn)同步拷貝的功能外,生產(chǎn)效勞器采用同一地 址訪問鏡像和數(shù)據(jù)源;當(dāng)生產(chǎn)數(shù)據(jù)發(fā)生損壞時,生產(chǎn)效勞器可在不 中斷業(yè)務(wù)的前提下透明聯(lián)機訪問拷貝中的數(shù)據(jù)。異步方式下,可以按照兩種方式緩存需延時復(fù)制的數(shù)據(jù):復(fù)制隊列技術(shù)和 定點拷貝一復(fù)制技術(shù)。復(fù)制隊列技術(shù) 將所有生產(chǎn)數(shù)據(jù)的更新直接保存到緩沖區(qū),復(fù)制進(jìn)程連續(xù)不 斷地讀取緩沖區(qū)中的數(shù)據(jù),傳輸?shù)絺浞葜行牡拇鎯ο到y(tǒng)定點拷貝一復(fù)制技術(shù)下 的復(fù)制過程根據(jù)復(fù)制要求和復(fù)制網(wǎng)絡(luò)帶寬的狀況,按適宜的時間間隔記錄生產(chǎn) 數(shù)據(jù)的更新,然后按照將該更新完整的復(fù)制到備份中心。在磁盤復(fù)制中,所復(fù)制的是物理設(shè)備中的業(yè)務(wù)信息;對于磁盤結(jié)構(gòu)的變 化,如增加參與復(fù)制的硬盤數(shù)量,磁盤復(fù)制機制本身無法實現(xiàn)。功能完好的磁中國移動通信集團(tuán)公司-32 -盤智能系統(tǒng)支持聯(lián)機修改磁盤配置,復(fù)制管理系統(tǒng)通過修改配置信息來保證磁 盤復(fù)制機制可適應(yīng)業(yè)務(wù)的變化,并且在修改配置時,不必

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論