容災(zāi)方案.doc_第1頁
容災(zāi)方案.doc_第2頁
容災(zāi)方案.doc_第3頁
容災(zāi)方案.doc_第4頁
容災(zāi)方案.doc_第5頁
已閱讀5頁,還剩39頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

xxxxxxxx 有限公司有限公司 trusttrust dbradbra 災(zāi)難備份方案建議書災(zāi)難備份方案建議書 杭州美創(chuàng)科技有限公司杭州美創(chuàng)科技有限公司 2010-02-02 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 2 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:目目 錄錄 1.xxxxx 災(zāi)難備份需求災(zāi)難備份需求- 4 - 1.1概述概述- 4 - 1.2業(yè)務(wù)系統(tǒng)分析和推薦業(yè)務(wù)連續(xù)性指標(biāo)業(yè)務(wù)系統(tǒng)分析和推薦業(yè)務(wù)連續(xù)性指標(biāo)- 4 - 1.3當(dāng)前當(dāng)前 it 系統(tǒng)基礎(chǔ)架構(gòu)系統(tǒng)基礎(chǔ)架構(gòu)- 5 - 2.軟件平臺技術(shù)方案軟件平臺技術(shù)方案.- 10 - 2.1trust dbra disaster backup system工作原理工作原理- 10 - 2.1.1trust log capture service - 10 - 2.1.2trust log transfer service- 11 - 2.1.3trust apply service .- 11 - 2.1.4trust flashback service- 11 - 2.1.5trust active disaster site service.- 12 - 2.1.6trust backup service.- 12 - 2.2trust dbra disaster backup system的安裝部署的安裝部署- 12 - 2.2.1生產(chǎn)系統(tǒng)部署.- 13 - 2.2.2災(zāi)備系統(tǒng)部署.- 13 - 2.2.3產(chǎn)品部署模塊.- 13 - 2.3性能和資源需求估算性能和資源需求估算- 14 - 2.3.1網(wǎng)絡(luò)需求.- 14 - 2.3.2日志傳輸速度.- 15 - 2.3.3數(shù)據(jù)同步速度.- 15 - 2.3.4cpu資源占用- 15 - 2.3.5生產(chǎn)端的緩存資源.- 15 - 2.4生產(chǎn)系統(tǒng)可靠性保障部署生產(chǎn)系統(tǒng)可靠性保障部署- 16 - 2.4.1災(zāi)難備份鏈路的容錯.- 16 - 2.4.2對于密集短暫網(wǎng)絡(luò)失敗的克服.- 16 - 2.4.3生產(chǎn)系統(tǒng)本地空間緩存.- 16 - 2.5計(jì)劃內(nèi)維護(hù)和全業(yè)務(wù)切換計(jì)劃內(nèi)維護(hù)和全業(yè)務(wù)切換- 16 - 2.6trust dbra 的日常運(yùn)行維護(hù)的日常運(yùn)行維護(hù).- 16 - 3.硬件平臺技術(shù)方案硬件平臺技術(shù)方案.- 18 - 3.1服務(wù)器平臺技術(shù)方案服務(wù)器平臺技術(shù)方案- 18 - 3.2存儲平臺技術(shù)方案存儲平臺技術(shù)方案- 18 - 3.3網(wǎng)絡(luò)平臺技術(shù)方案網(wǎng)絡(luò)平臺技術(shù)方案- 22 - 4.災(zāi)難恢復(fù)預(yù)案(災(zāi)難恢復(fù)預(yù)案(drp).- 23 - 4.1drp 的作用的作用- 23 - 4.2災(zāi)難恢復(fù)預(yù)案的內(nèi)容災(zāi)難恢復(fù)預(yù)案的內(nèi)容- 23 - 4.3災(zāi)難恢復(fù)預(yù)案演練災(zāi)難恢復(fù)預(yù)案演練- 24 - 4.3.1演練的目的.- 24 - xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 3 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:4.3.2流程測試和演練的模式.- 25 - 4.3.3演練的關(guān)鍵步驟.- 27 - 4.3.4測試演練的主要考慮因素.- 28 - 附錄一附錄一:trust dbra disaster backup system 介紹介紹.- 30 - 附件二:附件二:trusttrust dbradbra 成功案例成功案例- 37 - 附件三:美創(chuàng)科技公司簡介附件三:美創(chuàng)科技公司簡介.- 39 - xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 4 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:1. xxxx 災(zāi)難備份需求災(zāi)難備份需求 1.1 概述概述 1.2業(yè)務(wù)系統(tǒng)分析和推薦業(yè)務(wù)連續(xù)性指標(biāo)業(yè)務(wù)系統(tǒng)分析和推薦業(yè)務(wù)連續(xù)性指標(biāo) it 業(yè)務(wù)系統(tǒng)是 xxxx 有限公司從事多項(xiàng)業(yè)務(wù)的基石,而存儲在 oracle 數(shù)據(jù) 庫中的數(shù)據(jù)則更是關(guān)系到 xxxx 的生存和發(fā)展。數(shù)據(jù)完整性是電子支付業(yè)務(wù)繼續(xù) 運(yùn)行的基礎(chǔ)性工作,絕對的零數(shù)據(jù)丟失和數(shù)據(jù)完整性要求是金融行業(yè)的最典型 特征,依賴于常規(guī)的備份系統(tǒng)很難很好的完成零數(shù)據(jù)丟失保障。在高數(shù)據(jù)完整 性的要求基礎(chǔ)之上,電子支付服務(wù)又是一個(gè)幾乎完全面向公眾用戶的服務(wù),具 有比較高的業(yè)務(wù)連續(xù)性要求,基本要求 7*24*365 天不間斷運(yùn)行,即使在節(jié)假日 也要求 it 系統(tǒng)正常運(yùn)轉(zhuǎn)。 xxxposs 交易系統(tǒng)是一個(gè)典型在絕對保障數(shù)據(jù)基礎(chǔ)之上的要求 7*24*365 不 間斷運(yùn)行的 it 業(yè)務(wù)系統(tǒng),為了支持零數(shù)據(jù)丟失和業(yè)務(wù)連續(xù)性保障需要一個(gè)周到 的業(yè)務(wù)連續(xù)性計(jì)劃來加以支持。備份,災(zāi)難備份,持續(xù)數(shù)據(jù)保護(hù)和多樣化恢復(fù) 手段都應(yīng)該成為 xxx 核心業(yè)務(wù)連續(xù)性計(jì)劃的必要組成部分來共同完成業(yè)務(wù)連續(xù) 性計(jì)劃目標(biāo)。 從容災(zāi)的級別來說,可以規(guī)劃數(shù)據(jù)級容災(zāi)和應(yīng)用級容災(zāi),根據(jù) poss 交易 業(yè)務(wù)種類多,業(yè)務(wù)方式多樣化的特點(diǎn),僅建設(shè)一個(gè)數(shù)據(jù)級容災(zāi)是不夠,容災(zāi)發(fā) 生時(shí),業(yè)務(wù)快速的恢復(fù)是容災(zāi)系統(tǒng)的一大需求。應(yīng)用級容災(zāi)是建立在數(shù)據(jù)級容 災(zāi)的基礎(chǔ)上,在容災(zāi)切換時(shí),除了切換核心的數(shù)據(jù)庫數(shù)據(jù)外,還包含了 ip 地址 切換(按客戶需要選擇) ,中間件服務(wù),用戶級業(yè)務(wù)。應(yīng)用級容災(zāi)從流程上實(shí)現(xiàn) 了全業(yè)務(wù)的連續(xù)性需求。 從我們的災(zāi)難系統(tǒng)建設(shè)經(jīng)驗(yàn)出發(fā),xxx 有限公司可以考慮以下業(yè)務(wù)連續(xù)性 計(jì)劃目標(biāo): rpo(最大允許數(shù)據(jù)丟失時(shí)間):零數(shù)據(jù)丟失 rto(最大允許宕機(jī)時(shí)間):30 分鐘 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 5 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:應(yīng)用級容災(zāi)需求 1.3當(dāng)前當(dāng)前 it 系統(tǒng)基礎(chǔ)架構(gòu)系統(tǒng)基礎(chǔ)架構(gòu) 根據(jù)前期和溝通,了解到 xxxposs 交易系統(tǒng)的當(dāng)前基礎(chǔ)信息結(jié)構(gòu)如下: 基礎(chǔ)硬件平臺 主機(jī)系統(tǒng)平臺兩臺 服務(wù)器;雙機(jī) rac; 存儲系統(tǒng)平臺一臺磁盤陣列; 基礎(chǔ)軟件平臺 數(shù)據(jù)庫oracle 10; 核心應(yīng)用軟件系統(tǒng) 交易系統(tǒng) 核心生產(chǎn)系統(tǒng)邏輯結(jié)構(gòu)圖如下: (圖 1.1 實(shí)際生產(chǎn)系統(tǒng)邏輯框圖) xxxx 有限公司當(dāng)前采用手動邏輯備份,這樣的備份方式結(jié)合數(shù)據(jù)庫的歸檔 日志,基本可以保證數(shù)據(jù)庫的數(shù)據(jù)的完備性,但是依然具有以下缺點(diǎn): 數(shù)據(jù)備份的有效性無法確認(rèn)。 由于備份系統(tǒng)條件的限制,對備份的數(shù)據(jù)的有效性無法進(jìn)行校驗(yàn),無法進(jìn) xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 6 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:行恢復(fù)性測試。 數(shù)據(jù)恢復(fù)時(shí)間漫長 在數(shù)據(jù)庫恢復(fù)時(shí),需要中斷業(yè)務(wù)系統(tǒng),而且,恢復(fù)時(shí)間漫長,恢復(fù)過程中 容易出現(xiàn)故障(尤其是邏輯備份的恢復(fù))。 無法保證數(shù)據(jù)的完整性 無論是邏輯備份還是目前的物理備份,都無法保證在出現(xiàn)故障進(jìn)行恢復(fù)時(shí), 不會造成數(shù)據(jù)的丟失。 出現(xiàn)網(wǎng)絡(luò)故障會引起備份中斷 網(wǎng)絡(luò)故障時(shí),會造成備份的中斷,在網(wǎng)絡(luò)恢復(fù)后,無法繼續(xù)備份。 對生產(chǎn)系統(tǒng)有性能壓力 進(jìn)行備份,尤其是物理備份時(shí),往往由于備份腳本或者備份策略制定的問 題,對生產(chǎn)系統(tǒng)產(chǎn)生比較大的性能影響(尤其是 io 壓力)。 無法作為應(yīng)急業(yè)務(wù)支持 在業(yè)務(wù)系統(tǒng)崩潰時(shí),備份系統(tǒng)無法作為應(yīng)急系統(tǒng)使用。 基于上述這些因素的考慮,xxxx 有限公司的容災(zāi)系統(tǒng)的建設(shè),勢在必行。 其災(zāi)備系統(tǒng)的建設(shè),重要的是體現(xiàn)災(zāi)備一體,應(yīng)用級容災(zāi)的概念,建設(shè)后的災(zāi) 難備份系統(tǒng)硬件架構(gòu)圖如下: xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 7 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:(圖 1.2 容災(zāi)系統(tǒng)邏輯框圖) 災(zāi)難備份系統(tǒng)至少達(dá)到以下技術(shù)目標(biāo): 編號編號要求要求描述描述 1. 災(zāi)難切換時(shí)間要求災(zāi)難系統(tǒng)切換時(shí)間不超過 30 分鐘,最好在 10 分 鐘內(nèi)實(shí)現(xiàn)。 2. 多種災(zāi)難切換方式提供自動災(zāi)難系統(tǒng)切換和手動災(zāi)難切換方式 3. 計(jì)劃內(nèi)維護(hù)要求提供計(jì)劃內(nèi)維護(hù)支持能力,計(jì)劃內(nèi)維護(hù)切換時(shí)間 不多于 10 分鐘 4. 數(shù)據(jù)丟失性要求原則上要求零數(shù)據(jù)丟失,可以依據(jù)情況進(jìn)行調(diào)整 5. 數(shù)據(jù)同步方式提供同步和異步兩種方式 6. 備份和災(zāi)難備份方式采用物理備份方式實(shí)現(xiàn) 7. 物理部件失敗要求支持部分磁盤,文件系統(tǒng),主機(jī),磁盤柜等各種 物理部件失敗導(dǎo)致的失敗保護(hù)。 8. 站點(diǎn)失敗要求支持由于火災(zāi),電力以及其他因素導(dǎo)致站點(diǎn)失敗 的數(shù)據(jù)保護(hù)。 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 8 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:9. 邏輯失敗要求支持由于數(shù)據(jù)塊腐敗導(dǎo)致的數(shù)據(jù)庫無法啟動,數(shù) 據(jù)丟失等邏輯失敗保護(hù) 10. 人類錯誤失敗要求支持由于人類誤操作以及入侵等導(dǎo)致人類錯誤失 敗導(dǎo)致的數(shù)據(jù)保護(hù)或者恢復(fù)。 11. 生產(chǎn)系統(tǒng)的性能影響 要求 生產(chǎn)系統(tǒng)性能影響不超過 5% 12. 生產(chǎn)系統(tǒng)可用性要求容災(zāi)系統(tǒng)不會降低生產(chǎn)系統(tǒng)可用性 13. 網(wǎng)絡(luò)鏈路分鐘級別短 暫故障 要求不會對生產(chǎn)系統(tǒng)產(chǎn)生影響 14. 網(wǎng)絡(luò)鏈路小時(shí)級別長 期故障 要求不會對生產(chǎn)系統(tǒng)產(chǎn)生影響 15. 網(wǎng)絡(luò)鏈路密集的秒級 別短暫故障 要求不會對生產(chǎn)系統(tǒng)產(chǎn)生影響 16. 網(wǎng)絡(luò)鏈路容錯支持網(wǎng)絡(luò)鏈路的容錯,可以利用網(wǎng)絡(luò)的備份鏈路, 比如多路網(wǎng)卡等 17. 災(zāi)難系統(tǒng)的硬件故障由于災(zāi)難系統(tǒng)硬件故障導(dǎo)致的災(zāi)難系統(tǒng)不可用不 會對生產(chǎn)系統(tǒng)產(chǎn)生影響,比如網(wǎng)卡,磁盤以及控 制卡等 18. 災(zāi)難系統(tǒng)的軟件故障由于災(zāi)難系統(tǒng)軟件故障導(dǎo)致的災(zāi)難系統(tǒng)不可用不 會對生產(chǎn)系統(tǒng)產(chǎn)生影響,比如災(zāi)難系統(tǒng)管理軟件 部件等 19. 網(wǎng)絡(luò)協(xié)議采用 ip 網(wǎng)絡(luò)實(shí)現(xiàn) 20. 網(wǎng)絡(luò)帶寬一般的百兆或者千兆帶寬 21. rtt 要求rtt 要求在 10ms 以內(nèi)即可滿足要求,可以容忍 部分時(shí)間的 30ms 響應(yīng) 22. 在線實(shí)施要求要求在備份系統(tǒng)實(shí)施期間保持生產(chǎn)系統(tǒng)運(yùn)行 23. 存儲系統(tǒng)失敗的原址 運(yùn)行 在生產(chǎn)系統(tǒng)主機(jī)可用的情況下可以支持系統(tǒng)原址 運(yùn)行 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 9 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:24. 部分文件失敗的原址 運(yùn)行 在部分文件失敗的情況下可以支持系統(tǒng)原址運(yùn)行 25. 原址運(yùn)行要求 在生產(chǎn)系統(tǒng)出現(xiàn)以下故障時(shí),不進(jìn)行容災(zāi)切換, 而原址運(yùn)行:在生產(chǎn)系統(tǒng)主機(jī)可用的情況下可以 支持系統(tǒng)原址運(yùn)行;在部分文件失敗的情況下可 以支持系統(tǒng)原址運(yùn)行 26. 容災(zāi)切換要求提供一對多和多對一的容災(zāi)復(fù)制和切換; 27. 一鍵切換 支持單健切換,所有切換都要求提供字符菜單, 命令行和圖形界面三種模式,所有切換都要求一 步完成。 28. 全業(yè)務(wù)切換 支持業(yè)務(wù)系統(tǒng)級別切換,進(jìn)行完整的 oracle 數(shù) 據(jù)庫,tuxedo 中間,web 中間件以及其他中間件 的自動切換。 29. 業(yè)務(wù)部件切換 支持業(yè)務(wù)部件級別切換,在業(yè)務(wù)系統(tǒng)某一部件發(fā) 生災(zāi)難,僅僅切換該部件到容災(zāi)系統(tǒng),比如數(shù)據(jù) 庫或者 tuxedo 或者 weblogic 等。 30. 網(wǎng)絡(luò)切換 支持網(wǎng)絡(luò)切換,并且可以指定在切換時(shí)候是否支 持網(wǎng)絡(luò)切換。 2. 軟件平臺技術(shù)方案軟件平臺技術(shù)方案 本項(xiàng)目災(zāi)難備份中選用軟件是美創(chuàng)科技的 trust dbra disaster backup system。 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 10 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:2.1trust dbra disaster backup system 工作原理工作原理 (圖 2.1 trust dbra 軟件工作原理圖) oracle 發(fā)出事務(wù)更新,寫 online redo log,trust log service 同步往災(zāi)難備 份中心存儲寫數(shù)據(jù)。在災(zāi)難備份中心,trust rfs 接收 trust log service 數(shù)據(jù)并 且生成對應(yīng)的容災(zāi)端的 online redo log 數(shù)據(jù),在生產(chǎn)系統(tǒng)進(jìn)行 log switch 的時(shí) 候同步在災(zāi)難備份中心完成 log switch,在容災(zāi)端 trust apply service 通過 oracle physical recover 機(jī)制把相關(guān)歸檔日志內(nèi)容更新到災(zāi)備中心數(shù)據(jù)庫或者直 接把 online redo log 內(nèi)容更新災(zāi)難備份中心數(shù)據(jù)庫(實(shí)時(shí)更新模式) 。 在 flashback open 的情況下,trust 采用 copy on write 技術(shù)在更新災(zāi)難中心 數(shù)據(jù)庫的同時(shí)把更新之前的數(shù)據(jù)進(jìn)行備份,形成閃回區(qū)域。 2.1.1trust log capture service trust log capture service 可以運(yùn)行在同步方式、異步以及歸檔方式,以適 應(yīng)不同的 rto 需求和網(wǎng)絡(luò)帶寬需求,并且支持不同的網(wǎng)絡(luò)類型,包括 ip,san 以及 iscsi 等。 trust log capture service 工作在同步方式時(shí),在 oracle 寫本地 online redo log 的時(shí)候由 oracle lgwr 進(jìn)程同步完成完成遠(yuǎn)端 online redo log 文件的寫操作, 從而完成生產(chǎn)端和災(zāi)難備份端的同步寫操作。 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 11 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:trust log service 工作在異步方式時(shí),trust log service 通過快速日志分析 追蹤日志變化,在變化的第一時(shí)間獲得日志變化數(shù)據(jù),日志變化數(shù)據(jù)緩存在本 地磁盤系統(tǒng)中,之后通過 trust transfer service 服務(wù)傳遞到災(zāi)難備份端。 trust log service 工作在歸檔模式時(shí),trust log service 監(jiān)控 archived log 變化,在生成 archived log 的第一時(shí)間通過 trust log transfer service 傳遞到災(zāi) 難備份端。 不同的工作模式對于網(wǎng)絡(luò)帶寬有著不同的要求,工作在同步模式要求網(wǎng)絡(luò) 帶寬具有高峰期 oracle 日志量*1.5 倍的帶寬,工作在異步模式要求具備高峰期 oracle 日志量*1 倍的帶寬,工作在歸檔模式對于帶寬沒有明確的需求。 2.1.2trust log transfer service trust log transfer service 完成 online redo log 數(shù)據(jù)從生產(chǎn)端到災(zāi)難備份端 的傳遞,并且對于傳輸碎片進(jìn)行合成,形成和生產(chǎn)系統(tǒng)完全一樣的 online redo log 或者 archived log。trust log transfer service 基于 ssh 傳遞,具有 ssh 天然 的加密和壓縮傳遞能力。 2.1.3trust apply service trust apply service 通過 physical recover 機(jī)制把同步或者異步傳輸過來的 歸檔日志進(jìn)行應(yīng)用,從而達(dá)到災(zāi)難備份和生產(chǎn)系統(tǒng)的實(shí)時(shí)同步。trust apply service 支持腐敗檢驗(yàn),在應(yīng)用的 oracle 日志出現(xiàn)錯誤的時(shí)候,trust apply service 會自動觸發(fā)重新獲取服務(wù),通知 trust log transfer service 重新從生產(chǎn)系 統(tǒng)獲取腐敗的 oracle 日志。在 trust increment backup 存在的情況下,trust 可 以利用 trust increment backup 來實(shí)現(xiàn) trust apply service,從而進(jìn)一步加快 trust apply service,降低系統(tǒng)資源消耗。 2.1.4trust flashback service trust flashback service 是 trust dbra disaster backup system 的增殖應(yīng)用服 務(wù)之一,通過 copy on write 技術(shù)實(shí)現(xiàn),在 trust apply service 運(yùn)行的同時(shí)生成 flashback area。trust flashback service 可以使災(zāi)難備份回到過去的某一時(shí)刻點(diǎn), 是實(shí)現(xiàn)誤操作等邏輯錯誤的災(zāi)難恢復(fù)的最有利工具。 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 12 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:2.1.5trust active disaster site service trust active disaster site 是 trust dbra disaster backup system 的增殖應(yīng)用 服務(wù)之一,通過該組件,可以使容災(zāi)站點(diǎn)成為活動站點(diǎn)。active disaster site 通 過一系列的 trust consistent 操作使災(zāi)難節(jié)點(diǎn)實(shí)例可以被打開訪問,同時(shí)通過 checkpoint 刷新和 cache 刷新來完成實(shí)時(shí)更新訪問。 2.1.6trust backup service trust backup service 提供 rman 兼容服務(wù),使 trust disaster backup 可以成 為常規(guī)備份存在。trust disaster backup 以 oracle datafile 形式存在,并且允許 被外部訪問,從而天然提供其 rman 兼容能力,完成 trust 災(zāi)備一體化部署。 2.2 trust dbra disaster backup system 的安裝部署的安裝部署 trust dbra disaster backup system 的部署分為三部分:生產(chǎn)系統(tǒng)、災(zāi)難備 份系統(tǒng)和管理平臺。trust dbra disaster backup system 安裝部署圖如下: (圖 2.2 trust dbra 軟件安裝步署圖) 2.2.1生產(chǎn)系統(tǒng)部署生產(chǎn)系統(tǒng)部署 trust dbra disaster backup system 在生產(chǎn)系統(tǒng)的數(shù)據(jù)庫實(shí)例上安裝一個(gè) xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 13 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:trust diaster backup client agent for oracle(trust log capture service 和 trust log transfer service),用來獲取 redo log 數(shù)據(jù)和傳輸 redo log 數(shù)據(jù)。如果需要 進(jìn)行應(yīng)用服務(wù)器和文件數(shù)據(jù)同步,則需要同時(shí)部署 trust backup client agent for app。 2.2.2災(zāi)備系統(tǒng)部署災(zāi)備系統(tǒng)部署 trust dbra disaster backup system 在災(zāi)難備份系統(tǒng)為每個(gè)對應(yīng)的 client agent 安裝 server 模塊。一般建議同時(shí)把 trust disaster backup management server 也部署在災(zāi)備系統(tǒng)上。 2.2.3產(chǎn)品部署模塊產(chǎn)品部署模塊 產(chǎn)品(模塊)名稱描 述數(shù)量 disaster backup management server 實(shí)現(xiàn) trust disaster backup system 的統(tǒng)一管 理,提供簡單命令行、字符菜單集成管理平 臺和 web 界面集成管理平臺三種管理方式。 1 disaster backup client for oracle 實(shí)現(xiàn) oracle 數(shù)據(jù)庫的災(zāi)難備份,包含其 cient 部署和 server 部署模塊 2 diaster backup for app 實(shí)現(xiàn)應(yīng)用服務(wù)器和文件備份可選 full bussiness switchover 實(shí)現(xiàn)全業(yè)務(wù)級別的災(zāi)難切換可選 add-ons full license增殖業(yè)務(wù)套件,包含 backup support,flashback area,active disaster site,instant recover 等組件 可選 容災(zāi)系統(tǒng)專用服務(wù)器上需安裝 disaster backup management server 和多個(gè)可 選模塊,模塊名稱和描述如下: xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 14 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:產(chǎn)品(模塊)名稱描 述可選性 disaster backup management server 實(shí)現(xiàn)容災(zāi)備份節(jié)點(diǎn)的管理,是一個(gè)集成容災(zāi)管 理平臺,統(tǒng)一管理災(zāi)難備份的配置策略,運(yùn)行, 計(jì)劃內(nèi)維護(hù)以及災(zāi)難切換 必選 flashback area option 回滾支持模塊,實(shí)現(xiàn)對于數(shù)據(jù)庫,表空間和表 格的閃回支持 可選 backup support備份支持模塊,提供在災(zāi)難中心實(shí)現(xiàn)備份支持, 實(shí)現(xiàn)原址恢復(fù) 可選 active disaster site 負(fù)載平衡支持模塊,提供只讀和可讀寫兩種能 力 可選 fast unload tools支持在備份站點(diǎn)實(shí)現(xiàn)快速邏輯備份,支持邏輯 備份即時(shí)可用功能,支持邏輯快照 可選 instant recover實(shí)現(xiàn)即時(shí)恢復(fù),包括文件即時(shí)恢復(fù)和數(shù)據(jù)塊即 時(shí)恢復(fù) 可選 2.3 性能和資源需求估算性能和資源需求估算 在關(guān)鍵業(yè)務(wù)系統(tǒng)應(yīng)用中,容災(zāi)備份軟件所消耗的性能和資源壓力是必須要 考慮的。trust dbra disaster backup system 僅僅傳輸 oracle online redo log, 天生具備比較 remote mirror 產(chǎn)品消耗更少的資源和生產(chǎn)系統(tǒng)壓力。 2.3.1網(wǎng)絡(luò)需求網(wǎng)絡(luò)需求 trust disaster backup system 對于數(shù)據(jù)傳輸可以基于以下網(wǎng)絡(luò): tcp/ip,san 以及 iscsi。trust dbra disaster backup system 容災(zāi)僅僅讀取傳 輸 oracle 的日志文件,通過 tcp/ip 或者其他可用網(wǎng)絡(luò)進(jìn)行傳輸,最大網(wǎng)絡(luò)傳 輸容量 oracle 日志產(chǎn)生量。特別在低速網(wǎng)絡(luò)中,trust 支持壓縮傳輸,從而使網(wǎng) 絡(luò)帶塊需求可以進(jìn)一步的被降低。 xxx 生產(chǎn)系統(tǒng)與容災(zāi)系統(tǒng)放在同一機(jī)房樓內(nèi),網(wǎng)絡(luò)延遲在 1ms 左右。 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 15 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:根據(jù) xxx交易系統(tǒng)常規(guī)日志估算,假設(shè)平均每天產(chǎn)生日志量為 1 g 大小,平均每秒為 12k/s,綜合業(yè)務(wù)系統(tǒng)平均高峰期以平均每天日志量*10 倍 估算,產(chǎn)生 120k/s 左右的 redo log 數(shù)據(jù)??紤]最高峰期為平均高峰期的 1.5 倍, 則最高峰期并發(fā)為:120* 1.5 = 180 (k/s) 2.3.2日志傳輸速度日志傳輸速度 trust log capture service 工作在異步方式時(shí)候,在充分工作的時(shí)候可以達(dá) 到接近于磁盤速度,其工作能力幾乎完全限制于網(wǎng)絡(luò)速度。在我們的實(shí)際運(yùn)行 案例中,在大量積壓之下的千兆網(wǎng)環(huán)境下可以完成 30m/s(加密)和 60m/s(非 加密)的速度。 2.3.3數(shù)據(jù)同步速度數(shù)據(jù)同步速度 trust apply service 工作在 frp 和 mrp 模式的時(shí)候,基本而言其 apply 速度 為生產(chǎn)系統(tǒng) 48 倍,在磁盤能力許可的情況下可以達(dá)到 10m/s 的日志數(shù)據(jù)同步 速度,基于核心系統(tǒng) 180k/s 的生產(chǎn)系統(tǒng)數(shù)據(jù)完全可以和生產(chǎn)系統(tǒng)完成同步。 2.3.4cpu 資源占用資源占用 trust disaster backup system 通過獲得 oracle 日志的變化來進(jìn)行變化數(shù)據(jù)獲 取和傳播,無論是工作在同步還是異步模式下對于 cpu 的占用資源都比較少。 考慮一個(gè)每天 20gb 的業(yè)務(wù)系統(tǒng),其加密傳輸 cpu 不會超過 10%,非加密傳輸 cpu 消耗不會超過 5%。 2.3.5生產(chǎn)端的緩存資源生產(chǎn)端的緩存資源 trust 采用首先進(jìn)行本地緩存的方式來進(jìn)行變化數(shù)據(jù)傳播,也采用本地緩存 來對抗災(zāi)難系統(tǒng)故障。我們一般建議系統(tǒng)提供 1 小時(shí)左右日志空間作為本地生 產(chǎn)緩存,并且考慮 1 天左右的歸檔日志緩存空間。假設(shè)每天生產(chǎn) 20gb 日志量, 那么考慮高峰期大概需要 20gb 左右的緩存空間。 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 16 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:2.4 生產(chǎn)系統(tǒng)可靠性保障部署生產(chǎn)系統(tǒng)可靠性保障部署 trust dbra disaster backup system 是一個(gè)充分考慮到生產(chǎn)系統(tǒng)可靠性保障 的災(zāi)難備份系統(tǒng)。trust 部署了一系列的服務(wù)來完成生產(chǎn)系統(tǒng)可靠性保障,并且 以及實(shí)際情況自動在不同模式下進(jìn)行轉(zhuǎn)換。 2.4.1災(zāi)難備份鏈路的容錯災(zāi)難備份鏈路的容錯 trust dbra disaster backup system 支持多條網(wǎng)絡(luò)鏈路的容錯,在網(wǎng)卡失敗, 交換機(jī)失敗的情況下依然可以完成容災(zāi)數(shù)據(jù)的復(fù)制。 2.4.2對于密集短暫網(wǎng)絡(luò)失敗的克服對于密集短暫網(wǎng)絡(luò)失敗的克服 在同步傳播中,密集短暫的網(wǎng)絡(luò)失敗會掛起生產(chǎn)系統(tǒng)。trust 通過模式的自 動轉(zhuǎn)換來完成克服密集短暫的網(wǎng)絡(luò)失敗。 2.4.3生產(chǎn)系統(tǒng)本地空間緩存生產(chǎn)系統(tǒng)本地空間緩存 在災(zāi)難系統(tǒng)鏈路長時(shí)間失敗的情況下,生產(chǎn)系統(tǒng)將會完全掛起。trust 通過 最后緩沖區(qū)以及網(wǎng)絡(luò)緩沖區(qū)轉(zhuǎn)移來克服長時(shí)間的網(wǎng)絡(luò)中斷。 2.5計(jì)劃內(nèi)維護(hù)和全業(yè)務(wù)切換計(jì)劃內(nèi)維護(hù)和全業(yè)務(wù)切換 在容災(zāi)系統(tǒng)運(yùn)行中,災(zāi)難切換始終是其中最為困難的一部分。trust 提供的 全業(yè)務(wù)切換和單鍵切換能力使用戶不需要復(fù)雜的流程自動完成切換。 計(jì)劃內(nèi)維護(hù)能力是 trust disaster backup system 的特點(diǎn)之一,可以簡單的通 過計(jì)劃內(nèi)維護(hù)能力在生產(chǎn)系統(tǒng)和災(zāi)難系統(tǒng)之間進(jìn)行來回切換,從而完成一些長 時(shí)間的計(jì)劃內(nèi)維護(hù)操作。 2.6 trust dbra 的日常運(yùn)行維護(hù)的日常運(yùn)行維護(hù) 對于 trust disaster backup system 來說,運(yùn)行維護(hù)是非常簡單的,主要包 含以下內(nèi)容: xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 17 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:進(jìn)程狀態(tài) 查看是否有錯誤報(bào)告 查看日志傳輸延遲 查看日志應(yīng)用延遲 查看保留策略是否生效 查看本地緩存 定期打開災(zāi)難庫 事實(shí)上,以上所有工作 trust 都會自動完成,用戶所需要只是查看是否存在 延遲以及查找延遲原因即可。 trust disaster backup system 提供了命令行,字符菜單集成管理平臺和 web 集成管理平臺來提供日常管理。 我們建議用戶采用 web 集成管理平臺來提供日常管理。 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 18 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:3. 硬件平臺硬件平臺技術(shù)方案技術(shù)方案 3.1服務(wù)器平臺技術(shù)方案服務(wù)器平臺技術(shù)方案 當(dāng)前 xxxx交易系統(tǒng)的主機(jī)平臺為 服務(wù)器。 在構(gòu)建異地容災(zāi)系統(tǒng)的時(shí),從業(yè)務(wù)系統(tǒng)對容災(zāi)主機(jī)系統(tǒng)的要求考慮,對服 務(wù)器的處理能力、性能和穩(wěn)定性都有一定的要求: 1)本容災(zāi)項(xiàng)目主要實(shí)現(xiàn)應(yīng)用級容災(zāi),容災(zāi)端主機(jī)系統(tǒng)需要一定的承載能力。 2)容災(zāi)端主機(jī)應(yīng)具有較強(qiáng)的實(shí)時(shí)應(yīng)答的能力,當(dāng)數(shù)據(jù)信息被檢索到后,會 反饋給用戶,如果數(shù)據(jù)庫服務(wù)器不具有較強(qiáng)的應(yīng)答能力,會造成反饋信 息速度緩慢,甚至造成數(shù)據(jù)庫服務(wù)器死機(jī)的情況。 3)容災(zāi)端主機(jī)需具備較強(qiáng)的擴(kuò)展性能,隨著交易系統(tǒng)核心數(shù)據(jù)的發(fā)展,伴 隨 it 系統(tǒng)的升級,因此服務(wù)器應(yīng)有良好的擴(kuò)展性。 4)容災(zāi)端主機(jī)應(yīng)具備較強(qiáng)的可用性和可靠性,保證業(yè)務(wù)系統(tǒng) 365 天 7*24 小時(shí)持續(xù)運(yùn)行的能力。 從以上需求出發(fā),并考慮生產(chǎn)端采用的是平臺主機(jī),可以選擇與生 產(chǎn)系統(tǒng)同型號的 hp pc 服務(wù)器或者低一級別。這里推薦 dl380 g6。 dl380 g6 具備更高的性能和耐用性,適用于需要向外擴(kuò)展的應(yīng)用程序; 將所用內(nèi)存、存儲和網(wǎng)絡(luò)適配器的數(shù)量增加了 1 倍,并采用全新的嵌入式智 能陣列,運(yùn)行速度是以前版本的 2 倍。 dl380 能夠支持更多的虛擬機(jī)、用 戶和處理任務(wù)。智能、靈活的系統(tǒng),適用于不斷變化的復(fù)雜環(huán)境: 您可以根 據(jù)需求配置智能、靈活的系統(tǒng),功能強(qiáng)大的管理工具可以幫助您全面規(guī)劃和 控制不斷變化的應(yīng)用環(huán)境。 3.2存儲平臺技術(shù)方案存儲平臺技術(shù)方案 生產(chǎn)中心的核心系統(tǒng)存儲目前準(zhǔn)備更換,考慮到核心系統(tǒng)的數(shù)據(jù)量擴(kuò)展, xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 19 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:可以把原生產(chǎn)中心存儲放到容災(zāi)中心使用進(jìn)行設(shè)備利舊。 對新的核心存儲要求具備支持 iscsi 協(xié)議,我們推薦以下幾個(gè)存儲以供選 擇采用。 hp storageworks 2000i g2 模塊化智能陣列 技術(shù)規(guī)格技術(shù)規(guī)格 驅(qū)動器數(shù)99 sff 或; 60 lff; 包括擴(kuò)展的最大數(shù)量 存儲容量最大 60tb; 具有擴(kuò)展性能,取決于硬盤類型 存儲擴(kuò)展msa2000 3.5 英寸盤柜(單或雙 i/o); msa70 2.5 英寸盤柜(單 或雙 i/o) 存儲控制器2 個(gè) msa2300i g2; 最多 主機(jī)接口每個(gè)控制器 2 個(gè) 1gbe iscsi 端口 存儲驅(qū)動器msa2 146gb 3g 15k lff 雙端口 sas; msa2 300gb 3g 15k lff 雙端口 sas; msa2 450gb 3g 15k lff 雙端口 sas; msa2 500gb 3g 7.2k lff 雙端口 sata; msa2 750gb 3g 7.2k lff 雙端口 sata; msa2 1tb 3g 7.2k lff 雙端口 sata; 36 gb 3g 15k sff 雙端口 sas; 72 gb 3g 15k sff 雙端口 sas; 72 gb 3g 10k sff 雙端口 sas; 146 gb 3g 10k sff 雙端口 sas; 300 gb 3g 10k sff 雙端口 sas; 60gb 1.5g 5.4k sff sata; 120gb 1.5g 5.4k sff sata; 250gb 3g 5.4k sff sata; 支持, 取決于機(jī)型 集群支持有; windows、linux san 備份支持有 存儲鏡像支持有 insight manager 支 持 有 兼容的操作系統(tǒng)microsoft windows server 2008 ia32、x64、ia64 (standard、enterprise、datacenter); microsoft windows 2003 r2; microsoft windows 2003 x64、ia64; red hat linux; vmware; microsoft windows server 2008 hyper-v; redhat enterprise linux 虛擬化光纖通道連接; 有關(guān)詳細(xì)的操作支持列表,請 訪問 /storage/spock 保修(部件-人工-現(xiàn)場) 3/3/3 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 20 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:hp lefthand p4000 san 解決方案解決方案 技術(shù)規(guī)格技術(shù)規(guī)格 驅(qū)動器數(shù)16; 起點(diǎn) 存儲容量4.8 tb; 起點(diǎn) 存儲擴(kuò)展添加額外的存儲系統(tǒng),并通過存儲集群化擴(kuò)展存儲容量 主機(jī)接口1gb iscsi; 可選擇升級到 10gb iscsi (cx4) 可用性特性熱插拔電源、熱插拔硬盤、集成存儲控制器(帶電池支持的 ddr2 高 速緩存)、raid 5、6 和 10、超冗余集群存儲設(shè)備、硬件 raid 10、5 和 6、網(wǎng)絡(luò) raid 0、2、3 和 4(每卷),防止雙重磁盤、系 統(tǒng)和站點(diǎn)故障 可管理性特性集中化管理控制臺、hp proliant lights out 100i 遠(yuǎn)程管理、基板管 理控制器 ipmi 2.0 兼容的操作系統(tǒng)microsoft windows server 2003 r2 standard; microsoft windows server 2003 r2 enterprise; microsoft windows server 2003 x64; microsoft windows server 2008 server; microsoft windows server 2008 server core; microsoft windows server 2008 hyper-v; microsoft windows server 2008 x86/x64; novell netware 6.5;suse linux enterprise server 10/10.1/10.2;suse linux x86 / x86-64 架構(gòu); red hat enterprise linux as 4.6、4.7;red hat enterprise linux 5.0、5.1、5.2;hp-ux 11i v1 (pa-risc 11.11)、v2 (pa-risc 11.23); fedora 6、8、9、10;ibm aix 5l v5.3 ml2; vmware esx / esxi 3.5 / vsphere esx 4.0;vmware site recovery manager; citrix xenserver 5.0;os x leopard 10.5.4、10.5.5 集群支持有; 超冗余集群化存儲 精簡配置支持san/iq 精簡配置 快照支持san/iq 快照 智能克隆支持san/iq smartclone 復(fù)制支持遠(yuǎn)程復(fù)制、具有帶寬限制的異步復(fù)制、帶同步復(fù)制的多站點(diǎn)/災(zāi)難恢復(fù)解 決方案包 保修(部件-人工-現(xiàn)場) 3/3/3 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 21 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:ibm system storage ds3300 技術(shù)規(guī)格技術(shù)規(guī)格 型號1726-31x - 單控制器 1726-32x - 雙控制器 1726-32t - 雙控制器電信版 raid 控制器雙活動型 每個(gè)控制器的緩存量512 mb 電池供電緩存,可以選擇升級至 1 gb 主機(jī)接口每個(gè)控制器兩個(gè)主機(jī)端口,1 gbps iscsi 驅(qū)動器接口串行連接 scsi (sas) 支持的驅(qū)動器支持 3 gbps sas:速度為 15000 rpm 的 73 gb、146 gb、300 gb 和 450 gb sas 驅(qū)動器 3 gbps sata:速度為 7200 rpm 的 500 gb、750 gb 和 1.0 tb 的 sata 驅(qū)動器 raid 級別raid-0、raid-1、raid-3、raid-5、raid-6、raid10 存儲分區(qū)4, 8, 16, 32 支持的最大驅(qū)動器數(shù)量48 個(gè) sas 或 sata 驅(qū)動器(使用三個(gè) exp3000 擴(kuò)展單元) 風(fēng)扇和電源雙冗余熱插拔 機(jī)架支持19 英寸行業(yè)標(biāo)準(zhǔn)機(jī)架 管理軟件ibm system storage ds3000 storage manager 保修 1三年部件和服務(wù) 除了以上幾款配置,dell equallogic ps 系列 iscsi 陣列也都支持 iscsi 傳 輸。 xxxxx dbra 災(zāi)難備份方案建議書 美創(chuàng)科技 杭州美創(chuàng)科技有限公司 電話:- 22 - 地址:杭州市文三路 477 號 華星科技大廈 225 傳真:3.3網(wǎng)絡(luò)平臺技術(shù)方案網(wǎng)絡(luò)平臺技術(shù)方案 客戶采用 ip 網(wǎng)絡(luò)的方式進(jìn)行傳輸。 容災(zāi)網(wǎng)絡(luò)帶寬考慮設(shè)計(jì):容災(zāi)網(wǎng)絡(luò)帶寬考慮設(shè)計(jì): 核心系統(tǒng)的實(shí)際日志量以每天產(chǎn)生 1g 進(jìn)行計(jì)算: select redo_num| trunc(sum(blocks*block_size)/ (max(first_time)-min(first_time)*24*3600) |(k/s) from v$archived_log; 得到平均每秒的日志量為 redo_num = 12 (k/s) 我們按照:平均高峰值 = 平均每日日志量 * 10 倍 = 12*10 = 120 (k/s) 容災(zāi)業(yè)務(wù)系統(tǒng)以建設(shè)生產(chǎn)業(yè)務(wù)系統(tǒng)為準(zhǔn)設(shè)計(jì), 生產(chǎn)業(yè)務(wù)系統(tǒng)平均高峰日志 量以 120 k/s 計(jì),并且極限考慮兩者高峰并發(fā),以及經(jīng)驗(yàn)公式計(jì)算如下:。 高峰日志量計(jì)算公式= 平均高峰日志量 * 1.5 倍 實(shí)際總的高峰日志量= 120 k/s * 1.5 = 180 kb/s 網(wǎng)絡(luò)帶寬計(jì)算公式 = 總的高峰日志量 * 8 * 折損率 (注:計(jì)算網(wǎng)絡(luò)帶寬時(shí),網(wǎng)絡(luò)折損率取值 70%80%) 實(shí)際網(wǎng)絡(luò)帶寬要求= 180 * 8 *1.2= 1728kb/s。 我們建議 xxxposs 交易容災(zāi)系統(tǒng)運(yùn)行在同步方式,需要帶寬和高峰期帶寬一 致,則需要 1728kb/s 就可以了。 從以上計(jì)算可以看出,每天產(chǎn)生 1g 的日志量,采用 20m 帶寬就能很好完成 xxx 的容災(zāi)網(wǎng)絡(luò)鏈路流量需求。 容災(zāi)鏈路的距離延遲特性:容災(zāi)鏈路的距離延遲特性: 容災(zāi)鏈路的延遲和距離密切相關(guān),一般經(jīng)驗(yàn)公式為每延長 100km,網(wǎng)絡(luò)響 應(yīng)延遲增加 1ms。xxx 生產(chǎn)中心和容災(zāi)中心距離同樓機(jī)房,網(wǎng)絡(luò)延遲在 1ms 內(nèi), 加上一些鏈路的其他延遲,網(wǎng)絡(luò)延遲可控制在 5ms 以內(nèi)。 容災(zāi)鏈路運(yùn)行安全保障:容災(zāi)鏈路運(yùn)行安全保障: 租用的廣域網(wǎng)鏈路明顯屬于非安全網(wǎng)絡(luò),基于數(shù)據(jù)的機(jī)密性質(zhì),我們建議鏈 路數(shù)據(jù)必須加密運(yùn)行。trust 提供數(shù)據(jù)加密運(yùn)行技術(shù),使傳輸數(shù)據(jù)可以在非安全 網(wǎng)絡(luò)上傳輸。 xxxxx

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論