版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、Xx項目存儲方案介紹目錄 TOC o 1-5 h z .現(xiàn)狀綜述4.總體建設(shè)方案42. 1.建設(shè)原則和策略42. 1. 1.建設(shè)原則4 HYPERLINK l bookmark0 o Current Document 2. 1.2.建設(shè)策略5 HYPERLINK l bookmark8 o Current Document 2. 2.建設(shè)目標(biāo)7 HYPERLINK l bookmark10 o Current Document 2. 2. 1.總體目標(biāo)7 HYPERLINK l bookmark12 o Current Document 2. 2. 2.分期目標(biāo)7 HYPERLINK l bo
2、okmark14 o Current Document 3.建設(shè)容74.總體設(shè)計方案83.容災(zāi)的核心技術(shù)及選擇91.容災(zāi)系統(tǒng)衡量指標(biāo)92.容災(zāi)級別103.常見容災(zāi)建設(shè)模式11 HYPERLINK l bookmark18 o Current Document 3. 1.同城容災(zāi)11 HYPERLINK l bookmark20 o Current Document 3. 2.異地容災(zāi)11 HYPERLINK l bookmark22 o Current Document 3. 3.兩地三中心11 HYPERLINK l bookmark24 o Current Document 3. 4.雙活
3、數(shù)據(jù)中心11常用的數(shù)據(jù)復(fù)制技術(shù)12基于存儲層的容災(zāi)復(fù)制方案13基于主機(jī)數(shù)據(jù)復(fù)制技術(shù)的災(zāi)備方案184. 3.基于數(shù)據(jù)庫的數(shù)據(jù)復(fù)制技術(shù)構(gòu)建災(zāi)備方案205.如何選擇最優(yōu)的容災(zāi)方案285. 1.數(shù)據(jù)容災(zāi)技術(shù)選擇原理285. 2.數(shù)據(jù)容災(zāi)技術(shù)選擇度量標(biāo)準(zhǔn)296.本項目容災(zāi)模式及技術(shù)的選擇296. 1.容災(zāi)模式選擇29 HYPERLINK l bookmark46 o Current Document 6. 2.容災(zāi)中心選址306. 3.數(shù)據(jù)復(fù)制技術(shù)的選擇32推薦方案概述331.技術(shù)路線選擇332.總體方案架構(gòu)333.數(shù)據(jù)庫容災(zāi)系統(tǒng)設(shè)計35 HYPERLINK l bookmark54 o Current
4、 Document Golden Gate 技術(shù)原理 36各委辦局和同城容災(zāi)中心之間的數(shù)據(jù)庫復(fù)制37同城容災(zāi)中心和異地容災(zāi)中心之間的數(shù)據(jù)庫復(fù)制40非結(jié)構(gòu)化數(shù)據(jù)容災(zāi)系統(tǒng)設(shè)計40同城容災(zāi)中心和生產(chǎn)中心之間的數(shù)據(jù)容災(zāi)41同城容災(zāi)中心和遠(yuǎn)程容災(zāi)中心的數(shù)據(jù)容災(zāi)43應(yīng)用級容災(zāi)幾種實現(xiàn)方式445. 一體化集中備份系統(tǒng)456.容災(zāi)網(wǎng)絡(luò)建設(shè)方案設(shè)計46整體容災(zāi)網(wǎng)絡(luò)架構(gòu)設(shè)計46前端服務(wù)網(wǎng)絡(luò)容災(zāi)方案47服務(wù)器數(shù)據(jù)網(wǎng)絡(luò)容災(zāi)方案49存儲網(wǎng)絡(luò)容災(zāi)方案50本項目建議容災(zāi)網(wǎng)絡(luò)方案515.本項目災(zāi)備系統(tǒng)建設(shè)的幾點建議521.需要按照災(zāi)備要求桅理系統(tǒng)522.解決好數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)復(fù)制523. “現(xiàn)實”的切換策略536.軟硬件設(shè)計5
5、41.軟硬件總體選型原則542.同城容災(zāi)中心軟硬件設(shè)計552. 1.一體化備份系統(tǒng)552. 2.數(shù)據(jù)庫容災(zāi)系統(tǒng)562. 3.云計算平臺容災(zāi)系統(tǒng)572. 4.同城數(shù)據(jù)存儲容災(zāi)系統(tǒng)58 HYPERLINK l bookmark64 o Current Document 2. 5.機(jī)房改造系統(tǒng)58 HYPERLINK l bookmark66 o Current Document 2. 6.網(wǎng)絡(luò)系統(tǒng)60 HYPERLINK l bookmark68 o Current Document 2. 7.安全系統(tǒng)602. 8.詳細(xì)軟硬件配置清單603.遠(yuǎn)程容災(zāi)中心軟硬件設(shè)計633. 1,遠(yuǎn)程數(shù)據(jù)備份系統(tǒng)63
6、3. 2.遠(yuǎn)程數(shù)據(jù)庫容災(zāi)系統(tǒng)643. 3.遠(yuǎn)程云計算平臺容災(zāi)系統(tǒng)653. 4.遠(yuǎn)程數(shù)據(jù)存儲容災(zāi)系統(tǒng)66 HYPERLINK l bookmark70 o Current Document 3. 5.網(wǎng)絡(luò)系統(tǒng)66 HYPERLINK l bookmark72 o Current Document 3. 6.安全系統(tǒng)663. 7,詳細(xì)軟硬件配置清單66目組織機(jī)構(gòu)和人員培訓(xùn)681.領(lǐng)導(dǎo)和管理機(jī)構(gòu)682.項目實施機(jī)構(gòu)693.運行維護(hù)機(jī)構(gòu)694.技術(shù)力量和人員配置705.人員培訓(xùn)方案708.項目實施進(jìn)度711.項目建設(shè)期712.實施進(jìn)度計劃718. 2. 1,同城容災(zāi)中心建設(shè)計劃718. 2. 2.異地
7、容災(zāi)中心建設(shè)計劃739.投資估算741.投資估算的說明742.投資估算743.估算編制依據(jù)75.資金來源與落實759. 5.投資估算明細(xì)表.現(xiàn)狀綜述XX市政府管理中心自成立之日起,就按照集中建設(shè)的原則完成了 “XX市電子政務(wù) 外網(wǎng)統(tǒng)一平臺示工程項目”的建設(shè)工作,完成了 XX市124家黨政部門的接入工作,完 成了在全市圍只鋪設(shè)一套網(wǎng)絡(luò)基礎(chǔ)設(shè)施的工作,實現(xiàn)了市及電子政務(wù)外網(wǎng)與省、國家政 務(wù)外網(wǎng)之間的互聯(lián)互通,目前共有服務(wù)器500多臺,存儲40多套,部署的虛擬服務(wù)器 300多臺。涵蓋了 XX市各委辦局的大部分?jǐn)?shù)據(jù),包括公安局、財政局、民政局、衛(wèi)生局、 發(fā)展改革委、外力、/僑辦等,并為他們提供了各種電
8、子政務(wù)應(yīng)用系統(tǒng)和業(yè)務(wù)數(shù)據(jù),隨著 業(yè)務(wù)應(yīng)用水平的不斷提高,各局對網(wǎng)絡(luò)辦公和數(shù)據(jù)的依賴程度逐年增加,為保障各委辦 局業(yè)務(wù)數(shù)據(jù)的連續(xù)安全運行,迫切需要對他們的數(shù)據(jù)進(jìn)行備份,但是采用傳統(tǒng)的備份方 式需要針對每一個應(yīng)用配置不同的備份方法、策略及容災(zāi)設(shè)備,將導(dǎo)致投資浪費和管理 成本增加,為解決數(shù)據(jù)備份問題我們計劃引入兩地三中心云災(zāi)備技術(shù)。具體分析,XX市電子政務(wù)的業(yè)務(wù)類型眾多、業(yè)務(wù)系統(tǒng)建設(shè)和運行的歷史比較長,從 系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)結(jié)構(gòu)兩方面來說,都是比較復(fù)雜的。從系統(tǒng)結(jié)構(gòu)來說,既有單機(jī)運行的, 也有WEB、應(yīng)用服務(wù)、數(shù)據(jù)庫三層架構(gòu)的大型業(yè)務(wù)平臺。從數(shù)據(jù)結(jié)構(gòu)來說,既有結(jié)構(gòu)化 數(shù)據(jù)集中存儲的資源庫平臺,所有關(guān)鍵數(shù)
9、據(jù)統(tǒng)一存儲在數(shù)據(jù)庫集群中,也有非結(jié)構(gòu)化數(shù) 據(jù)如文件、圖片等應(yīng)用系統(tǒng)管理維護(hù)的資料數(shù)據(jù)。另外,XX市電子政務(wù)各業(yè)務(wù)系統(tǒng)需要保護(hù)的數(shù)據(jù)類型復(fù)雜多樣,既有各種數(shù)據(jù)庫如 oracle, sqlserver多種版本,mysql等)數(shù)據(jù),也有各種應(yīng)用程序(類,0A類,業(yè)務(wù) 系統(tǒng)類等)各種文檔(word, execle, txt等)各種非結(jié)構(gòu)化數(shù)據(jù)(關(guān)鍵視頻,檔案等), 當(dāng)然也需要對虛擬機(jī)鏡像提供保護(hù)(VMWare和Cloudview等)。以上現(xiàn)狀表明很難用一種災(zāi)備技術(shù)滿足上述多種數(shù)據(jù)類型的容災(zāi)需求,結(jié)合應(yīng)用和 數(shù)據(jù)的關(guān)鍵級別、現(xiàn)有業(yè)務(wù)系統(tǒng)狀況分類進(jìn)行設(shè)計,我們計劃采用數(shù)據(jù)備份、存儲層數(shù) 據(jù)復(fù)制以及數(shù)據(jù)庫層
10、數(shù)據(jù)復(fù)制幾種容災(zāi)技術(shù)構(gòu)建兩地三中心災(zāi)備方案。.總體建設(shè)方案. L建設(shè)原則和策略L建設(shè)原則xx市政務(wù)信息化容災(zāi)備份及安全系統(tǒng)建設(shè)是信息中心信息安全保障體系的重要組 成部分,信息中心適應(yīng)信息化發(fā)展趨勢作出的一項重大戰(zhàn)略部署,XX政務(wù)容災(zāi)系統(tǒng)建設(shè) 需要遵循以下建設(shè)原則:統(tǒng)籌規(guī)劃原則。容災(zāi)備份系統(tǒng)建設(shè),涉及技術(shù)面廣,復(fù)雜程度高,投資巨大,因此 我們必須牢固樹立“一盤棋”思想,堅持統(tǒng)籌規(guī)劃,抓緊資源整合,協(xié)調(diào)各方力量,著 眼實際、著眼全局、著眼長遠(yuǎn),切實以統(tǒng)籌的理念推進(jìn)信息化容災(zāi)備份系統(tǒng)建設(shè)。循序漸進(jìn)原則。信息化容災(zāi)備份系統(tǒng)建設(shè)是一項系統(tǒng)工程,實施周期長,要本著循 序漸進(jìn)的原則,分步建設(shè)和實施。在建設(shè)之
11、前應(yīng)做好詳細(xì)的規(guī)劃設(shè)計,并按照規(guī)劃的容, 分清主次,依次實施。全部建設(shè)完成后,還有定期組織演練,確保災(zāi)備系統(tǒng)能夠正常工 作。平戰(zhàn)結(jié)合原則。災(zāi)難備份資源是為小概率事件準(zhǔn)備的,平時處于備份、測試或者演 練狀態(tài),設(shè)備閑置,因此我們可以在不影響災(zāi)難備份與恢復(fù)功能的前提下,本著平戰(zhàn)結(jié) 合的原則,充分利用數(shù)據(jù)災(zāi)備中心的各類資源,開展信息系統(tǒng)培訓(xùn)、開發(fā)等業(yè)務(wù),真正 讓數(shù)據(jù)災(zāi)難備份中心的各類資源得到充分的利用和發(fā)揮作用。2.建設(shè)策略本項目建設(shè)策略上從過去注重單一部門、單一系統(tǒng)容災(zāi)問題的解決,向支撐全市電 子政務(wù)系統(tǒng)安全高效運行的轉(zhuǎn)變;二是在建設(shè)方式上,從部門獨立建設(shè)、自成體系,向 跨部門跨區(qū)域的協(xié)同互動和資源
12、共享轉(zhuǎn)變;三是在系統(tǒng)模式上,從粗放離散的模式,向 集約整合的模式轉(zhuǎn)變,確保電子政務(wù)項目的可持續(xù)發(fā)展,符合電子政務(wù)項目建設(shè)“集約 化、專業(yè)化、規(guī)?;辈呗?。L集約化策略在關(guān)于加快推進(jìn)國家電子政務(wù)外網(wǎng)建設(shè)工作的通知(發(fā)改高技2009988號)文 件之前,國家各部委應(yīng)用系統(tǒng)采取垂直管理,各自獨立的方式建設(shè)。一套災(zāi)備系統(tǒng)牽涉 到的有基礎(chǔ)設(shè)施建設(shè)、災(zāi)備設(shè)備資源以及經(jīng)驗豐富的運維人員,往往需要大量的資金投 資。我市信息各委辦局都有建設(shè)災(zāi)備系統(tǒng)需求如果都單獨建設(shè),將會是一筆巨大的投資, 并且各個委辦局都需要培養(yǎng)大量相關(guān)的專業(yè)運維管理人員。如何更為集約化的建設(shè)災(zāi)備 系統(tǒng),如何更為簡單的管理和維護(hù)復(fù)雜的災(zāi)備系統(tǒng)
13、,是我們必須面對和解決的難題。目前,已有地稅局、人社局、國土局、財政局、建委等部門提出了災(zāi)備建設(shè)需求。 從這些部門的災(zāi)備建設(shè)方案來看,普遍包括:服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、 鏈路等容,平均需要1000萬左右的投資才能實現(xiàn)關(guān)鍵業(yè)務(wù)應(yīng)用級容災(zāi)的目標(biāo)。此外, 異地容災(zāi)還需要租用機(jī)房、聘用運維人員、支付鏈路費用等。經(jīng)初步估算,已經(jīng)提出或 具有潛在容災(zāi)備份需求的部門,若單獨建設(shè)容災(zāi)系統(tǒng),則最少需要9000萬建設(shè)投資, 災(zāi)備系統(tǒng)的運維費至少達(dá)到每年1800萬。本項目建議為各委辦局的多個業(yè)務(wù)系統(tǒng)建立集中數(shù)據(jù)災(zāi)備中心,相比分別為各個業(yè) 務(wù)系統(tǒng)建立獨立的容災(zāi)系統(tǒng),既節(jié)約IT設(shè)備資源,提高容災(zāi)資源利用率
14、,又能大大減 少后期的管理和運營成本。系統(tǒng)建設(shè)充分調(diào)研了 XX市電子政務(wù)信息系統(tǒng)建設(shè)情況設(shè)計開放性、可擴(kuò)展性的容 災(zāi)策略,支持已有投資系統(tǒng)功能性能,有效的保障了系統(tǒng)的可持續(xù)發(fā)展。2.1. 2. 2.專業(yè)化策略XX市電子政務(wù)的業(yè)務(wù)類型眾多、業(yè)務(wù)系統(tǒng)建設(shè)和運行的歷史比較長,從系統(tǒng)結(jié)構(gòu)和 數(shù)據(jù)結(jié)構(gòu)兩方面來說,都是比較復(fù)雜的。從系統(tǒng)結(jié)構(gòu)來說,既有單機(jī)運行的,也有WEB、 應(yīng)用服務(wù)、數(shù)據(jù)庫三層架構(gòu)的大型業(yè)務(wù)平臺。從數(shù)據(jù)結(jié)構(gòu)來說,既有結(jié)構(gòu)化數(shù)據(jù)集中存 儲的資源庫平臺,所有關(guān)鍵數(shù)據(jù)統(tǒng)一存儲在數(shù)據(jù)庫集群中,也有非結(jié)構(gòu)化數(shù)據(jù)如文件、 圖片等應(yīng)用系統(tǒng)管理維護(hù)的資料數(shù)據(jù)。全市電子政務(wù)各業(yè)務(wù)系統(tǒng)需要保護(hù)的數(shù)據(jù)類型復(fù)雜
15、多樣,既有各種數(shù)據(jù)庫如Oracle、 SQL Server多種版本、MySQL等)數(shù)據(jù),也有各種應(yīng)用程序(類,0A類,業(yè)務(wù)系統(tǒng)類 等)各種文檔(Word, Execle. TXT等)各種非結(jié)構(gòu)化數(shù)據(jù)(關(guān)鍵視頻,檔案等),當(dāng)然 也需要對虛擬機(jī)鏡像提供保護(hù)(VMWare和C1 oudv i ew等)。本項目立足于XX市電子政務(wù)系統(tǒng)的容災(zāi)備份及安全建設(shè),充分的調(diào)研了全市電子 政務(wù)信息系統(tǒng)的建設(shè)和應(yīng)用情況,從網(wǎng)絡(luò)接入、系統(tǒng)業(yè)務(wù)功能及數(shù)據(jù)量、系統(tǒng)涉密情況、 容災(zāi)策略需求、性能指標(biāo)等多方面綜合分析。力爭滿足針對不同的性質(zhì)的系統(tǒng)提出了數(shù) 據(jù)級、應(yīng)用級容災(zāi)策略,同時分析了不同策略的在線模式與離線模式、遠(yuǎn)程數(shù)據(jù)
16、復(fù)制、 同步與異步容災(zāi)、同城與異地等多種容災(zāi)方案,專業(yè)化的解決未來XX市電子政務(wù)信息 系統(tǒng)的容災(zāi)備份需求。2.1. 2. 3.規(guī)?;呗员卷椖考s化建設(shè)的基礎(chǔ)上實現(xiàn)規(guī)模化,項目建成之后將承載XX市95%以上電子政 務(wù)信息系統(tǒng)的容災(zāi)工作,解決我市政府各部門部業(yè)務(wù)系統(tǒng)、跨區(qū)域縱向業(yè)務(wù)應(yīng)用、部門 重點應(yīng)該的容災(zāi)備份需求。容災(zāi)備份中心依托電子政務(wù)外網(wǎng)建設(shè)二期工程將完成全市行政區(qū)劃共有15個區(qū)市 縣(包括先導(dǎo)區(qū)),下轄172個街道(鄉(xiāng)、鎮(zhèn))(這里包括個別區(qū)市縣所管轄的鄉(xiāng)鎮(zhèn)級別 的經(jīng)濟(jì)開發(fā)區(qū))、1512個社區(qū)(村)的全域覆蓋。在數(shù)據(jù)規(guī)模方面,容災(zāi)備份中心將解決包括國家重點民生工程在的1000余個業(yè)務(wù) 系統(tǒng)
17、的容災(zāi)備份工作。2. 2.建設(shè)目標(biāo)2. 2. 1,總體目標(biāo)XX市政務(wù)信息化容災(zāi)備份及安全系統(tǒng)建設(shè)計劃分成兩個階段,即同城災(zāi)備中心建設(shè) 和異地災(zāi)備中心建設(shè),最終建設(shè)成為兩地三中心模式。其中以新建的XX市云計算中心 作為各委辦局業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)中心,XX市管理中心作為同城災(zāi)備中心,可以選用城市 A或是城市B作為異地災(zāi)備中心。云計算中心作為主生產(chǎn)中心,負(fù)責(zé)日常的各委辦局所有業(yè)務(wù)系統(tǒng)的運行。在災(zāi)難發(fā) 生時,在同城容災(zāi)中心恢復(fù)各委辦局關(guān)鍵業(yè)務(wù)的應(yīng)用運行。在城市A異地災(zāi)備中心完成 各委辦局關(guān)鍵數(shù)據(jù)的保護(hù),在發(fā)生地區(qū)級(XX)的災(zāi)難時,保證各個業(yè)務(wù)系統(tǒng)的核心數(shù) 據(jù)不丟失。2. 2. 2.分期目標(biāo)一期目標(biāo):實
18、現(xiàn)XX個委辦局關(guān)鍵數(shù)據(jù)在同城容災(zāi)中心的集中備份,以及XX個關(guān)鍵業(yè)務(wù)在同城 容災(zāi)中心的應(yīng)用級容災(zāi)。二期目標(biāo):實現(xiàn)XX個委辦局關(guān)鍵數(shù)據(jù)在遠(yuǎn)程容災(zāi)中心的集中備份,以及XX個核心業(yè)務(wù)在同城 容災(zāi)中心的應(yīng)用級容災(zāi)。2. 3.建設(shè)容一期建設(shè)容:完成云計算中心、同城災(zāi)備中心、異地災(zāi)備中心兩地三中心容災(zāi)總體設(shè)計完成關(guān)鍵技術(shù)方案驗證、實施方案編制、實施路徑設(shè)計。完成容災(zāi)中心運行管理模式設(shè)計。建設(shè)同城應(yīng)用級容災(zāi)中心二期建設(shè)容:優(yōu)化調(diào)整新建云計算中心建設(shè)城市A或城市B異地數(shù)據(jù)級容災(zāi)中心2.4.總體設(shè)計方案根據(jù)各委辦局的技術(shù)架構(gòu)現(xiàn)狀與策略制定,結(jié)合容災(zāi)技術(shù)的關(guān)鍵技術(shù)分析與最佳實 踐,制定如下總體容災(zāi)架構(gòu):容災(zāi)模式為兩
19、地三中心災(zāi)備模式容災(zāi)級別為數(shù)據(jù)庫系統(tǒng)實現(xiàn)應(yīng)用級別容災(zāi),其他應(yīng)用系統(tǒng)基于同城容災(zāi)中心實 現(xiàn)應(yīng)用級容災(zāi),關(guān)鍵業(yè)務(wù)基于遠(yuǎn)程容災(zāi)中心實現(xiàn)應(yīng)用級容災(zāi)結(jié)構(gòu)化數(shù)據(jù)復(fù)制采用支持異構(gòu)平臺的基于數(shù)據(jù)庫層的數(shù)據(jù)復(fù)制技術(shù),虛擬機(jī)鏡 像等這類關(guān)鍵非結(jié)構(gòu)化數(shù)據(jù)復(fù)制采用基于存儲層的數(shù)據(jù)復(fù)制技術(shù)虛擬機(jī)之間的系統(tǒng)切換技術(shù)以自動切換方式為主,物理機(jī)之間以及物理機(jī)和虛 擬機(jī)之間的系統(tǒng)切換以手工切換方式為主,并配合切換腳本減少系統(tǒng)切換時間容災(zāi)網(wǎng)絡(luò),建議同城數(shù)據(jù)中心之間采用大二層的存儲網(wǎng)絡(luò)架構(gòu),數(shù)據(jù)網(wǎng)絡(luò)和存 儲網(wǎng)絡(luò)的物理連接采用WDM裸光纖高速網(wǎng)絡(luò)連接,本地和異地數(shù)據(jù)中心之間采 用IP網(wǎng)絡(luò)連接,網(wǎng)絡(luò)帶寬要保證系統(tǒng)切換的順暢和數(shù)據(jù)復(fù)制的
20、帶寬需求前端(客戶端)網(wǎng)絡(luò)切換技術(shù)有手工切換、DNS重定向和負(fù)載均衡器的健康路 由注入幾種,本方案建議根據(jù)實際情況選擇以上切換技術(shù)的一種或幾種容災(zāi)系統(tǒng)和生產(chǎn)系統(tǒng)之間的配對關(guān)系為降級配對,就是容災(zāi)中心和生產(chǎn)中心之 間的軟、硬件配置不遵循1:1比例,容災(zāi)中心硬件配置的性能低于生產(chǎn)中心, 容災(zāi)應(yīng)用服務(wù)器以虛擬機(jī)平臺為主,從而進(jìn)一步提升災(zāi)備系統(tǒng)的投入產(chǎn)出比建成后的兩地三中心結(jié)構(gòu)拓?fù)鋱D如下:用地災(zāi)的盤據(jù)中心3.容災(zāi)的核心技術(shù)及選擇容災(zāi)系統(tǒng)是指在相隔較遠(yuǎn)的異地,建立兩套或多套功能相同的IT系統(tǒng),互相之間 可以進(jìn)行健康狀態(tài)監(jiān)視和功能切換,當(dāng)一處系統(tǒng)因意外(如火災(zāi)、地震等)停止工作時, 整個應(yīng)用系統(tǒng)可以切換到
21、另一處,使得該系統(tǒng)功能可以繼續(xù)正常工作。容災(zāi)技術(shù)是系統(tǒng) 的高可用性技術(shù)的一個組成部分,容災(zāi)系統(tǒng)更加強(qiáng)調(diào)處理外界環(huán)境對系統(tǒng)的影響,特別 是災(zāi)難性事件對整個IT節(jié)點的影響,提供節(jié)點級別的系統(tǒng)恢復(fù)功能。容災(zāi)系統(tǒng)衡量指標(biāo)衡量容災(zāi)系統(tǒng)的主要指標(biāo)有RPO (災(zāi)難發(fā)生時允許丟失的數(shù)據(jù)量)、RTO (系統(tǒng)恢復(fù) 的時間)、容災(zāi)半徑(生產(chǎn)系統(tǒng)和容災(zāi)系統(tǒng)之間的距離)以及ROI(容災(zāi)系統(tǒng)的投入產(chǎn)出 比)。RPO是指業(yè)務(wù)系統(tǒng)所允許的災(zāi)難過程中的最大數(shù)據(jù)丟失量(以時間來度量),這是一 個災(zāi)備系統(tǒng)所選用的數(shù)據(jù)復(fù)制技術(shù)有密切關(guān)系的指標(biāo),用以衡量災(zāi)備方案的數(shù)據(jù)冗余備 份能力。RTO是指“將信息系統(tǒng)從災(zāi)難造成的故障或癱瘓狀態(tài)恢復(fù)
22、到可正常運行狀態(tài),并將 其支持的業(yè)務(wù)功能從災(zāi)難造成的不正常狀態(tài)恢復(fù)到可接受狀態(tài)”所需時間,其中包括備 份數(shù)據(jù)恢復(fù)到可用狀態(tài)所需時間、應(yīng)用系統(tǒng)切換時間、以及備用網(wǎng)絡(luò)切換時間等,該指 標(biāo)用以衡量容災(zāi)方案的業(yè)務(wù)恢復(fù)能力。容災(zāi)半徑是指生產(chǎn)中心和災(zāi)備中心之間的直線距離,用以衡量容災(zāi)方案所能防御的 災(zāi)難影響圍。容災(zāi)方案的ROI (Return of Investment,投入產(chǎn)出比)也是用戶需要重點關(guān)注的, 它用以衡量用戶投入到容災(zāi)系統(tǒng)的資金與從中所獲得的收益的比率。顯然,具有零RT0、零RP0和大容災(zāi)半徑的災(zāi)難恢復(fù)方案是用戶最期望的,但受系 統(tǒng)性能要求、適用技術(shù)及成本等方面的約束,這種方案實際上是不大可
23、行的。所以,用 戶在選擇容災(zāi)方案時應(yīng)該綜合考慮災(zāi)難的發(fā)生概率、災(zāi)難對數(shù)據(jù)的破壞力、數(shù)據(jù)所支撐 業(yè)務(wù)的重要性、適用的技術(shù)措施及自身所能承受的成本等多種因素,理性地作出選擇。 3. 2.容災(zāi)級別按照容災(zāi)系統(tǒng)對應(yīng)用系統(tǒng)的保護(hù)程度可以分為數(shù)據(jù)級容災(zāi)、應(yīng)用級容災(zāi)和業(yè)務(wù)級容 災(zāi)。數(shù)據(jù)級容災(zāi)僅將生產(chǎn)中心的數(shù)據(jù)復(fù)制到容災(zāi)中心,在生產(chǎn)中心出現(xiàn)故障時,僅能實 現(xiàn)存儲系統(tǒng)的接管或是數(shù)據(jù)的恢復(fù)。容災(zāi)中心的數(shù)據(jù)可以是本地生產(chǎn)數(shù)據(jù)的完全復(fù)制 (一般在同城實現(xiàn)),也可以比生產(chǎn)數(shù)據(jù)略微落后,但必定是可用的(一般在異地實現(xiàn)), 而差異的數(shù)據(jù)通??梢酝ㄟ^一些工具(如操作記錄、日志等)可以手工補(bǔ)回?;跀?shù)據(jù) 容災(zāi)實現(xiàn)業(yè)務(wù)恢復(fù)的速度
24、較慢,通常情況下RT0超過24小時,但是這種級別的容災(zāi)系 統(tǒng)運行維護(hù)成本較低。應(yīng)用級容災(zāi)是在數(shù)據(jù)級容災(zāi)的基礎(chǔ)上,進(jìn)一步實現(xiàn)應(yīng)用可用性,確保業(yè)務(wù)的快速恢 復(fù)。這就要求容災(zāi)系統(tǒng)的應(yīng)用不能改變原有業(yè)務(wù)處理邏輯,是對生產(chǎn)中心系統(tǒng)的基本復(fù) 制。因此,容災(zāi)中心需要建立起一套和本地生產(chǎn)相當(dāng)?shù)膫浞莪h(huán)境,包括主機(jī)、網(wǎng)絡(luò)、應(yīng) 用、IP等資源均有配套,當(dāng)生產(chǎn)系統(tǒng)發(fā)生災(zāi)難時,異地系統(tǒng)可以提供完全可用的生產(chǎn)環(huán) 境。應(yīng)用級容災(zāi)的RT0通常在12個小時以,技術(shù)復(fù)雜度較高,運行維護(hù)的成本也比較 高。業(yè)務(wù)級容災(zāi)是生產(chǎn)中心與容災(zāi)中心對業(yè)務(wù)請求同時進(jìn)行處理的容災(zāi)方式,能夠確保 業(yè)務(wù)持續(xù)可用。這種方式業(yè)務(wù)恢復(fù)過程的自動化程度高,RT
25、0可以做到30分鐘以。但是 這種容災(zāi)級別的項目實施難度大,需要從應(yīng)用層對系統(tǒng)進(jìn)行改造,比較適合流程固定的 簡單業(yè)務(wù)系統(tǒng)。這種容災(zāi)系統(tǒng)的運行維護(hù)成本最高。3. 3.常見容災(zāi)建設(shè)模式當(dāng)前,市場上常見的容災(zāi)模式可分為同城容災(zāi)、異地容災(zāi)、雙活數(shù)據(jù)中心、兩地三 中心幾種。3. 3. 1.同城容災(zāi)同城容災(zāi)是在同城或相近區(qū)域(W200KM)建立兩個數(shù)據(jù)中心:一個為數(shù)據(jù)中心,負(fù) 責(zé)日常生產(chǎn)運行;另一個為災(zāi)難備份中心,負(fù)責(zé)在災(zāi)難發(fā)生后的應(yīng)用系統(tǒng)運行。同城災(zāi) 難備份的數(shù)據(jù)中心與災(zāi)難備份中心的距離比較近,通信線路質(zhì)量較好,比較容易實現(xiàn)數(shù) 據(jù)的同步復(fù)制,保證高度的數(shù)據(jù)完整性和數(shù)據(jù)零丟失。同城災(zāi)難備份一般用于防火災(zāi)、
26、建筑物破壞、供電故障、計算機(jī)系統(tǒng)及人為破壞引起的災(zāi)難。3. 3. 2.異地容災(zāi)異地容災(zāi)主備中心之間的距離較遠(yuǎn)O200KM)因此一般采用異步鏡像,會有少量的 數(shù)據(jù)丟失。異地災(zāi)難備份不僅可以防火災(zāi)、建筑物破壞等可能遇到的風(fēng)險隱患,還能夠 防戰(zhàn)爭、地震、水災(zāi)等風(fēng)險。由于同城災(zāi)難備份和異地災(zāi)難備份各有所長,為達(dá)到最理 想的防災(zāi)效果,數(shù)據(jù)中心應(yīng)考慮采用同城和異地各建立一個災(zāi)難備份中心的方式解決。3. 3. 3.兩地三中心結(jié)合近年國出現(xiàn)的大圍自然災(zāi)害,以同城雙中心加異地災(zāi)備中心的“兩地三中心” 的災(zāi)備模式也隨之出現(xiàn),這一方案兼具高可用性和災(zāi)難備份的能力。同城雙中心是指在同城或鄰近城市建立兩個可獨立承擔(dān)關(guān)鍵
27、系統(tǒng)運行的數(shù)據(jù)中心, 雙中心具備基本等同的業(yè)務(wù)處理能力并通過高速鏈路實時同步數(shù)據(jù),日常情況下可同時 分擔(dān)業(yè)務(wù)及管理系統(tǒng)的運行,并可切換運行;災(zāi)難情況下可在基本不丟失數(shù)據(jù)的情況下 進(jìn)行災(zāi)備應(yīng)急切換,保持業(yè)務(wù)連續(xù)運行。異地災(zāi)備中心是指在異地的城市建立一個備份的災(zāi)備中心,用于雙中心的數(shù)據(jù)備份, 當(dāng)雙中心出現(xiàn)自然災(zāi)害等原因而發(fā)生故障時,異地災(zāi)備中心可以用備份數(shù)據(jù)進(jìn)行業(yè)務(wù)的 恢復(fù)。3. 3. 4.雙活數(shù)據(jù)中心所謂“雙活”或“多活”數(shù)據(jù)中心,區(qū)別于傳統(tǒng)數(shù)據(jù)中心和災(zāi)備中心的模式,前者 多個或兩個數(shù)據(jù)中心都處于運行當(dāng)中,運行相同的應(yīng)用,具備同樣的數(shù)據(jù),能夠提供跨 中心業(yè)務(wù)負(fù)載均衡運行能力,實現(xiàn)持續(xù)的應(yīng)用可用性
28、和災(zāi)難備份能力,所以稱為“雙活” 和“多活”;后者是生產(chǎn)數(shù)據(jù)中心投入運行,災(zāi)備數(shù)據(jù)中心處在不工作狀態(tài),只有當(dāng)災(zāi) 難發(fā)生時,生產(chǎn)數(shù)據(jù)中心癱瘓,災(zāi)備中心才啟動?!半p活”數(shù)據(jù)中心最大的特點是:一、充分利用資源,避免了一個數(shù)據(jù)中心常年處 于閑置狀態(tài)而造成浪費,通過資源整合,“雙活”數(shù)據(jù)中心的服務(wù)能力是翻倍的;二、 “雙活”數(shù)據(jù)中心如果斷了一個數(shù)據(jù)中心,其業(yè)務(wù)可以迅速切換到另外一個正在運行的 數(shù)據(jù)中心,切換過程對用戶來說是不可感知的。在“雙活”的模式中,兩地數(shù)據(jù)中心同時接納交易,技術(shù)難度很大,需要更改眾 多底層程序,因而在現(xiàn)實中,國還沒有真正“雙活”數(shù)據(jù)中心的成功應(yīng)用案例。3. 4.常用的數(shù)據(jù)復(fù)制技術(shù)在
29、構(gòu)建容災(zāi)系統(tǒng)所涉及的諸多要素中,數(shù)據(jù)復(fù)制技術(shù)是基礎(chǔ),只有保證了數(shù)據(jù)的安 全可用,應(yīng)用或是業(yè)務(wù)的恢復(fù)才有可能。正常情況下系統(tǒng)的各種應(yīng)用在數(shù)據(jù)中心運行, 數(shù)據(jù)存放在數(shù)據(jù)中心和災(zāi)難備份中心兩地保存。當(dāng)災(zāi)難發(fā)生時,使用備份數(shù)據(jù)對工作系 統(tǒng)進(jìn)行恢復(fù)或?qū)?yīng)用切換到備份中心。數(shù)據(jù)復(fù)制技術(shù)的選擇決定災(zāi)備系統(tǒng)的RPO指標(biāo),災(zāi)難備份系統(tǒng)中數(shù)據(jù)備份技術(shù)的選 擇應(yīng)符合數(shù)據(jù)恢復(fù)時間或系統(tǒng)切換時間滿足業(yè)務(wù)連續(xù)性的要求。數(shù)據(jù)復(fù)制(Replication)是指利用復(fù)制軟件把數(shù)據(jù)從一個磁盤復(fù)制到另一個磁盤, 生成一個數(shù)據(jù)副本。這個數(shù)據(jù)副本是數(shù)據(jù)處理系統(tǒng)直接可以訪問的,不需要進(jìn)行任何的 數(shù)據(jù)恢復(fù)操作,這一點是復(fù)制與D2D備份的最
30、大區(qū)別。根據(jù)不同容災(zāi)方案所采用數(shù)據(jù)復(fù)制技術(shù)位于企業(yè)IT架構(gòu)不同層面,數(shù)據(jù)復(fù)制可分 為基于存儲層的復(fù)制、基于主機(jī)層復(fù)制和基于應(yīng)用的復(fù)制。具體到一個I/O從磁盤到應(yīng)用的流程上,可能經(jīng)由磁盤陣列、存儲網(wǎng)絡(luò)、卷管理軟 件、文件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)和應(yīng)用系統(tǒng)全部流程或是其中的幾個流程,那么數(shù)據(jù)復(fù)制就 可以在這些流程的任一層次上實現(xiàn),如下圖所示:/基于文件 、_系統(tǒng)系制等容性I復(fù)雜度I帶寬要求I文件系統(tǒng)I/ 拉?操作數(shù)據(jù)庫管理系統(tǒng)/基于網(wǎng)絡(luò)aj/基于陣列基于存儲層的復(fù)制可以是由存儲設(shè)備的控制器執(zhí)行,也可以是由網(wǎng)絡(luò)層的虛擬化存 儲管理平臺來執(zhí)行,基于存儲層的復(fù)制基于主機(jī)和應(yīng)用的無關(guān)性,兼容性要求最低,實 施難度
31、最小,但是由于是卷級別的數(shù)據(jù)拷貝,對網(wǎng)絡(luò)帶寬要求最高;基于主機(jī)的復(fù)制可 以由安裝在主機(jī)上的卷管理軟件或是文件系統(tǒng)來實現(xiàn),在實際的應(yīng)用場景中,以基于卷 管理軟件的數(shù)據(jù)復(fù)制技術(shù)居多,這種方式通常要求主機(jī)平臺相關(guān),實施難度升高,但是 帶寬要求降低;基于數(shù)據(jù)層的復(fù)制通過數(shù)據(jù)庫的容災(zāi)功能模塊來實現(xiàn),對網(wǎng)絡(luò)帶寬要求 最低,但是只能實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)的容災(zāi);基于應(yīng)用層的數(shù)據(jù)復(fù)制需要對應(yīng)用程序進(jìn)行定 制開發(fā),現(xiàn)實場景中很難見到。下面就重點介紹一下幾種常見的數(shù)據(jù)復(fù)制技術(shù)。3. 4. 1.基于存儲層的容災(zāi)復(fù)制方案 3. 4. L L基于存儲設(shè)備的數(shù)據(jù)復(fù)制基于存儲設(shè)備的數(shù)據(jù)復(fù)制技術(shù)的核心是利用存儲陣列自身的盤陣對盤陣的
32、數(shù)據(jù)塊 復(fù)制技術(shù)實現(xiàn)對生產(chǎn)數(shù)據(jù)的遠(yuǎn)程拷貝,從而實現(xiàn)生產(chǎn)數(shù)據(jù)的災(zāi)難保護(hù)。在主數(shù)據(jù)中心發(fā) 生災(zāi)難時,可以直接利用災(zāi)備中心的數(shù)據(jù)建立運營支撐環(huán)境,為業(yè)務(wù)繼續(xù)運營提供IT 支持。同時,也可以利用災(zāi)備中心的數(shù)據(jù)恢復(fù)主數(shù)據(jù)中心的業(yè)務(wù)系統(tǒng),從而能夠讓企業(yè)的業(yè)務(wù)運營快速回復(fù)到災(zāi)難發(fā)生前的正常運營狀態(tài)。 基于存儲設(shè)備的數(shù)據(jù)復(fù)制技術(shù)示意圖如下: IP網(wǎng)絡(luò) 二數(shù)據(jù)復(fù)制款據(jù)恢復(fù)FC 或 IP同龍或異步主數(shù)據(jù)中心容災(zāi)數(shù)據(jù)中心基于存儲設(shè)備的復(fù)制可以是如上示意圖的“一對一”復(fù)制方式,也可以是“一對多 或多對一”的復(fù)制方式,即一個存儲的數(shù)據(jù)復(fù)制到多個遠(yuǎn)程存儲或多個存儲的數(shù)據(jù)復(fù)制 到同一遠(yuǎn)程存儲;而且復(fù)制可以是雙向的?;诖鎯?/p>
33、的數(shù)據(jù)復(fù)制技術(shù)有兩種方式:同步方式和異步方式。同步方式:可以做到主/備數(shù)據(jù)中心磁盤陣列同步地進(jìn)行數(shù)據(jù)更新,應(yīng)用系統(tǒng)的I/O 寫入主磁盤陣列后(寫入Cache中),主磁盤陣列將利用自身的機(jī)制同時將寫I/O寫入后 備磁盤陣列,后備磁盤陣列確認(rèn)后,主中心磁盤陣列才返回應(yīng)用的寫操作完成信息。異步方式:是在應(yīng)用系統(tǒng)的I/O寫入主磁盤陣列后(寫入Cache中),主磁盤陣列立 即返回給主機(jī)應(yīng)用系統(tǒng)“寫完成”信息,主機(jī)應(yīng)用可以繼續(xù)進(jìn)行寫I/O操作。同時,主 中心磁盤陣列將利用自身的機(jī)制將寫I/O寫入后備磁盤陣列,實現(xiàn)數(shù)據(jù)保護(hù)。采用同步方式,使得后備磁盤陣列中的數(shù)據(jù)總是與生產(chǎn)系統(tǒng)數(shù)據(jù)同步,因此當(dāng)生產(chǎn) 數(shù)據(jù)中心發(fā)
34、生災(zāi)難事件時,不會造成數(shù)據(jù)丟失,可以實現(xiàn)RPO為零。為避免對生產(chǎn)系統(tǒng) 性能的影響,同步方式通常在近距離圍(FC連接通常是200KM圍,實際用戶部署多在 35KM 之)。而采用異步方式應(yīng)用程序不必等待遠(yuǎn)程更新的完成,因此遠(yuǎn)程備份存儲設(shè)備的性能 的影響通常較小,并且生產(chǎn)中心的距離和災(zāi)備中心的距離理論上沒有限制(通常基于IP 連接來實現(xiàn)數(shù)據(jù)的異步復(fù)制)。采用基于存儲設(shè)備數(shù)據(jù)復(fù)制技術(shù)構(gòu)建容災(zāi)方案的必要前提是:通常必須采用同一廠家統(tǒng)一系列的且同時具有數(shù)據(jù)復(fù)制技術(shù)的高端存儲平臺,給用戶的存儲平臺選擇帶來一定的限制。采用同步方式可能對生產(chǎn)系統(tǒng)性能產(chǎn)生影響,而且對通信鏈路要求較高,有距 離限制,通常在近距離圍
35、實現(xiàn)(同城容災(zāi)或園區(qū)容災(zāi)方案)采用異步方式與其他種類的異步容災(zāi)方案一樣,存在數(shù)據(jù)丟失的風(fēng)險,通常在遠(yuǎn) 距離通信鏈路帶寬有限的情況下實施。盡管有以上限制,基于存儲設(shè)備的數(shù)據(jù)復(fù)制技術(shù)仍然是當(dāng)前選擇較多的容災(zāi)技術(shù)平 臺,這主要是由于基于存儲的復(fù)制技術(shù)方案有如下優(yōu)點:采用基于存儲的數(shù)據(jù)復(fù)制獨立于主機(jī)平臺和應(yīng)用,對各種應(yīng)用都適用,而且完 全不消耗主機(jī)的處理資源;基于存儲得數(shù)據(jù)復(fù)制技術(shù),由于在最底層,實施起來受應(yīng)用、主機(jī)環(huán)境等相關(guān) 技術(shù)的影響最小,非常適合于主機(jī)和業(yè)務(wù)系統(tǒng)很多、很復(fù)雜的環(huán)境,采用此種 方式可以有效降低實施和管理難度;采用同步方式可以完全不丟失數(shù)據(jù),在同城容災(zāi)或園區(qū)容災(zāi)方案中,只要通信 鏈路
36、帶寬許可,完全可以采用同步方案,而不會對主數(shù)據(jù)中心的生產(chǎn)系統(tǒng)性能 產(chǎn)生顯著影響;采用異步方式雖然存在一定的數(shù)據(jù)丟失的風(fēng)險,但沒有距離限制,可以實現(xiàn)遠(yuǎn) 距離保護(hù);災(zāi)備中心的數(shù)據(jù)可以得到一定程度上的有效利用(用作測試或報表等)。構(gòu)建成本:存儲層容災(zāi)產(chǎn)品報價,都是采用磁盤陣列的高級功能許可授權(quán)方式進(jìn)行報價。并按 照磁盤陣列的具體數(shù)量進(jìn)行報價。越是高端盤陣,高級功能模塊授權(quán)價格成階梯式增長。除了這些高級功能授權(quán)的許可外,其還有MA (維護(hù))費用以及實施費用,MA費用 整體磁盤陣列報價(含高級功能模塊)的25%左右。實施費用一般按人天費用方式進(jìn)行計算,總體成本很高。另外,其對帶寬要求很高,容災(zāi)網(wǎng)絡(luò)建設(shè)費
37、用更高。適用場景:存儲設(shè)備復(fù)制技術(shù)利用磁盤陣列自身卷復(fù)制功能實現(xiàn),首先要求必須是同構(gòu)高端存 儲系統(tǒng),其次對帶寬要求較高,實現(xiàn)的是底層數(shù)據(jù)塊級別的復(fù)制,屬于數(shù)據(jù)層容災(zāi)疇。這類容災(zāi)產(chǎn)品由于其自身的功能特性,作為高端盤陣衍生出來的附加高級功能來實 現(xiàn)容災(zāi),其投資巨大,從盤陣本身到鏈路的要求都極高,需要專門的鏈路確保數(shù)據(jù)的一 致性。當(dāng)災(zāi)難發(fā)生時,需要通過人工調(diào)整的方式,將鏡像卷提供給遠(yuǎn)端生產(chǎn)業(yè)務(wù)系統(tǒng), 實現(xiàn)業(yè)務(wù)系統(tǒng)的容災(zāi),RTO在數(shù)小時以上。經(jīng)過以上分析可以看出,基于存儲層的災(zāi)備方案對存儲平臺要求非常嚴(yán)格,適合用 于為底層存儲平臺單一、服務(wù)器平臺構(gòu)成復(fù)雜、上層應(yīng)用繁多的IT系統(tǒng)構(gòu)建數(shù)據(jù)級的 容災(zāi)方案,
38、不適合于復(fù)雜、異構(gòu)存儲平臺的容災(zāi)場景需求。3. 4.1. 2.基于虛擬化存儲技術(shù)的數(shù)據(jù)復(fù)制存儲虛擬化的技術(shù)方法,是將系統(tǒng)中各種異構(gòu)的存儲設(shè)備映射為一個單一的存儲資 源,對用戶完全透明,達(dá)到屏蔽存儲設(shè)備異構(gòu)的目的。通過虛擬化技術(shù),用戶可以利用 已有的硬件資源,把SAN部的各種異構(gòu)的存儲資源統(tǒng)一成對用戶來說是單一視圖的存儲 資源(Storage Pool),而且采用 Striping, LUN Masking、Zoning 等技術(shù),用戶可以 根據(jù)自己的需求對這個大的存儲池進(jìn)行方便的分割、分配,保護(hù)了用戶的已有投資,減 少了總體擁有成本(TCO)o另外也可以根據(jù)業(yè)務(wù)的需要,實現(xiàn)存儲池對服務(wù)器的動態(tài)而
39、 透明的增長與縮減。通過存儲虛擬化技術(shù)可以實現(xiàn)數(shù)據(jù)的遠(yuǎn)程復(fù)制,這種數(shù)據(jù)復(fù)制技術(shù)原理和基于存儲 設(shè)備的原理基本一樣,唯一的區(qū)別就是前者由存儲虛擬化控制器實現(xiàn),或者由磁盤陣列 控制器實現(xiàn),所以這種技術(shù)不要求底層磁盤陣列同構(gòu)。存儲虛擬化技術(shù)通常在存儲網(wǎng)絡(luò) 層面實現(xiàn),其數(shù)據(jù)復(fù)制同樣也可以有同步復(fù)制方案和異步復(fù)制方案,需要根據(jù)具體的需 求選擇合適的技術(shù)。 同城中心1同城中心2基于存儲虛擬化控制器的兩地三中心容災(zāi)方案架構(gòu)采用虛擬存儲化技術(shù)建設(shè)容災(zāi)方案有以下優(yōu)點:主生產(chǎn)中心和容災(zāi)中心的存儲陣列可以是不同廠家的產(chǎn)品,存儲平臺選擇不受 現(xiàn)有存儲平臺廠商的限制;對不同廠家的存儲陣列提供統(tǒng)一的管理界面。在虛擬存儲環(huán)
40、境下,無論后端物理存儲是什么設(shè)備,服務(wù)器及其應(yīng)用系統(tǒng)看到的都 是其熟悉的存儲設(shè)備的邏輯鏡像。即便物理存儲發(fā)生變化,這種邏輯鏡像也永遠(yuǎn)不變, 系統(tǒng)管理員不必再關(guān)心后端存儲,只需專注于管理存儲空間,所有的存儲管理操作,如 系統(tǒng)升級、建立和分配虛擬磁盤、改變RAID級別、擴(kuò)充存儲空間等比從前的任何產(chǎn)品 都容易,存儲管理變得輕松簡單。采用虛擬存儲化技術(shù)建設(shè)容災(zāi)方案需要考慮以下問題:需要驗證選擇的產(chǎn)品和技術(shù)的成熟性以及和現(xiàn)有設(shè)備、未來設(shè)備的兼容性能力;存儲虛擬化控制器作為一種帶接管方式,存儲系統(tǒng)的性能直接和存儲虛擬化控 制器相關(guān),在高I/O負(fù)載應(yīng)用場景下,需要考慮存儲虛擬化控制器的性能瓶頸 問題。虛擬化
41、技術(shù)即繼承了基于存儲設(shè)備實現(xiàn)數(shù)據(jù)復(fù)制方案的優(yōu)點,同時又能兼容異構(gòu)存 儲系統(tǒng),并且切換過程比較簡單,甚至可以實現(xiàn)自動切換,成為越來越多容災(zāi)用戶的選 擇。構(gòu)建成本:存儲網(wǎng)絡(luò)層產(chǎn)品報價,一般采用虛擬化網(wǎng)關(guān)的數(shù)量和容量結(jié)合起來的報價方式,存 儲網(wǎng)關(guān)數(shù)量的多少和虛擬化存儲容量的多少都直接影響整個報價。除此之外還有MA費用和實施費用,MA費用整體價格的25%左右。實施費用一般按人天費用方式進(jìn)行計算,總體成本較高。另外,其對帶寬要求比較高,容災(zāi)網(wǎng)絡(luò)建設(shè)費用比較高。適用場景:存儲網(wǎng)絡(luò)層容災(zāi)產(chǎn)品,利用了存儲虛擬化技術(shù),將后臺存儲進(jìn)行統(tǒng)一池化的方式進(jìn) 行管理。利用其鏡像和復(fù)制技術(shù),實現(xiàn)池化后數(shù)據(jù)塊的鏡像和復(fù)制,保
42、證數(shù)據(jù)的一致性。 從實現(xiàn)方式上面來講,屬于數(shù)據(jù)層容災(zāi)疇。其有兩種實現(xiàn)方式:一種是鏡像的方式,通過鏡像技術(shù)實現(xiàn)數(shù)據(jù)塊的完全同步,這種采用的是同步方式, 對帶寬要求極高。另外一種復(fù)制的方式,采用虛擬化網(wǎng)關(guān)機(jī)頭之間的數(shù)據(jù)復(fù)制實現(xiàn),它可以采用同步 方式也可以采用異步的方式,往往受限于帶寬的限制,這種復(fù)制方式往往采用異步的方 式進(jìn)行復(fù)制。不管采用哪種方式進(jìn)行數(shù)據(jù)的一致性保證,數(shù)據(jù)卷都存在主備關(guān)系,遠(yuǎn)端數(shù)據(jù)卷不 能被前端業(yè)務(wù)系統(tǒng)進(jìn)行訪問,當(dāng)災(zāi)難發(fā)生時,通過自動切換人工調(diào)整的方式,將遠(yuǎn)端卷 提供給遠(yuǎn)端業(yè)務(wù)系統(tǒng),實現(xiàn)業(yè)務(wù)系統(tǒng)的容災(zāi)。這類產(chǎn)品采用的都是帶虛擬化方式,很好的解決了異構(gòu)存儲容災(zāi)問題,但是其數(shù)據(jù) 流都
43、要經(jīng)過虛擬化網(wǎng)關(guān),前端業(yè)務(wù)系統(tǒng)性能會有所下降,其吞吐能力受到限制。綜合這類產(chǎn)品的特性,其適合用于為擁有較多型號的異構(gòu)磁盤陣列并承擔(dān)多個應(yīng)用 的現(xiàn)有IT系統(tǒng)構(gòu)建容災(zāi)平臺方案。3. 4. 2.基于主機(jī)數(shù)據(jù)復(fù)制技術(shù)的災(zāi)備方案采用基于主機(jī)復(fù)制技術(shù)的容災(zāi)方案的示意圖如下:生產(chǎn)蒙據(jù)中心-需災(zāi)中心圖31.基于主機(jī)的容災(zāi)方案示意圖采用基于主機(jī)系統(tǒng)的數(shù)據(jù)復(fù)制技術(shù)的核心是利用主、備中心主機(jī)系統(tǒng)通過IP網(wǎng)絡(luò) 建立數(shù)據(jù)傳輸通道,通過主機(jī)數(shù)據(jù)管理軟件實現(xiàn)數(shù)據(jù)的遠(yuǎn)程復(fù)制,當(dāng)主數(shù)據(jù)中心的數(shù)據(jù) 遭到破壞時,可以隨時從備份中心恢復(fù)應(yīng)用或從備份中心恢復(fù)數(shù)據(jù),從而給企業(yè)提供了 應(yīng)用系統(tǒng)容災(zāi)的能力。實現(xiàn)主機(jī)層數(shù)據(jù)復(fù)制的數(shù)據(jù)管理軟件有
44、很多產(chǎn)品,如Symantec公司的Veritas Volume Replicator(VVR)以及Rose HA公司的Rose Replicator等,這些方案可實現(xiàn)基 于主機(jī)的遠(yuǎn)程數(shù)據(jù)復(fù)制,從而構(gòu)建基于主機(jī)的容災(zāi)系統(tǒng)。采用基于主機(jī)的數(shù)據(jù)復(fù)制技術(shù)建設(shè)容災(zāi)方案有以下優(yōu)點:基于主機(jī)的方案最主要的優(yōu)點是只和服務(wù)器平臺和主機(jī)數(shù)據(jù)管理軟件相關(guān),完 全不依賴于底層存儲平臺,生產(chǎn)中心和災(zāi)備中心可以采用不同的存儲平臺;可同時對數(shù)據(jù)庫和文件系統(tǒng)提供容災(zāi)保護(hù);有很多不同的基于主機(jī)的方案,可以滿足用戶的不同數(shù)據(jù)保護(hù)要求,提供多種 不同數(shù)據(jù)保護(hù)模式;基于IP網(wǎng)絡(luò),沒有距離限制;同時,采用主機(jī)的數(shù)據(jù)復(fù)制技術(shù)建設(shè)容災(zāi)方案
45、有以下局限:基于主機(jī)的方案需要主機(jī)平臺同構(gòu);基于主機(jī)的數(shù)據(jù)復(fù)制方案由于生產(chǎn)主機(jī)既要處理生產(chǎn)請求,又要處理遠(yuǎn)程數(shù)據(jù) 復(fù)制,必須消耗生產(chǎn)主機(jī)的計算資源,對于主機(jī)的存、CPU進(jìn)行升級是非常昂 貴的,因而對生產(chǎn)主機(jī)性能產(chǎn)生較大的影響,甚至是產(chǎn)生嚴(yán)重影響;災(zāi)備中心的數(shù)據(jù)一般不可用,如果用戶需要在遠(yuǎn)程數(shù)據(jù)中心使用生產(chǎn)數(shù)據(jù)進(jìn)行 開發(fā)測試、DW/BI應(yīng)用使用將非常困難;利用主機(jī)數(shù)據(jù)復(fù)制軟件的方案比較復(fù)雜,尤其是和數(shù)據(jù)庫應(yīng)用結(jié)合的時候需要 很復(fù)雜的機(jī)制或多種軟件的結(jié)合,從而對生產(chǎn)系統(tǒng)的穩(wěn)定性、可靠性、性能帶 來較大影響;如果有多個系統(tǒng)、多種應(yīng)用需要災(zāi)難保護(hù),采用基于主機(jī)的方案將無法用統(tǒng)一的技術(shù)方案來實現(xiàn)。管理復(fù)
46、雜,需要大量的人工干預(yù)過程,容易發(fā)生錯誤。主流產(chǎn)品列表:廠家名稱產(chǎn)品型號容災(zāi)功能賽門鐵克Storage Foundation鏡像/復(fù)制構(gòu)建成本:主機(jī)層卷復(fù)制容災(zāi)產(chǎn)品,通常的報價方式是按照主機(jī)的CPU數(shù)據(jù)進(jìn)行報價,主機(jī)數(shù) 量越多,CPU數(shù)量越多價格也越高,同樣也存在MA費用和實施費用。此類容災(zāi)產(chǎn)品,相應(yīng)的容災(zāi)網(wǎng)絡(luò)建設(shè)成本相對較低。適用場景:目前,企業(yè)采用基于主機(jī)的數(shù)據(jù)復(fù)制技術(shù)建設(shè)容災(zāi)方案的案例相對比較少,通常適 合單一應(yīng)用或系統(tǒng)在I/O規(guī)模不大的情況下局部使用。在應(yīng)用I/O負(fù)載比較大,需要災(zāi) 難保護(hù)的應(yīng)用及應(yīng)用類型比較多、主機(jī)環(huán)境復(fù)雜的時候,基于主機(jī)系統(tǒng)的方案并不適用。4. 3.基于數(shù)據(jù)庫的數(shù)據(jù)
47、復(fù)制技術(shù)構(gòu)建災(zāi)備方案基于數(shù)據(jù)庫的數(shù)據(jù)復(fù)制技術(shù)大體上可分為兩類:數(shù)據(jù)庫自己提供的數(shù)據(jù)容災(zāi)模塊和 第三方廠商提供的數(shù)據(jù)庫復(fù)制技術(shù)。以最常見的Oracle數(shù)據(jù)庫為例,Oracle自己的數(shù) 據(jù)復(fù)制技術(shù)有 Data Guard, Streams, Advanced Replication 和 Golden Gate 數(shù)據(jù)復(fù)制 軟件。第三方廠商的數(shù)據(jù)復(fù)制技術(shù)有Quest公司的Share Plex和DSG的RealSync等。4. 3. 1.幾種常見數(shù)據(jù)庫復(fù)制技術(shù)Data Guard數(shù)據(jù)復(fù)制技術(shù)Data Guard是Oracle數(shù)據(jù)庫自帶的數(shù)據(jù)同步功能,基本原理是將日志文件從原數(shù) 據(jù)庫傳輸?shù)侥繕?biāo)數(shù)據(jù)庫,然后
48、在目標(biāo)數(shù)據(jù)庫上應(yīng)用(Apply)這些日志文件,從而使目 標(biāo)數(shù)據(jù)庫與源數(shù)據(jù)庫保持同步。Data Guard提供了三種日志傳輸(Redo Transport )方 式,分別是ARCH傳輸、LGWR同步傳輸和LGWR異步傳輸。在上述三種日志傳輸方式的基 礎(chǔ)上,提供了三種數(shù)據(jù)保護(hù)模式,即最大性能(Maximum Performance Mode),最大保 護(hù)(Maximum Protection Mode)和最大可用(Maximum Availability Mode),其中最 大保護(hù)模式和最大可用模式要求日志傳輸必須用LGWR同步傳輸方式,最大性能模式下 可用任何一種日志傳輸方式。最大性能模式:這種
49、模式是默認(rèn)的數(shù)據(jù)保護(hù)模式,在不影響源數(shù)據(jù)庫性能的條件下 提供盡可能高的數(shù)據(jù)保護(hù)等級。在該種模式下,一旦日志數(shù)據(jù)寫到源數(shù)據(jù)庫的聯(lián)機(jī)日志 文件,事務(wù)即可提交,不必等待日志寫到目標(biāo)數(shù)據(jù)庫,如果網(wǎng)絡(luò)帶寬充足,該種模式可 提供類似于最大可用模式的數(shù)據(jù)保護(hù)等級。最大保護(hù)模式:在這種模式下,日志數(shù)據(jù)必須同時寫到源數(shù)據(jù)庫的聯(lián)機(jī)日志文件和 至少一個目標(biāo)庫的備用日志文件(standby redo log),事務(wù)才能提交。這種模式可確 保數(shù)據(jù)零丟失,但代價是源數(shù)據(jù)庫的可用性,一旦日志數(shù)據(jù)不能寫到至少一個目標(biāo)庫的 備用日志文件(standby redo log),源數(shù)據(jù)庫將會被關(guān)閉。這也是目前市場上唯一的 一種可確保
50、數(shù)據(jù)零丟失的數(shù)據(jù)庫同步解決方案。最大可用模式:這種模式在不犧牲源數(shù)據(jù)庫可用性的條件下提供了盡可能高的數(shù)據(jù) 保護(hù)等級。與最大保護(hù)模式一樣,日志數(shù)據(jù)需同時寫到源數(shù)據(jù)庫的聯(lián)機(jī)日志文件和至少 一個目標(biāo)庫的備用日志文件(standby redo log),事務(wù)才能提交,與最大保護(hù)模式不 同的是,如果日志數(shù)據(jù)不能寫到至少一個目標(biāo)庫的備用日志文件(standby redo log), 源數(shù)據(jù)庫不會被關(guān)閉,而是運行在最大性能模式下,待故障解決并將延遲的日志成功應(yīng) 用在目標(biāo)庫上以后,源數(shù)據(jù)庫將會自動回到最大可用模式下。根據(jù)在目標(biāo)庫上日志應(yīng)用(Log Apply)方式的不同,Data Guard可分為Physic
51、al Standby (Redo App 1 y)和 Logical Standby (SQL Apply)兩種。Physical Standby數(shù)據(jù)庫,在這種方式下,目標(biāo)庫通過介質(zhì)恢復(fù)的方式保持與源數(shù) 據(jù)庫同步,這種方式支持任何類型的數(shù)據(jù)對象和數(shù)據(jù)類型,一些對數(shù)據(jù)庫物理結(jié)構(gòu)的操 作如數(shù)據(jù)文件的添加,刪除等也可支持。如果需要,Physical Standby數(shù)據(jù)庫可以只讀 方式打開,用于報表查詢、數(shù)據(jù)校驗等操作,待這些操作完成后再將數(shù)據(jù)庫置于日志應(yīng) 用模式下。Logical Standby數(shù)據(jù)庫,在這種方式下,目標(biāo)庫處于打開狀態(tài),通過LogMiner 挖掘從源數(shù)據(jù)庫傳輸過來的日志,構(gòu)造成SQL
52、語句,然后在目標(biāo)庫上執(zhí)行這些SQL,使 之與源數(shù)據(jù)庫保持同步。由于數(shù)據(jù)庫處于打開狀態(tài),因此可以在SQL Apply更新數(shù)據(jù)庫 的同時將原來在源數(shù)據(jù)庫上執(zhí)行的一些查詢、報表等操作放到目標(biāo)庫上來執(zhí)行,以減輕 源數(shù)據(jù)庫的壓力,提高其性能。Data Guard數(shù)據(jù)同步技術(shù)有以下優(yōu)勢:1)Oracle數(shù)據(jù)庫自身置的功能,與每個Oracle新版本的新特性(如ASM)都完 全兼容,且不需要另外付費;2)配置管理較簡單,不需要熟悉其他第三方的軟件產(chǎn)品;3) Physical Standby數(shù)據(jù)庫支持任何類型的數(shù)據(jù)對象和數(shù)據(jù)類型;4) Logical Standby數(shù)據(jù)庫處于打開狀態(tài),可以在保持?jǐn)?shù)據(jù)同步的同時執(zhí)
53、行查詢 等操作;5)在最大保護(hù)模式下,可確保數(shù)據(jù)的零丟失;Data Guard數(shù)據(jù)同步技術(shù)的劣勢體現(xiàn)在以下幾個方面:1)由于傳輸整個日志文件,因此需要較高的網(wǎng)絡(luò)傳輸帶寬;Physical Standby數(shù)據(jù)庫雖然可以只讀方式打開,然后做些查詢、報表等操作, 但需要停止應(yīng)用日志,這將使目標(biāo)庫與源數(shù)據(jù)不能保持同步,如果在此期間源數(shù)據(jù)庫發(fā) 生故障,將延長切換的時間;Logical Standby數(shù)據(jù)庫不能支持某些特定的數(shù)據(jù)對象和數(shù)據(jù)類型;不支持一對多復(fù)制,不支持雙向復(fù)制,因此無法應(yīng)用于信息集成的場合;只能復(fù)制整個數(shù)據(jù)庫,不能選擇某個schema或表空間進(jìn)行單獨復(fù)制;不支持異構(gòu)的系統(tǒng)環(huán)境,需要相同的操
54、作系統(tǒng)版本和數(shù)據(jù)庫版本;Data Guard技術(shù)是Oracle推薦的用于高可用災(zāi)難恢復(fù)環(huán)境的數(shù)據(jù)同步技術(shù)。4- Streams數(shù)據(jù)復(fù)制技術(shù)Streams是從版本Oracle 9i才開始具有的數(shù)據(jù)同步功能,是為提高數(shù)據(jù)庫的高可 用性和數(shù)據(jù)的分發(fā)和共享功能而設(shè)計的,Streams利用高級隊列技術(shù),通過用LogMiner 挖掘日志文件生成變更的邏輯記錄,然后將這些變更應(yīng)用到目標(biāo)數(shù)據(jù)庫上,從而實現(xiàn)數(shù) 據(jù)庫之間或一個數(shù)據(jù)庫部的數(shù)據(jù)同步。Streams數(shù)據(jù)同步大致分如下幾個步驟:1)Capture進(jìn)程分析日志,生成邏輯記錄LCR,將其放入一個隊列中;Propagation進(jìn)程將LCR發(fā)送到另一個數(shù)據(jù)庫中,
55、通常是目標(biāo)數(shù)據(jù)庫;3)在目標(biāo)數(shù)據(jù)庫中,Apply進(jìn)程將LCR應(yīng)用到目標(biāo)庫,實現(xiàn)數(shù)據(jù)的同步;在簡單的Streams配置中,Capture進(jìn)程一般位于源數(shù)據(jù)庫,因此叫做Local Capture Process, Capture進(jìn)程在分析日志后將生成的LCR放入隊列中,由Propagation進(jìn)程將 LCR發(fā)送到目標(biāo)庫中。這樣做的好處是不用在網(wǎng)絡(luò)上傳送整個的日志文件,因此可提高 網(wǎng)絡(luò)傳輸?shù)男剩@一般會給源數(shù)據(jù)庫帶來較大的壓力,影響其性能。另一種配置是Capture進(jìn)程位于Downstream數(shù)據(jù)庫中,源數(shù)據(jù)庫只負(fù)責(zé)將日志文 件傳送(日志傳輸方式可為ARCH傳輸、LGWR同步傳輸和LGWR異步傳
56、輸中的任何一種) 到Downstream數(shù)據(jù)庫中,所有的Capture操作都在Downstream數(shù)據(jù)庫上完成。這種配 置的好處是可以大大降低源數(shù)據(jù)庫的壓力,缺點是需要傳輸整個日志文件,對網(wǎng)絡(luò)帶寬 要求較高。Streams數(shù)據(jù)同步技術(shù)有以下優(yōu)勢:1)可支持一對多、多對一和雙向復(fù)制,可用于數(shù)據(jù)分發(fā)和共享,這是Data Guard 所不具備的;2)可靈活配置復(fù)制數(shù)據(jù)庫中的一部分對象,如可按Table復(fù)制、Schema復(fù)制、表 空間復(fù)制等,并可在復(fù)制過程中對數(shù)據(jù)進(jìn)行過濾和轉(zhuǎn)換,使之滿足不同的需要;3)同Data Guard 一樣,是Oracle置功能,與每個Oracle新版本的新特性(如 ASM)都
57、完全兼容,且不需要額外付費;4)可用于異構(gòu)的操作系統(tǒng)和數(shù)據(jù)庫版本,但有一些限制;5)可支持非Oracle數(shù)據(jù)庫和Oracle數(shù)據(jù)庫之間的數(shù)據(jù)同步;6)目標(biāo)數(shù)據(jù)庫處于打開狀態(tài),可以在保持?jǐn)?shù)據(jù)同步的同時執(zhí)行查詢等操作,分擔(dān) 源數(shù)據(jù)庫的壓力;Streams數(shù)據(jù)同步技術(shù)有以下缺點:1)配置維護(hù)較復(fù)雜,需要較高的技術(shù)水平;2)在非Downstream復(fù)制中,對源數(shù)據(jù)庫壓力較大;如果使用Downstream復(fù)制, 則增加了配置的復(fù)雜性且需要通過網(wǎng)絡(luò)傳輸整個日志文件,對網(wǎng)絡(luò)帶寬要求較高;3)不能支持某些特定的數(shù)據(jù)對象和數(shù)據(jù)類型;4)不能保證數(shù)據(jù)的零丟失;Oracle公司將Streams技術(shù)定位于數(shù)據(jù)的分發(fā)和
58、共享,雖然也可用于高可用的災(zāi)難恢復(fù)場合,但Oracle推薦使用的災(zāi)難恢復(fù)技術(shù)是Data Guard* Advanced Replication 數(shù)據(jù)復(fù)制技術(shù)Advanced Replication配置管理較復(fù)雜,且對源數(shù)據(jù)庫性能影響較大,在以后的 Oracle版本中將可能逐步被Streams技術(shù)所取代。4- Golden Gate數(shù)據(jù)復(fù)制技術(shù)Golden Gate原來是一家獨立的軟件廠商的產(chǎn)品,現(xiàn)該產(chǎn)品已被Oracle公司收購, Oracle W Golden Gate軟件集成到到其“融合(Fusion)”中間件中,預(yù)計以后該產(chǎn)品 將與Oracle數(shù)據(jù)庫更緊密地集成。Golden Gate可以
59、用于多種不同的操作系統(tǒng)平臺(Unix、 Linux、Windows)和多種不同數(shù)據(jù)庫系統(tǒng)(如 DB2、OracleInfomix. MySQL、Sybase 等)之間的數(shù)據(jù)同步,是一款優(yōu)秀的數(shù)據(jù)同步及數(shù)據(jù)分發(fā)產(chǎn)品。GoldenGate是一種基于軟件的數(shù)據(jù)復(fù)制方式,它從數(shù)據(jù)庫的日志中解析數(shù)據(jù)的變化 (數(shù)據(jù)量只有日志的四分之一左右),并將數(shù)據(jù)轉(zhuǎn)化為自己的格式,直接通過TCP/IP網(wǎng) 絡(luò)傳輸,無需依賴于數(shù)據(jù)庫自身的傳遞方式如OracleNet,而且可以通過高達(dá)9: 1的壓 縮比率對數(shù)據(jù)進(jìn)行壓縮,大大降低帶寬需求。在目標(biāo)端,GoldenGate可以通過交易重組、 分批加載等技術(shù)大大加快數(shù)據(jù)投遞的速度和
60、效率,降低目標(biāo)系統(tǒng)的資源占用,可以在秒 一級實現(xiàn)大量數(shù)據(jù)的復(fù)制。作為一種軟件方案,GoldenGate可以采用非常靈活的方式加以配置,包括單向復(fù) 制、雙向復(fù)制和多層次的數(shù)據(jù)復(fù)制。特別是其在雙向數(shù)據(jù)復(fù)制領(lǐng)域的先進(jìn)技術(shù),可以滿 足用戶在本地或廣域網(wǎng)絡(luò)環(huán)境中的各種復(fù)雜需求。GoldenGate數(shù)據(jù)庫復(fù)制技術(shù)具有如下特性:本機(jī)數(shù)據(jù)改變捕捉-作為一個基于日志的同步解決方案,將對源系統(tǒng)和網(wǎng)絡(luò)的影響 減少到最低。靈活性-源和目的系統(tǒng)不需要有一樣的操作系統(tǒng)、數(shù)據(jù)庫及模板(例如:表,索引, 等)。GoldenGate能在同一個系統(tǒng)的多個數(shù)據(jù)庫實例之間實現(xiàn)數(shù)據(jù)復(fù)制,或把數(shù)據(jù)復(fù)制 到局域網(wǎng)的其它數(shù)據(jù)庫實例,或把數(shù)據(jù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 科學(xué)用棱鏡市場發(fā)展前景分析及供需格局研究預(yù)測報告
- 螺旋扳手市場發(fā)展前景分析及供需格局研究預(yù)測報告
- 云電子商務(wù)服務(wù)行業(yè)市場調(diào)研分析報告
- 書簽產(chǎn)業(yè)鏈招商引資的調(diào)研報告
- 建筑的施工和維修行業(yè)市場調(diào)研分析報告
- 纜車細(xì)分市場深度研究報告
- 太陽鏡出租行業(yè)經(jīng)營分析報告
- 花園水管用噴霧器項目營銷計劃書
- 紙板棺材市場發(fā)展前景分析及供需格局研究預(yù)測報告
- 裝有集成臺面的廚房水槽項目運營指導(dǎo)方案
- 2024年保安員證考試題庫及答案(共160題)
- 2024年大學(xué)試題(財經(jīng)商貿(mào))-統(tǒng)計預(yù)測與決策考試近5年真題集錦(頻考類試題)帶答案
- 主要負(fù)責(zé)人和安全生產(chǎn)管理人員安全培訓(xùn)課件初訓(xùn)修訂版
- 電動汽車充電設(shè)施及場站測試評價規(guī)范第2部分:場站設(shè)施
- 重慶市拔尖強(qiáng)基聯(lián)盟2025屆高三上學(xué)期10月聯(lián)合考試地理含答案
- 2024220kV 預(yù)制艙式模塊化海上風(fēng)電升壓站
- 2024秋期國家開放大學(xué)《國家開放大學(xué)學(xué)習(xí)指南》一平臺在線形考(任務(wù)一)試題及答案
- 2024年新人教版道德與法治一年級上冊 9 作息有規(guī)律 教學(xué)課件
- 2024新人教版道法一年級上冊第二單元:過好校園生活大單元整體教學(xué)設(shè)計
- 2024年深圳技能大賽-鴻蒙移動應(yīng)用開發(fā)(計算機(jī)程序設(shè)計員)職業(yè)技能競賽初賽理論知識
- 污水處理設(shè)備維護(hù)保養(yǎng)方案
評論
0/150
提交評論