構(gòu)建HyperSwap雙活數(shù)據(jù)中心_第1頁(yè)
構(gòu)建HyperSwap雙活數(shù)據(jù)中心_第2頁(yè)
構(gòu)建HyperSwap雙活數(shù)據(jù)中心_第3頁(yè)
構(gòu)建HyperSwap雙活數(shù)據(jù)中心_第4頁(yè)
構(gòu)建HyperSwap雙活數(shù)據(jù)中心_第5頁(yè)
已閱讀5頁(yè),還剩5頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、 構(gòu)建HyperSwap雙活數(shù)據(jù)中心為確保數(shù)據(jù)始終可用,為保證業(yè)務(wù)持續(xù)在線,CIO們?cè)谶^(guò)去花費(fèi)了大量的時(shí)間、精力和金錢,但每每到關(guān)鍵時(shí)刻,往往事與愿違哪怕是斥巨資建立了所謂的“雙活數(shù)據(jù)中心”。CIO們一度對(duì)“雙活數(shù)據(jù)中心”給予了充分的信任,他們希望,雙站點(diǎn)數(shù)據(jù)中心的可用性和恢復(fù)能力、從存儲(chǔ)故障中斷中立即恢復(fù)的能力、服務(wù)器故障“零延遲”切換的能力可以幫助他們實(shí)現(xiàn)對(duì)7x24苛刻可用性、可服務(wù)性的要求,能夠滿足公司領(lǐng)導(dǎo)層、業(yè)務(wù)層對(duì)IT業(yè)務(wù)服務(wù)水平協(xié)議的嚴(yán)格要求。但正如上面所說(shuō),他們當(dāng)中的大部分人都以失望告終。在建設(shè)“雙活數(shù)據(jù)中心”的過(guò)程中,許多CIO隨著對(duì)“雙活(Active-Active)”技術(shù)的

2、深入了解,吃驚的發(fā)現(xiàn)自己所正在建設(shè)的“雙活數(shù)據(jù)中心”其實(shí)只是一種“代名詞”而已,實(shí)則難以滿足其雙活、即時(shí)切換的能力,CIO們面對(duì)著這樣的現(xiàn)實(shí):“不同廠家對(duì)雙活數(shù)據(jù)中心之理解和定義并不一致。部分廠家往往只著重市場(chǎng)影響力,將雙活數(shù)據(jù)中心需求等同于該廠家提供之產(chǎn)品功能,但缺乏考慮總體擁有成本、應(yīng)用交易性能影響、數(shù)據(jù)中心可維護(hù)性等因素?!笨山⒁粋€(gè)高可靠性、高可用性、高可切換的“雙活數(shù)據(jù)中心”的訴求卻并未在CIO們的心中減退,他們清醒的知道,對(duì)于一些關(guān)鍵的、核心的、維系企業(yè)信譽(yù)與存儲(chǔ)的業(yè)務(wù)來(lái)說(shuō),他們必須要尋找到可靠的雙活數(shù)據(jù)中心建設(shè)解決方案,他們了解,即便是有高度可靠的硬件體系、高可用的CDP(持續(xù)數(shù)

3、據(jù)保護(hù))技術(shù)或是某些特殊的軟件方法,一個(gè)由互為鏡像的、雙活的硬件架構(gòu)與軟件平臺(tái)維系的“雙活數(shù)據(jù)中心”仍然是災(zāi)難或某些特殊情況下所必不可少的?!?x24小時(shí)的可用性、多重的數(shù)據(jù)保護(hù)需求、客戶已經(jīng)興建的多個(gè)數(shù)據(jù)中心把業(yè)務(wù)風(fēng)險(xiǎn)分散的需求、多個(gè)數(shù)據(jù)中心的使用率、企業(yè)級(jí)數(shù)據(jù)中心整體切換的需求以及利用雙活數(shù)據(jù)中心實(shí)現(xiàn)業(yè)務(wù)或技術(shù)創(chuàng)新的需求等等構(gòu)成了眾多CIO對(duì)雙活數(shù)據(jù)中心迫切的需求?!盜BM技術(shù)專家曾經(jīng)在2012 IBM Unix World高峰論壇上指出:“客戶的需求雖然在演變,但作為可靠的、最后一道防范業(yè)務(wù)風(fēng)險(xiǎn)、提高業(yè)務(wù)終極可用性可靠性的方法,雙活數(shù)據(jù)中心是無(wú)可取代的?!倍鼮橹匾氖牵S著存儲(chǔ)系統(tǒng)的設(shè)

4、計(jì)越來(lái)越復(fù)雜,數(shù)據(jù)尤其是在大數(shù)據(jù)時(shí)代的重要性越來(lái)越高,很多CIO也認(rèn)識(shí)到,在雙活數(shù)據(jù)中心內(nèi),存儲(chǔ)系統(tǒng)的“零延遲”切換,無(wú)論是在主機(jī)故障還是存儲(chǔ)子系統(tǒng)故障時(shí),能夠順利的切換存儲(chǔ)子系統(tǒng)、切換存儲(chǔ)卷、確保數(shù)據(jù)一致性,是雙活數(shù)據(jù)中心中面對(duì)的又一個(gè)新的難題。CIO們不是第一次陷入左右為難的境地:一邊是業(yè)界“名詞化”的雙活數(shù)據(jù)中心,一邊是迫切的需求與最可靠的業(yè)務(wù)風(fēng)險(xiǎn)“防火墻”,到底如何建設(shè)雙活數(shù)據(jù)中心?又如何鑒定雙活數(shù)據(jù)中心?又有哪些特色技術(shù)與解決方案、應(yīng)用實(shí)例在雙活數(shù)據(jù)中心解決方案中舉足輕重?CIO如何確保存儲(chǔ)系統(tǒng)的切換與數(shù)據(jù)一致性?我們將在此通過(guò)IBM Power Active-Active 雙活數(shù)據(jù)

5、中心解決方案中的PowerHA HyperSwap 解決方案及參考架構(gòu)略窺一二。建設(shè)雙活數(shù)據(jù)中心: “最后防線”需細(xì)致考慮很多CIO將雙活數(shù)據(jù)中心(Active-Active)稱作企業(yè)數(shù)據(jù)中心的“最后防線”,這也就意味著,雙活數(shù)據(jù)中心必須要在最關(guān)鍵的時(shí)刻確保最重要業(yè)務(wù)的近乎100%的應(yīng)用可用性和業(yè)務(wù)可靠性,而要想達(dá)到這一水平,有不少問(wèn)題需要提前考慮。無(wú)論任何廠商、任何解決方案,雙活數(shù)據(jù)中心都必須解決以下技術(shù)挑戰(zhàn):1、雙活數(shù)據(jù)中心要降低延遲,由于距離和傳輸環(huán)境的限制,越遠(yuǎn)距離的雙活數(shù)據(jù)中心存在的延遲越大,由于光速限制,每 100km 所產(chǎn)生的數(shù)據(jù)來(lái)回延遲約為1ms。該延遲已經(jīng)跟一般硬盤讀寫可比。

6、因此,會(huì)對(duì)實(shí)際應(yīng)用性能構(gòu)成影響。2、Quorum / Tie-Breaker 之需求 : 為了避免雙活數(shù)據(jù)中心產(chǎn)生腦裂(Split Brain)或場(chǎng)地分割(site isolation) 狀況,解決方案需要提供有效的Quorum / Tie-Breaker方式來(lái)保證數(shù)據(jù)完整性。3、業(yè)務(wù)交易中,應(yīng)用所產(chǎn)生之寫操作 (INSERT, UPDATE, DELETE)比例越高,則約多數(shù)據(jù)需要跨數(shù)據(jù)中心傳送。這類型業(yè)務(wù)交易不利于雙活數(shù)據(jù)中心設(shè)計(jì)。4、雙活數(shù)據(jù)中心并不緊緊意味著服務(wù)器的雙活和切換,存儲(chǔ)系統(tǒng)的切換往往是雙活數(shù)據(jù)中心建設(shè)中容易忽略的部分,在某些切換失敗的案例或特殊情況下如僅需要從主存儲(chǔ)系統(tǒng)的數(shù)

7、據(jù)卷切換熱備存儲(chǔ)系統(tǒng)的數(shù)據(jù)卷,數(shù)據(jù)卷與存儲(chǔ)系統(tǒng)的切換失敗,也是導(dǎo)致數(shù)據(jù)中心熱備失效的重要原因。5、可以進(jìn)行完整過(guò)程演練與業(yè)務(wù)模擬測(cè)試的雙活數(shù)據(jù)中心意味著不會(huì)出現(xiàn)“書到用時(shí)方恨少”的尷尬情況,不少CIO在建立了雙活數(shù)據(jù)中心之后,并未著手進(jìn)行長(zhǎng)期、常態(tài)化的演練,而是將“切換鍵”束之高閣,這往往會(huì)導(dǎo)致切換時(shí)出現(xiàn)難以預(yù)料的問(wèn)題。除此以外,雙活數(shù)據(jù)中心的一個(gè)重要作用是保證計(jì)劃內(nèi)停機(jī)維護(hù)的可能性,如果不能夠滿足計(jì)劃內(nèi)停機(jī)維護(hù)的需求,雙活數(shù)據(jù)中心在災(zāi)難發(fā)生時(shí)更是難以奏效。6、明確雙活數(shù)據(jù)中心的“雙活(Active-Active)”是一種對(duì)稱的工作負(fù)載關(guān)系,而不是主備關(guān)系(Activ-Standby)或“生產(chǎn)

8、和查詢關(guān)系(Active-Query)”的快速接管/數(shù)據(jù)延續(xù)、非對(duì)稱工作負(fù)載的關(guān)系,也就說(shuō),要明確雙活數(shù)據(jù)中心中的兩個(gè)數(shù)據(jù)中心都是活躍的且功能相同,這兩個(gè)數(shù)據(jù)中心互為鏡像而非誰(shuí)或誰(shuí)的備份、誰(shuí)或誰(shuí)的查詢,其中任意一個(gè)數(shù)據(jù)中心都能夠擔(dān)當(dāng)起相同的功能和工作負(fù)載。在上面的六條中,最后一條尤為值得注意,事實(shí)上,這也是雙活數(shù)據(jù)中心之所以區(qū)別于此前的兩類“雙數(shù)據(jù)中心”建設(shè)模式的核心:首先,“雙活”充分利用資源,避免了一個(gè)數(shù)據(jù)中心常年處于閑置狀態(tài)而造成浪費(fèi)。通過(guò)資源整合,“雙活”數(shù)據(jù)中心的服務(wù)能力是雙倍;其次,“雙活”數(shù)據(jù)中心如果斷了一個(gè)數(shù)據(jù)中心,另外一個(gè)數(shù)據(jù)中心還在運(yùn)行,對(duì)用戶來(lái)說(shuō)是不可感知的。而一個(gè)災(zāi)備中

9、心的模式,如果生產(chǎn)數(shù)據(jù)中心癱瘓,需要半個(gè)小時(shí)、甚至兩個(gè)小時(shí)、甚至更長(zhǎng)時(shí)間才能啟動(dòng)災(zāi)備中心,在啟動(dòng)災(zāi)備中心的時(shí)間里,用戶交易會(huì)嚴(yán)重受損。但雙活數(shù)據(jù)中心也有一點(diǎn)存在極大的挑戰(zhàn),那就是數(shù)據(jù)的同步問(wèn)題:兩邊的數(shù)據(jù)庫(kù)都在受理業(yè)務(wù),這就涉及雙向數(shù)據(jù)同步問(wèn)題,數(shù)據(jù)同步有存儲(chǔ)層面的數(shù)據(jù)同步技術(shù),也有數(shù)據(jù)庫(kù)級(jí)的同步工具,而在雙活數(shù)據(jù)中心的建設(shè)中,存儲(chǔ)系統(tǒng)能否實(shí)現(xiàn)與主機(jī)的自由切換和業(yè)務(wù)延續(xù),是雙活數(shù)據(jù)中心中目前為止最具挑戰(zhàn)性的技術(shù)難點(diǎn)。數(shù)據(jù)中心和服務(wù)可用性是 IT 基礎(chǔ)架構(gòu)的最重要課題之一,并且每天都會(huì)吸引更多的關(guān)注。站點(diǎn)之間的數(shù)據(jù)復(fù)制是一個(gè)最大限度地減少業(yè)務(wù)中斷的好辦法,因?yàn)閭浞葸€原操作所用的時(shí)間太長(zhǎng),無(wú)法滿足

10、業(yè)務(wù)需求,或者設(shè)備可能被損壞,無(wú)法用于數(shù)據(jù)恢復(fù),這取決于災(zāi)難程度。從最便宜的(恢復(fù)需要較長(zhǎng)的時(shí)間)恢復(fù)到最昂貴的(提供最短的恢復(fù)時(shí)間,并且最接近零數(shù)據(jù)丟失)恢復(fù),恢復(fù)選項(xiàng)的成本各不相同。PowerHA SystemMirror 7.1.2 Enterprise Edition 提供一個(gè)災(zāi)難恢復(fù)和高可用性解決方案,有助于自動(dòng)化節(jié)點(diǎn)故障和應(yīng)用程序事件,并提供高可用性。它有助于為選定存儲(chǔ)的存儲(chǔ)故障自動(dòng)化恢復(fù)操作,控制站點(diǎn)(單獨(dú)的數(shù)據(jù)中心)之間的存儲(chǔ)復(fù)制,并支持整個(gè)站點(diǎn)故障的恢復(fù),確保副本處于一致的狀態(tài),從而實(shí)現(xiàn)故障轉(zhuǎn)移,使您能夠構(gòu)建一個(gè)災(zāi)難恢復(fù)解決方案。HyperSwap 是 PowerHA Sys

11、temMirror 7.1.2 Enterprise Edition 產(chǎn)品組合中的一個(gè)產(chǎn)品。這是一個(gè)針對(duì)存儲(chǔ)錯(cuò)誤而提供的功能,提供它是為了獲得持續(xù)可用性。它以基于存儲(chǔ)的同步復(fù)制 Peer-to-Peer Remote Copy (PPRC) 或 Metro Mirror 為基礎(chǔ)。在被定向(或磁盤發(fā)生故障)時(shí),訪問(wèn)主磁盤子系統(tǒng)的 IBM AIX 主機(jī)可以透明地切換到數(shù)據(jù)的備份副本,這樣磁盤(如中間件)的使用者就不會(huì)受到影響。PowerHA HyperSwap:雙活數(shù)據(jù)中心的基礎(chǔ)架構(gòu)解決方案HyperSwap 是一個(gè)幾年前在 GDPS 中初次引入的特性,適用于 Metro Mirror PPRC(

12、同步)環(huán)境,它有助于即時(shí)切換 PPRC 鏡像的磁盤子系統(tǒng),從而增強(qiáng) Parallel Sysplex 的彈性。假如主機(jī)和輔助存儲(chǔ)子系統(tǒng)之間存在物理連接,那么 HyperSwap 技術(shù)可以讓主機(jī)能夠透明地將應(yīng)用程序的 I/O 操作切換到輔助 Metro Mirror 卷。這使得用戶能夠從單一站點(diǎn)或所覆蓋的多個(gè)位置提供持續(xù)運(yùn)營(yíng)。通過(guò)實(shí)現(xiàn) HyperSwap,可以執(zhí)行磁盤故障和維護(hù)功能,不會(huì)發(fā)生任何應(yīng)用程序服務(wù)中斷。該解決方案可為客戶提供了更好的災(zāi)難恢復(fù)解決方案,并能證明 PowerHA 與 IBM 存儲(chǔ)的緊密集成。HyperSwap 技術(shù)使得 PowerHA SystemMirror 能夠?yàn)榭蛻糁?/p>

13、持以下功能:讓主磁盤子系統(tǒng)不會(huì)成為單點(diǎn)故障,在所覆蓋范圍內(nèi)提供更高水平的持續(xù)運(yùn)營(yíng)支持。支持無(wú)任何應(yīng)用程序停機(jī)的存儲(chǔ)維護(hù)。支持從舊到新的存儲(chǔ)遷移。所有這些用例都被劃分為兩種類型的 HyperSwap 活動(dòng):計(jì)劃外的 HyperSwap:當(dāng)主存儲(chǔ)發(fā)生故障時(shí),托管應(yīng)用程序的操作系統(tǒng)將會(huì)檢測(cè)事件并做出反應(yīng),執(zhí)行 PPRC 故障轉(zhuǎn)移,因此,應(yīng)用程序的 I/O 活動(dòng)被透明地重定向到二級(jí)存儲(chǔ)子系統(tǒng),以便允許應(yīng)用程序沒(méi)有任何中斷地繼續(xù)運(yùn)行。請(qǐng)注意,在本例中,操作系統(tǒng)的 Small Computer System Interface (SCSI) 磁盤驅(qū)動(dòng)程序檢測(cè)到錯(cuò)誤,并跨多個(gè)主機(jī)做出決定,完全切換到輔助存儲(chǔ)

14、子系統(tǒng)。在 HyperSwap 交換過(guò)程中,會(huì)暫時(shí)凍結(jié) I/O 活動(dòng)的進(jìn)一步處理。請(qǐng)注意,應(yīng)用程序在此期間不會(huì)遇到故障,而是遇到非致命性的延遲。計(jì)劃內(nèi)的 HyperSwap:在這種情況下,管理員主動(dòng)發(fā)起一個(gè)從主存儲(chǔ)子系統(tǒng)到輔助存儲(chǔ)子系統(tǒng)的 HyperSwap。當(dāng)管理員請(qǐng)求執(zhí)行計(jì)劃內(nèi) HyperSwap 時(shí),會(huì)在集群中的主機(jī)之間進(jìn)行協(xié)調(diào),然后凍結(jié) I/O 活動(dòng)。先執(zhí)行交換,然后允許繼續(xù)執(zhí)行 I/O 操作。計(jì)劃內(nèi)的 HyperSwap 有助于在主存儲(chǔ)上執(zhí)行維護(hù)任務(wù),還有助于將數(shù)據(jù)從舊存儲(chǔ)遷移到新購(gòu)買的存儲(chǔ)子系統(tǒng)。圖 1:PowerHA SystemMirror HyperSwap 配置示例 HYP

15、ERLINK /developerworks/cn/aix/library/au-aix-hyper-swap/ l ibm-pcon 回頁(yè)首AIX 的 HyperSwap 支持圖 2 顯示了支持 HyperSwap 的組件。圖 2:支持 HyperSwap 的 AIX 組件AIX 的與 HyperSwap 相關(guān)的組件包括:Cluster Aware AIX (CAA)協(xié)調(diào)集群范圍內(nèi)的操作PowerHA HyperSwap 內(nèi)核擴(kuò)展與 CAA 配合,協(xié)調(diào)與其他節(jié)點(diǎn)的操作分析來(lái)自 PowerHA 框架和 AIX 存儲(chǔ)框架的消息,并采取適當(dāng)?shù)拇胧┐_定交換操作AIX 存儲(chǔ)框架對(duì)存儲(chǔ)使用 AIX 接口

16、與 PowerHA HyperSwap 內(nèi)核擴(kuò)展緊密配合管理存儲(chǔ)的狀態(tài)將有關(guān) I/O 錯(cuò)誤的消息告訴 PowerHA HyperSwap 內(nèi)核擴(kuò)展從 PowerHA HyperSwap 內(nèi)核擴(kuò)展獲取交換決定,并發(fā)送命令到 AIX PCM (MPIO)作為IBM雙活數(shù)據(jù)中心的基礎(chǔ)架構(gòu)解決方案,PowerHA HyperSwap并非是一項(xiàng)技術(shù)那么簡(jiǎn)單,在PowerHA HyperSwap解決方案中,實(shí)際上包括了IBM整個(gè)中、高端數(shù)據(jù)中心的建設(shè)與運(yùn)維解決方案,這一解決方案也依靠著IBM在主機(jī)、高端存儲(chǔ)、災(zāi)難備份、數(shù)據(jù)中心建設(shè)上的經(jīng)驗(yàn)而形成。PowerHA HyperSwap基于IBM完整的數(shù)據(jù)中心基

17、礎(chǔ)架構(gòu),其中包括兩套Power 7服務(wù)器、IBM的Unix操作系統(tǒng)AIX的6.1版本、PowerHA Enterprise Ed.7軟件、最少兩套IBM DS8800高端存儲(chǔ)系統(tǒng)以及站點(diǎn)間高速互聯(lián)解決方案。在PowerHA HyperSwap的解決方案中規(guī)劃了兩套完整的、互為“鏡像”的、基于IBM Power7服務(wù)器和DS8800高端存儲(chǔ)系統(tǒng)的數(shù)據(jù)中心基礎(chǔ)架構(gòu),提高了雙站點(diǎn)可用性和恢復(fù)能力,并且提供從存儲(chǔ)中斷立即恢復(fù)的能力:PowerHA HyperSwap將確保數(shù)據(jù)中心在服務(wù)器失效或存儲(chǔ)失效的情況下,業(yè)務(wù)的連續(xù)性。同時(shí),對(duì)于計(jì)劃內(nèi)的停機(jī),其支持在對(duì)業(yè)務(wù)沒(méi)有影響的情況下維護(hù)存儲(chǔ)及進(jìn)行存儲(chǔ)遷移。

18、除此以外,PowerHA HyperSwap基礎(chǔ)架構(gòu)解決方案能夠?qū)崿F(xiàn)雙活數(shù)據(jù)中心中很重要的“透明切換”功能,通過(guò)與PowerHA的整個(gè)解決方案整合,基于此建設(shè)的雙活數(shù)據(jù)中心能夠提供更完整的自動(dòng)接管能力,而不需要過(guò)多的人工干預(yù),且對(duì)用戶的應(yīng)用保持透明的狀態(tài)這畢竟是由經(jīng)過(guò)長(zhǎng)期驗(yàn)證的IBM大型主機(jī)HyperSwap方案移植而來(lái)的技術(shù),其現(xiàn)在雖然存在于IBM的Power服務(wù)器Power 770、Power 780身上,但卻來(lái)自于像是zEnterprise EC12這樣的大型主機(jī)系統(tǒng)。從功能上來(lái)說(shuō),PowerHA HyperSwap基本上遵循了雙活數(shù)據(jù)中心的最基本的核心功能,在三類常見(jiàn)的場(chǎng)景中都能發(fā)揮其作用:1、 存儲(chǔ)故障:DS8800存儲(chǔ)系統(tǒng)發(fā)生故障,HyperSwap快速存儲(chǔ)切換,RTO=秒級(jí),RPO=0,應(yīng)用不中斷,數(shù)據(jù)庫(kù)無(wú)需Rollback。2、 服務(wù)器故障:服務(wù)器發(fā)生故障,PowerHA觸發(fā)服務(wù)器切換,數(shù)據(jù)庫(kù)/應(yīng)用需要重啟,RTO=分鐘級(jí),RPO=0,應(yīng)用重新連接。3、 數(shù)據(jù)中心全面故障:服務(wù)器和存儲(chǔ)全部故障,PowerHA觸發(fā)服務(wù)器切換,數(shù)據(jù)庫(kù)/應(yīng)用需

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論