華為OceanStor-企業(yè)統(tǒng)一存儲售前培訓(xùn)膠片課件_第1頁
華為OceanStor-企業(yè)統(tǒng)一存儲售前培訓(xùn)膠片課件_第2頁
華為OceanStor-企業(yè)統(tǒng)一存儲售前培訓(xùn)膠片課件_第3頁
華為OceanStor-企業(yè)統(tǒng)一存儲售前培訓(xùn)膠片課件_第4頁
華為OceanStor-企業(yè)統(tǒng)一存儲售前培訓(xùn)膠片課件_第5頁
已閱讀5頁,還剩53頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

華為OceanStor企業(yè)統(tǒng)一存儲技術(shù)培訓(xùn)膠片華為OceanStor企業(yè)統(tǒng)一存儲技術(shù)培訓(xùn)膠片目錄應(yīng)用場景企業(yè)統(tǒng)一存儲硬件介紹關(guān)鍵技術(shù)234企業(yè)統(tǒng)一存儲產(chǎn)品概述1目錄應(yīng)用場景企業(yè)統(tǒng)一存儲硬件介紹關(guān)鍵技術(shù)234企業(yè)統(tǒng)一存儲產(chǎn)OceanStor企業(yè)統(tǒng)一存儲產(chǎn)品概述高端中高端入門級S2600TS5500TS5600TS5800TS6800T1850018800關(guān)鍵業(yè)務(wù)保障軟件資源效率提升軟件數(shù)據(jù)保護(hù)系列軟件存儲管理軟件具備可信、智能、融合的系統(tǒng)架構(gòu),滿足用戶靈活多變的存儲使用需求,提供實用多樣的功能特性,包含高中低端的系列存儲產(chǎn)品。統(tǒng)一軟件平臺統(tǒng)一管理平臺塊虛擬化異構(gòu)虛擬化OceanStor企業(yè)統(tǒng)一存儲產(chǎn)品概述高端中高端入門級S2產(chǎn)品優(yōu)勢融合文件和塊的融合高中低端互通異構(gòu)系統(tǒng)兼容削減采購降低CAPEX可信全冗余系統(tǒng)架構(gòu)20倍數(shù)據(jù)恢復(fù)速度全面的容災(zāi)解決方案可用性99.999%智能RAID2.0+技術(shù)關(guān)鍵業(yè)務(wù)保障技術(shù)智能設(shè)備管理提升效率降低OPEX產(chǎn)品優(yōu)勢融合文件和塊的融合高中低端互通異構(gòu)系統(tǒng)兼容削減采購降OceanStor企業(yè)統(tǒng)一存儲產(chǎn)品主要參數(shù)S2600TS5500TS5600TS5800TS6800T硬件規(guī)格最大磁盤數(shù)276528115214401440最大控制器數(shù)24444緩存(每控制器)8GB8/16GB12/24GB48/96GB96/192GB主機接口數(shù)(每控制器/最大)10/2016/1632/4840/6440/64文件引擎節(jié)點數(shù)量24688軟件特性數(shù)據(jù)保護(hù)系列HyperSnap,HyperCopy,HyperClone,HyperReplication關(guān)鍵業(yè)務(wù)保障SmartQoS,SmartPartition資源效率提升SmartTier,SmartMotion,SmartThin,DataReduction存儲管理軟件UltraPath,DeviceManager,ReplicationDirector,eSight虛擬化特性異構(gòu)虛擬化整合主流廠商設(shè)備存儲資源,存儲資源統(tǒng)一管理靈活分配塊級虛擬化數(shù)據(jù)均衡分布,故障快速恢復(fù)計算虛擬化VMware,Citrix,Hyper-V等OceanStor企業(yè)統(tǒng)一存儲產(chǎn)品主要參數(shù)S2600TS5OceanStor企業(yè)統(tǒng)一存儲產(chǎn)品主要參數(shù)1850018800硬件規(guī)格最大磁盤數(shù)15843216最大控制器數(shù)816最大緩存768GB3072GB最大主機接口數(shù)96192軟件特性數(shù)據(jù)保護(hù)系列HyperSnap,HyperCopy,HyperClone,HyperReplication關(guān)鍵業(yè)務(wù)保障SmartQoS,SmartPartition資源效率提升SmartTier,SmartMotion,SmartThin,DataReduction存儲管理軟件UltraPath,DeviceManager,ReplicationDirector,eSight虛擬化特性異構(gòu)虛擬化整合主流廠商設(shè)備存儲資源,存儲資源統(tǒng)一管理靈活分配塊級虛擬化數(shù)據(jù)均衡分布,故障快速恢復(fù)計算虛擬化VMware,Citrix,Hyper-V等OceanStor企業(yè)統(tǒng)一存儲產(chǎn)品主要參數(shù)18500188T系列V2與V1版本的主要區(qū)別*僅OceanStorS5500T(32G規(guī)格)/S5600T/S5800T/S6800T支持4控擴展

T系列V1T系列V2軟件架構(gòu)傳統(tǒng)RAIDRAID2.0+產(chǎn)品型號S2200T/S2600T/S5500T/S5600T/S5800T/S6800TS2600T/S5500T/S5600T/S5800T/S6800T軟件特性

統(tǒng)一存儲√√Hyper系列軟件√√SmartCache

√XSmartThin√√SmartPartitionX√SmartMotion

X√SmartTier

X√SmartQoS

X√SmartVirtualizationX√高端遠(yuǎn)程復(fù)制互通X√低端支持2.5寸盤√X多控擴展X√秒級RPOX√T系列V2與V1版本的主要區(qū)別*僅OceanStorS升級的主打亮點Upgrade!高性能TOP1高擴展高規(guī)格多控架構(gòu)異構(gòu)虛擬化智能分級軟件特性數(shù)據(jù)迅移QoS緩存分區(qū)快速恢復(fù)秒級RPO根據(jù)業(yè)務(wù)重要程度智能調(diào)度存儲資源,及關(guān)鍵業(yè)務(wù)專屬保證根據(jù)業(yè)務(wù)變化,實現(xiàn)數(shù)據(jù)在存儲介質(zhì)上的自由流動通過多對多重構(gòu),及秒級數(shù)據(jù)恢復(fù)時間,增強對數(shù)據(jù)的保護(hù)升級的主打亮點Upgrade!高性能TOP1高擴展高規(guī)格多控目錄關(guān)鍵技術(shù)應(yīng)用場景企業(yè)統(tǒng)一存儲硬件介紹423企業(yè)統(tǒng)一存儲產(chǎn)品概述1目錄關(guān)鍵技術(shù)應(yīng)用場景企業(yè)統(tǒng)一存儲硬件介紹423企業(yè)統(tǒng)一存儲產(chǎn)2.5“控制框(僅適用S5500T)支持24×2.5“硬盤支持主流SAS、NLSAS、SSD盤前四個盤為保險箱盤,2+2冗余每個硬盤可獨立上下電電源模塊1+1冗余風(fēng)扇/BBU模塊風(fēng)扇3+1冗余(1個風(fēng)扇發(fā)生故障,系統(tǒng)仍可以正常工作)風(fēng)扇智能精細(xì)化調(diào)速內(nèi)置BBU,支持掉電數(shù)據(jù)保護(hù)盤控一體控制模塊提供管理網(wǎng)口和串口板載2個4*6GbSAS接口支持1個擴展I/O模塊板載4個8GbFC接口3.5“控制框支持12×3.5“硬盤支持主流SAS、NLSAS、SSD盤前四個盤為保險箱盤,2+2冗余每個硬盤可獨立上下電S2600T/S5500T存儲控制器介紹2.5“控制框(僅適用S5500T)電源模塊風(fēng)扇/BBU模塊控制模塊雙控制器CPU自動變頻,降低能耗提供系統(tǒng)下電按鈕BBU模塊2+2冗余支持直流/交流電源掉電保護(hù)電源模塊雙供電平面(2+2冗余)風(fēng)扇模塊風(fēng)扇5+1冗余(1個風(fēng)扇發(fā)生故障,系統(tǒng)仍可以正常工作)風(fēng)扇智能精細(xì)化調(diào)速接口模塊IO模塊槽位(S5600T

10個,S5800T/S6800T12個)IO模塊支持熱插拔接口類型豐富:8GbFC、4*6GbSAS、1/10GbiSCSI,10GbFCOE、4控時配PCIE接口卡管理模塊1+1冗余支持熱插拔SSD盤(OS、Cache掉電保護(hù))S5600T/S5800T/S6800T控制框介紹控制模塊BBU模塊電源模塊風(fēng)扇模塊接口模塊管理模塊S5600OceanStor18500/18800硬件結(jié)構(gòu)DKE8DKE7DKE6DKE5ControllerKVMSVPDKE4DKE3DKE2DKE1系統(tǒng)柜0正面圖系統(tǒng)柜0背面圖系統(tǒng)柜1正面圖系統(tǒng)柜1背面圖ControllerDSWDSWDKE1DKE2DKE3DKE4DKE5DKE6DKE7DKE8DKE9DKE10DKE11DKE12DKE13DKE14DKE15DKE16系統(tǒng)柜2-7正面圖系統(tǒng)柜2-7背面圖OceanStor18500/18800硬件結(jié)構(gòu)DKE8引擎上各個槽位支持的接口模塊如下:A0~A5由控制器0管理,B0~B5由控制器1管理。A0和B0插槽配置6Gbit/sSAS級聯(lián)模塊(必選),用于連接柜中的硬盤框。A5和B5插槽為保留槽位,僅在6Gbit/sSAS級聯(lián)端口不夠用的時候,可配置6Gbit/sSAS級聯(lián)模塊。A3和B3插槽建議作為預(yù)留槽位,在配置有多個系統(tǒng)柜的情況下,可配置5GbPCIe接口模塊用于連接系統(tǒng)柜1中的數(shù)據(jù)交換機。A1和B1、A2和B2、A4和B4這三對插槽為可選,客戶可根據(jù)組網(wǎng)情況選擇相應(yīng)的I/O接口模塊,包括1Gbit/siSCSI接口模塊、8Gbit/sFC接口模塊、10Gbit/siSCSI接口模塊和10Gbit/sFCoE接口模塊。OceanStor18500/18800引擎介紹引擎上各個槽位支持的接口模塊如下:OceanStor1853.5inch硬盤框支持24盤位3.5寸硬盤支持主流SAS、NL-SAS、SSD硬盤每個硬盤可獨立上下電級聯(lián)模塊1+1冗余支持通過帶內(nèi)命令使系統(tǒng)上下電電源模塊2+2冗余(共有4個電源,其中2個故障不影響正常工作)轉(zhuǎn)換效率高達(dá)90%風(fēng)扇模塊2*(3+1)冗余散熱功耗小智能精細(xì)化調(diào)速miniSAS級聯(lián)端口串口4USAS硬盤框介紹3.5inch硬盤框級聯(lián)模塊電源模塊風(fēng)扇模塊miniSAS級聯(lián)模塊1+1冗余支持通過帶內(nèi)命令使系統(tǒng)上下電電源模塊1+1冗余轉(zhuǎn)換效率高達(dá)90%風(fēng)扇模塊風(fēng)扇3+1冗余(共有4個風(fēng)扇,其中1個故障不影響正常工作)散熱功耗小智能精細(xì)化調(diào)速12串口miniSAS級聯(lián)端口12.5inch硬盤插框支持主流SAS、SSD盤每個硬盤可獨立上下電22USAS硬盤框介紹級聯(lián)模塊電源模塊風(fēng)扇模塊12串口miniSAS級聯(lián)端口12數(shù)據(jù)交換機介紹數(shù)據(jù)交換機介紹2U機架服務(wù)器2個網(wǎng)口連接存儲引擎2個維護(hù)網(wǎng)口系統(tǒng)管理設(shè)備管理用戶管理SVP與KVM配套使用,是OceanStor

18500/18800系列存儲系統(tǒng)管理、配置、維護(hù)等的核心部件。其上安裝了OceanStor

18500/18800系列存儲系統(tǒng)所需的維護(hù)、管理等工具,可以在本地或遠(yuǎn)程輕松完成全套的監(jiān)控、管理、配置、鑒權(quán)等一系列工作。OceanStor18500/18800SVP管理服務(wù)器介紹2U機架服務(wù)器SVP與KVM配套使用,是OceanStorOceanstorNAS引擎介紹控制模塊雙控制器主流服務(wù)器平臺自動變頻,降低能耗提供系統(tǒng)下電按鈕BBU模塊擋板電源模塊2+2冗余轉(zhuǎn)換效率高達(dá)92%風(fēng)扇模塊風(fēng)扇5+1冗余散熱功耗小智能精細(xì)化調(diào)速接口模塊每節(jié)點默認(rèn)提供4

個GE業(yè)務(wù)、4個8GFC后端存儲接口、2個GE心跳接口每節(jié)點提供3個PCIE2.08x接口卡槽位,用于擴展GE/10GE業(yè)務(wù)接口卡或者8GFC后端存儲接口卡。各種接口卡支持熱插拔本地系統(tǒng)模塊內(nèi)置高可靠SSD作為本地系統(tǒng)盤每個系統(tǒng)模塊提供一個獨立管理口每個系統(tǒng)模塊提供一個串口,軟件故障時的調(diào)試。OceanstorNAS引擎介紹控制模塊BBU模塊擋板電源目錄關(guān)鍵技術(shù)應(yīng)用場景企業(yè)統(tǒng)一存儲硬件介紹423企業(yè)統(tǒng)一存儲產(chǎn)品概述1目錄關(guān)鍵技術(shù)應(yīng)用場景企業(yè)統(tǒng)一存儲硬件介紹423企業(yè)統(tǒng)一存儲產(chǎn)1.多控架構(gòu)可信智能融合ABADSW0DSW1BABABEnclosure0Enclosure1Enclosure2Enclosure3PCI-E交換機PCIE2.0端口4GB/s鏡像通道PCI-E鏈路內(nèi)部交換帶寬計算方法(以18500為例)單個PCIe交換通道的帶寬計算方法:PCIe2.0單個lan的速率為5Gbps,采用8B/10B編碼,每個通道4個lan,數(shù)據(jù)發(fā)送和數(shù)據(jù)接收采用了獨立的通道;單個PCIe交換通道帶寬=(5Gbps×0.8×4×2)/8=4GB/sOceanStor18500最大支持8控,每控2個4GB雙向帶寬端口,總交換帶寬為96GB/s(交換機的帶寬8×2×4GB/s=64GB/s,鏡像通道總帶寬4x2x4GB/s=32GB/s)。系統(tǒng)架構(gòu)多控架構(gòu)設(shè)計,控制器之間采用PCIE2.0全光互聯(lián)設(shè)計,實現(xiàn)控制器間的業(yè)務(wù)交換多控之間采用全冗余組網(wǎng),無單點故障。其中每兩個控制器為一對,互為一對的控制器間有單獨的鏡像通道,寫Cache互為鏡像。默認(rèn)情況下,系統(tǒng)自動將不同LUN均衡分配到不同控制器,LUN空間均衡打散到系統(tǒng)內(nèi)所有硬盤,使得不同控制器業(yè)務(wù)、硬盤壓力相對均衡,配合華為自研多路徑UltraPath選擇最優(yōu)路徑下發(fā)IO,使系統(tǒng)性能達(dá)到了最優(yōu)1.多控架構(gòu)可信智能融合DSW0DSW1Enclosu2.RAID2.0+實現(xiàn)數(shù)據(jù)快速恢復(fù)可信智能融合華為RAID2.0+:

底層介質(zhì)虛擬化+上層資源虛擬化,同時解決數(shù)據(jù)快速重構(gòu)問題和資源的智能分配問題數(shù)據(jù)快速重構(gòu):縮短數(shù)據(jù)重構(gòu)時間,從10小時到30分鐘,使重構(gòu)速度提升20倍,大幅降低重構(gòu)過程對業(yè)務(wù)的影響和多盤失效的概率存儲池內(nèi)所有硬盤參與重構(gòu),僅重構(gòu)業(yè)務(wù)數(shù)據(jù);由傳統(tǒng)RAID多對一的重構(gòu)模式轉(zhuǎn)變?yōu)槎鄬Χ嗫焖僦貥?gòu)模式數(shù)據(jù)重構(gòu)速度提升20倍物理硬盤存儲池PoolChunkCKG主機看見LUN多種類型硬盤同時存放于存儲池每個硬盤空間被切分成精細(xì)粒度的塊Chunk來自不同硬盤上的Chunk組成CKGLUN可在短時間內(nèi)創(chuàng)建成功ExtentCKG被切分成更細(xì)粒度的空間分級不分級Vloume不分級多個Extent組成Volume2.RAID2.0+實現(xiàn)數(shù)據(jù)快速恢復(fù)可信智能融合華為RAI無需預(yù)留熱備盤,系統(tǒng)可自行進(jìn)行重構(gòu)。以9塊硬盤RAID5為例。當(dāng)硬盤1損壞,造成CKG0和CKG1的數(shù)據(jù)損壞。系統(tǒng)隨機選擇CK進(jìn)行重構(gòu)。01030814162126285156343344426671747388CKG0(RAID5)4214568683164466730821345101263374硬盤0硬盤1硬盤2硬盤3硬盤4硬盤5硬盤6硬盤7硬盤803287188PoolCKG1(RAID5)CKG2(RAID5)CKG3(RAID5)8661816181重構(gòu)重構(gòu)2.RAID2.0+塊虛擬化技術(shù)的重構(gòu)過程可信智能融合無需預(yù)留熱備盤,系統(tǒng)可自行進(jìn)行重構(gòu)。以9塊硬盤RAID5為例3.數(shù)據(jù)保險箱技術(shù)數(shù)據(jù)保險箱數(shù)據(jù)保險箱由控制框前4塊盤或控制框內(nèi)置SSD盤和硬盤框前4塊盤的最后部分空間組成。保險箱硬盤空間之間使用RAID10保護(hù),每塊盤除系統(tǒng)占用的最后部分空間外,剩余的絕大部分空間均可分配給用戶做正常的數(shù)據(jù)存儲使用。Cache數(shù)據(jù)永久保存存儲設(shè)備采用數(shù)據(jù)保險箱技術(shù)保存Cache數(shù)據(jù)。內(nèi)置BBU可保證在系統(tǒng)意外斷電時,對Cache和系統(tǒng)保險箱硬盤同時供電,讓Cache中的數(shù)據(jù)寫到數(shù)據(jù)保險箱中,實現(xiàn)Cache數(shù)據(jù)永久保存。內(nèi)置BBU數(shù)據(jù)保險箱可信智能融合內(nèi)置SSD盤Cache數(shù)據(jù)永久保存3.數(shù)據(jù)保險箱技術(shù)數(shù)據(jù)保險箱內(nèi)置BBU數(shù)據(jù)保險箱可信智能融4.I/O模塊在線熱插拔、在線擴展技術(shù)簡介 I/O模塊可在不中斷業(yè)務(wù)的情況下進(jìn)行在線更換和擴展通過ISM界面給I/O模塊下電,停止I/O模塊工作,保證I/O模塊熱插拔的安全性技術(shù)優(yōu)勢組網(wǎng)更加靈活:通過配置不同類型的I/O模塊,實現(xiàn)FC-SAN、IP-SAN和FC&IPSAN等多種組網(wǎng)在線擴展降低成本:根據(jù)業(yè)務(wù)的增加,可在線擴展I/O模塊,提升可用端口,不需另外增加交換設(shè)備,降低成本通過ISM

界面給I/O模塊下電;系統(tǒng)對該I/O模塊進(jìn)行資源釋放,等到運行指示燈熄滅后,便可直接進(jìn)行更換;8GbFC可信智能融合I/O模塊在線熱插拔4.I/O模塊在線熱插拔、在線擴展技術(shù)簡介 通過ISM界可信智能融合*僅適用OceanStor18500/18800當(dāng)數(shù)據(jù)寫到主機內(nèi)存的時候,oracleASMlibrary會對每扇區(qū)數(shù)據(jù)增加8字節(jié)的DIX保護(hù)信息8字節(jié)的DIX保護(hù)信息會隨IO請求一起,穿過OS到達(dá)HBA卡驅(qū)動HBA卡進(jìn)行DIX校驗后刪除DIX保護(hù)信息,并生成8字節(jié)T10PI和數(shù)據(jù)一起發(fā)送給陣列陣列使用T10PI在內(nèi)部傳輸中校驗數(shù)據(jù)完整性,并將數(shù)據(jù)和T10PI一起保存到硬盤從硬盤讀出數(shù)據(jù)和T10PI并校驗完整性,若發(fā)現(xiàn)錯誤,則通過Raid重建修復(fù)數(shù)據(jù)HBA進(jìn)行T10PI校驗后刪除T10PI,并生成8字節(jié)的DIX保護(hù)信息返回主機驗8字節(jié)DIX保護(hù)信息會隨IO請求一起,穿過OS,返回應(yīng)用層ASMLibrary對數(shù)據(jù)和8字節(jié)DIX信息進(jìn)行校驗Emulex寫操作讀操作51285128512851285.端到端數(shù)據(jù)保護(hù)DatabaseOSAdapterStorageHDD可信智能融合*僅適用OceanStor18500/18806.硬盤巡檢技術(shù)(DHA)DHA即DiskHealthAnalyzer陣列控制器中DHA系統(tǒng)的信息采集模塊,采集硬盤的Smart信息并上傳給ISM網(wǎng)管。ISM中集成了DHA系統(tǒng)的分析模塊,用于分析收集到的硬盤信息并作出診斷。DHA系統(tǒng)的功能可通過ISM中的開關(guān)手動打開或關(guān)閉。ISM通過CallHome功能,將這些信息通過網(wǎng)絡(luò)上傳給華為服務(wù)中心。華為服務(wù)中心接收到ISM傳過來的硬盤信息數(shù)據(jù)后,將數(shù)據(jù)入庫,并利用數(shù)據(jù)分析系統(tǒng)對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分析,得出對故障的預(yù)測、診斷和建議??尚胖悄苋诤嫌脖P信息采集模塊ISMCallHome分析模塊控制器本地生產(chǎn)中心硬盤信息數(shù)據(jù)庫數(shù)據(jù)預(yù)處理數(shù)據(jù)分析專家系統(tǒng)服務(wù)中心WAN1236.硬盤巡檢技術(shù)(DHA)DHA即DiskHealth7.硬盤預(yù)拷貝技術(shù)重構(gòu)的影響系統(tǒng)性能的大幅降低大量數(shù)據(jù)讀寫易導(dǎo)致硬盤損壞會導(dǎo)致業(yè)務(wù)中斷技術(shù)原理系統(tǒng)實時從硬盤的SMART信息中讀取硬盤的狀態(tài)信息,當(dāng)發(fā)現(xiàn)硬盤錯誤統(tǒng)計超過設(shè)定閥值后,立即啟動將數(shù)據(jù)從疑似故障盤中遷移到熱備空間,同時向管理人員告警,提醒更換疑似故障盤技術(shù)優(yōu)勢大大降低重構(gòu)事件發(fā)生的概率,提高系統(tǒng)的可靠性當(dāng)某個硬盤出現(xiàn)疑似故障時:將該盤上的數(shù)據(jù)遷移到存儲池?zé)醾淇臻g正常狀態(tài)時,實時監(jiān)控硬盤狀態(tài)遷移完成后,用新盤替換掉故障盤,數(shù)據(jù)會在存儲池內(nèi)重新均衡分布1Pool疑似故障盤PoolPool新盤硬盤0硬盤1硬盤2硬盤3硬盤1硬盤2硬盤3硬盤1硬盤2硬盤3可信智能融合23硬盤預(yù)拷貝技術(shù)7.硬盤預(yù)拷貝技術(shù)重構(gòu)的影響當(dāng)某個硬盤出現(xiàn)疑似故障時:將該時間軸在線快速捕獲數(shù)據(jù)快速卷拷貝在線獲取完整副本數(shù)據(jù)同步遠(yuǎn)程復(fù)制數(shù)據(jù)異步遠(yuǎn)程復(fù)制備份,恢復(fù)到指定時間點,恢復(fù)點更密集秒級RPO,災(zāi)難恢復(fù)后反向增量同步,容錯性更佳;各級別互通陣列內(nèi)或陣列間拷貝,更高效率災(zāi)難恢復(fù)測試,數(shù)據(jù)一致性檢查,開發(fā)測試本地拷貝近實時復(fù)制,災(zāi)難恢復(fù)后反向增量同步,容錯性更佳三中心(3DC)保護(hù)多重保護(hù),任意站點均可恢復(fù)應(yīng)用容災(zāi)保護(hù)簡化容災(zāi)管理和切換過程HyperSnapHyperCloneHyperCopyHyperReplication/SHyperReplication/AReplicationDirectorHyper系列套件:全面的數(shù)據(jù)保護(hù)軟件可信智能融合時間軸在線快速捕獲數(shù)據(jù)快速卷拷貝在線獲取完整副本數(shù)據(jù)同步遠(yuǎn)程8.HyperSnap(虛擬快照)技術(shù)概念

虛擬快照是指源數(shù)據(jù)在某個時間點的一致性數(shù)據(jù)副本??煺占夹g(shù)的一種(一般指虛擬快照和LUN克?。?,虛擬快照依賴于源LUN。技術(shù)特點瞬間生成:存儲系統(tǒng)可以在幾秒鐘內(nèi)生成一個快照,獲取源數(shù)據(jù)的一致性副本。占用存儲空間少:生成的快照數(shù)據(jù)并非完整的物理數(shù)據(jù)拷貝,不會占用大量存儲空間。所以即使源數(shù)據(jù)量很大,也只會占用很少的存儲空間。應(yīng)用場景快速數(shù)據(jù)備份和恢復(fù)(應(yīng)對誤刪、病毒等)數(shù)據(jù)持續(xù)保護(hù)數(shù)據(jù)分析、測試虛擬快照激活之前,數(shù)據(jù)寫入動作不變abcefg源LUN資源空間虛擬快照被激活,創(chuàng)建映射表,記錄數(shù)據(jù)映射關(guān)系1234567映射表寫前拷貝,新數(shù)據(jù)寫入時,先將源LUN的舊數(shù)據(jù)塊寫入資源空間同時修改映射表,再將新數(shù)據(jù)寫入源LUNdx源LUN該位置數(shù)據(jù)塊再次被修改時,新數(shù)據(jù)直接覆蓋y快照回滾d快照點非快照點快照時間點的數(shù)據(jù)可信智能融合HyperSnap工作原理8.HyperSnap(虛擬快照)技術(shù)概念虛擬快照激活之前9.HyperClone(克?。┘夹g(shù)HyperClone工作原理在初始同步時主LUN收到生產(chǎn)主機寫請求,需要檢查同步進(jìn)度;若要寫入位置的數(shù)據(jù)塊尚未拷貝到從LUN,只需要寫主LUN即可返回主機成功,稍后利用同步任務(wù)將整個數(shù)據(jù)塊同步到從LUN;若要寫入位置的數(shù)據(jù)塊已經(jīng)拷貝,需要分別寫入主從LUN;若要寫入位置的數(shù)據(jù)塊正在拷貝,需要等待該數(shù)據(jù)塊拷貝完成后分別寫入主LUN和從LUN;初始同步完成后可以將主、從LUN分裂,這時主、從LUN都可以用于獨立的數(shù)據(jù)分析及測試,主、從LUN數(shù)據(jù)的變化互不影響,只是用進(jìn)度位圖記錄對應(yīng)數(shù)據(jù)塊的變化。優(yōu)勢和應(yīng)用場景主LUN損壞從LUN不受影響,一個主LUN可以有多個從LUN主要用于數(shù)據(jù)備份和保護(hù)、數(shù)據(jù)測試分析主LUN從LUN000111111進(jìn)度位圖abcdefghiabc初始同步j(luò)k已拷貝完成的塊位圖為“0”,未拷貝完成和正在拷貝的位圖為“1”jjk0ell0fghi分裂mn000011相同塊位圖為“0”,不同塊位圖為“1”可信智能融合HyperClone工作原理概念

克隆是快照技術(shù)的一種,是源數(shù)據(jù)在某個時間點的完整副本,是一種可增量同步的備份方式。9.HyperClone(克?。┘夹g(shù)HyperClone工10.HyperCopy(LUN拷貝)技術(shù)概念

存儲系統(tǒng)中的源LUN數(shù)據(jù)拷貝到目標(biāo)LUN中,支持在陣列間和陣列內(nèi)的拷貝功能。HyperCopy全量拷貝工作原理全量拷貝,即把源LUN數(shù)據(jù)從頭到尾進(jìn)行一次完整的至目標(biāo)LUN的拷貝。離線進(jìn)行,如果復(fù)制過程中源LUN收到寫IO,則目標(biāo)LUN上的數(shù)據(jù)可能不具備時間一致性;因此復(fù)制過程中需暫停對源LUN的寫IO。

優(yōu)勢和應(yīng)用場景支持第三方存儲支持源LUN比目標(biāo)LUN容量小的場景陣列間或陣列內(nèi)的數(shù)據(jù)遷移數(shù)據(jù)備份1全量拷貝業(yè)務(wù)暫停源LUN目標(biāo)LUNLUN拷貝123456789123456789可信智能融合HyperCopy工作原理10.HyperCopy(LUN拷貝)技術(shù)概念1全11.HyperReplication/S(同步遠(yuǎn)程復(fù)制)技術(shù)

概念

遠(yuǎn)程復(fù)制技術(shù)的一種,存儲間實時的同步數(shù)據(jù),最大限度保證數(shù)據(jù)的一致性,以減少災(zāi)難發(fā)生時數(shù)據(jù)的丟失量。HyperReplication/S工作原理建立同步遠(yuǎn)程復(fù)制之初,會啟動一個初始同步,也就是將主LUN數(shù)據(jù)全量拷貝到從LUN;初始同步完成以后,如果此時主LUN收到生產(chǎn)主機寫請求,按照如下流程進(jìn)行I/O處理:主站點接收生產(chǎn)主機寫請求,記錄這個I/O對應(yīng)數(shù)據(jù)塊的差異日志值為“有差異”;主站點將寫請求的數(shù)據(jù)寫入主LUN(LUNA),同時利用配置好的鏈路將寫請求發(fā)送到遠(yuǎn)端從站點;判斷寫LUNA和寫LUNB的執(zhí)行結(jié)果,如果都成功,則將差異日志改為“無差異”,否則保留“有差異”,在下一次啟動同步時重新拷貝這一個數(shù)據(jù)塊;向主機返回寫請求完成??尚胖悄苋诤贤竭h(yuǎn)程復(fù)制CacheCacheLUNALUNB主站點從站點12223334HyperReplication/S工作原理優(yōu)勢和應(yīng)用場景零數(shù)據(jù)丟失復(fù)制比可達(dá)32:1(同步遠(yuǎn)程復(fù)制+異步遠(yuǎn)程復(fù)制之和)主從存儲可互為鏡像適用于本地或同城數(shù)據(jù)容災(zāi)11.HyperReplication/S(同步遠(yuǎn)程復(fù)制)12.HyperReplication/A(異步遠(yuǎn)程復(fù)制)技術(shù)

概念

遠(yuǎn)程復(fù)制技術(shù)的一種,存儲間周期性地同步數(shù)據(jù),最大限度減少由于數(shù)據(jù)遠(yuǎn)程傳輸?shù)臅r延而造成的業(yè)務(wù)性能下降。HyperReplication/A工作原理建立異步遠(yuǎn)程復(fù)制之初,會啟動一個初始同步,也就是將主LUN數(shù)據(jù)全量拷貝到從LUN;初始同步完成以后,開始按照下面的流程進(jìn)行I/O處:每個復(fù)制周期啟動時在主LUN(LUNA)和從LUN(LUNB)的緩存中產(chǎn)生新的時間片(TPN+1和TPX+1);主站點接收生產(chǎn)主機寫請求;主站點將寫請求的數(shù)據(jù)寫入Cache時間片TPN+1中,立即響應(yīng)主機寫完成;

同步數(shù)據(jù)時,讀取前一個周期主LUNA

Cache時間片TPN的數(shù)據(jù),傳輸?shù)綇恼军c,寫入LUNB

Cache時間片TPX+1中;若主站點Cache寫緩存達(dá)到高水位時會自動刷盤,此時時間片TPN的數(shù)據(jù)會在盤上生成快照;同步時已刷盤的數(shù)據(jù)從快照中讀取并復(fù)制到LUNB??尚胖悄苋诤袭惒竭h(yuǎn)程復(fù)制CacheCacheLUNALUNB主站點從站點125354N+1NX+1X1采用創(chuàng)新的多時間片緩存技術(shù)(專利號:CT/CN2013/080203),實現(xiàn)秒級RPO秒級RPO實現(xiàn)異步遠(yuǎn)程復(fù)制工作原理優(yōu)勢和應(yīng)用場景性能影響較小,RPO可達(dá)到5秒復(fù)制比可達(dá)32:1(同步遠(yuǎn)程復(fù)制+異步遠(yuǎn)程復(fù)制之和)主從存儲可互為鏡像適用于本地、同城、異地數(shù)據(jù)容災(zāi)12.HyperReplication/A(異步遠(yuǎn)程復(fù)制)13.關(guān)鍵數(shù)據(jù)三中心容災(zāi)兩地三中心容災(zāi)復(fù)制實現(xiàn),主要有兩種方式:級聯(lián)(A->B->C)和并行(A->B,A->C)級聯(lián)(A->B->C):當(dāng)A故障后,B接管業(yè)務(wù),B->C繼續(xù)復(fù)制;A修復(fù)后,B反向同步到A,再恢復(fù)到原始復(fù)制級聯(lián)狀態(tài)。當(dāng)B點出現(xiàn)異常,A->C繼續(xù)完成復(fù)制(需要進(jìn)行初始同步),B恢復(fù)后,恢復(fù)級聯(lián)模式。并行(A->B,A->C):當(dāng)A故障后,B接管業(yè)務(wù),B->C復(fù)制;A修復(fù)后,B反向同步到A,在恢復(fù)到原始復(fù)制并行狀態(tài)。當(dāng)B點出現(xiàn)異常,A->C繼續(xù)完成復(fù)制。

SAN異地容災(zāi)中心CSAN生產(chǎn)中心ASAN同城容災(zāi)中心BAAA’A“

SAN異地容災(zāi)中心CSAN生產(chǎn)中心A同/異步復(fù)制SAN同城容災(zāi)中心B異步復(fù)制AAA’A“同/異步復(fù)制異步復(fù)制特點:同城容災(zāi)中心承擔(dān)異地復(fù)制任務(wù),對生產(chǎn)中心性能影響小生產(chǎn)中心存儲故障后,同城中心接管業(yè)務(wù)并與異地中心保持?jǐn)?shù)據(jù)復(fù)制關(guān)系特點:生產(chǎn)中心存儲故障后,同城或異地中心能快速接管業(yè)務(wù)非星型組網(wǎng)時,同城中心接管業(yè)務(wù)后,無法自動復(fù)制到異地級聯(lián)(A->B->C)可信智能融合并行(A->B,A->C)13.關(guān)鍵數(shù)據(jù)三中心容災(zāi)兩地三中心容災(zāi)復(fù)制實現(xiàn),主要有兩種14.抗震防腐蝕華為企業(yè)定制硬盤可信智能融合硬盤單元的振動隔離托架內(nèi)側(cè)增加粘彈性材料吸收硬盤自身旋轉(zhuǎn)振動能量風(fēng)扇振動多級隔離風(fēng)扇、支架與機箱之間的垂直、水平多級減振,振動降低40%壓鑄合金硬盤滑道設(shè)計壓鑄鋅基合金的滑道材料,良好的耐沖擊性降低機箱向硬盤振動的傳遞放大作用設(shè)備運行環(huán)境實時監(jiān)測集成于背板上的振動傳感器實時監(jiān)控系統(tǒng)環(huán)境狀況

防腐蝕硬盤聯(lián)合硬盤廠商開發(fā)出硬盤防腐蝕工藝防腐蝕控制器通過PCB防腐蝕工藝結(jié)合溫升、電壓分布設(shè)計進(jìn)行局部防護(hù)腐蝕風(fēng)險預(yù)警&測試通過專業(yè)測試設(shè)備快速(72hr)量化數(shù)據(jù)中心腐蝕等級

發(fā)明專利:

中國01210519754.9極端惡劣機房環(huán)境方案通過機框加裝防腐蝕過濾器,解決機框級腐蝕問題

發(fā)明專利:

中國201110314472.0陣列是機電一體化系統(tǒng),磁盤在工作中的旋轉(zhuǎn)振動及共振會對其壽命帶來很大影響;受汽車尾氣和冬季采暖因素,二氧化硫及硫化氫比重高,機房環(huán)境差,電子設(shè)備腐蝕嚴(yán)重;14.抗震防腐蝕華為企業(yè)定制硬盤可信智能融合硬盤單元的振動可信智能融合高可靠年失效率小于1%,僅有普通渠道市場硬盤的1/4.從物料、產(chǎn)線、測試端到端的監(jiān)控,100%解決批次問題性能優(yōu)勢性能一致性差異控制在5%以內(nèi),相對普通渠道硬盤提升2倍獨有防腐蝕工藝,100%解決腐蝕問題華為高可靠企業(yè)級定制硬盤15.華為企業(yè)定制硬盤可信智能融合高可靠華為高可靠企業(yè)級定制硬盤15.華為企業(yè)定SmartThin空間智能分配SmartQoS確保服務(wù)質(zhì)量Smart軟件套件全面助力客戶提升存儲系統(tǒng)效率3D

DataflowingSmartTier數(shù)據(jù)垂直流動SmartVirtualization數(shù)據(jù)跨級流動SmartMotion數(shù)據(jù)水平流動EMCHDSIBMHWSmartPartition確保關(guān)鍵業(yè)務(wù)性能Smart軟件套件全面存儲系統(tǒng)效率可信智能融合SmartThinSmartQoSSmart軟件套件全面助力顆粒可調(diào)最小粒度512KB可根據(jù)不同場景選擇最佳顆粒度(512KB~64MB)可根據(jù)不同場景選擇最佳操作周期(0.5~N小時)目前存儲遷移粒度MB級或GB級Application1.SmartTier:智能垂直流動合適的時間,將合適的數(shù)據(jù),遷移至合適的介質(zhì)制定遷移策略性能監(jiān)控分析數(shù)據(jù)遷移設(shè)置監(jiān)控時段,IO監(jiān)控—IO統(tǒng)計—分析出待遷移數(shù)據(jù)塊手動或設(shè)置遷移時段,根據(jù)冷熱程度遷移至合適介質(zhì)Tier0(SSD)Tier1(SAS)Tier2(NLSAS)初始容量分配自動分配或指定Tier分配1、不遷移;2、高性能遷移3、低性能遷移;4、自動遷移可信智能融合顆粒可調(diào)可根據(jù)不同場景選擇最佳顆粒度(512KB~64MB2.SmartMotion:智能水平流動傳統(tǒng)存儲華為存儲SmartMotion系統(tǒng)上線N個月容量性能系統(tǒng)上線N個月容量性能容量性能容量性能系統(tǒng)剛上線容量性能系統(tǒng)剛上線可信智能融合技術(shù)原理在線實時監(jiān)控硬盤CK的使用率、IO等定時遷移CK至“空閑”硬盤,通過遷移CK實現(xiàn)硬盤容量和性能的均衡雙重機制降低遷移對業(yè)務(wù)的影響:“優(yōu)先級”和“流控”技術(shù)優(yōu)勢實現(xiàn)存儲資源智能水平流動,硬盤內(nèi)部負(fù)載均衡新加入硬盤時,數(shù)據(jù)和性能均衡分布實現(xiàn)在調(diào)整過程中業(yè)務(wù)連續(xù)100%維持容量和性能動態(tài)均衡規(guī)劃適應(yīng)性提升4倍2.SmartMotion:智能水平流動傳統(tǒng)存儲華為存儲系3.SmartThin:智能空間優(yōu)化32MB32MB32MB32MB8KB數(shù)據(jù)量:32KB分配空間:256KB數(shù)據(jù)量:32KB分配空間:128MB利用率提升數(shù)50倍8KB8KB8KB8KB8KB8KB8KB技術(shù)優(yōu)勢1.寫操作ThinLUN2、查詢映射表,進(jìn)行分配或修改Pool用時再分配空間分配物理空間存儲實際數(shù)據(jù)可信智能融合技術(shù)原理寫時分配:當(dāng)分配空間不足時,默認(rèn)以64KB粒度補配空間映射表:邏輯單元和物理單元(即默認(rèn)64KB粒度)之間通過映射表關(guān)聯(lián)讀寫重定向:通過映射表將讀寫邏輯單元的IO重定向到物理單元技術(shù)優(yōu)勢高效分配策略:64KB分配粒度,針對小數(shù)據(jù)塊場景,分配效率更高多樣回收機制:支持VMwareVAAI命令回收、SymantecStorageFoundation命令回收、WindowsServer2012命令回收、全零頁面檢測回收3.SmartThin:智能空間優(yōu)化32MB32MB32M4.數(shù)據(jù)縮減全零數(shù)據(jù)塊/未使用空間非全零數(shù)據(jù)塊/已使用空間主要技術(shù)當(dāng)ThinLUN收到主機寫請求時,先將該請求按照Grain粒度(即分配空間的粒度,64KB)進(jìn)行拆分,并對所有Grain逐個進(jìn)行零數(shù)據(jù)檢測。查詢ThinLUN的空間分配映射表,獲取全零Grain的物理空間分配情況。如果全零Grain所在的邏輯地址還未分配物理空間,則直接返回該全零Grain寫入成功,不需要對其做寫時分配操作。反之,如果全零Grain所在的邏輯地址已經(jīng)分配物理空間,則觸發(fā)釋放該物理空間的操作,釋放空間完成后返回該全零Grain寫入成功。ThinLUN映射表POOL①②③④④釋放空間可信智能融合4.數(shù)據(jù)縮減全零數(shù)據(jù)塊/未使用空間非全零數(shù)據(jù)塊/已使用空間5.SmartQoS:關(guān)鍵業(yè)務(wù)優(yōu)先響應(yīng)(1)限制一般業(yè)務(wù)性能,避免擾鄰啟動限流策略一般業(yè)務(wù)性能沖高,關(guān)鍵業(yè)務(wù)受影響開啟優(yōu)先級控制

SmartQoS(智能服務(wù)質(zhì)量控制)為不同的業(yè)務(wù)指定不同性能目標(biāo),以滿足關(guān)鍵業(yè)務(wù)的運行。適用于多業(yè)務(wù)混合應(yīng)用場景。優(yōu)先級策略:系統(tǒng)內(nèi)部維護(hù)多個IO隊列,隊列按照高、中、低檔次分類,通過控制前端并發(fā)、CPU、Cache、后端硬盤等環(huán)節(jié)進(jìn)行IO排隊處理流控機制設(shè)置上限值:通過限制IOPS、帶寬、延時等,限制非關(guān)鍵應(yīng)用的性能,避免非關(guān)鍵應(yīng)用搶占過多存儲資源可信智能融合5.SmartQoS:關(guān)鍵業(yè)務(wù)優(yōu)先響應(yīng)(1)限制一般業(yè)務(wù)性5.SmartQoS:關(guān)鍵業(yè)務(wù)優(yōu)先響應(yīng)(2)開啟性能保障目標(biāo):8000流控機制設(shè)置下限值:為關(guān)鍵應(yīng)用設(shè)置最低性能目標(biāo)(如IOPS、帶寬、延時等),無論存儲負(fù)載如何變化,系統(tǒng)盡快最大能力滿足關(guān)鍵應(yīng)用的最低指標(biāo)可信智能融合5.SmartQoS:關(guān)鍵業(yè)務(wù)優(yōu)先響應(yīng)(2)開啟性能保障目6.SmartPatition:關(guān)鍵業(yè)務(wù)專屬保障SmartPartition(智能緩存分區(qū))通過對系統(tǒng)核心資源緩存的分區(qū),保證關(guān)鍵應(yīng)用的性能技術(shù)原理將存儲緩存劃分為多個大小不等的緩存分區(qū)將不同應(yīng)用分配到不同的緩存分區(qū)系統(tǒng)自動調(diào)整每個緩存分區(qū)的主機并發(fā)和訪盤并發(fā),進(jìn)而調(diào)整每個應(yīng)用的服務(wù)質(zhì)量效果專屬緩存分區(qū),實現(xiàn)業(yè)務(wù)隔離,提高可靠性核心業(yè)務(wù)專屬保障,充分利用緩存資源,大幅提升服務(wù)質(zhì)量適用于多業(yè)務(wù)混合應(yīng)用場景可信智能融合6.SmartPatition:關(guān)鍵業(yè)務(wù)專屬保障SmartCPU能耗1008060402002.521.510.5010采樣次數(shù)采樣次數(shù)2030405060102030405060CPU利用率CPU主頻7.綠色環(huán)保:CPU智能調(diào)頻技術(shù)原理根據(jù)CPU利用率動態(tài)調(diào)節(jié)CPU主頻,從而降低CPU功耗,最大可降低20%以上。技術(shù)優(yōu)勢采用立即升頻的策略,能使CPU頻率立即提高,滿足業(yè)務(wù)壓力,提升系統(tǒng)性能。例如:當(dāng)檢測到CPU利用率超過80%,能立即把CPU頻率升到最高采用延遲降頻的策略,CPU頻率平滑改變,減少對系統(tǒng)性能的影響CPU智能調(diào)頻原理可信智能融合CPU能耗1008060402002.521.510.501系統(tǒng)能耗噪聲分貝存儲系統(tǒng)溫度8.綠色環(huán)保:風(fēng)扇智能精細(xì)化調(diào)速風(fēng)扇智能精細(xì)化調(diào)速技術(shù)簡介 在系統(tǒng)的所有熱敏部位均部署溫度監(jiān)控部件,實時監(jiān)控各個溫度監(jiān)控點的溫度,平滑調(diào)整風(fēng)扇的轉(zhuǎn)速多達(dá)16個檔位、精度2℃/檔的風(fēng)扇智能精細(xì)化調(diào)速,有效提高散熱效率、降低噪聲分貝技術(shù)優(yōu)勢有效減少設(shè)備的灰塵進(jìn)入量有效降低整個存儲系統(tǒng)的能耗有效提高風(fēng)扇壽命可信智能融合系統(tǒng)能耗噪聲分貝存儲系統(tǒng)溫度8.綠色環(huán)保:風(fēng)扇智能精細(xì)化調(diào)9.智能存儲管理(1)eSight/DeviceManager短信Email聲音告警通知統(tǒng)一管理智能分析數(shù)據(jù)自動保護(hù)智能管理高端中端入門級移動管理S2600TS5500TS5600TS5800TS6800T18500/18800可信智能融合9.智能存儲管理(1)eSight/短信Email聲音告警9.智能存儲管理(2)指示燈告警當(dāng)設(shè)備發(fā)生重大故障時,通過設(shè)備上的指示燈發(fā)出告警短信、郵件告警在設(shè)備串口上外接短信Modem及SIM卡,通過短信方式發(fā)送告警信息至手機在管理界面中配好郵件服務(wù)器地址,通過Email方式發(fā)送告警信息SNMP上報告警通過SNMP協(xié)議,向上層網(wǎng)管或支持SNMP的第三方管理軟件發(fā)送告警信息上層網(wǎng)管SNMP協(xié)議短信貓E-mail可信智能融合多種告警方式9.智能存儲管理(2)指示燈告警上層網(wǎng)管SNMP協(xié)議短信貓1.多協(xié)議融合,承載多類型業(yè)務(wù)10GbFCoEFCCIFSNFSiSCSIdatabasesdigitalmediaapplicationsfileservicesBlock+File靈活應(yīng)對復(fù)雜多應(yīng)用場景文件和塊融合:單套系統(tǒng)滿足SAN和NAS混合需求,避免客戶重復(fù)投資,降低客戶TCO多接口協(xié)議融合:業(yè)界最全接口協(xié)議,支持GE/10GE/FC/FCoE/NFS/CIFS等,靈活應(yīng)對客戶各種組網(wǎng)需求可信融合智能1.多協(xié)議融合,承載多類型業(yè)務(wù)10GbFCoEFCCIFS2.全系列存儲產(chǎn)品互通01010101011010010101010010101010010101010010101010010101010OceanStor18500/18800OceanSto

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論