EMC-DMX存儲(chǔ)的物理架構(gòu)與邏輯架構(gòu)

1、EMCDMX存儲(chǔ)的物理架構(gòu)與邏輯架構(gòu)DMX存儲(chǔ)概述DMX存儲(chǔ)硬件的物理與邏輯架構(gòu)能夠?qū)崿F(xiàn)最大限度的將一個(gè)lun的io最大限度分?jǐn)偨o硬盤,DAE盤陣的環(huán)路；一個(gè)lun的io同時(shí)也平均分?jǐn)偨o后端的存儲(chǔ)cpu.從后面文檔設(shè)備連接的介紹可以知曉.DMX的架構(gòu)做到了最大限度的打散數(shù)據(jù)以達(dá)到性能最大化；性能最大化的硬件配置是一個(gè)控制柜加兩個(gè)與控制柜存儲(chǔ)cpu端口直連的磁盤柜；存儲(chǔ)卷vol以及4個(gè)volmeta(綁定)條帶化以后就避免了熱點(diǎn)(hotblock)讀寫的問題.將任何一個(gè)lun的讀寫io操作做到由最多的硬件資源來支撐.硬件資源主要是硬盤,DAE盤陣環(huán)路，存儲(chǔ)cpu，存儲(chǔ)緩存.DMX存儲(chǔ)安裝配置是通

2、過加載預(yù)先配置好的binfile來部署的;binfile定義了物理架構(gòu)與邏輯架構(gòu)的配置定義整個(gè)存儲(chǔ)當(dāng)前硬件配置如何被使用規(guī)劃好,以后修改配置就得重新裝載binfile也就是重新配置整個(gè)存儲(chǔ).Binfile的加載以及整個(gè)存儲(chǔ)的管理通過console服務(wù)器上的軟件symmwin來操作console服務(wù)器通過電話線moden與EMC支持中心連通.EMC技術(shù)人員通過電話線的撥號(hào)撥入方式可以做到完全掌控存儲(chǔ)設(shè)備.本文檔關(guān)注存儲(chǔ)設(shè)備架構(gòu)方面，管理方面的gk盤,ecc等不做贅述.二.EMCDMX存儲(chǔ)的物理架構(gòu)1.存儲(chǔ)外觀及各個(gè)模塊介紹(1)外觀DMX由一個(gè)控制柜加磁盤柜組成，通常帶2個(gè)或者5個(gè)磁盤柜我們公司

3、為了性能最大化,配置滿配的前端后端卡,只掛2個(gè)磁盤柜.再擴(kuò)展磁盤機(jī)柜只增加空間,性能不增長(zhǎng).前視圖：中間系統(tǒng)柜,前視圖：中間系統(tǒng)柜,左邊是BAY1A；右邊是BAY1B(2)物理構(gòu)成模塊圖示:(打開機(jī)柜門前視圖)DA卡cpu端口與硬盤的連線圖示：這里的圖示是端口所管理的硬盤，是指硬盤的主環(huán)路(BUSloop)，實(shí)際情況物理聯(lián)線只連接到DAE的LCCA&LCCB端口.OEOE0OtoQ305OA09020100OPOCOEOR070403OAne07ee050403:0201OPocOE連接口15D-L02D-L15D-L02D-L15D-L02D-L15D-LCI2D-LI1SD-L02D-L1

4、5D-L02D-L15D-L連接口02D-0OEOE0OtoQ305OA09020100OPOCOEOR070403OAne07ee050403:0201OPocOE連接口15D-L02D-L15D-L02D-L15D-L02D-L15D-LCI2D-LI1SD-L02D-L15D-L02D-L15D-L連接口02D-015D-002D-015D-002D-015D-002D-n15D-002D-015D-002D-015D-002D-015D-002D-0站卡竝DDAE12DAE16D盤卡1玉D每個(gè)DA卡管理2個(gè)DAE盤陣,同時(shí)每個(gè)盤陣歸兩個(gè)不同DA卡的端口管理;能互相接管對(duì)方環(huán)路的硬盤,也

5、就是互為standby環(huán)路.DA卡cpu與DAE盤柜的對(duì)應(yīng)關(guān)系1.DA01,DA16管理BAY1A的DAE1至IDAE8;DA02,DA15;管理BAY1A的DAE9到DAE16;DA05,DA12;管理BAY1B的DAE1到DAE8;DA06,DA11;管理BAY1B的DAE9到DAE16;按照這個(gè)接線規(guī)律管理DAE盤陣.也就是說每個(gè)DA卡有4個(gè)cpu，每個(gè)cpu兩個(gè)端口;一個(gè)cpu端口管理一個(gè)DAE盤陣的一半的硬盤（7或8塊），另外一半的硬盤standby模式，也可以接管.（下面兩張圖可以描述這種物理連接關(guān)系）DA01DAO2DAO5D&O6DA11DA12DA1E1D1*DooD1.門D

6、A01DAO2DAO5D&O6DA11DA12DA1E1D1*DooD1.門uMDA卡cpu端口與DAE盤柜的對(duì)應(yīng)關(guān)系（接線規(guī)律）CPU從a到d按照從左到右的連接順序連DAE盤陣；下面一排的DAE都是被cpu兩個(gè)端口中的0端口管理；上面則接1端口;（這是接線的規(guī)律）DA01DAC2DAOEiDA06DAllDAI2BAISDAI3DAE3DASHDAE15DAEieEDIoDIClnT辛BlDIX3DODODODODODODO4DOAE9DAH11mm三-G1-.Cl-OClJ*cocoCOcodco呀L、I、ASSxQAE7AElElBlBl逆、ElVA.LUf*ovEQE?O帚、斑、警P恥

7、OE0DAE1EAE2D盤E蟲AlAlAlAlAlAl.仝Al”qAlj-iOOO*7AC、AOAOAOxo一。AOqAO三.EMCDMX存儲(chǔ)的邏輯架構(gòu)存儲(chǔ)最小的可用單元是cylinder(每個(gè)cylinder960k);每個(gè)cyln由15個(gè)64k的塊組成.每個(gè)硬盤以cyln為單位劃分成n個(gè)hyper(也叫切片)以DA02D1:05(DA卡2，Dcpuport1口管理的DAEID5硬盤為例)DA02D1:05硬盤被切成了14塊,前面9塊都是16570cyln的大小的數(shù)據(jù)空間，后面5塊是3cyln的管理用的GK盤.然后以16570cyln為單位的15GB(16570*960k/1024)大小的h

8、yper來與其他硬盤里面的同樣是16570cyln的hyper來做鏡像成為一個(gè)卷(vol).大多數(shù)情況下某個(gè)硬盤里面的數(shù)據(jù)(vol)與另外一個(gè)硬盤的數(shù)據(jù)一摸一樣.看如下圖示：鏡像1是M1,鏡像2是M2.互相交叉.后面的6,7,8都是同樣情況,兩塊硬盤數(shù)據(jù)一樣,鏡像1鏡像2交叉放.卷volume分配給主機(jī)的時(shí)候都是連續(xù)地分配出去,而如下圖兩個(gè)硬盤里面的vol都是不順序的，是打散的，這樣就打散了主機(jī)對(duì)存儲(chǔ)讀寫的io.DA02D1:05D)A02D1:05Fields-ASGFS1hypers1gapsFields.ASGFShypers1gapsIDVolTypmEmulationCylsMirM

9、emberIDVolTYPeEmulationCylsMirMember005EBM2FBA-SO16570C20006EBM1FBA-SO16570C10106C5M1FBA-SO16570C10106C5M2FBA-SO16570C202079FM2FBA-SO1657OC202079FM1FBA-SO1B570C1030679M1FBA-SO1657OC1030879M2FBA-SO16570C20|40953M2FBA-SO16570C2040953M1FBA-SO16570C1050A2DM1FBA-SO16570C1050A2DM2FBA-SO16570C2060B07M2FBA-

10、SO16670C20S0B07M1FBA-SO16570C1010BE1M1FBA-SO16570C101OBE1M2FBA-SO16570C208OCBBM2FBA-SO16570C20sOCBBM1FBA-SO16570C109OOC7M1FBA-SO3C10g00C7M2FBA-SO3C20A01A1M2FBA-SO3C20A01A1M1FBA-SO3C10|b027BM1FBA-SO3C10B027BM2FBA-SO3C20c0355M2FBA-SO3C20C0355M1FBA-SO3C10D042FM1FBA-SO3C10D042FM2FBA-SO3C20DA15D1:06DA01D

11、1:06DA02D1:07DA16D1:07DA15D1:08DA01D1:085.當(dāng)前dmx系統(tǒng)都是每個(gè)卷Volume由4個(gè)小卷meta條帶化;如下圖示:每個(gè)卷底層都是由8個(gè)硬盤來支持,并且由八個(gè)cpu通道來支持,因?yàn)榘藗€(gè)硬盤都算來自不同的硬盤DAE盤陣,能達(dá)到最佳的IOPS.dmx系統(tǒng)只將MetaPosition0的卷名（meta位置0的）映射給主機(jī)，一個(gè)卷也就是作為一個(gè)lun來使用.這里舉例的情況是兩個(gè)hyper先鏡像,然后4個(gè)用powerpath工具powermt看LogicaldeviceID例如:Pseudoname=emcpowerbdSymmetrixID=000290105785LogicaldeviceID=05EBstate=alive;policy=SymmOpt;priority=0;queued-IOs=0-Host-Stor-I/OPath-Stats-Q-IOsErrors#HWPathI/OPathsInterf.ModeState2qla2xxxsdbqFA14dAactivealive003qla2xxxsdevFA13dAactivealive003qla2xxxsdgoFA14dAactivealive004q