存儲器那點事(六)企業(yè)級大存儲器綜述-1

1、存儲器那點事(六)企業(yè)級大存儲器綜述-1 我們把上述體系架構(gòu)成為Hi-Star架構(gòu)，多年來，H系一直堅持了這種體系架構(gòu)不變，從9900系列（包括9960、9910），9900V系列（包括9970V、9980V），USP系列（包括USP、NSC55）和USP V系列（包括USP VM和USP V）從體系架構(gòu)上來講皆變化不大。每一代的升級從本質(zhì)上來講是進一步提升了控制緩存和數(shù)據(jù)緩存交換機的帶寬，提升前端主機通道接口的速度和數(shù)量，提升后端磁盤通道接口的數(shù)量和速度，以及提高數(shù)據(jù)緩存和控制緩存的容量。 第一代基于Histar交換架構(gòu)H系存儲器9900系列存儲器，包括9960和9910兩個型號。其中996

2、0最大支持512塊磁盤，HP管叫XP512；而9910最大支持48塊磁盤，HP那邊叫XP48；第一代基于Histar交換架構(gòu)H系存儲器9900系列存儲器第三代基于Histar交換架構(gòu)H系企業(yè)級存儲器上圖是第二代基于Histar交換架構(gòu)H系存儲器9900V系列存儲器，可以看到緩存交換機系統(tǒng)帶寬從6.4GB/sec升級到了15.9GB/sec，包括9970V和9980V兩個型號。其中9970最大支持128塊磁盤，HP管叫XP128；而9980V最大支持1024塊磁盤，HP那邊叫XP1024； 而下圖介紹了第三代基于Histar交換架構(gòu)H系企業(yè)級存儲器，這次不叫閃電系列了，改名叫USP（Univer

3、sal Storage Platform）系列了?？梢钥吹酱鎯ζ骶彺娼粨Q機系統(tǒng)帶寬從15.9GB/sec升級到了81GB/sec，包括USP和NSC55兩個型號。其中NSC55最大支持240塊磁盤，HP管叫XP10000；而USP最大支持1152塊磁盤，HP那邊叫XP12000?？赡苡锌垂贂枺趺匆幌伦訌?12、1024跳到12000去了，難不成這個東東能夠支持12000塊磁盤？ 這其實是一共HP公司一個相當高明的比喻手法，因為從這一代開始這個存儲器可以支持通過虛擬化存儲的技術(shù)外接第三方存儲器，所以總體支持的磁盤數(shù)量跨越了單臺存儲機箱的限制而大大增加了（就像飛流直下三千尺難不成李白同學還親自

4、量過那個瀑布有三千尺的落差？） 第四代基于Hi-star交換架構(gòu)的企業(yè)級存儲器到了2007年，H系又再次更新到第四代基于Hi-star交換架構(gòu)的企業(yè)級存儲器，這次仍然是兩款存儲器產(chǎn)品USP V和USP VM系列（這一代的主要特點是增加了對于精細化預分配的支持，因此名字里面加了一個V）?？梢钥吹酱鎯ζ骶彺娼粨Q機系統(tǒng)帶寬從81GB/sec升級到了106GB/sec，HP這邊管它們叫XP24000和XP20000。 下圖是H系公司企業(yè)級存儲更新發(fā)布的總覽。 H系公司企業(yè)級存儲更新發(fā)布的總覽補充說明：前陣子筆者主持一個云存儲用戶大會，據(jù)中國惠普一個存儲高層領導透露，HP公司將要將存儲器整合重新命名。比

5、如所有存儲陣列都叫HP Storageworks P系列，那么原來的HP XP系列將屬于P9000系列，HP EVA好像是屬于P6000系列，HP MSA2000將屬于P2000系列，而前幾年收購的Lefthand公司的產(chǎn)品是屬于P4000系列，不知道有沒有給新收購的H3C的IX3000和IX1000系列留下位置？莫非就叫P1000和P3000系列？而所有的磁帶庫都叫A系列，所有的NAS叫X系列，因此大家在采購各家存儲廠商的產(chǎn)品的時候請注意一下其最新的命名規(guī)則。基于DMX直連矩陣的EMC DMX存儲器體系架構(gòu)可以說企業(yè)級存儲市場，2000年以前EMC公司是處于絕對壟斷地位，后面幾年慢慢地被兩家

6、后起之秀（IBM公司和日立公司）搶了不少份額，可以說當時EMC在存儲器體系架構(gòu)方面拘泥于MOSAIC 2000架構(gòu)一直無法實現(xiàn)突破。厚積薄發(fā)，在2003年2月EMC終于推出了一種劃時代的創(chuàng)新產(chǎn)品Symmetrix DMX系列，開始了在企業(yè)級存儲市場的有力反擊。 下圖是EMC Symmetrix DMX的體系架構(gòu)圖： EMC Symmetrix DMX的體系架構(gòu)我們來分析一下EMC DMX的設計思路，企業(yè)級存儲器的設計說到底還是要解決多個部件高速互連的問題，總線設計已經(jīng)證明行不通了，交叉開關crossbar的思路被H系搶了先，有沒有更加先進的思路呢，俗話說：如果你不能擁有它（實話說這crossb

7、ar技術(shù)蠻有技術(shù)壁壘的），那么最好的方法這就拋棄它換個思路突破，這就是EMC DMX系列推出來后的突出亮點。 DMX存儲器的核心交換部分干脆就拋棄了原來的緩存高速交換機和緩存總線的設計思想，干脆采用了一種各部件直連的體系結(jié)構(gòu)，把主機前端接口和后端磁盤接口直接接到緩存上以避免了總線和交換機的延遲（當然其實在緩存上還是有其他轉(zhuǎn)接部件存在以連接前端存儲卡和后端存儲卡的，但不管怎么樣直連DMX聽起來也不輸給所謂crossbar無阻塞交換架構(gòu)，總算打平了）。 根據(jù)EMC公司官法資料介紹，Symmetrix DMX系列存儲器的直連矩陣架構(gòu)采用了其專利、有革命性意義的全新Direct Matrix Arch

8、itecture（直連矩陣架構(gòu)），為可擴展性、靈活性、可用性設置了新軌道。從體系架構(gòu)設計思路來講還是有一定道理的。 從2003年第一代Symmetrix DMX存儲器推出后，EMC的高端存儲器一直堅持此種體系架構(gòu)，包括DMX/DMX2系列（包括DMX 800、DMX1000、DMX1000P、DMX2000、DMX2000P和DMX3000），DMX3系列（包括DMX-3 950和DMX3），和DMX4系列（包括DMX-4 950和DMX4），直到2009年EMC又與時俱進地推出了基于Scale out設計思想的Symmetix V-MAX系列存儲器。 下圖是DMX/DMX-2發(fā)布的產(chǎn)品分類

9、DMX/DMX-2發(fā)布的產(chǎn)品分類緊接著在上一代的基礎上EMC發(fā)布了DMX3系列，分為DMX3-950和DMX 3兩個型號，仍然采用緩存部分DMX直連通道架構(gòu) EMC發(fā)布DMX3系列而EMC也馬不停蹄在2007年發(fā)布了Symmetirx DMX4系列，分為DMX4 950和DMX4兩個型號，磁盤后端接口采用了4Gb/sec的后端光纖通道，其中DMX4最大可以支持到512GB緩存，其緩存直連帶寬高達128GB。另外DMX4有一個很大的亮點是2008年初EMC宣布成為業(yè)界第一個將在高級儲存產(chǎn)品上提供固態(tài)硬盤（solid-state drives, SSD）的存儲器廠商，客戶可選擇以73GB和146G

10、B二種容量的固態(tài)硬盤（當然現(xiàn)在有了更多SDD磁盤類型的選擇），取代部分磁盤陣列中的傳統(tǒng)硬盤，以加快反應速度，EMC把基于SDD的磁盤稱作tier 0，SDD改變了傳統(tǒng)存儲器的很多游戲規(guī)則（當然緊接著其他公司也立馬推出了SDD產(chǎn)品），SDD在隨機cache不命中的IO環(huán)境中（多用于OLTP數(shù)據(jù)庫交易系統(tǒng)）的表現(xiàn)是非常突出的。 Symmetirx DMX4系列當然在2009年EMC又突破性地推出了Symmetrix v-max企業(yè)級存儲器，它將突破現(xiàn)有的scale-up架構(gòu)，而轉(zhuǎn)向了scale out架構(gòu)，此方面會在其他章節(jié)中描述，在本節(jié)中就不多敘述了。逐鹿中原，百花齊放到底是H系公司的cross

11、bar架構(gòu)好，還是EMC公司的直連式架構(gòu)好，有人說交換機靈活擴展，也有人說直連式架構(gòu)高效快速，還有人說其實IBM基于Seascape架構(gòu)的企業(yè)級存儲器擁有Power芯片的核動力才是真正的最高性能存儲器其實這是在企業(yè)級存儲市場在產(chǎn)品選型時經(jīng)常被提到的問題，也需要廣大系統(tǒng)管理員和用戶自己好好考慮。但有一點是肯定的，高速低延遲的背板或直連技術(shù)是做企業(yè)級大存儲器的關鍵之一。 我一直強調(diào)，其實存儲器本質(zhì)上也是一種計算機，所以其他高級服務器器也會碰到同樣的問題，比如HP新一代的Superdome刀片開始用上了Infiniband交換機連接多個刀片處理器，而最近很火的一個機器就是Oracle新發(fā)布的Exad

12、ata Ver 2.0，據(jù)說是速度驚人，說白了其關鍵核心是獨家采用了最先進的Infiniband交換設備40 Gb/sec fault-tolerant unified server and storage network，整個數(shù)據(jù)庫機內(nèi)部配置了3個36-port QDR Sun Datacenter InfiniBand Switches，也就是通過他把很多個小服務器串接起來高效工作。具體配置見下圖。 Oracle Exadata Ver 2.0具體配置統(tǒng)一大緩存存儲器的其他產(chǎn)品除了EMC/HDS以外（HP屬于OEM日立的存儲設備），還有一家就是富士通的高端存儲器了。 富士通Eternus

13、6000的體系架構(gòu)圖富士通的存儲器也分為兩個檔次，基于模塊化集群架構(gòu)的Eternus 4000系列（上一代是Eternus3000系列），還有就是企業(yè)級的Eternus 8000系列（上一代是Etnernus 6000系列）。上圖是富士通Eternus 6000的體系架構(gòu)圖，其基本思想是以高速RT（Router）做為核心交換部件，把控制器CM（即control module，控制器。所有的前端端口均配置在各個CM上，CM本身可以擴展）、前端主機接口卡（CA）和后端磁盤接口卡（DA）連接起來。其整體設計思想與H系公司和EMC公司存儲器基本上類似，無非是用高速Router代替了crossbar交換機和DMX直連矩陣。 值得一提的是富士通在控制器上率先使用了高速Intel通用處理器用來提高處理速度，這一點走在H系和EMC公司前面（H系公司的存儲器一直采用MIPS芯片，而EMC直到2009年最新的V-MAX發(fā)布前一直是采用的powerpc芯片）。 一個完整的富士通6000、8000的連接示意圖如下所示： 富士通6000、8000的連接示意圖還有一家NEC公司生產(chǎn)的高端存儲器也是采用類似體系架構(gòu)設計，但在國內(nèi)成功案例較少，筆者在本文中也就不多做介紹了。 大家也許會奇怪，為什么沒有提到IBM，其實在我看來在行業(yè)里赫赫有名的IBM Shark系列（現(xiàn)在又叫DS8000系列）雖然也是性