北京金鉆芯科技中科院存儲技術(shù)項目解決方案

1、中科院存儲技術(shù)解決方案 中科院某中心存儲系統(tǒng)需求 1、集中存儲 為了滿足應(yīng)用系統(tǒng)對于存儲的需求，并考慮到性能、擴展性、可靠性等因素。中科院某中心計劃建設(shè)存儲區(qū)域網(wǎng)絡(luò)（SAN），來統(tǒng)一為應(yīng)用系統(tǒng)提供存儲服務(wù)。這樣即可以有效的提高整套系統(tǒng)的存儲利用率，簡化管理和維護的工作量，并且有利于實現(xiàn)數(shù)據(jù)的集中備份；同時利用SAN存儲局域網(wǎng)的融合性和可擴展性，實現(xiàn)“服務(wù)器群SAN網(wǎng)絡(luò)存儲池”新一代IT架構(gòu)，保護用戶投資，降低用戶的總擁有成本（TCO，Total Cost of Ownership）。 中科院某中心的服務(wù)器的操作系統(tǒng)包括AIXSolarisLinuxWindows等主流的操作系統(tǒng)，SAN需要能夠

2、支持這些異構(gòu)的環(huán)境。并且在整合的時候要充分考慮到成本的因素，如交換機、主機適配器（HBA）等。 2、簡化管理 存儲設(shè)備在一個企業(yè)中的異構(gòu)化現(xiàn)象十分普遍，為保證存儲空間的可管理性和減少SAN結(jié)構(gòu)的復(fù)雜性，方案應(yīng)采用先進、簡便的SAN技術(shù)和相應(yīng)的管理軟件，保證大數(shù)據(jù)量簡便管理并能夠充分發(fā)揮系統(tǒng)性能。 3、存儲容量的需求 綜合考慮到各類存儲需求后，中科院某中心預(yù)計第一期整體需要存儲空間為30TB。其中重要的在線數(shù)據(jù)為10TB，需要提供網(wǎng)絡(luò)硬盤功能實現(xiàn)存儲資源的20TB。在在線數(shù)據(jù)中，有4TB的重要的數(shù)據(jù)庫信息需要系統(tǒng)提供高等級的數(shù)據(jù)保護。 4、存儲容量擴展 隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)庫和各種應(yīng)用系統(tǒng)也需要

3、越來越多的存儲空間。這就要求存儲系統(tǒng)能夠方便的擴充存儲空間。 5、完善數(shù)據(jù)管理 中科院某中心承擔著繁重的科研工作，為了保障科研工作的順利進行，有必要完善數(shù)據(jù)管理工作，實現(xiàn)更好的數(shù)據(jù)存儲和保護。 6、系統(tǒng)實施規(guī)劃 在系統(tǒng)實施規(guī)劃上，中科院某中心可以按照存儲設(shè)備的規(guī)劃，分步實施整個系統(tǒng)。 存儲架構(gòu)設(shè)計方案 在IP-SAN的方案設(shè)計中，共分為四個部分，分別是集中存儲、持續(xù)數(shù)據(jù)保護、數(shù)據(jù)備份以及應(yīng)用服務(wù)器系統(tǒng)保護。 集中存儲將要搭建IP SAN的存儲架構(gòu)，提供10TB的可用容量。其中4TB重要的業(yè)務(wù)數(shù)據(jù)存儲在宏杉科技的MS3000產(chǎn)品中，使用NAS系統(tǒng)，提供網(wǎng)絡(luò)硬盤的共享空間6TB，用于數(shù)據(jù)中心人員日

4、常數(shù)據(jù)的存儲。 持續(xù)數(shù)據(jù)保護用于核心業(yè)務(wù)數(shù)據(jù)的保護手段，提供最快10秒鐘的系統(tǒng)恢復(fù)速度（RTO），最少10分鐘的數(shù)據(jù)損失量（RPO）。保障業(yè)務(wù)系統(tǒng)的連續(xù)進行。采用備份軟件建設(shè)統(tǒng)一的備份環(huán)境，完成分散的多臺服務(wù)器數(shù)據(jù)備份。備份介質(zhì)可以選擇虛擬磁帶庫或者磁盤陣列。 應(yīng)用服務(wù)器系統(tǒng)保護能夠?qū)崿F(xiàn)對應(yīng)用服務(wù)器數(shù)據(jù)和系統(tǒng)的“克隆”，一旦出現(xiàn)數(shù)據(jù)損壞、系統(tǒng)崩潰的情況，能夠快速地進行恢復(fù)，保證系統(tǒng)的正常運行。在集中存儲中，以MS3000為核心存儲系統(tǒng)，支持采用多塊網(wǎng)卡的高可靠性設(shè)計，完全能夠滿足數(shù)據(jù)庫服務(wù)器等關(guān)鍵業(yè)務(wù)對于存儲區(qū)域網(wǎng)絡(luò)的性能和可靠性的要求。 所有需要連接MS3000的服務(wù)器，如數(shù)據(jù)庫服務(wù)器，只要

5、安裝千兆網(wǎng)卡，并安裝軟件的iSCSI Initiator，就可以通過以太網(wǎng)獲得存儲設(shè)備，從而不需要購置價格昂貴的HBA卡。主流的操作系統(tǒng)AIXSolarisLinuxWindows都支持這種千兆網(wǎng)卡加軟件的iSCSI Initiator的實現(xiàn)方式。對于那些對于CPU負荷比較重的服務(wù)器，也可以安裝通過的HBA卡的方式連接到系統(tǒng)，將部分存儲運算交給HBA卡完成，從而減輕主機CPU的負荷。 中科院某中心將會采購多種服務(wù)器等應(yīng)用，MS3000能夠利用多種集群軟件實現(xiàn)雙機熱備。例如IBM集群軟件HACMP，ROSE等，保證Oracle數(shù)據(jù)庫等系統(tǒng)的高可用性。MS3000還可以通過多路徑軟件為應(yīng)用主機提供

6、多鏈路負載均衡和故障切換功能。為了實現(xiàn)多鏈路冗余，數(shù)據(jù)庫服務(wù)器需要在原有2塊網(wǎng)口的基礎(chǔ)上，增加新的網(wǎng)卡，或者增加iSCSI的HBA卡。 日后如果需要擴展應(yīng)用服務(wù)器的存儲，可以隨時安裝操作系統(tǒng)所對應(yīng)的iSCSI Initiator，配合以太網(wǎng)卡連接到存儲系統(tǒng)。MS3000通過劃分不同的卷，以保證各個應(yīng)用系統(tǒng)互不干擾.為了保護存儲設(shè)備上的各種文件資料的安全，并提供高可靠的數(shù)據(jù)保護，不采用傳統(tǒng)的數(shù)據(jù)備份手段（磁帶），而是采用持續(xù)數(shù)據(jù)保護（CDP）。把MS3000上的文件數(shù)據(jù)按照一定的策略以異步的方式復(fù)制到近線存儲設(shè)備上。近線存儲由一臺MS3100組成，MS3100配備10塊磁盤，采用RAID5機制，

7、能夠?qū)崿F(xiàn)6TB的可用容量。考慮到近線存儲設(shè)備除了要為主存儲提供1：1的空間儲備以外，還需要15%的額外空間用于時間點的保護（詳見第6章CDP數(shù)據(jù)保護）。此外，為了保護應(yīng)用服務(wù)器的正常運行，還在應(yīng)用服務(wù)器上部署如DISKSAFE類的軟件，能夠應(yīng)用服務(wù)器的操作系統(tǒng)和業(yè)務(wù)數(shù)據(jù)備份到后臺的MS3100上；在應(yīng)用服務(wù)器出現(xiàn)故障的情況下，可以快速恢復(fù)或者遠程啟動（需要相關(guān)硬件支持），從而實現(xiàn)系統(tǒng)級的備份和保護宏杉科技存儲簡介MacroSAN MS3000是宏杉科技推出的新一代中端存儲產(chǎn)品，其融入了大量先進的設(shè)計理念和架構(gòu)技術(shù)，面向中、小型數(shù)據(jù)中心提供安全可靠的、資源彈性部署的存儲平臺。 在硬件架構(gòu)上，MS

8、3000采用了包括大容量緩存擴展、PCI-E 2.0、SAS 2.0、SSD等在的先進技術(shù)，構(gòu)建高性能的存儲平臺。在資源管理上，MS3000采用基于Cell的虛擬化技術(shù)，通過創(chuàng)新的ICMT管理機制，實現(xiàn)資源的彈性部署。在可靠性上，MS3000除了采用雙控全冗余模塊化設(shè)計、提供豐富的數(shù)據(jù)保護特性外，還通過創(chuàng)新的CRAID技術(shù)和IDDC磁盤診斷安全機制，將磁盤故障導(dǎo)致的宕機時間和機率減少80%。此外，MS3000基于開放式數(shù)據(jù)存儲平臺（ODSP），能夠通過接口開放、規(guī)格功能定制、行業(yè)特性開發(fā)移植等方式，將存儲系統(tǒng)真正與用戶業(yè)務(wù)系統(tǒng)無縫融合。 產(chǎn)品特點 （一）高性能體系架構(gòu) 在架構(gòu)設(shè)計上，MS300

9、0采用了大量業(yè)界先進的技術(shù)，包括大容量緩存擴展、PCI-E 2.0、SAS 2.0、SSD等，構(gòu)建高性能的存儲平臺。（1）高帶寬總線技術(shù) PCI-E 2.0技術(shù)：在每個控制器的部，MS3000采用了16個PCI-E 2.0通道。單個PCI-E2.0通道的帶寬為5.0Gb/s，16個PCI-E2.0通道的總帶寬達到80Gbps。MS3000采用多條PCI-E 2.0總線連接前端主機通道、后端磁盤通道及緩存鏡像通道，保障整個系統(tǒng)端到端的性能匹配。 SAS 2.0技術(shù)：SAS技術(shù)近幾年在帶寬、穩(wěn)定性、兼容性、效率等方面都超越了FC技術(shù)，已經(jīng)成為存儲陣列的主流架構(gòu)。而SAS 2.0技術(shù)的成熟商用，使得

10、SAS的領(lǐng)先優(yōu)勢更為明顯。在SAS 2.0標準中，單個SAS通道的帶寬達到6Gbps，四路寬端口的帶寬達到24Gbps。MS3000采用SAS 2.0技術(shù)構(gòu)建后端磁盤架構(gòu)，每個控制器采用2個四路SAS寬端口，總帶寬達到96Gbps。（2）大容量智能緩存管理緩存調(diào)度是存儲陣列的核心機制，也是影響存儲控制器性能的最主要因素之一。由于技術(shù)上的限制，傳統(tǒng)存儲陣列的緩存容量小，擴展困難，而且調(diào)優(yōu)管理非常復(fù)雜。在云計算環(huán)境下，存儲的并發(fā)I/O訪問量快速增長，數(shù)據(jù)存取熱點變動頻繁，對存儲緩存的容量要求也急劇增長。與此同時，大容量緩存對于存儲的緩存管理也提出了更高的要求。MS3000在支持最大32GB容量緩存

11、的同時，采用業(yè)界領(lǐng)先的智能緩存管理機制，大大提升了緩存的效率。容量按需配置：緩存大小是決定存儲陣列檔次的重要標準，通過增加緩存能夠顯著的提升存儲性能。在緩存大小上，MS3000支持8-32GB的靈活配置，用戶可根據(jù)實際的應(yīng)用需求來選擇。相對于采用更高的產(chǎn)品型號來增加性能的傳統(tǒng)方式，這種通過擴展緩存來提高性能的方式，具有更高的性價比。全局智能調(diào)度：MS3000采用智能緩存調(diào)度機制，對全局性緩存進行管理。不僅單個控制器的讀、寫緩存可根據(jù)實際情況動態(tài)調(diào)整,而且兩個控制器的緩存也無需對稱分配，以充分發(fā)揮控制器的性能。在具體調(diào)度策略上，讀、寫緩存被劃分為預(yù)留、共享、突發(fā)三大區(qū)塊，以滿足LUN的實時變化的

12、性能需求。在這種機制下，LUN在大壓力下獲得大緩存空間，在小壓力下獲得小緩存空間，既保證單個LUN不存在性能瓶頸，也使得整個系統(tǒng)的緩存使用非常高效。數(shù)據(jù)安全可靠：在緩存數(shù)據(jù)的安全性上，不僅采用了緩存鏡像機制，而且具備掉電保護功能。在外部電源故障的情況下，寫緩存里的數(shù)據(jù)能夠被下刷保存到存儲陣列的前四塊磁盤（保留磁盤）里。當供電恢復(fù)后，能夠從保留磁盤中將數(shù)據(jù)恢復(fù)回來。（3）高性能SAS/SSD磁盤SAS磁盤技術(shù)：SAS磁盤是磁盤領(lǐng)域的一次技術(shù)變革。SAS磁盤在繼承SCSI磁盤穩(wěn)定、可靠性等優(yōu)點的基礎(chǔ)上，還具備大量新的特性，比如6.0Gb接口速率、雙冗余接口、全雙工模式、兼容SATA磁盤等。由于這些

13、優(yōu)勢，SAS磁盤已經(jīng)成為了主流的磁盤技術(shù)，并且將服務(wù)器、存儲陣列兩個不同領(lǐng)域的磁盤進行了統(tǒng)一。如今的SAS磁盤不僅同時支持15000/10000/7200轉(zhuǎn)三種速率，而且還支持2.5/3.5二種尺寸，給用戶帶來了更多的選擇。高性能SSD磁盤：SSD磁盤的高性能已經(jīng)獲得了業(yè)界的一致認可，MS3000將這一領(lǐng)先的磁盤技術(shù)融入高性能體系架構(gòu)之中，大幅提升磁盤的IO響應(yīng)能力。此外，通過自動分層存儲和自動數(shù)據(jù)遷移機制，能夠?qū)?shù)據(jù)熱點與SSD磁盤進行完美的融合，使存儲陣列只需要配置少量的SSD磁盤，卻能獲得整體性能的大幅提升。（二）基于Cell的智能資源管理Cell，形象稱之為“細胞”，指帶“活性”的數(shù)據(jù)

14、單元，是MS3000進行存儲資源管理的基本單位。MS3000采用Cell機制從數(shù)據(jù)塊底層改變了傳統(tǒng)的卷（LUN）管理機制，并在此基礎(chǔ)上構(gòu)建了完全的存儲虛擬化架構(gòu)，實現(xiàn)了資源的精細化管理和彈性調(diào)度。傳統(tǒng)意義的存儲邏輯資源管理是以卷（LUN）為基本的操作單元。LUN、RAID、磁盤三者是串行關(guān)系，一旦LUN分配之后，LUN所在的空間就被牢牢固化到具體的RAID類型和磁盤之上，不僅性能、容量難以擴展，而且配置改動困難。任何一次資源配置的改動都是“傷筋動骨”，最嚴重的情況是整個應(yīng)用需要重做。ICMT（Intelligent Cell Management Technology，基于Cell的智能資源管

15、理技術(shù)）是宏杉科技的一項創(chuàng)新技術(shù)。采用ICMT技術(shù)后，LUN所對應(yīng)的不再是一整塊的RAID空間，而是由多個Cell組成的一個邏輯空間。LUN不關(guān)心Cell采用的是何種的RAID方式，也無需知道Cell所在的實際位置。MS3000以Cell為核心來進行邏輯資源的管理，徹底破除LUN與RAID、Disk之間的捆綁關(guān)系，在存儲陣列部形成完全的虛擬化架構(gòu)。容量彈性配置：初始空間分配時，系統(tǒng)自動在Cell池中獲取存儲空間，無需管理員指定。此后，再通過自動精簡配置技術(shù)實現(xiàn)空間的自動增長。比如：應(yīng)用系統(tǒng)需要1TB的邏輯空間，存儲陣列初始只為其分配500GB的物理空間，當應(yīng)用的實際容量接近或達到500GB時，

16、會按照預(yù)設(shè)策略為應(yīng)用系統(tǒng)分配新的物理空間，比如再分配200GB，使得實際的物理空間達到700GB。通過ICMT和自動精簡配置技術(shù)，應(yīng)用系統(tǒng)只需向存儲陣列提出空間需求，而不關(guān)心資源的空間限制和物理位置，由存儲系統(tǒng)自動進行容量的彈性配置和管理。自動分層存儲：采用ICMT技術(shù)后，LUN與RAID、磁盤之間沒有綁定關(guān)系。通過基于Cell的數(shù)據(jù)拷貝和遷移，可以依據(jù)數(shù)據(jù)的訪問頻度，實現(xiàn)數(shù)據(jù)在不同的磁盤介質(zhì)上的自由流動，從而實現(xiàn)自動的分層/分級存儲。比如對于熱點的數(shù)據(jù)，將其放置在SSD磁盤上；對于非熱點的在線數(shù)據(jù)，將其放置在高速SAS盤上；對于歸檔/備份數(shù)據(jù)，將其放置在低速SAS盤上，并將其休眠。通過ICM

17、T和自動分層存儲策略，徹底解決動態(tài)數(shù)據(jù)熱點的性能問題。（三）創(chuàng)新的CRAID技術(shù)傳統(tǒng)的RAID機制是以磁盤為基本的操作單元，當磁盤出現(xiàn)少量壞塊后，整塊磁盤會被作為問題磁盤“踢”出RAID組，然后在熱備盤上對整塊磁盤的數(shù)據(jù)進行重建。隨著磁盤容量的急劇增大，這種粗顆粒度的RAID機制遇到了巨大的挑戰(zhàn)，不僅數(shù)據(jù)重建過程漫長，而且會消耗大量的系統(tǒng)資源。例如，1塊2TB的SATA磁盤的RAID5重建時間，在無流量壓力的情況下需要20個小時，在有流量壓力下需要數(shù)天甚至超過一個星期的時間。CRAID（基于Cell的RAID技術(shù)）是宏杉科技在RAID機制上的一項創(chuàng)新技術(shù)。在CRAID環(huán)境中，建立傳統(tǒng)的RAID

18、組之后，系統(tǒng)會再將RAID空間劃分成一個個的小數(shù)據(jù)塊，稱之為Cell，然后以Cell為單元進行資源的管理。比如當磁盤出現(xiàn)部分數(shù)據(jù)壞塊時，其影響的只是壞數(shù)據(jù)塊所在的Cell，系統(tǒng)只會針對這個Cell進行數(shù)據(jù)重建，而磁盤的其它數(shù)據(jù)部分不會受到影響。CRAID通過Cell來實現(xiàn)對磁盤的精細化管理，不僅提高了對硬盤故障的容忍度，而且將數(shù)據(jù)重建的效率提高了數(shù)倍，具體包括：同一RAID組允許多塊磁盤出現(xiàn)介質(zhì)故障：在RAID組，只要同一Cell的兩個數(shù)據(jù)塊不同時出現(xiàn)故障，RAID組允許多塊磁盤發(fā)生介質(zhì)損壞，而數(shù)據(jù)不會丟失；只重建數(shù)據(jù)Cell：如果磁盤出現(xiàn)嚴重故障（比如物理故障）需要數(shù)據(jù)重建時，CRAID只對

19、已有數(shù)據(jù)的Cell進行重建，空閑Cell不重建。局部重建：如果磁盤發(fā)生暫時性故障（比如被拔出后快速插回），CRAID只重建數(shù)據(jù)發(fā)生變化的Cell，不對整個硬盤進行重建。快速重建：如果硬盤發(fā)生不完全損壞(存在部分介質(zhì)錯誤)，CRAID只對發(fā)生介質(zhì)錯誤的Cell進行校驗重建，其它數(shù)據(jù)通過拷貝的方式重建。（四）完善的磁盤安全策略傳統(tǒng)意義的存儲安全，主要關(guān)注系統(tǒng)冗余性、數(shù)據(jù)保護二個方面，對磁盤安全的關(guān)注度不高。但是，據(jù)統(tǒng)計，存儲系統(tǒng)的硬件故障90%以上都是由磁盤故障引發(fā)的。可以說，磁盤的安全才是存儲安全的根本。在磁盤安全方面，MS3000建立了一整套完善的機制，通過主動式磁盤診斷中心（IDDC），在磁

20、盤檢測、故障修復(fù)、故障處理三個環(huán)節(jié)實現(xiàn)了對磁盤故障的主動預(yù)防、快速修復(fù)和減少誤判，以達到將硬盤故障導(dǎo)致的宕機時間減少80%的目標。主動式磁盤檢測：傳統(tǒng)的磁盤故障處理是一種事后模式，即在發(fā)生故障后進行修復(fù)。MS3000的磁盤診斷機制是一種故障前的主動檢測。在系統(tǒng)正常運行過程中，磁盤檢測模塊會周期性的檢測數(shù)據(jù)盤的RAID校驗信息和對空白盤、熱備盤進行全盤掃描，從而能夠比應(yīng)用系統(tǒng)更早感知到磁盤故障，并提前啟動對應(yīng)的修復(fù)措施?？焖俟收闲迯?fù)：在檢測到磁盤故障后，MS3000支持多種數(shù)據(jù)修復(fù)策略。對于磁盤的假性故障，可以通過自動的磁盤上/下電等操作進行修復(fù)；對于磁盤的少量壞塊，可以采用磁盤的Remap和R

21、AID/CRAID機制進行壞塊替換；對于磁盤的大量壞塊，可以通過CRAID技術(shù)進行快速重建。磁盤故障確診：磁盤的故障誤判，在存儲系統(tǒng)中是一種常見的現(xiàn)象。為了減少對磁盤故障的誤判，對于發(fā)生初次檢測發(fā)生故障的磁盤，會在磁盤檢測中心再次進行磁盤檢測和修復(fù)，將磁盤故障的誤判減到最低。（五）雙控全冗余高可靠設(shè)計在硬件架構(gòu)上，MS3000采用雙控全冗余模塊化設(shè)計，不僅實現(xiàn)了數(shù)據(jù)通道的端到端冗余，而且主要模塊均支持即插即用和快速更換。雙冗余架構(gòu)：數(shù)據(jù)從服務(wù)器寫入磁盤，會經(jīng)過主機通道、控制器、緩存、磁盤通道、磁盤柜、磁盤等組件。在這整個數(shù)據(jù)的通道上，MS3000采用了完全冗余的架構(gòu)，保障系統(tǒng)的可靠性。MS30

22、00采用雙控制器設(shè)計，當單個控制器發(fā)生故障時，能夠自動實現(xiàn)業(yè)務(wù)切換；MS3000采用緩存鏡像機制，寫緩存被一式兩份保存，并且能在掉電后，將緩存數(shù)據(jù)下刷到保留磁盤；MS3000支持ALUA多路徑機制，能夠?qū)崿F(xiàn)主機路徑的故障切換；MS3000的雙SAS鏈路設(shè)計，為每個SAS磁盤柜提供兩個冗余的外接端口，當其中一條鏈路發(fā)生故障時，自動進行路徑切換；MS3000采用雙接口SAS磁盤，提供兩條數(shù)據(jù)通路，實現(xiàn)磁盤鏈路的冗余互備。雙活控制器：MS3000的雙控制器不僅僅支持故障冗余，而且支持負載均衡。MS3000的雙控制器平時都處于活動狀態(tài)，承載獨立的業(yè)務(wù)，當某個控制器的性能出現(xiàn)瓶頸時，控制器之間能夠自動進行調(diào)整，將部分業(yè)務(wù)遷移到另一個控制器上，從而實現(xiàn)自動的負載均衡。模塊化設(shè)計：MS3000控制器的機箱、控制器、電源、風扇、電池、主機