NetApp cDOT集群存儲(chǔ)系統(tǒng)架構(gòu)技術(shù)交流

NetApp

新產(chǎn)品和技術(shù)

介紹?2015NetApp,Inc.。保留所有權(quán)利。NetApp專(zhuān)有信息—使用受限2內(nèi)容安排NetApp

cDOT集群存儲(chǔ)系統(tǒng)介紹NetAppE系列存儲(chǔ)系統(tǒng)介紹NetAppEF540全閃存陣列介紹存儲(chǔ)架構(gòu)的演進(jìn)存儲(chǔ)市場(chǎng)演進(jìn)周期直連存儲(chǔ)存儲(chǔ)依附主機(jī)網(wǎng)絡(luò)存儲(chǔ)存儲(chǔ)單獨(dú)成系統(tǒng)Scale-Out存儲(chǔ)存儲(chǔ)云平臺(tái)化今天4NetApp敏睿數(shù)據(jù)基礎(chǔ)架構(gòu)5NetAppConfidential–LimitedUseIntegratedDataProtectionNondisruptive

OperationsEmbeddedDataSecurityVirtualStorageTieringSecureMulti-TenancyUnifiedArchitectureServiceAutomationandAnalyticsIntelligent至能Immortal至久Infinite至極StorageEfficiencySeamless

Scaling敏睿數(shù)據(jù)基礎(chǔ)架構(gòu)的實(shí)現(xiàn)

——NetAppcDOT集群存儲(chǔ)系統(tǒng)簡(jiǎn)介利用V-Series虛擬化的第三方存儲(chǔ)系統(tǒng)NetAppFAS系列存儲(chǔ)系統(tǒng)NetAppConfidential–LimitedUse單套cDOT集群存儲(chǔ)系統(tǒng)最大支持24個(gè)控制器支持NetAppFAS系列控制器和V系列控制器，支持不同控制器的混合使用提供存儲(chǔ)平臺(tái)而非存儲(chǔ)系統(tǒng)單套集群存儲(chǔ)系統(tǒng)最大支持容量可達(dá)51PB提供Multi-10GB的性能支持在線(xiàn)的性能均衡和擴(kuò)展，消除熱點(diǎn)高容錯(cuò)性架構(gòu)設(shè)計(jì)，保證用戶(hù)業(yè)務(wù)連續(xù)性集成了一系列NetApp先進(jìn)的存儲(chǔ)功能NetAppcDOT集群存儲(chǔ)系統(tǒng)架構(gòu)圖數(shù)據(jù)網(wǎng)絡(luò)SAN/NAS管理網(wǎng)絡(luò)集群存儲(chǔ)系統(tǒng)控制器互連網(wǎng)絡(luò)10GbENetAppConfidential–LimitedUse兩個(gè)相同配置的控制器組成HA兩個(gè)相同配置的控制器組成HAcDOT架構(gòu)的特例：?jiǎn)喂?jié)點(diǎn)和雙節(jié)點(diǎn)無(wú)交換機(jī)架構(gòu)NetAppConfidential–LimitedUse單節(jié)點(diǎn)cDOT集群存儲(chǔ)系統(tǒng)在線(xiàn)升級(jí)為雙節(jié)點(diǎn)無(wú)交換機(jī)cDOT集群存儲(chǔ)系統(tǒng)雙節(jié)點(diǎn)無(wú)交換機(jī)cDOT集群存儲(chǔ)系統(tǒng)在線(xiàn)升級(jí)為多節(jié)點(diǎn)帶交換機(jī)cDOT集群存儲(chǔ)系統(tǒng)多節(jié)點(diǎn)帶交換機(jī)cDOT集群存儲(chǔ)系統(tǒng)VServer：實(shí)現(xiàn)存儲(chǔ)邏輯隔離和授權(quán)式管理NetAppConfidential–LimitedUseVServer為在NetAppcDOT集群存儲(chǔ)系統(tǒng)上創(chuàng)建的一個(gè)邏輯存儲(chǔ)系統(tǒng)，由Flexvol卷、LUNs和邏輯網(wǎng)絡(luò)接口（LIFs)組成前端所有的數(shù)據(jù)訪(fǎng)問(wèn)均通過(guò)Vserver來(lái)進(jìn)行，Vserver能同時(shí)支持不同的數(shù)據(jù)訪(fǎng)問(wèn)協(xié)議一套cDOT集群存儲(chǔ)系統(tǒng)至少配置一個(gè)Vserver,最多能配置1000個(gè)VserverNASNamespace和LUNs均以Vserver為邊界HAVServer的在線(xiàn)擴(kuò)展能力SANhosts/NASclientsLIF2LIF1LIF3LIF4VS1HANetAppConfidential–LimitedUseBCA2A3C1A1B1B2ARC2LUNLUNLUNABCA1A2A3B1B2C1RLUNLUN不影響數(shù)據(jù)正常訪(fǎng)問(wèn)不影響主機(jī)對(duì)數(shù)據(jù)的正常訪(fǎng)問(wèn)后臺(tái)利用snapshot功能進(jìn)行數(shù)據(jù)復(fù)制在集群存儲(chǔ)系統(tǒng)的任何aggregate之間實(shí)現(xiàn)volume的在線(xiàn)遷移被遷移的volume原有的空間精簡(jiǎn)、鏡像或復(fù)制關(guān)系、數(shù)據(jù)快照均保持不變NFS/CIFS/iSCSI/FC/FCoEHAHANetAppConfidential–LimitedUsecDOT集群存儲(chǔ)系統(tǒng)在線(xiàn)卷遷移功能cDOT集群存儲(chǔ)系統(tǒng)在線(xiàn)卷遷移功能可實(shí)現(xiàn)A1C1LUNLUNB2ABA1A3RCLUNB1C1LUNLUNAA2按需擴(kuò)容和負(fù)載均衡化數(shù)據(jù)層次化存儲(chǔ)高性能存儲(chǔ)廉價(jià)存儲(chǔ)C1LUNLUNB2ABA1A3RCLUNA2B1在線(xiàn)邏輯接口遷移：保證邏輯接口的可用性邏輯接口可以在線(xiàn)的遷移至集群存儲(chǔ)系統(tǒng)內(nèi)的任何一個(gè)相同類(lèi)型的物理端口上HAHALIF2LIF3LIF4LIF1不影響前端主機(jī)的數(shù)據(jù)正常訪(fǎng)問(wèn)NetAppConfidential–LimitedUse在線(xiàn)邏輯接口遷移：更好實(shí)現(xiàn)控制器的負(fù)載均衡LIFs并不是永久和一個(gè)物理端口綁定，可以在物理端口之間進(jìn)行在線(xiàn)遷移兩種實(shí)現(xiàn)LIF負(fù)載均衡的選項(xiàng)在增加新主機(jī)時(shí)，利用DNSlookup為新主機(jī)指定負(fù)載最輕的LIF進(jìn)行數(shù)據(jù)訪(fǎng)問(wèn)利用LIF在線(xiàn)遷移，在各個(gè)節(jié)點(diǎn)間進(jìn)行負(fù)載重新分布，實(shí)現(xiàn)更均衡的負(fù)載分布AverageNetworkLoadontheNodeNetworkDemandonanIPAddressNetAppConfidential–LimitedUse在線(xiàn)邏輯接口遷移結(jié)合在線(xiàn)數(shù)據(jù)遷移可實(shí)現(xiàn)NetAppConfidential–LimitedUseLIFLIF在線(xiàn)硬件替換LIFLIFLUN在線(xiàn)控制器升級(jí)cDOT集群存儲(chǔ)系統(tǒng)的存儲(chǔ)訪(fǎng)問(wèn)QoS控制功能介紹NetAppConfidential–LimitedUseQoSPolicyGroupDefinesisolationboundariesbetweensetsofworkloadsContainsoneormorestorageobjectsVserver,Volumes,LUNsorFilePoliciesarebehaviorsappliedcollectivelytoapolicygroupPoliciesarethroughputlimitsThroughputisdefinedintermsofIOPSMB/sQoSPolicyGroupVolumevol3Volumevol5Name:qos_policyLimit:IOPS<2000perpolicygroupcDOT集群存儲(chǔ)系統(tǒng)的FlexCache功能介紹NetAppConfidential–LimitedUse

ABNode1Node2CacheVolumesNode3Node4CDEFGHClientsClientsClientsClientsProblemNode1isoverloadedduetoreadsoffilesinvolumeAfrommanyclients

A’

A’

A’

A’SolutionCreatecachevolsonnodes1,2,3&4DistributeclientreadstovolumeAfiles

toorigin/cachevolumesacrossallnodesProtocolssupported:NFSv3/v4,

SMB1.0/2.0/3.0Examples:MovierenderingFinancialsimulationsChipdesignSeismicinterpretationWebserversNetAppcDOT集群存儲(chǔ)系統(tǒng)對(duì)敏睿的體現(xiàn)業(yè)界第一套真正意義上的統(tǒng)一云存儲(chǔ)平臺(tái)：統(tǒng)一：同時(shí)支持FCP、FCoE、iSCSI、NFS、CIFS、pNFS主流存儲(chǔ)協(xié)議同時(shí)支持FC、SAS、SATA、SSD磁盤(pán)并支持不同類(lèi)型磁盤(pán)的混合使用云存儲(chǔ)：前端主機(jī)可以通過(guò)任何一個(gè)節(jié)點(diǎn)來(lái)訪(fǎng)問(wèn)存儲(chǔ)在集群存儲(chǔ)系統(tǒng)任何位置的數(shù)據(jù)，實(shí)現(xiàn)GlobalNameSpace功能VServer實(shí)現(xiàn)邏輯隔離，從而在多租戶(hù)環(huán)境下實(shí)現(xiàn)數(shù)據(jù)訪(fǎng)問(wèn)的安全隔離存儲(chǔ)平臺(tái)：多控制器架構(gòu)提供超高性能和海量存儲(chǔ)，不管配置了多少控制器和多少磁盤(pán)存儲(chǔ)空間，所有的存儲(chǔ)資源均能實(shí)現(xiàn)整個(gè)集群存儲(chǔ)系統(tǒng)內(nèi)的共享和相互調(diào)劑，因此能極大提升存儲(chǔ)資源的利用率，消除控制器或存儲(chǔ)空間的熱點(diǎn)問(wèn)題支持NetApp不同類(lèi)型的控制器，并支持對(duì)第三方存儲(chǔ)系統(tǒng)的虛擬化整合實(shí)現(xiàn)單一映像管理，利用圖形化界面通過(guò)任何一個(gè)控制器就能對(duì)整套集群存儲(chǔ)系統(tǒng)進(jìn)行集中管理和監(jiān)控，并能通過(guò)VServer實(shí)現(xiàn)授權(quán)式管理NetAppcDOT集群存儲(chǔ)系統(tǒng)對(duì)敏睿的體現(xiàn)(續(xù))Intelligent（至能）提供豐富的管理和監(jiān)控功能，簡(jiǎn)單易用：集成的存儲(chǔ)訪(fǎng)問(wèn)QoS控制功能集成的FlexCache功能集成的高效存儲(chǔ)技術(shù)，提升存儲(chǔ)資源利用率基于數(shù)據(jù)塊的重復(fù)數(shù)據(jù)刪除在線(xiàn)的數(shù)據(jù)壓縮存儲(chǔ)空間動(dòng)態(tài)精簡(jiǎn)分配基于指針的克隆智能數(shù)據(jù)自動(dòng)分層存儲(chǔ)NetAppFlashCache大緩存技術(shù)NetAppFlashPool技術(shù)NetAppcDOT集群存儲(chǔ)系統(tǒng)對(duì)敏睿的體現(xiàn)(續(xù))Immortal（至久）在線(xiàn)操作能力（NDO）提供數(shù)據(jù)永久在線(xiàn)能力：在線(xiàn)卷遷移功能，可以實(shí)現(xiàn)：系統(tǒng)的按需擴(kuò)容系統(tǒng)的在線(xiàn)負(fù)載均衡數(shù)據(jù)的層次化存儲(chǔ)在線(xiàn)邏輯接口（LIF）遷移，可以實(shí)現(xiàn)：保證邏輯接口的可用性從而保證數(shù)據(jù)訪(fǎng)問(wèn)不受物理接口故障的影響在線(xiàn)調(diào)整各控制器的負(fù)載，避免出現(xiàn)熱點(diǎn)控制器出現(xiàn)而影響整體性能在線(xiàn)卷遷移功能結(jié)合在線(xiàn)邏輯接口遷移功能，可以實(shí)現(xiàn)系統(tǒng)硬件的在線(xiàn)更換在線(xiàn)控制器升級(jí)雙控制器HA架構(gòu)Firmware在線(xiàn)升級(jí)能力集成了多項(xiàng)NetApp數(shù)據(jù)保護(hù)功能，為數(shù)據(jù)提供全方位的保護(hù)：數(shù)據(jù)快照和數(shù)據(jù)快速恢復(fù)功能IntraCluster和InterCluster的SnapMirror/SnapVault數(shù)據(jù)復(fù)制保護(hù)NetAppcDOT集群存儲(chǔ)系統(tǒng)對(duì)敏睿的體現(xiàn)(續(xù))Infinite（至極）具備了4D擴(kuò)展能力，用戶(hù)可以PayOnGrowthScaleIn：控制器本身可以通過(guò)增加FlashCache、前端通道卡、后端通道卡來(lái)提升其處理性能和通道帶寬ScaleUp：控制器可以在線(xiàn)的升級(jí)到更高端的型號(hào)ScaleOut：可以在線(xiàn)增加節(jié)點(diǎn)（最大支持24個(gè)節(jié)點(diǎn)），隨著節(jié)點(diǎn)增加整套集群存儲(chǔ)系統(tǒng)的處理能力和最大能支持的存儲(chǔ)容量也呈線(xiàn)性增加ScaleDeep：可以連接外部第三方存儲(chǔ)實(shí)現(xiàn)存儲(chǔ)虛擬化cDOT集群存儲(chǔ)系統(tǒng)在SPEC上的性能公測(cè)數(shù)據(jù)性能隨著控制器的增加呈線(xiàn)性增加內(nèi)容安排NetApp

cDOT集群存儲(chǔ)系統(tǒng)介紹NetAppE系列存儲(chǔ)系統(tǒng)介紹NetAppEF540全閃存陣列介紹NetAppE系列存儲(chǔ)硬件系統(tǒng)DE6600DE5600DE16004U/60x3.5”磁盤(pán)高I/O吞吐能力大容量、高密度2TB/3TBNL-SAS&SSD磁盤(pán)2U/24x2.5”磁盤(pán)高I/O吞吐能力高性能/功耗比600/900GBSAS10k,SSD磁盤(pán)2U/12x3.5”磁盤(pán)低成本2TB/3TBNL-SAS磁盤(pán)2600控制器

磁盤(pán)擴(kuò)展柜系統(tǒng)E5560E5524E5512245500控制器

5400控制器

E5460E5424E5412E2660E2624E2612控制器支持SAN和iSCSI架構(gòu)，提供8GbpsFC/GbE&10GbE/40GbpsIB/6GbpsSAS主機(jī)接口應(yīng)對(duì)新市場(chǎng)的新產(chǎn)品NetAppFAS系列（包括cDOT集群）統(tǒng)一存儲(chǔ)架構(gòu)將繼續(xù)定位在企業(yè)級(jí)IT和Cloud架構(gòu)市場(chǎng)在保證數(shù)據(jù)訪(fǎng)問(wèn)性能的前提下，提供強(qiáng)大而全面的存儲(chǔ)功能NetAppE系列定位在新興的大帶寬和大數(shù)據(jù)集的市場(chǎng)追求純粹的數(shù)據(jù)讀寫(xiě)吞吐量25E系列劍指何方大帶寬，高吞吐量-順序讀寫(xiě)采集–衛(wèi)星數(shù)據(jù),視頻監(jiān)控，媒體管理DeepArchive–Backup,ReferenceDataDeepAnalytics-數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)，內(nèi)容分析模擬運(yùn)算–數(shù)據(jù)可視化，氣象，地震物探數(shù)據(jù)

傳統(tǒng)高性能計(jì)算–高校，研究所26AnalyticsforextremelylargedatasetsPerformancefordata-intensiveworkloadsBoundlesssecurescalabledatastorageNNSA：LLNL實(shí)驗(yàn)室“紅杉”超性能計(jì)算機(jī)27內(nèi)容安排NetApp

cDOT集群存儲(chǔ)系統(tǒng)介紹NetAppE系列存儲(chǔ)系統(tǒng)介紹NetAppEF540全閃存陣列介紹NetAppFlash

Portfolio29NetApp可為用戶(hù)提供跨越服務(wù)器、混合陣列和閃存陣列級(jí)別的閃存解決方案組合，為客戶(hù)提供強(qiáng)大的存儲(chǔ)選項(xiàng)來(lái)支持業(yè)務(wù)關(guān)鍵型工作負(fù)載。EF540產(chǎn)品詳情30核心特性EF540基本主機(jī)連接性（每控制器端口數(shù)）4個(gè)8GbFC控制器內(nèi)存/緩存12GB/控制器外形規(guī)格2U/可容納24個(gè)驅(qū)動(dòng)器的機(jī)架驅(qū)動(dòng)器12個(gè)或24個(gè)800GBSSD存儲(chǔ)操作系統(tǒng)SANtricity?10.84可選功能EF540擴(kuò)展主機(jī)連接性

（每控制器端口數(shù)）4個(gè)8GbFC4個(gè)6