媒體存儲(chǔ)技術(shù)-8網(wǎng)絡(luò)存儲(chǔ)技術(shù)現(xiàn)狀與發(fā)展

1、網(wǎng)絡(luò)存儲(chǔ)技術(shù)現(xiàn)狀與開展中國(guó)傳媒大學(xué)研討生碩士課程朱立谷手機(jī)：18601428:zhuligu資源和課件下載1.電子書 2021年碩士研討生.rar163.fm/WfFrpMs 提取碼：Iimzvr3E2.課件網(wǎng)絡(luò)存儲(chǔ)技術(shù)現(xiàn)狀與開展.pptx163.fm/Y3MVGwy 提取碼：u34R9dkI內(nèi) 容 網(wǎng)絡(luò)存儲(chǔ)的新技術(shù)方法02 云存儲(chǔ)效力03網(wǎng)絡(luò)存儲(chǔ)的技術(shù)現(xiàn)狀01 網(wǎng)絡(luò)存儲(chǔ)的開展方向04存儲(chǔ)面臨的問(wèn)題?業(yè)務(wù)需求更多的數(shù)據(jù)!煩惱的IT 經(jīng)理人 數(shù)據(jù)量總在不斷的增長(zhǎng)CEO/CFO“減少費(fèi)用!企業(yè)面臨的挑戰(zhàn)數(shù)字宇宙2021年全球信息突破了ZB大關(guān)。每?jī)赡攴环?021年世界將創(chuàng)建一個(gè)驚人的1.8 z

2、ettabytes。信息量繼續(xù)以驚人的速度增長(zhǎng)。這樣的增長(zhǎng)和“大數(shù)據(jù)正在改動(dòng)企業(yè)和社會(huì)的各個(gè)方面。到2020年，數(shù)字宇宙將會(huì)膨脹到40000EB，或40萬(wàn)億GB(也就是說(shuō)每個(gè)人可以均攤到5200GB以上)。到2020年，數(shù)字宇宙中約三分之一的數(shù)據(jù)(超越13000EB)將具有大數(shù)據(jù)價(jià)值，但只需當(dāng)其被標(biāo)簽、被分析時(shí)這種價(jià)值才會(huì)顯現(xiàn)。2021年報(bào)告 2021年報(bào)告網(wǎng)絡(luò)存儲(chǔ)的開展1986SCSI協(xié)議1997FC協(xié)議Direct-AttachedStorage (DAS)SCSIinitATAUFSEXT2NTFSand/orBlock / Cache / RAIDNetwork-AttachedSto

3、rage (NAS) IP Storage(IP SAN)FC Storage AreaNetwork (SAN)NFSclEthernetEthernetCIFSNFSserCIFSTCP/IPTCP/IPSCSIinitATAUFSEXT2NTFSand/orBlock / Cache / RAIDIP NetworkSCSIinitFCand/orBlock / Cache / RAIDEXT2FC-4FC-1,2FC-0FC-3FC-0FC-1,2FC-3FC-4UFSEXT2NTFSBlockFabric2003iSCSI協(xié)議1989NFS協(xié)議EthernetATATCP/IPiSC

4、SIEthernetSCSIinitFC RAIDTCP/IPiSCSIand/oriSCSIUFSEXT2NTFSEthernetTCP/IPBlockEthernet RAIDTCP/IPiSCSIIP Network光纖通道的優(yōu)勢(shì)網(wǎng)絡(luò)通道/總線擴(kuò)展有限間隔短管理有限脆弱非塊數(shù)據(jù)傳輸錯(cuò)誤檢測(cè)才干差光纖通道高速度低延遲數(shù)據(jù)一致性大數(shù)據(jù)傳輸超強(qiáng)錯(cuò)誤檢測(cè)路由宏大銜接才干長(zhǎng)間隔可管理兼有網(wǎng)絡(luò)和總線的優(yōu)勢(shì)網(wǎng)絡(luò)存儲(chǔ)的優(yōu)勢(shì)存儲(chǔ)大整合SAN ROI主機(jī)大整合VIRTUALIZATION ROIDirect AttachedStorageStorage AreaNetworkDASSANCost per m

5、egabyte of user data, based on a 3-Year total cost of ownership“Virtualization will save us $60M in OpEx and CapEx through 2021.A large VMware enterprise customer$ cost per megabyte of user data90% run in production 43% are standardizing on VMware 66% are using VM management products $0.84$0.38Chann

6、els IPFileBlockNASDistanceSharing FC SANPerformance ControlMPFSPerformanceSharingIP SANDistanceControlMPFS = Multi-path file system網(wǎng)絡(luò)存儲(chǔ)架構(gòu)SAN的優(yōu)優(yōu)勢(shì)SAN的優(yōu)點(diǎn) 能接受任何數(shù)據(jù)容量(大型，中型，小型)IO帶寬的不斷提升(1G, 2G, 4G, 8G)穩(wěn)定的存儲(chǔ)處理方案廣泛的運(yùn)用SAN的困擾 固態(tài)容量增大, 性能沒有提升 (垂直擴(kuò)展方式,有限擴(kuò)展才干)帶寬添加, 但I(xiàn)OPS沒有相對(duì)的添加 (固態(tài)性能表現(xiàn))容錯(cuò)和負(fù)載均要經(jīng)過(guò)復(fù)雜管理一切依然以硬性磁盤構(gòu)造為中心

7、 (主機(jī)絕對(duì)控制權(quán), 存儲(chǔ)為隨從, 靜態(tài)配置)10典型的剛性系統(tǒng)當(dāng)今SAN 技術(shù)存儲(chǔ)體系架構(gòu)的交融應(yīng) 用文件/紀(jì)錄 副系統(tǒng)數(shù)據(jù)塊副系統(tǒng)主機(jī)級(jí)數(shù)據(jù)塊聚合SAN級(jí)數(shù)據(jù)塊聚合設(shè)備級(jí)數(shù)據(jù)塊聚合磁盤陣列SAN2主機(jī)主機(jī)NAS頭LAN3磁盤或磁盤陣列 NAS效力器411.DAS直連2.SAN直連3.NAS頭4.NAS效力器01存儲(chǔ)體系架構(gòu)的交融運(yùn)用主機(jī)經(jīng)過(guò)IP SAN訪問(wèn)存儲(chǔ)資源運(yùn)用主機(jī)經(jīng)過(guò)CIFS或NFS訪問(wèn)NAS共享資源NAS和SAN資源共用同一存儲(chǔ)池經(jīng)過(guò)IP SAN供應(yīng)SAN資源，經(jīng)過(guò)CIFS和NFS共享NAS資源最大限制利用存儲(chǔ)資源，在同一存儲(chǔ)池中同時(shí)分配SAN 和 NAS 資源為SAN和NAS同

8、時(shí)提供存儲(chǔ)效力 鏡像、快照、復(fù)制、時(shí)間標(biāo)志及動(dòng)態(tài)容量懇求等存儲(chǔ)功能一致的硬件和軟件的管理SAN 訪問(wèn)NAS 訪問(wèn)SAN網(wǎng)絡(luò)一致存儲(chǔ)系統(tǒng)：SAN和NAS的交融SAN 和 NAS的交融處理方案存儲(chǔ)體系架構(gòu)的交融Data Center EthernetIP Connectivity FCUltra 320 SCSIIP SANIP SAN 和 FC SAN 交融處理方案FC SANIP SANExtension 根底通用網(wǎng)絡(luò)的開展14IBM Token RingInitially (1985) ran at 4 Mbit/s, in 1989 introduced 16 Mbit/sFDDIThe

9、primary ring offers up to 100 Mbit/s capacityEthernet10 Mbits/s100 Mbits/sTCP/IPNovells IPX/SPXOSIDHCP, , VPN, IPSec, IPv6八零年代九零年代1,000 Mbits/s02運(yùn)用網(wǎng)絡(luò)的開展存儲(chǔ)運(yùn)用網(wǎng)絡(luò)根底通用網(wǎng)絡(luò)效力器聯(lián)絡(luò)網(wǎng)絡(luò)光纖通道 (1G, 2G, 4G, 8G)InfiniBandEthernet1G, 10G 未來(lái)的100GFCoE202120072001Unified Fabric以Ethernet為一致網(wǎng)絡(luò)目的網(wǎng)絡(luò)存儲(chǔ)的開展T11的FCOE規(guī)范FC與以太網(wǎng) “混血的F

10、CoE 是答案嗎?依然依賴于FC協(xié)議構(gòu)思(靜態(tài)途徑)依然依賴于固定配置依然是主從式構(gòu)造技術(shù)SCSI的架構(gòu)Initiator的運(yùn)用層封裝好SCSI CDB后，調(diào)用SCSI傳輸協(xié)議接口Target的運(yùn)用層收到SCSI CDB后，根據(jù)CDB內(nèi)容進(jìn)展相應(yīng)處置，封裝好SCSI 呼應(yīng)后，調(diào)用SCSI傳輸協(xié)議接口iSCSI正是SCSI傳輸協(xié)議的一種主從式架構(gòu)MPX網(wǎng)絡(luò)存儲(chǔ)平臺(tái)MPX作為視頻存儲(chǔ)MPX可以打造功能強(qiáng)大的視頻存儲(chǔ)系列產(chǎn)品MPX視頻優(yōu)化視頻存儲(chǔ)MPX+視頻管理軟件(搜索)=存儲(chǔ)設(shè)備視頻效力器MPX+DVR=NVRMPX集群SCALE OUT方式=安防大數(shù)據(jù)綜合處置平臺(tái)MPX+視頻分析處置安防大數(shù)據(jù)

11、一體機(jī)內(nèi) 容 網(wǎng)絡(luò)存儲(chǔ)的新技術(shù)方法02 云存儲(chǔ)效力03網(wǎng)絡(luò)存儲(chǔ)的技術(shù)現(xiàn)狀01 網(wǎng)絡(luò)存儲(chǔ)的開展方向04存儲(chǔ)的價(jià)值觀貫徹究竟的方便性和在線性高ROI/TCO業(yè)務(wù)繼續(xù)性數(shù)據(jù)維護(hù)平臺(tái)超強(qiáng)的數(shù)據(jù)維護(hù)才干而不影響性能容量高性能,高帶寬12容量虛擬化動(dòng)態(tài)自動(dòng)追加, 全掌控空間分配云存儲(chǔ)動(dòng)態(tài)橫向擴(kuò)展, , 多變一基制存儲(chǔ)大整合, 一變多基制靜態(tài), 限制型追加/縮減空間分配34網(wǎng)絡(luò)存儲(chǔ)的新方法技術(shù)層技術(shù)要求技術(shù)方法數(shù)據(jù)層從靜態(tài)的以設(shè)備為導(dǎo)向到動(dòng)態(tài)的以應(yīng)用和客戶需求為導(dǎo)向自動(dòng)數(shù)據(jù)遷移重復(fù)數(shù)據(jù)刪除網(wǎng)絡(luò)層真正線性的性能擴(kuò)展，帶寬永遠(yuǎn)不會(huì)成為架構(gòu)瓶頸集群存儲(chǔ)存儲(chǔ)層系統(tǒng)可適應(yīng)業(yè)務(wù)變化存儲(chǔ)虛擬化自動(dòng)精簡(jiǎn)配置存儲(chǔ)虛擬化自動(dòng)精

12、簡(jiǎn)配置系統(tǒng)架構(gòu)研討多用戶存儲(chǔ)視圖技術(shù)基于邏輯卷的存儲(chǔ)容量動(dòng)態(tài)分配戰(zhàn)略研討空間分配和空間回收技術(shù)研討基于RAID的存儲(chǔ)空間擴(kuò)容研討自動(dòng)精簡(jiǎn)配置技術(shù)對(duì)所依靠存儲(chǔ)系統(tǒng)的性能影響研討內(nèi)容動(dòng)態(tài)分級(jí)存儲(chǔ)反復(fù)數(shù)據(jù)刪除低能耗存儲(chǔ)設(shè)備研制2021年國(guó)家支撐方案工程編號(hào)：2021BAH04B05經(jīng)過(guò)對(duì)數(shù)據(jù)存儲(chǔ)和管理技術(shù)的研討，降低存儲(chǔ)系統(tǒng)的能耗本錢和運(yùn)營(yíng)本錢。相關(guān)的技術(shù)包括SSD與傳統(tǒng)存儲(chǔ)混合運(yùn)用，動(dòng)態(tài)電源管理技術(shù)，智能數(shù)據(jù)管理技術(shù)等，經(jīng)過(guò)在本課題研制的產(chǎn)品中運(yùn)用這些技術(shù)，到達(dá)比傳統(tǒng)存儲(chǔ)系統(tǒng)節(jié)能30%的效果。 研討SSD固態(tài)硬盤與傳統(tǒng)存儲(chǔ)設(shè)備結(jié)合技術(shù)自動(dòng)數(shù)據(jù)遷移研討智能數(shù)據(jù)管理技術(shù)和各種提供存儲(chǔ)利用率的技術(shù)反復(fù)數(shù)

13、據(jù)刪除、存儲(chǔ)虛擬化、自動(dòng)精簡(jiǎn)配置 存儲(chǔ)虛擬化、自動(dòng)精簡(jiǎn)配置、自動(dòng)數(shù)據(jù)遷移、反復(fù)數(shù)據(jù)刪除是云存儲(chǔ)的技術(shù)根底。IBM Smart Storage Cloud內(nèi) 容 云存儲(chǔ)效力03 網(wǎng)絡(luò)存儲(chǔ)的新技術(shù)方法02網(wǎng)絡(luò)存儲(chǔ)的技術(shù)現(xiàn)狀01 網(wǎng)絡(luò)存儲(chǔ)的開展方向04從傳統(tǒng)存儲(chǔ)到云存儲(chǔ)技術(shù)革新不斷降低存儲(chǔ)本錢，最新的“云存儲(chǔ)更是如此傳統(tǒng)存儲(chǔ)方案運(yùn)用昂貴的專業(yè)設(shè)備搭建基于光纖的存儲(chǔ)網(wǎng)絡(luò)基于IP的存儲(chǔ)網(wǎng)絡(luò)，經(jīng)過(guò)以太網(wǎng)互聯(lián)，既改善兼容性又降低初始本錢，主導(dǎo)此技術(shù)的幾家創(chuàng)新公司已勝利上市最新的云儲(chǔ)存技術(shù)運(yùn)用普通效力器即可構(gòu)建直連式存儲(chǔ)，初始和運(yùn)營(yíng)存儲(chǔ)本錢都大大降低了傳統(tǒng)“巨頭專業(yè)存儲(chǔ)方案價(jià)錢昂貴，光纖處理方案為主FC-SA

14、N專業(yè)存儲(chǔ)方案基于IP的處理方案IP-SAN，NAS)“新公司運(yùn)用普通效力器用云“到達(dá)NAS的效果存儲(chǔ)本錢由高到低三層構(gòu)造和三種效力數(shù)據(jù)庫(kù)引擎開發(fā)平臺(tái)在線運(yùn)用計(jì)算資源存儲(chǔ)資源規(guī)范化Web效力Web閱讀器SaaSPaaSIaaS / HaaS后臺(tái)系統(tǒng)黑盒根底硬件設(shè)備云存儲(chǔ)的層次構(gòu)造效力器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備集群容錯(cuò)、負(fù)載平衡認(rèn)證、計(jì)費(fèi)、租約、管理存儲(chǔ)空間等資源效力或虛擬主機(jī)效力云數(shù)據(jù)庫(kù)、超大表等引擎平臺(tái)API及在線訂制開發(fā)工具在線運(yùn)用Web閱讀器云存儲(chǔ)的根本單元采用通用硬件Typically in 2 level architecture Nodes are commodity PCs 30-4

15、0 nodes/rack Uplink from rack is 3-4 gigabit Rack-internal is 1 gigabit多層次動(dòng)態(tài)構(gòu)造WindowsLinuxAIXBSDXENUnixWareSolarisHP-UXVMwareNovell各類系統(tǒng)平臺(tái)各類互聯(lián)接口處置才干擴(kuò)展存儲(chǔ)容量擴(kuò)展多種介質(zhì)整合云存儲(chǔ)的特性優(yōu)勢(shì)云存儲(chǔ)效力云存儲(chǔ)的中心特征經(jīng)過(guò)網(wǎng)絡(luò)獲得：云特征的方式易獲得：隨時(shí)隨地隨方式永不喪失：一輩的資產(chǎn)集體共享和下載影視作品 免費(fèi)軟件學(xué)習(xí)資料 歌曲 云存儲(chǔ)效力個(gè)人資料的網(wǎng)絡(luò)備份異地異時(shí)分享網(wǎng)絡(luò)存儲(chǔ)效力FTP云存儲(chǔ)效力平臺(tái)云存儲(chǔ)的中心特征經(jīng)過(guò)網(wǎng)絡(luò)獲得：云特征的方式易獲得

16、：隨時(shí)隨地隨方式永不喪失：一輩的資產(chǎn)平安：隱私維護(hù)集體共享和下載影視作品 免費(fèi)軟件學(xué)習(xí)資料 歌曲 現(xiàn)有云存儲(chǔ)個(gè)人資料的網(wǎng)絡(luò)備份異地異時(shí)分享現(xiàn)有網(wǎng)絡(luò)存儲(chǔ)效力FTP我們的云存儲(chǔ)系統(tǒng)云存儲(chǔ)效力平臺(tái)實(shí)現(xiàn)文件數(shù)據(jù)的復(fù)制備份、在線存儲(chǔ)和共享，提供本地和互聯(lián)網(wǎng)的一致文件管理視圖為全部用戶提供共享存儲(chǔ)效力為團(tuán)隊(duì)用戶提供共享存儲(chǔ)效力為個(gè)人用戶提供共享存儲(chǔ)效力一致視圖本地資源與互聯(lián)網(wǎng)資源一致文件管理，多機(jī)、多設(shè)備文件同步復(fù)制數(shù)據(jù)傳輸多文件傳輸、大文件傳輸斷點(diǎn)續(xù)傳、分片加密傳輸資源發(fā)布資源發(fā)布、標(biāo)簽添加、圖片預(yù)覽、對(duì)整個(gè)在線存儲(chǔ)空間的文件搜索云存儲(chǔ)效力平臺(tái)產(chǎn)品定位：企業(yè)私有云存儲(chǔ)系統(tǒng)如跨國(guó)公司和總部、分公司多地辦公

17、的情況網(wǎng)絡(luò)存儲(chǔ)架構(gòu)NEW塊文件塊對(duì)象IP記錄FC、IB多途徑自動(dòng)精簡(jiǎn)配置反復(fù)數(shù)據(jù)刪除存儲(chǔ)虛擬化自動(dòng)數(shù)據(jù)遷移數(shù)據(jù)庫(kù)OSDSANNAS網(wǎng)絡(luò)類型訪問(wèn)方式云存儲(chǔ)交融網(wǎng)絡(luò)內(nèi) 容 云存儲(chǔ)效力03 網(wǎng)絡(luò)存儲(chǔ)的新技術(shù)方法02網(wǎng)絡(luò)存儲(chǔ)的技術(shù)現(xiàn)狀01 網(wǎng)絡(luò)存儲(chǔ)的開展方向04網(wǎng)絡(luò)存儲(chǔ)新的實(shí)際工具大規(guī)模網(wǎng)絡(luò)存儲(chǔ)新的實(shí)際工具 網(wǎng)絡(luò)存儲(chǔ)實(shí)踐是：存儲(chǔ)時(shí)網(wǎng)絡(luò)空 用時(shí)空二維實(shí)際將會(huì)獲得新的結(jié)果 例1：數(shù)據(jù)遷移，存儲(chǔ)糾錯(cuò)一遍，傳輸又來(lái)一遍，時(shí)空一致思索，就能夠只來(lái)一遍 例2：延續(xù)數(shù)據(jù)維護(hù)，恢復(fù)時(shí)空點(diǎn) 通訊：信息跨越空間的傳送存儲(chǔ)：信息跨越時(shí)間的傳送“數(shù)字宇宙研討“數(shù)字宇宙研討到2020年，數(shù)字宇宙將會(huì)膨脹到40萬(wàn)億GB(人均52

18、00GB)。數(shù)字宇宙中約三分之一的數(shù)據(jù)將具有大數(shù)據(jù)價(jià)值，但只需當(dāng)其被標(biāo)簽、被分析時(shí)這種價(jià)值才會(huì)顯現(xiàn)。重要結(jié)論：1)信息量以驚人的速度增長(zhǎng)和大數(shù)據(jù)對(duì)社會(huì)產(chǎn)生宏大影響 2)大數(shù)據(jù)價(jià)值只需當(dāng)其被分析時(shí)才會(huì)顯現(xiàn)數(shù)字宇宙，IDC、 EMC 2021年12月大數(shù)據(jù)的產(chǎn)生假設(shè)互聯(lián)網(wǎng)僅有通訊，產(chǎn)生不了大數(shù)據(jù)一過(guò)性的信息，產(chǎn)生后消逝了；假設(shè)僅有存儲(chǔ)，沒有互聯(lián)網(wǎng)，信息孤島也產(chǎn)生不了大數(shù)據(jù)。大量的人，大量的信息終端，大量的攝像頭，條形碼，RFID, 產(chǎn)生大量的數(shù)據(jù)，經(jīng)過(guò)互聯(lián)網(wǎng)傳輸，然后保管下去，就構(gòu)成大數(shù)據(jù)。大數(shù)據(jù)的價(jià)值時(shí)空痕跡大數(shù)據(jù)是巨量信息源時(shí)空傳送的結(jié)果時(shí)空痕跡：以武漢破獲銀行爆炸案為例 典型的大數(shù)據(jù)25萬(wàn)攝

19、像頭，12PB容量，罪犯留下了時(shí)空痕跡 在信息充分興隆時(shí)代，商業(yè)活動(dòng)、日常生活、幾乎一切事件都會(huì)在大數(shù)據(jù)中留下時(shí)空痕跡，對(duì)這些時(shí)空痕跡的開掘，就會(huì)構(gòu)成珍貴的財(cái)富某孕婦的例子存儲(chǔ)科學(xué)的研討新方向一大數(shù)據(jù)的信息發(fā)掘與分析如何從海量的視頻提取有價(jià)值的信息將是重要課題之一 “平安城市運(yùn)用是視頻監(jiān)控領(lǐng)域規(guī)模最大、業(yè)務(wù)最復(fù)雜的系統(tǒng)，其視頻接入規(guī)模從幾千甚至到幾十萬(wàn)都有，它涉及到了治安監(jiān)控、指揮通訊、偵查破案、規(guī)范執(zhí)法、社會(huì)效力等多個(gè)分區(qū)領(lǐng)域；“平安城市視頻監(jiān)控采集到的海量數(shù)據(jù)只需進(jìn)展了智能、高效處置才更具價(jià)值。二超長(zhǎng)期存儲(chǔ)信息的超長(zhǎng)期保管50年以上甚至1000年有真實(shí)的需求不僅有載體問(wèn)題，還有語(yǔ)義問(wèn)題中華文化是少有的延續(xù)文