大數(shù)據(jù)時代數(shù)據(jù)存儲解決方案【完整版】課件

1、大數(shù)據(jù)時代數(shù)據(jù)存儲解決方案目錄大數(shù)據(jù)帶來哪些技術變革云時代大數(shù)據(jù)的特點12大數(shù)據(jù)架構和具體實踐3大量用戶群體海量計算大量數(shù)據(jù)管理數(shù)據(jù)分析大數(shù)據(jù)定義-不同行業(yè)的不同聲音云時代的大數(shù)據(jù)特點Volume-巨 量Variety-多樣性 Value-價值密度數(shù)據(jù)量巨大全球在2010 年正式進入ZB 時代IDC預計到2020 年，全球將總共擁有40ZB 的數(shù)據(jù)量結構化數(shù)據(jù)、半結構化數(shù)據(jù)和非結構化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻，能力提出了更高的要求沙里淘金，價值密度低一部數(shù)小時的視頻，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何迅速“提純”是大數(shù)據(jù)亟待解決的難題實時獲取需要的信息大數(shù)據(jù)區(qū)分

2、于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命Velocity-速 度信息采集系統(tǒng)全景介紹政府機構（醫(yī)保，社保）短信通話記錄數(shù)據(jù)分類數(shù)據(jù)來源運營商存儲區(qū)域業(yè)務平臺匯聚、分析、入庫醫(yī)院大型企業(yè)交通信息視頻監(jiān)控 Email社保、醫(yī)保、住宿、交通視頻監(jiān)控網(wǎng)絡信息 精確查詢人際關系、行為分析跟隨分析、人臉識別通話記錄、住宿、交通統(tǒng)計報表短信、Email內容過濾等其他信息統(tǒng)計分析內容查詢數(shù)據(jù)導入大數(shù)據(jù)在各行業(yè)的應用社交網(wǎng)絡B 2C業(yè)務能源媒資地質勘探科研智能電網(wǎng)非線編輯后期制作衛(wèi)星探測基因工程電子支付票據(jù)歸檔金融互聯(lián)網(wǎng)公安視頻監(jiān)控視頻分析目錄大數(shù)據(jù)各行業(yè)需求

3、和應用大數(shù)據(jù)帶來哪些技術變革云時代大數(shù)據(jù)的特點12大數(shù)據(jù)架構和具體實踐3大數(shù)據(jù)帶來技術變革大數(shù)據(jù)分析處理全球技術研究和咨詢公司Gartner將“大數(shù)據(jù)”技術列入2012年對眾多公司和組織機構具有戰(zhàn)略意義的十大技術與趨勢之一；Gartner在其新興技術成熟度曲線中將“大數(shù)據(jù)”技術視為轉型技術；傳統(tǒng)技術升級已滿足不了大數(shù)據(jù)處理的需求，“大數(shù)據(jù)” 技術將在未來35年內進入主流。其技術形態(tài)也會產(chǎn)生較大的變化；存儲瓶頸計算瓶頸網(wǎng)絡瓶頸數(shù)據(jù)庫瓶頸大數(shù)據(jù)帶來哪些技術變革單機集群虛擬化集群文件存儲單機設備間連接設備內連接關系型數(shù)據(jù)庫橫向擴展橫向擴展GE FC數(shù)據(jù)庫集群10GE FC IB分布式數(shù)據(jù)庫非關系型數(shù)

4、據(jù)庫塊存儲10GE SAS IB FC計算存儲數(shù)據(jù)庫網(wǎng)絡橫向擴展（硬件擴展）塊虛擬化豐富的增值軟件及對外接口橫向擴展（硬件+文件系統(tǒng)）文件虛擬化豐富的增值軟件及對外接口 大數(shù)據(jù)時代群雄逐鹿Hadoop解決方案架構目錄什么十大數(shù)據(jù)大數(shù)據(jù)各行業(yè)需求和應用大數(shù)據(jù)架構和具體實踐大數(shù)據(jù)帶來哪些技術變革云時代大數(shù)據(jù)的特點12大數(shù)據(jù)架構和具體實踐3在大數(shù)據(jù)方面不僅僅是平臺提供商大數(shù)據(jù)應用開發(fā)提供商大數(shù)據(jù)系統(tǒng)集成商大數(shù)據(jù)平臺提供商大數(shù)據(jù)管理服務提供商除了具有強大的自主研發(fā)實力外，還具備豐富的集成優(yōu)化第三方平臺的經(jīng)驗，可根據(jù)用戶的實際需求，打造適合用戶自身特點的大數(shù)據(jù)服務體系；Scaleout BlockSca

5、leout FilesystemScaleout DBScaleout ObjectScaleout backup分布式存儲應用適配, Programmable接口通用服務器網(wǎng)絡（交換機，路由器）存儲節(jié)點 分布式計算和分析批處理(Galax HD)實時處理和內存計算近實時分析和MPP DB內存數(shù)據(jù)庫流處理MapReduceHive,Pig,MashoutHBASEHcatalogSQLQuery PlannerMPP ExecData Bridge管控平面設備管理資源管理(YARN,多戶,Zookeeper)策略調度日志留存OLAP視頻分析數(shù)據(jù)可視化內容檢索數(shù)據(jù)挖掘 大數(shù)據(jù)一體化平臺集成Sqo

6、opData Loader 集成和優(yōu)化自研組件合作3rd PartyToolHadoop FS API, NFS/CIFS,Posix,ISCSI,S3大數(shù)據(jù)統(tǒng)一架構FlumeLuceneCloud OS30mins/TB的恢復速度安全可信彈性高效存儲池內所有硬盤參與重構，僅重構業(yè)務數(shù)據(jù)由傳統(tǒng)RAID多對一的重構模式轉變?yōu)镠VS的多對多快速重構模式數(shù)據(jù)恢復速度相對傳統(tǒng)RAID提升20倍降低95%的多盤失效概率大幅降低重構過程對業(yè)務的影響加速數(shù)據(jù)恢復傳統(tǒng)陣列RAID 2.01TB NLSAS 磁盤重構時間（小時）100.50246810數(shù)據(jù)重構時間縮短20倍ApplicationsControl

7、lerCPUCacheNORMALNORMALPREMIUMSSDSASSATALOWPriority nPriority 3Priority 2Priority 1Partition 1Partition 2Partition 4Partition Partition 3Partition N核心業(yè)務專屬保障存儲系統(tǒng)自動按照優(yōu)先級不同調配資源，保證核心系統(tǒng)的資源需求SmartQoS確保核心業(yè)務服務質量物理緩存分區(qū)，為特定LUN設定專用的緩存分區(qū)，避免核心業(yè)務與邊緣業(yè)務惡性緩存競爭SmartPartition 關鍵業(yè)務性能保障安全可信彈性高效Smart軟件提升客戶系統(tǒng)效率數(shù)據(jù)智能流動Smart

8、Tier數(shù)據(jù)動態(tài)分級SmartVirtualization異構數(shù)據(jù)整合SmartMotion數(shù)據(jù)動態(tài)平衡EMCHDSIBMHW 安全可信彈性高效SmartTier：精細化熱點統(tǒng)計與遷移，最大化性能資源利用率，性能提升3倍SmartMotion：基于場景的動態(tài)部署變更，最大化自動負載均衡，硬盤利用率提升2倍，運維成本下降60%SmartVirtualization：支持對異構存儲系統(tǒng)進行統(tǒng)一虛擬化管理，最大化既有投資保護，投資回報率提升50%Smart智能軟件SSDSASNL-SAS統(tǒng)一管控，運維一手掌握各類型存儲統(tǒng)一管理，化繁為簡分層可視化，直觀監(jiān)控，高效排障智能分析提升服務質量，節(jié)約成本與移

9、動運維結合，管理更智能存儲管理軟件統(tǒng)一監(jiān)控與管理 報警管理 拓撲安全在線存儲近線存儲安全可信彈性高效亞洲最大兼容性實驗室亞洲最大的IT產(chǎn)品兼容性實驗室，擁有國內最全面的測試環(huán)境，產(chǎn)品兼容性得到充分的認證，客戶的兼容性疑慮得到最好的解答與全球400家IT廠家合作，影響全球IT生態(tài)圈，為客戶提供更加全面的IT產(chǎn)品。超過400家兼容性測試伙伴兼容性實驗室解決您的兼容性顧慮HVS & T系列統(tǒng)一存儲存儲虛擬化VIS6600TN9000大數(shù)據(jù)存儲面向企業(yè)級數(shù)據(jù)中心實現(xiàn)數(shù)據(jù)智能布局雙活數(shù)據(jù)中心統(tǒng)一存儲資源池面向海量數(shù)據(jù)存儲融合架構簡化生命周期管理P15P22P1P8P15P22P1P8P15P22P1P8

10、P15P22P1P8P15P22P1P8Self Organized DisksDHTS3/NFS/CIFS存以智用，融以致遠云化存儲設計：智能融合可信賴，滿足企業(yè)需要外企當?shù)?、自主乏力本地產(chǎn)/OEM不等于自主可控本地產(chǎn)為的是降低生產(chǎn)成本，OEM僅僅是包裝存儲核心競爭力是研發(fā)、設計技術、質量、價格均不可控本地產(chǎn)/OEM 自主可控IDC2011年數(shù)據(jù)外企當?shù)?安全威脅外企霸占國內市場：國外存儲廠商占據(jù)國內80%以上的市場份額，其中金融業(yè)占據(jù)90%，交通行業(yè)超過80%，電信行業(yè)超過90%；威脅國家安全：CNNVD（國家信息安全漏洞庫）統(tǒng)計外企在國內重大信息安全漏洞多達6萬個存儲的中國芯專用/通用處

11、理器CPU 自研ARM64，融合存儲特性(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡 最少磁盤，最少電力，滿足海量數(shù)據(jù)備份需求 加速卡實現(xiàn)5GB/s = 18TB/Hr更低成本，更高性價比智能融合IO芯片 Hi1812 10GE,RDMA(10GE),TOE,IOE, FCoE,FC 8G/16G all in one更低成本，更高性價比PCI-E SSD控制芯片Hi1821 支持PCI-E 3.0接口 支持SAS 3.0協(xié)議 SAS SSD控制芯片 Hi1811 業(yè)界第一顆支持SAS 2.0的ASIC控制器發(fā)布首款全固態(tài)存儲系統(tǒng)Dorado 2100Red

12、-B Prime 可編程引擎（TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等協(xié)議卸載） PCI-E over Fabric，IO擴展和共享，數(shù)據(jù)加密壓縮Red-B Prime提供最全系列全國產(chǎn)存儲產(chǎn)品大數(shù)據(jù)和云存儲數(shù)據(jù)保護磁盤存儲存儲軟件HDP3500E*VTL6900*固態(tài)存儲 HyperSnap HyperClone 數(shù)據(jù)復制軟件存儲管理軟件HyperCopy HyperReplicationDorado2100 G2Dorado510060萬 IOPS訪問延遲低至500s100萬 IOPS訪問延遲低至500sHVS85T/HVS88TS2600T/S55

13、00T/S5600T/S5800T216 控制器可擴展至3TB Cache可擴展至 3216 塊硬盤05s RPOS6800T可擴展至384GB Cache可擴展至1440 塊硬盤25萬SPC-1性能統(tǒng)一存儲，同時支持塊和文件應用可擴展至192GB Cache可擴展至1440 塊硬盤S2200T雙控制器支持4GB Cache支持204 塊硬盤SmartQoSSmartMotionSmartTier UltrPathUltraVRUltraAPMSmartCacheSmartThinSmartX InsightManagement ConsoleInfraControlCSS分布式存儲系統(tǒng)N9000大數(shù)據(jù)存儲系統(tǒng)支持Posix/NFS/CIFS/JDBC/ODBC接口多GE互聯(lián)UDS海量存儲系統(tǒng)3288節(jié)點，40PB容量擴展，500萬OPS 10GE/IB高性能互聯(lián)標準Amazon S3接口EB級容量擴展高密設計，單柜2PB容量N8500集群NAS系統(tǒng)*全Active架構支持文件和塊接口224節(jié)點，15PB容量擴展，300萬OPS 動態(tài)分級存儲一體化備份設備PB級海量備份集群架構同時支持Inline與后端重刪VIS