聯(lián)想LeoStor分布式存儲(chǔ)系統(tǒng)介紹

1、聯(lián)想軟件定義存儲(chǔ)解決方案 LeoStor分布式存儲(chǔ)系統(tǒng)持續(xù)爆炸性增長(zhǎng)的“數(shù)據(jù)”全球存儲(chǔ)市場(chǎng)格局發(fā)生巨變今天5年后10年后2014年Wikibon報(bào)告揭示企業(yè)軟件定義存儲(chǔ)（SDS）是未來(lái)發(fā)展方向。企業(yè)存儲(chǔ)市場(chǎng)正從傳統(tǒng)企業(yè)存儲(chǔ)向SDS加速過度。未來(lái)10年，傳統(tǒng)企業(yè)存儲(chǔ)降幅達(dá)16.7%，與之形成鮮明對(duì)比的是SDS平均YoY以40%的速度飛速增長(zhǎng)。SDS將在未來(lái)5年，在市場(chǎng)收入追平傳統(tǒng)企業(yè)存儲(chǔ)；并進(jìn)一步持續(xù)增長(zhǎng)。預(yù)計(jì)10年后，SDS將成為企業(yè)存儲(chǔ)市場(chǎng)主流，收入占比超60%；而傳統(tǒng)企業(yè)存儲(chǔ)將萎縮到不足10%。中國(guó)分布式存儲(chǔ)發(fā)展趨勢(shì)政府行業(yè)占比第一位。除了氣象與地震局，公安行業(yè)因集中視頻存儲(chǔ)項(xiàng)目也表現(xiàn)出積

2、極的增長(zhǎng)。媒體排名第二并且增長(zhǎng)非常好的原因，主要來(lái)自于新媒體視頻播放和視頻網(wǎng)站的采購(gòu)。金融行業(yè)下降主要源自基于控制器的外置分布式存儲(chǔ)的減少。制造業(yè)開始嘗試超融合解決方案。2015年與2014年相比，基于控制器的外置存儲(chǔ)（ExternalController-Based）增長(zhǎng)率為負(fù)25.8%，而基于服務(wù)器的分布式存儲(chǔ)（Server Storage）增長(zhǎng)率為67.8%軟件定義存儲(chǔ)正在深入各行各業(yè)廣電多媒體平安城市智慧城市能源勘探數(shù)字醫(yī)療測(cè)量測(cè)繪金融影像視頻編輯視頻播出治安監(jiān)控?cái)?shù)字執(zhí)法電子政務(wù)民生數(shù)據(jù)波譜分析勘探數(shù)據(jù)PACS影像三維重建衛(wèi)星數(shù)據(jù)GIS信息視頻監(jiān)控電子票據(jù) 提供敏捷化配置、高性能、高效

3、（簡(jiǎn)化）運(yùn)維管理的存儲(chǔ)解決方案軟件定義存儲(chǔ)的特質(zhì)：敏捷化配置：借助軟件引擎的多元性和通用x86服務(wù)器的配置靈活性、高可擴(kuò)展性的特質(zhì)，滿足客戶數(shù)據(jù)中心的多種數(shù)據(jù)管理需求；高性能：存儲(chǔ)軟件引擎在存儲(chǔ)中處于一個(gè)核心的地位，并借助先進(jìn)的Scale-Out架構(gòu)和底層為更高性能的x86服務(wù)器；高效（簡(jiǎn)化）運(yùn)維管理：對(duì)資源和數(shù)據(jù)實(shí)現(xiàn)高效、整體上的有效管理，簡(jiǎn)化運(yùn)維；介質(zhì)層什么是軟件定義存儲(chǔ)Software Defined Storage？傳統(tǒng)存儲(chǔ)無(wú)法承受海量非結(jié)構(gòu)化數(shù)據(jù)激增的挑戰(zhàn)P770P770 x86 poolSAN/NAS“Shark”存儲(chǔ)規(guī)模更大Scale Up垂直擴(kuò)展模式“脖子效應(yīng)”控制器“脖子效應(yīng)

4、”控制器P770P770 x86 pool性能海量并發(fā)IO時(shí)，容易產(chǎn)生“脖子效應(yīng)”Raid故障恢復(fù)時(shí)間長(zhǎng)，業(yè)務(wù)影響較大（“脆弱期”容易造成“二次傷害”）擴(kuò)展性垂直擴(kuò)展性受限，無(wú)法性能與容量線性增長(zhǎng)TCO購(gòu)買價(jià)格昂貴（存非結(jié)構(gòu)化數(shù)據(jù)性價(jià)比差），周期長(zhǎng)擴(kuò)容升級(jí)采購(gòu)周期長(zhǎng)、價(jià)格高，服務(wù)成本昂貴運(yùn)維管理數(shù)據(jù)信息資源孤島，分散管理難度擴(kuò)容操作困難（經(jīng)常性數(shù)據(jù)遷移）軟件定義分布式存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)利器P770P770 x86 pool性能數(shù)據(jù)切片均勻分布在所有節(jié)點(diǎn)上，所有節(jié)點(diǎn)并行參與數(shù)據(jù)讀寫，有效提升I/O效率專門針對(duì)海量數(shù)據(jù)設(shè)計(jì)的數(shù)據(jù)恢復(fù)功能（6TB/小時(shí)），有效減小“脆弱期”，業(yè)務(wù)“零”影響擴(kuò)展

5、性橫向擴(kuò)展性，輕松支持上千節(jié)點(diǎn)、百PB級(jí)數(shù)據(jù)管理性能與容量成線性增長(zhǎng)TCO通用x86服務(wù)器平臺(tái)+專用存儲(chǔ)引擎軟件構(gòu)成的存儲(chǔ)系統(tǒng)，提供超高性價(jià)比（傳統(tǒng)存儲(chǔ)50%成本）僅需購(gòu)買通用x86服務(wù)器和相應(yīng)容量軟件license，即可實(shí)現(xiàn)擴(kuò)容，周期短，硬件無(wú)綁定風(fēng)險(xiǎn)運(yùn)維管理單一文件系統(tǒng)支持上億文件，百PB容量，有效數(shù)據(jù)管理可實(shí)現(xiàn)業(yè)務(wù)無(wú)感知擴(kuò)容，數(shù)據(jù)自動(dòng)節(jié)點(diǎn)間容量均衡軟件存儲(chǔ)引擎小步快跑式革新，而非徹底替換-現(xiàn)階段集中式存儲(chǔ)和軟件定義存儲(chǔ)互為補(bǔ)充關(guān)鍵應(yīng)用高IOPS，低延遲交易型數(shù)據(jù)庫(kù)虛擬化資源池負(fù)載較低的非關(guān)鍵應(yīng)用數(shù)據(jù)庫(kù)內(nèi)容存儲(chǔ)文件存儲(chǔ)分析型應(yīng)用后臺(tái)存儲(chǔ)歸檔、備份等離線數(shù)據(jù)存儲(chǔ)集中式存儲(chǔ)SDS塊存儲(chǔ)SDS文

6、件存儲(chǔ)SDS對(duì)象存儲(chǔ)存儲(chǔ)架構(gòu)重定義數(shù)據(jù)中心里面的分布式存儲(chǔ)應(yīng)用場(chǎng)景ERP/BIMailDBFileSANNASCIFS / NFSiSCSIFCNFSFCoEExchangeNotesOracleDB2SQLInformixMAXDBSAPOracleSiebelHana GreenplumElec-MaterialVideoCCTVArchiveTier 3Tier 2Tier 1NetAPPEMC IsilonIBMHDS HNAS華為 OceanStor浪潮數(shù)據(jù)中心里面的分布式存儲(chǔ)應(yīng)用場(chǎng)景ERP/BIMailDBFileSANNASCIFS / NFSiSCSIFCNFSFCoEExch

7、angeNotesOracleDB2SQLInformixMAXDBSAPOracleSiebelHana GreenplumElec-MaterialVideoCCTVArchiveTier 3Tier 2Tier 1Scale-Out (SDS)SSDSASSATAiSCSI/FC/NFS/Pricate Protocol聯(lián)想LeoStor，是SDS解決方案的理想技術(shù)和產(chǎn)品選擇硬件層系統(tǒng)層接口層應(yīng)用層LeoStor分布式存儲(chǔ)系統(tǒng)LenoFSHDFSCinderISCSINFSLenovo serverLenoSANFTPHTTPCIFSLenoSync非編/媒資網(wǎng)盤數(shù)據(jù)挖掘HPC高性能計(jì)算

8、視頻監(jiān)控.衛(wèi)星數(shù)據(jù)豐富產(chǎn)品家族，滿足企業(yè)存儲(chǔ)的不同需求家族清單F10000全閃磁盤，適用4K高清類、單數(shù)據(jù)流600MB/s1.2GB/s，高IO低延遲場(chǎng)景P3000適用于高IO負(fù)載復(fù)雜應(yīng)用場(chǎng)景，單節(jié)點(diǎn)IO帶寬可達(dá)1.5GB/s。C3000實(shí)現(xiàn)性能和容量的有效平衡，靈活支持千兆/萬(wàn)兆網(wǎng)絡(luò)，2U空間實(shí)現(xiàn)700TB容量的同時(shí)，可達(dá)800MB/S的IO帶寬。C2000實(shí)現(xiàn)入門級(jí)軟件定義存儲(chǔ)解決方案，可選千兆網(wǎng)絡(luò)，可選融合節(jié)點(diǎn)模式，單節(jié)點(diǎn)IO帶寬可達(dá)600MB/sC4000適用于海量、高密度數(shù)據(jù)管理需求，實(shí)現(xiàn)1PB到100PB間容量擴(kuò)展，單節(jié)點(diǎn)IO帶寬可達(dá)1.4GB/sA60004U60高密度存儲(chǔ)，適用

9、冷數(shù)據(jù)存儲(chǔ)、歸檔類存儲(chǔ)、與其他系列存儲(chǔ)配合做分層數(shù)據(jù)管理場(chǎng)景F：Flash - 全閃陣列P：Performance 高I/OC：Capacity 大容量高帶寬A：Archive 冷數(shù)據(jù)歸檔聯(lián)想LeoStor分布式存儲(chǔ)系統(tǒng)全家福非編/媒資網(wǎng)盤數(shù)據(jù)挖掘HPC高性能計(jì)算視頻監(jiān)控衛(wèi)星數(shù)據(jù)OSS存儲(chǔ)節(jié)點(diǎn)：承載海量數(shù)據(jù)的存儲(chǔ)功能。最小三個(gè)，按需擴(kuò)展，最大對(duì)4000個(gè)支持NL-SAS、SAS、SSD硬盤混插可通過掛接方式實(shí)現(xiàn)原有服務(wù)器或IP-SAN、FC-SAN、NAS等存儲(chǔ)陣列存儲(chǔ)利舊MDS管理節(jié)點(diǎn)：部署軟件引擎、存放元數(shù)據(jù)。最小兩個(gè)，成對(duì)擴(kuò)展，最大128對(duì)雙Active，元數(shù)據(jù)實(shí)時(shí)同步智能元數(shù)據(jù)負(fù)載均衡

10、技術(shù)數(shù)據(jù)交換網(wǎng)絡(luò)：用于應(yīng)用系統(tǒng)與存儲(chǔ)、存儲(chǔ)內(nèi)部的數(shù)據(jù)交換。萬(wàn)兆網(wǎng)絡(luò)交換機(jī)，Lenovo BNT8124或BNT8272（依據(jù)連接數(shù)）雙萬(wàn)兆交換設(shè)備實(shí)現(xiàn)冗余鏈路保證LeoStor SoftWare軟件引擎：管理整個(gè)存儲(chǔ)陣列。系統(tǒng)健康情況監(jiān)控；磁盤空間配置、更改；Leostor 分布式存儲(chǔ)系統(tǒng)組件LeoStor優(yōu)勢(shì)點(diǎn)一覽多種數(shù)據(jù)保護(hù)模式更低的擁有成本與OpenStack無(wú)縫對(duì)接快速響應(yīng)支持服務(wù)Scale-Out橫向擴(kuò)展基因100PB數(shù)據(jù)存儲(chǔ)支持靈活的軟件定義配置全面數(shù)據(jù)生命周期管理一套系統(tǒng)支持塊、文件、對(duì)象存儲(chǔ)更強(qiáng)的數(shù)據(jù)處理能力統(tǒng)一存儲(chǔ)產(chǎn)品功能概述無(wú)限擴(kuò)容無(wú)單點(diǎn)故障統(tǒng)一管理/監(jiān)控業(yè)務(wù)無(wú)感知在線軟硬

11、件升級(jí)硬件自檢/報(bào)警機(jī)制可做現(xiàn)有環(huán)境利舊系統(tǒng)特性文件快照克隆原生網(wǎng)盤支持容災(zāi)套件自動(dòng)精簡(jiǎn)配置WORM（Write Once Read Many）高級(jí)功能接口支持文件支持:LeoFS/CIFS/NFS塊存儲(chǔ)支持:LeoSAN；iSCSI對(duì)象存儲(chǔ)支持：SwiftOpenStack支持：CinderHadoop支持：HDFSLeoStor分布式存儲(chǔ)系統(tǒng)架構(gòu)LeoStor 分布式文件系統(tǒng)S3/SwiftLeoFS/NFS/CIFSLeoSAN/iSCSIKVMXENHyperVESXiLinuxwindowsUnixLinux 操作系統(tǒng)LeoStor GUILinux OS物理機(jī)或者虛擬機(jī)控制指令網(wǎng)絡(luò)

12、IE，Chrome，F(xiàn)irefox數(shù)據(jù)庫(kù)中間件CRM其他OSDHDDSSDOSDHDDSSDOSDHDDSSDMDSSSDSSDMDSSSDSSD協(xié)議接口層LeoStor分布式架構(gòu)的優(yōu)勢(shì)開放架構(gòu)基于標(biāo)準(zhǔn)化服務(wù)器構(gòu)建的存儲(chǔ)集群成本低廉以100TB存儲(chǔ)需求計(jì)算，在5年內(nèi)投入成本基于軟件定義存儲(chǔ)相比中端集中式存儲(chǔ)可以節(jié)省52% *并行處理智能化存儲(chǔ)管理軟件可以把數(shù)據(jù)存儲(chǔ)和訪問均衡分布到集群的所有節(jié)點(diǎn)統(tǒng)一管理和策略控制自動(dòng)分布，可用性管理，數(shù)據(jù)冗余高可擴(kuò)展性容量和性能線性擴(kuò)展LeoStor支持兩副本和三副本兩種模式副本模式適用于小文件類型應(yīng)用小于1MB的文件應(yīng)用，使用副本模式副本模式LeoStor支持

13、2+1和4+1兩種糾刪碼保護(hù)模式LeoRAID適用于大文件類型應(yīng)用大于等于1MB的文件應(yīng)用，使用LeoRAID模式LeoRAID模式LeoStor DFSCOPYCOPYCOPYREPLIDATED POOLOBJECTLeoStor DFS1ERASURE CODED POOLOBJECT234PLeoStor數(shù)據(jù)高可用性數(shù)據(jù)遠(yuǎn)程容災(zāi)技術(shù)可通過存儲(chǔ)容災(zāi)技術(shù)，保證數(shù)據(jù)完整性。節(jié)點(diǎn)間可實(shí)現(xiàn)模式：“一對(duì)一” “多對(duì)一”“一對(duì)多” 的數(shù)據(jù)復(fù)制?？偡址諻AN(專線)LeoStor高彈性提供靈活、業(yè)務(wù)無(wú)感知升級(jí)GroupLANLANOpenStack支持通過與OpenStack中的Cinder塊存儲(chǔ)管理

14、模塊相配合，為Nova中的計(jì)算資源提供存儲(chǔ)空間；可實(shí)現(xiàn)通過運(yùn)管平臺(tái)進(jìn)行數(shù)據(jù)空間的“創(chuàng)建卷”、“刪除卷”、“修改卷”等管理工作。支持Cinder的VolumeType功能Glance也可以利用LeoFS的存儲(chǔ)容量OpenStack支持BigData支持用LeoFS替代HDFS，通過實(shí)現(xiàn)Hadoop的文件接口使LeoFS文件系統(tǒng)支持Hadoop。在文件讀取效率，存儲(chǔ)利用率上明顯優(yōu)于HDFS。MapReduce方面，通過自有接口獲取塊分布信息，實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)本地化。BigData支持BigData Application(大數(shù)據(jù)應(yīng)用)Zookeeper(分布式協(xié)作服務(wù))Hbase(分布式數(shù)據(jù)庫(kù))

15、Hive(數(shù)據(jù)倉(cāng)庫(kù))MapReduce(分布式計(jì)算框架)LeoStor(分布式文件存儲(chǔ))Pig(數(shù)據(jù)流處理)可信易用的管理API支持通過HTTP服務(wù)對(duì)外提供簡(jiǎn)單易用的類RESTful管理API；支持配置HTTPS，提供高可信通訊。內(nèi)置OAUTH2標(biāo)準(zhǔn)化認(rèn)證流程，和可配的三員權(quán)限支持，保證了接口訪問的安全可靠。提供完善的系統(tǒng)管理和監(jiān)控API，可實(shí)現(xiàn)監(jiān)控平臺(tái)運(yùn)行數(shù)據(jù)，管理和維護(hù)平臺(tái)運(yùn)轉(zhuǎn)。API支持API請(qǐng)求示例:https:/ip/oauth/token?grant_type=password&client_id=mobie&client_secret=123456&username=admin&

16、password=adminAPI應(yīng)答示例: value: 3985eaec-d3d4-4493-8358-4960be667890, expiration: 2016-04-01T18:24:09+08:00, tokenType: bearer無(wú)限文件快照ROW方式的快照，沒有寫放大對(duì)數(shù)據(jù)寫入性能沒有影響支持大量快照并存基于切片的快照，快照顆粒度小，空間占用小。無(wú)限文件快照A1B1C1D1原文件P1文件切片無(wú)快照R/WA1B1C1D1文件P1執(zhí)行快照快照R/WA1B1C1D1修改后文件P1文件更新快照D2P2R/W增強(qiáng)型權(quán)限管理用戶權(quán)限應(yīng)用端訪問權(quán)限操作系統(tǒng)訪問權(quán)限存儲(chǔ)系統(tǒng)自帶用戶管理機(jī)制，實(shí)現(xiàn)多平臺(tái)統(tǒng)一用戶管理的同時(shí)，控制用戶訪問權(quán)限，保證數(shù)據(jù)安全性；windows通過AD域控結(jié)合保證系統(tǒng)