HC大數(shù)據(jù)存儲技術(shù)

1、修訂記錄課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEHC1209202N8500OceanStor 9000V100R002V00R001V2.0開發(fā)/優(yōu)化者時間審核人開發(fā)類型（新開發(fā)/優(yōu)化）張博2013-09-20劉慶超/余雷新開發(fā)本頁不打印HC1209202 第二章 大數(shù)據(jù)存儲技術(shù)目標學完本課程后，您將能夠:描述大數(shù)據(jù)存儲架構(gòu)理解大數(shù)據(jù)存儲技術(shù)了解大數(shù)據(jù)分析技術(shù)了解數(shù)據(jù)安全技術(shù)理解集群NAS技術(shù)理解文件系統(tǒng)分級存儲理解文件系統(tǒng)快照、鏡像、復(fù)制目錄大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)大數(shù)據(jù)存儲架構(gòu) Scale-out File

2、system數(shù)據(jù)生命周期管理/跨域調(diào)度管理 Scale-out DB 傳統(tǒng)存儲業(yè)務(wù)海量數(shù)據(jù)業(yè)務(wù) 主存儲域 NOFSServers: General X86 open architecture NOFS NOFS NOFS NOFS NOFS NOFS NOFS10GE iWARP/Infiniband XDBCSQLMap-Reduce InterfacePOSIXJOB 備份域HDFS HDFS large-capacity nodehigh-OPS nodeHDFShigh-bandwidth node業(yè)務(wù)層接口層存儲層NFS/CIFSS3ISCSIBIBig data analytics

3、BackupBig data shareNAS應(yīng)用層HPC 客戶端客戶端在線系統(tǒng)近線系統(tǒng) FC/10GE/InfinibandFC/10GE/InfinibandScale-out NASScale-out DBScale-out Backup磁盤上下電掃描文件數(shù)據(jù)保護策略單盤下電節(jié)能數(shù)據(jù)定期巡檢文件生命周期策略Distributed FSScale-out架構(gòu)目錄大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)傳統(tǒng)存儲與對象存儲大數(shù)據(jù)存儲技術(shù)分布式對象資源池大數(shù)據(jù)存儲技術(shù)-Erasure code數(shù)據(jù)寫入時被切割成M個數(shù)據(jù)塊經(jīng)過糾錯編碼生

4、成N個冗余校驗塊,共M+N份數(shù)據(jù)系統(tǒng)將多個數(shù)據(jù)塊并行的存儲于不同的節(jié)點中當存儲節(jié)點損壞時，數(shù)據(jù)讀寫正常，剩余數(shù)據(jù)塊及冗余塊后臺參與并將數(shù)據(jù)恢復(fù)m2m4m1m3m3m2n2n1m4m1n2m4對象存儲數(shù)據(jù)寫流程對象存儲數(shù)據(jù)讀取流程數(shù)據(jù)塊損壞時的數(shù)據(jù)讀取和恢復(fù)元數(shù)據(jù)冗余DiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDisk元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝文件元數(shù)據(jù)節(jié)點1節(jié)點2節(jié)點3節(jié)點4節(jié)點5EC快速數(shù)據(jù)恢復(fù)系統(tǒng)中每個硬盤都屬于多個NLUN硬盤故障時,會選出4個目標盤出來進行恢復(fù)每個目標盤的恢復(fù)是獨立的，目標盤之間

5、的恢復(fù)可以并發(fā)節(jié)點1節(jié)點2節(jié)點3節(jié)點4節(jié)點5節(jié)點6硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n單一文件系統(tǒng)&統(tǒng)一文件系統(tǒng)命名空間應(yīng)用服務(wù)器WushanFS熱數(shù)據(jù)冷數(shù)據(jù)普通數(shù)據(jù)Tier 2Tier 3Tier 1SSD分級存儲技術(shù)分級存儲滿足用戶既需要高性能訪問也需要大容量存儲的雙重需求。允許用戶自行規(guī)劃自己的業(yè)務(wù)，對自己的業(yè)務(wù)進行分級，把某些重要的業(yè)務(wù)放在性能較高的節(jié)點上。 熱數(shù)據(jù)冷數(shù)據(jù)普通數(shù)據(jù)Tier 2Tier 3Tier 1SSD分級存儲技術(shù)分級存儲滿足用戶既需要高性能訪問也需要大容量存儲

6、的雙重需求。允許用戶自行規(guī)劃自己的業(yè)務(wù)，對自己的業(yè)務(wù)進行分級，把某些重要的業(yè)務(wù)放在性能較高的節(jié)點上。 智能負載均衡在所有節(jié)點間自動進行負載均衡自動平衡容量和性能IP的故障切換(failover)和故障恢復(fù)(failback)無需人工干預(yù)，無需更改配置對應(yīng)用透明nodenodenodenodeOceanStor9000WiseLinkWiseLinkWiseLinkWiseLinkWushanFS01234智能負載均衡負載均衡實現(xiàn)過程：訪問系統(tǒng)一級/二級域名,如：OceanStor 9000對域名進行解析，根據(jù)負載策略，返回IP地址業(yè)務(wù)請求nodenodenodenodenodenodeZone

7、 1：基于CPU使用情況二級域名：Zone 2：基于網(wǎng)絡(luò)連接數(shù)二級域名：WushanFSNFS Client智能負載均衡負載均衡實現(xiàn)過程：訪問系統(tǒng)一級/二級域名,如：OceanStor 9000對域名進行解析，根據(jù)負載策略，返回IP地址業(yè)務(wù)請求nodenodenodenodenodenodeZone 1：基于CPU使用情況二級域名：Zone 2：基于網(wǎng)絡(luò)連接數(shù)二級域名：WushanFSNFS Client高效全局緩存（一）storageCPUMemorystorageCPUMemorystorageCPUMemory全局緩存ABC應(yīng)用服務(wù)器nodeAnodeBnodeCWushanFS高效全局

8、緩存（二）利用分布式鎖，實現(xiàn)全局緩存同一數(shù)據(jù)塊在緩存只緩存一份任意節(jié)點緩存中的數(shù)據(jù)都能被其他節(jié)點訪問時命中Node ANode BNode CstorageCPUMemorystorageCPUMemorystorageCPUMemory應(yīng)用服務(wù)器WushanFS服務(wù)器向Node C申請鎖LOCK返回鎖在Node A已經(jīng)申請從Node A緩存中讀取數(shù)據(jù)按需擴展節(jié)點線性擴展60秒之內(nèi)完成單節(jié)點擴容無需人為干預(yù)，無需任何改動應(yīng)用服務(wù)器InfiniBand技術(shù)InfiniBandInfiniBand技術(shù)不是用于一般網(wǎng)絡(luò)連接的，它的主要設(shè)計目的針對服務(wù)器端的連接問題。InfiniBand技術(shù)被應(yīng)用于服

9、務(wù)器與服務(wù)器（比如復(fù)制、分布式工作等）、服務(wù)器和存儲設(shè)備（比如SAN和直接存儲附件）以及服務(wù)器和網(wǎng)絡(luò)之間（比如LAN、 WANs和the Internet）的通信。InfiniBand的用途針對服務(wù)器端的連接，提供高速、低時延、RDMA方式的訪問InfiniBand的特點高帶寬低時延系統(tǒng)擴展性好InfiniBand體系架構(gòu)InfiniBand標準定義了一套用于系統(tǒng)通信的多種設(shè)備，包括信道適配器、交換機和路由器。InfiniBand的幀結(jié)構(gòu)InfiniBand的幀結(jié)構(gòu)InfiniBand的特點高速度Infiniband第一代DDR技術(shù)，所支持的吞吐量為5、20或60Gbps，延遲低于1.3us。

10、第二代QDR技術(shù)，帶寬最高可達120Gbps，延遲低于100ns 遠程直接內(nèi)存存取功能該功能對于集群來說很適合，因為它可以通過一個虛擬的尋址方案，讓服務(wù)器知道和使用其他服務(wù)器的部分內(nèi)存，無需涉及操作系統(tǒng)的內(nèi)核。傳輸卸載遠程直接內(nèi)存存取能夠幫助傳輸卸載，后者把數(shù)據(jù)包路由從OS轉(zhuǎn)到芯片級，節(jié)省了處理器的處理負擔InfiniBand的協(xié)議棧10GE以太網(wǎng)定義10GE 以太網(wǎng)（10 Gigabit Ethernet，縮寫為10GE，10GbE，10 GigE或10GE），即萬兆以太網(wǎng)。一種以太網(wǎng)的傳輸標準，2002年通過，成為IEEE Std 802.3ae-2002。它規(guī)范了以10 Gbit/s 的

11、速度來傳輸?shù)囊蕴W(wǎng)，它的速度是GE的十倍。特點：10 Gigabit以太網(wǎng)，以全雙工方式連接到網(wǎng)絡(luò)交換器，它不支持半雙工模式與CSMA/CD。10GE提供了高帶寬低時延的訪問，適合比較 媒資類、高算類、OLAP等。目錄大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)數(shù)據(jù)庫技術(shù)的演變隨著數(shù)據(jù)量的飛速增長，特別是非結(jié)構(gòu)化數(shù)據(jù)，傳統(tǒng)關(guān)系型數(shù)據(jù)庫的可擴展性出現(xiàn)瓶頸，因此出現(xiàn)各種場景優(yōu)化的數(shù)據(jù)存放方式OldSQL（事務(wù)）New SQL/MoreSQL（分析）NoSQL（互聯(lián)網(wǎng)）NoSQL與NewSQL數(shù)據(jù)庫CAP原理NoSQL結(jié)構(gòu)NoSQL與關(guān)系型的

12、數(shù)據(jù)庫對比優(yōu)勢方面： 易擴展：靈活的數(shù)據(jù)模型高可用：快速讀寫，大數(shù)據(jù)量，高性能低廉的成本不足： 不提供對SQL的支持支持的特性不夠豐富NoSQL未形成一定標準NoSQL與關(guān)系型的數(shù)據(jù)庫對比優(yōu)勢方面： 易擴展：靈活的數(shù)據(jù)模型高可用：快速讀寫，大數(shù)據(jù)量，高性能低廉的成本不足： 不提供對SQL的支持支持的特性不夠豐富NoSQL未形成一定標準NoSQL分類類型部分代表特點列存儲Hbase/Cassandra/Hypertable顧名思義，是按列存儲數(shù)據(jù)的。最大的特點是方便存儲結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，對針對某一列或者某幾列的查詢有非常大的IO優(yōu)勢。文檔存儲MongoDB/CouchDB文檔

13、存儲一般用類似json的格式存儲，存儲的內(nèi)容是文檔型的。這樣也就有有機會對某些字段建立索引，實現(xiàn)關(guān)系數(shù)據(jù)庫的某些功能。key-value存儲Tokyo Cabinet Tyrant/Berkeley DB/MemcacheDB/Redis可以通過key快速查詢到其value。一般來說，存儲不管value的格式，照單全收。（Redis包含了其他功能）圖存儲Neo4J/FlockDB/InfoGrid圖形關(guān)系的最佳存儲。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫來解決的話性能低下，而且設(shè)計使用不方便。對象存儲Db4o/Versant通過類似面向?qū)ο笳Z言的語法操作數(shù)據(jù)庫，通過對象的方式存取數(shù)據(jù)。xml數(shù)據(jù)庫Berkeley

14、 DB XML/BaseX高效的存儲XML數(shù)據(jù)，并支持XML的內(nèi)部查詢語法，比如XQuery,Xpath。NoSQL應(yīng)用舉例Google的BigTableBigTable提出了一種很有趣的數(shù)據(jù)模型，它將各列數(shù)據(jù)進行排序存儲。數(shù)據(jù)值按范圍分布在多臺機器，數(shù)據(jù)更新操作有嚴格的一致性保證。Amazon的DynamoDynamo使用的是另外一種分布式模型。Dynamo的模型更簡單，它將數(shù)據(jù)按key進行hash存儲。其數(shù)據(jù)分片模型有比較強的容災(zāi)性，因此它實現(xiàn)的是相對松散的弱一致性：最終一致性。NewSQLNewSQL 是對各種新的可擴展/高性能數(shù)據(jù)庫的簡稱。NewSQL數(shù)據(jù)庫具有NoSQL對海量數(shù)據(jù)的存

15、儲管理能力。NewSQL數(shù)據(jù)庫保持了傳統(tǒng)數(shù)據(jù)庫支持ACID和SQL等特性。MPP DB-結(jié)構(gòu)化數(shù)據(jù)分析MPP DB關(guān)鍵技術(shù)：分布式并行計算、存儲在線系統(tǒng)擴容 訪問性能線性擴展加載能力線性擴展高級負載管理 數(shù)據(jù)分區(qū)均衡存儲透明壓縮支持開放硬件平臺CPUCPUCPUCPU內(nèi)存內(nèi)存內(nèi)存內(nèi)存擴展方式：增加服務(wù)器節(jié)點理論上擴展無限制，上千節(jié)點互連隨著節(jié)點數(shù)量增加，性能線性提升MPP DB Share-nothing架構(gòu)例如：HUAWEI OceanStor 9000， EMC Greenplum， DB2 DPF Scale Out 模式網(wǎng)絡(luò)目錄大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NA

16、S基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)存儲系統(tǒng)的數(shù)據(jù)安全性完整性保密性可用性數(shù)據(jù)加密WORMRAID用戶管理系統(tǒng)加固日志審計補丁管理網(wǎng)絡(luò)管理(ACL)數(shù)據(jù)銷毀遠程復(fù)制備份恢復(fù)防病毒對象存儲加密物理級：磁道校驗 CRC分片級：分片校驗 SHA256對象級：對象校驗 MD5應(yīng)用級：報文校驗 CRC端到端一致性校驗?zāi)夸洿髷?shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)什么是NAS？NAS特征：擁有可訪問的磁盤陣列擁有文件系統(tǒng)對外提供訪問文件系統(tǒng)的接口LUN0LUN1LUN2LUN3LUN6LUN7LUN8LUN9LUN4LUN10LUN5LU

17、N11卷管理模塊卷管理模塊文件系統(tǒng)Network Attached Storage網(wǎng)絡(luò)文件系統(tǒng)協(xié)議以太網(wǎng)接口以太網(wǎng)接口NAS結(jié)構(gòu)NAS硬件操作系統(tǒng)存儲管理（磁盤監(jiān)視，異常處理，RAID）文件系統(tǒng)網(wǎng)絡(luò)文件共享（NFS,CIFS）GUI界面設(shè)備監(jiān)視與控制；設(shè)備配置：網(wǎng)絡(luò)、卷、文件存取權(quán)限等）可通過Web進行管理網(wǎng)絡(luò)模塊TCP/IP微內(nèi)核操作系統(tǒng)控制器微碼RAID軟件NAS文件系統(tǒng)CIFS或NFS協(xié)議NTFS或FAT32文件系統(tǒng)，Windows計算機UFS文件系統(tǒng)，UNIX工作站UFS文件系統(tǒng)，UNIX工作站NTFS或FAT32文件系統(tǒng)，Windows計算機NTFS或FAT32文件系統(tǒng)，Window

18、s計算機CIFS或NFS協(xié)議CIFS或NFS協(xié)議NAS設(shè)備CIFS是什么 定義CIFS (Common Internet File System)，通用Internet文件系統(tǒng) ，一個新提出的協(xié)議，它使程序可以訪問遠程Internet計算機上的文件并要求此計算機的服務(wù)。 CIFS是公共的或開放的SMB協(xié)議版本，包含主要模塊有：NBTSMBBrowsingNBT、SMB、BrowsingNBT (NetBIOS over TCP/IP) TCP/IP 上的NetBIOSSMB (The Server Messages Block Protocol) 服務(wù)器消息塊協(xié)議Browsing (The B

19、rowse Service) 瀏覽服務(wù)SMBNETBIOSTCP/UDPIPNBTHullRingoClementsTCP/IP網(wǎng)絡(luò)MickLaidlawWhere is Ringo ?NBT（NetBIOS over TCP/IP）TCP/IP上的NetBIOSThis is Ringo SMBSMB 是用于文件與打印機共享的協(xié)議同時也叫 CIFS (Common Internet File System)基于客戶端/服務(wù)器模式并不等同于Samba: 一種SMB協(xié)議在unix系統(tǒng)上的開源實現(xiàn)SMB 通常運行在 NetBIOS (naming + sessions + datagram)協(xié)議之

20、上NetBIOS + SMB 適用于LAN環(huán)境BrowsingBrowsing（The Browse Service ）瀏覽器服務(wù)的主要功能是：提供客戶機域中共享資源的計算機的列表，以及廣域網(wǎng) (WAN) 上其他域名和工作組名稱的列表。此列表提供給用“網(wǎng)上鄰居”或 NET VIEW 命令查看網(wǎng)絡(luò)資源的客戶端。CIFS 消息流User RequestUser ModeKernel ModeI/O ManagerRedirectorTDI LayerNWLinkNet BTNet BIOSIPXTCP/IPNDISNetworkTDI LayerNWLinkNet BTNet BIOSIPXTCP

21、/IPNDISServerNFS (Network File System )定義NFS（網(wǎng)絡(luò)文件系統(tǒng)）是Unix/linux系統(tǒng)間實現(xiàn)磁盤文件共享的一種方法，支持應(yīng)用程序在客戶端通過網(wǎng)絡(luò)存取位于服務(wù)器磁盤中數(shù)據(jù)的一種文件系統(tǒng)協(xié)議。工作原理使用客戶端/服務(wù)器架構(gòu)，由一個客戶端程序和服務(wù)器程序組成。主要模塊RPC、鑒權(quán)、傳輸 NFS消息流Syetem Call interfaceNFS ClientRPC/XDRVFS InterfaceOther types of filesystemLinux & Unix filesystemNFSClientNetworkRPC/XDRNFSServer

22、VFS InterfaceLinux & Unix filesystemRPC是什么？傳輸方式 使用UDP協(xié)議UDP傳輸在NFS局域網(wǎng)的應(yīng)用中傳輸速度快UDP協(xié)議傳輸?shù)拈_銷小使用TCP協(xié)議可靠性高，有效的阻塞控制客戶端和服務(wù)器端都保留TCP連接的狀態(tài)服務(wù)器崩潰時，客戶端只需要打開一個新的TCP連接客戶端崩潰時，服務(wù)器端在新的TCP連接到來時，關(guān)閉原來的TCP連接應(yīng)用環(huán)境對比、網(wǎng)絡(luò)特性對比特性NFSCIFS傳輸協(xié)議 連接狀態(tài) 故障恢復(fù) 傳輸包大小TCP/UDP 無狀態(tài)自動恢復(fù) 8K/32KTCP有狀態(tài)64K文件格式 UNIX類型 WIN類型無 目錄大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安

23、全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)集群技術(shù)定義：集群是由一組相互獨立的服務(wù)器組成，對外表現(xiàn)為單一服務(wù)器，提供高可靠性服務(wù)。特點：統(tǒng)一命名高可靠性性能擴展共享數(shù)據(jù)空間集群系統(tǒng)業(yè)務(wù)網(wǎng)絡(luò)增加組件集群NAS存儲系統(tǒng)概念與特點集群NAS（Network Attached Storage）系統(tǒng)概念：集群NAS存儲系統(tǒng)是指將集群技術(shù)應(yīng)用到NAS存儲系統(tǒng)中，是為應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用暴漲，提升NAS文件共享服務(wù)的性能和高可靠性。集群NAS存儲系統(tǒng)與傳統(tǒng)NAS存儲系統(tǒng)的對比：傳統(tǒng)NAS存儲系統(tǒng)集群NAS存儲系統(tǒng)可靠性單控模式：單點故障；雙控模式：故障切換導(dǎo)致業(yè)務(wù)中斷，鏈路切換時間長。故障切換快

24、速；雙控模式采用Active-Active模式，集群單個節(jié)點故障不影響業(yè)務(wù)。高性能多套設(shè)備提高性能將會帶來數(shù)據(jù)冗余，數(shù)據(jù)不一致等問題。引擎架構(gòu)可擴展；共享存儲設(shè)備；文件系統(tǒng)位于存儲側(cè)，讀取速度快?？蓴U展性固定引擎架構(gòu)；頻繁更新及添加導(dǎo)致的系統(tǒng)停機開始影響業(yè)務(wù)在多層面提供擴展優(yōu)勢：NAS機頭，存儲容量；支持在線擴展集群NAS數(shù)據(jù)通道互聯(lián)VCS通信架構(gòu)代理監(jiān)控各個系統(tǒng)的資源，并將狀態(tài)提供給每臺機器的HADHAD將狀態(tài)發(fā)送給GAB（Group Membership Services/Atomic Broadcast）Gab 通過廣播，將配置信息發(fā)送到集群的所有成員LLT（Low-Latency Tr

25、ansport）通過低時延傳送協(xié)議，將信息發(fā)送的集群的所有節(jié)點在各個節(jié)點的HAD采取正確的行動，比如必要時，進行倒換（Failover）LLT協(xié)議LLT：Low Latency Transport屬于MAC層協(xié)議，與IP無關(guān)兩個作用:供GAB使用（單播報文）心跳(0.5秒一個廣播報文)N8000中有三條私有鏈路SystemASystemBLLTLLTHardwareKernelPrivate NetworkGAB原子廣播，實際上是點到點的單播使用LLT協(xié)議發(fā)送數(shù)據(jù)管理集群成員：gabconfig -afencingFencing 功能監(jiān)控GAB，并檢測集群成員的變化保證集群成員的單一視圖，防止

26、集群腦裂防止從多個節(jié)點，在沒有單一集群控制下，用卷管理器訪問共享存儲HADVCS的引擎，就是HAD（High availability daemon），其功能為：在集群的每個主機系統(tǒng)上都有該進程運行對所有的集群資源，維護配置和狀態(tài)信息管理所有的代理用hashadow監(jiān)控進程HAD，在HAD進程故障時，能夠把它重新啟動起來全局存儲空間管理技術(shù)集群元數(shù)據(jù)管理集群元數(shù)據(jù)管理集群全局鎖機制AgentAgent是控制資源的程序每種類型的資源對應(yīng)一個代理，一個代理控制對應(yīng)類型的所有資源用戶也可以自定義代理Diskc1t0d1s0c1t0d0s0IPNICqfe1hme0Mount/dataAgentsRe

27、sources服務(wù)組-NFS為例服務(wù)組是資源的一個集合，是控制資源的管理單元一個節(jié)點（node）可以有多個服務(wù)組每個服務(wù)組都被獨立的監(jiān)控和管理服務(wù)組中的資源在系統(tǒng)中必須是可用的服務(wù)組和資源存在相互依賴關(guān)系NFS Service GroupNFSIPDiskMountShareNIC服務(wù)組的類型Failover Service Groups在某一時間，該service group只能運行在一個系統(tǒng)上（system），在對數(shù)據(jù)一致性要求高（比如數(shù)據(jù)庫，網(wǎng)絡(luò)文件系統(tǒng)（NFS）的情況下，使用該組。Parallel Service Groups在某一時間，可以部署在多個系統(tǒng)上 配置比Failover S

28、ervice Groups復(fù)雜很多Hybrid Service Groups是上面兩種service groups的組合在N8000中只使用了Failover和Parallel兩種資源（Resource）定義資源是VCS對象，它對應(yīng)到應(yīng)用服務(wù)的硬件或者軟件組件資源是放在服務(wù)組里面的定義和管理的。資源依賴關(guān)系資源可以依賴其他資源父資源依賴子資源服務(wù)組可以依賴其他服務(wù)組資源和服務(wù)組之間的依賴關(guān)系由規(guī)則管理不允許出現(xiàn)循環(huán)依賴目錄大數(shù)據(jù)存儲架構(gòu)大數(shù)據(jù)存儲技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)VxVM基本概念物理對象：能被OS看到的物理存儲設(shè)備虛擬對象：VxVM進

29、行存儲設(shè)備管理的邏輯對象。VxVM通過虛擬對象和物理設(shè)備的映射來訪問存儲設(shè)備虛擬對象有：卷，磁盤組，VM磁盤，子磁盤，Plex卷布局: 卷的布局是指卷與物理存儲設(shè)備的映射關(guān)系，即卷與一個或多個Plex 的關(guān)聯(lián)關(guān)系。不同的卷布局提供不同級別的存儲服務(wù) VM磁盤一個物理磁盤，分區(qū)或者LUN磁盤組若干個VM磁盤的組合子磁盤VM磁盤上連續(xù)的磁盤塊 Plex由一個或多個物理磁盤上的一個或者多個子磁盤組成卷由一個或多個Plex組成 VxVM虛擬對象之間的關(guān)系VxVM虛擬對象之間的關(guān)系卷布局 條帶化（RAID-0）Disk GroupVolumePlexSubdisksVxVM DisksSubdisksdatadgdatavoldatadg02datadg02-01datadg02-02datadg0