基于云存儲(chǔ)的高性能網(wǎng)盤(pán)系統(tǒng)架構(gòu)

基于云存儲(chǔ)的高性能網(wǎng)盤(pán)系統(tǒng)架構(gòu)

1云存儲(chǔ)的安全研究網(wǎng)絡(luò)硬盤(pán)（hdd）是基于用戶空間的在線存儲(chǔ)服務(wù)。用戶可以在網(wǎng)絡(luò)上下載、下載、共享數(shù)據(jù)等操作。用戶對(duì)面向企業(yè)網(wǎng)或校園網(wǎng)移動(dòng)辦公與存儲(chǔ)的網(wǎng)盤(pán)系統(tǒng)有著廣闊的市場(chǎng)需求。隨著存儲(chǔ)技術(shù)的不斷發(fā)展,傳統(tǒng)的網(wǎng)盤(pán)技術(shù)已經(jīng)顯得力不從心,存在傳輸速度慢、容災(zāi)備份及恢復(fù)能力低、安全性差、營(yíng)運(yùn)成本高等諸多瓶頸。最新應(yīng)用的云存儲(chǔ)技術(shù),為網(wǎng)盤(pán)行業(yè)帶來(lái)了新的革命。云存儲(chǔ)是構(gòu)建在高速分布式存儲(chǔ)網(wǎng)絡(luò)上的數(shù)據(jù)中心,它將網(wǎng)絡(luò)中大量不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,形成一個(gè)安全的數(shù)據(jù)存儲(chǔ)和訪問(wèn)系統(tǒng),適用于各大中小型企業(yè)與個(gè)人用戶的數(shù)據(jù)資料存儲(chǔ)、備份、歸檔等一系列需求。近年來(lái),國(guó)外典型的云存儲(chǔ)服務(wù)產(chǎn)品有iCloud、CloudDrive、Dropbox、SkyDrive和AmazonS3等。自2009年以來(lái),云存儲(chǔ)在我國(guó)得到了大力發(fā)展和推廣,聯(lián)想、新浪、華為、金山、奇虎360、騰訊等著名企業(yè)分別推出了相應(yīng)的云存儲(chǔ)產(chǎn)品或服務(wù),清華大學(xué)也為其內(nèi)部用戶推出了云存儲(chǔ)服務(wù)(Corsair和Meepo)。盡管業(yè)內(nèi)已經(jīng)提供了大量云存儲(chǔ)服務(wù)相關(guān)的產(chǎn)品,由于目前的云存儲(chǔ)服務(wù)大多是商業(yè)化產(chǎn)品,對(duì)企業(yè)網(wǎng)和校園網(wǎng)的信息化建設(shè)來(lái)說(shuō),存在幾個(gè)顯著的缺陷。首先,現(xiàn)有的云存儲(chǔ)服務(wù)需要依托第三方提供的數(shù)據(jù)中心設(shè)施,用戶將數(shù)據(jù)托管給第三方,通過(guò)公有云、私有云或混合云形式對(duì)數(shù)據(jù)進(jìn)行按需存取操作,這種非完全自主的管理模式存在泄密的風(fēng)險(xiǎn);其次,第三方提供的存儲(chǔ)服務(wù)平臺(tái)價(jià)格高昂,對(duì)上層用戶完全透明,缺乏可靠性保障。為此,業(yè)內(nèi)針對(duì)云存儲(chǔ)的私密性保護(hù)和安全存儲(chǔ)進(jìn)行了大量的研究。參考文獻(xiàn)提出了一種保護(hù)云存儲(chǔ)平臺(tái)上用戶數(shù)據(jù)私密性的方法;參考文獻(xiàn)針對(duì)云存儲(chǔ)的安全存儲(chǔ)策略進(jìn)行了深入的研究,提出了一種面向云存儲(chǔ)的安全存儲(chǔ)模型及存取策略;參考文獻(xiàn)設(shè)計(jì)了一種支持隱私保護(hù)的云存儲(chǔ)框架;參考文獻(xiàn)[5~7]研究了云存儲(chǔ)的密文訪問(wèn)控制方法。本文在以上安全模型和方法的基礎(chǔ)上,實(shí)現(xiàn)云存儲(chǔ)網(wǎng)盤(pán)系統(tǒng)的安全存儲(chǔ)與傳輸。針對(duì)現(xiàn)有網(wǎng)盤(pán)系統(tǒng)的不足,本文提出了基于云存儲(chǔ)的網(wǎng)盤(pán)解決方案。物理存儲(chǔ)采用快速可靠的SAN存儲(chǔ)技術(shù)及磁盤(pán)RAID;通過(guò)VMwareSphere實(shí)現(xiàn)底層硬件資源池的構(gòu)建與統(tǒng)一管理;采用分布式文件系統(tǒng)MooseFS(Moosefilesystem)實(shí)現(xiàn)用戶數(shù)據(jù)存儲(chǔ)與訪問(wèn)的集群架構(gòu),同時(shí)實(shí)現(xiàn)了業(yè)務(wù)流與數(shù)據(jù)流的分離;在安全性方面,結(jié)合SAMBA實(shí)現(xiàn)用戶權(quán)限管理,存儲(chǔ)支持128bitAES加密,SSH保證了傳輸鏈路的安全;最后,針對(duì)用戶的網(wǎng)盤(pán)需求,實(shí)現(xiàn)了基于Web的訪問(wèn)方式以及客戶端的同步盤(pán)模式。實(shí)驗(yàn)結(jié)果表明,系統(tǒng)在性能、安全性、可擴(kuò)展性等多方面具有顯著優(yōu)勢(shì)。2云存儲(chǔ)資源統(tǒng)一管理。云存儲(chǔ)的業(yè)務(wù)安全需要提高用戶的管理能力和技術(shù)方面如圖1所示,云存儲(chǔ)網(wǎng)盤(pán)系統(tǒng)的結(jié)構(gòu)模型由存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層、訪問(wèn)層4層組成。(1)存儲(chǔ)層存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分。云存儲(chǔ)中的存儲(chǔ)設(shè)備通過(guò)廣域網(wǎng)、互聯(lián)網(wǎng)或者光纖通道(FC)網(wǎng)絡(luò)連接在一起。本系統(tǒng)的存儲(chǔ)設(shè)備主要是SAN存儲(chǔ)設(shè)備(高速),也可以是NAS、FC、iSCSI等其他存儲(chǔ)設(shè)備。為確保底層數(shù)據(jù)的可靠性,物理磁盤(pán)做了磁盤(pán)RAID。存儲(chǔ)設(shè)備之上通過(guò)VMwareSphere實(shí)現(xiàn)了對(duì)硬件資源的統(tǒng)一管理,實(shí)現(xiàn)了設(shè)備的虛擬化集中管理、多鏈路冗余管理以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。(2)基礎(chǔ)管理層基礎(chǔ)管理層是云存儲(chǔ)最核心的部分,也是云存儲(chǔ)中最難以實(shí)現(xiàn)的部分?；A(chǔ)管理層通過(guò)服務(wù)器集群和分布式文件系統(tǒng)等技術(shù),實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作,使多個(gè)存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù),并提供更大、更強(qiáng)、更好的數(shù)據(jù)訪問(wèn)性能。數(shù)據(jù)加密技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)被未授權(quán)的用戶所訪問(wèn);通過(guò)各種數(shù)據(jù)備份技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)丟失,保證云存儲(chǔ)自身的安全和穩(wěn)定;通過(guò)動(dòng)態(tài)負(fù)載均衡技術(shù)將每次用戶連接指派到負(fù)載最低的服務(wù)器,實(shí)現(xiàn)系統(tǒng)的高效服務(wù)。(3)應(yīng)用接口層應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分。不同的云存儲(chǔ)運(yùn)營(yíng)單位可以根據(jù)實(shí)際業(yè)務(wù)類型,開(kāi)發(fā)不同的應(yīng)用服務(wù)接口,提供不同的應(yīng)用服務(wù)。應(yīng)用接口層融合了SAMBA、郵件系統(tǒng)、WebService,提供用戶認(rèn)證、用戶權(quán)限管理、資源的共享與輸出等。(4)訪問(wèn)層任何一個(gè)授權(quán)用戶都可以登錄到系統(tǒng)享受獨(dú)立的網(wǎng)盤(pán)服務(wù)。系統(tǒng)為用戶提供兩種訪問(wèn)模式:客戶端模式和Web模式。在客戶端模式下,用戶將自己的網(wǎng)盤(pán)掛載到本地,并在本地建立同步盤(pán),以支持用戶離線操作。通過(guò)鼠標(biāo)右鍵的下拉菜單可靈活地對(duì)文件/文件夾進(jìn)行壓縮和加解密。在Web模式下,用戶可對(duì)文件夾進(jìn)行壓縮,對(duì)文件進(jìn)行上傳下載和加解密等,還可以直接對(duì)單個(gè)文件進(jìn)行郵件轉(zhuǎn)發(fā),實(shí)現(xiàn)與其他用戶之間的文件共享。3關(guān)鍵技術(shù)介紹基于云存儲(chǔ)實(shí)現(xiàn)網(wǎng)絡(luò)硬盤(pán)的關(guān)鍵技術(shù)包括:分布式文件系統(tǒng)與集群架構(gòu)、用戶權(quán)限與數(shù)據(jù)安全、包含客戶端及Web的雙重應(yīng)用模式,下面分別對(duì)這些關(guān)鍵技術(shù)進(jìn)行介紹。3.1基于mosofs的集群核心分布式文件系統(tǒng)是云存儲(chǔ)技術(shù)的核心。通過(guò)分布式文件系統(tǒng),可以實(shí)現(xiàn)大規(guī)模、安全可靠的集群文件系統(tǒng),可以支持系統(tǒng)的大規(guī)模擴(kuò)展。目前,應(yīng)用較廣泛的文件系統(tǒng)包括Sun公司的Lustre、Hadoop架構(gòu)的HDFS、MogileFS、FastDFS、MooseFS等,這些分布式文件系統(tǒng)各有特點(diǎn),有些不具有通用性,而只適用于特殊的應(yīng)用場(chǎng)景,比如,HDFS主要適用于超大數(shù)據(jù)集的應(yīng)用程序處理。MooseFS是一個(gè)開(kāi)源免費(fèi)的分布式文件系統(tǒng),它是一種通用文件系統(tǒng),不需要修改上層應(yīng)用就可以使用。與其他分布式文件系統(tǒng)相比,MooseFS具有以下優(yōu)點(diǎn):·文件被分塊存儲(chǔ)于不同的數(shù)據(jù)節(jié)點(diǎn),故障硬盤(pán)不存在數(shù)據(jù)泄露的風(fēng)險(xiǎn);·可以在線擴(kuò)容,體系架構(gòu)可伸縮性極強(qiáng);·部署簡(jiǎn)單;·體系架構(gòu)高可用,所有組件無(wú)單點(diǎn)故障;·文件對(duì)象高可用,可設(shè)置任意的文件冗余程度;·提供WebGUI監(jiān)控接口;·提高隨機(jī)讀或?qū)懙男?·更重要的一點(diǎn)是,它可以提高海量小文件的讀寫(xiě)效率,非常適用于企業(yè)網(wǎng)或校園網(wǎng)用戶的隨機(jī)文件存取。結(jié)合應(yīng)用背景,選取MooseFS作為分布式集群的基礎(chǔ)架構(gòu),如圖2所示。·主控節(jié)點(diǎn):負(fù)責(zé)用戶的業(yè)務(wù)控制流以及各個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的管理、文件讀寫(xiě)調(diào)度、文件空間回收以及恢復(fù)、多節(jié)點(diǎn)之間的拷貝?！ご鎯?chǔ)節(jié)點(diǎn):負(fù)責(zé)和用戶之間的數(shù)據(jù)流,聽(tīng)從主控節(jié)點(diǎn)的調(diào)度,提供存儲(chǔ)空間,并為客戶提供數(shù)據(jù)傳輸?！ぴ獢?shù)據(jù)日志服務(wù)器:負(fù)責(zé)備份主控節(jié)點(diǎn)的變化日志文件,以便于在主控節(jié)點(diǎn)出故障時(shí)接替其進(jìn)行工作。在可靠性方面,每個(gè)文件經(jīng)過(guò)分塊雙份存儲(chǔ)于兩個(gè)不同的MooseFS存儲(chǔ)節(jié)點(diǎn)上(在此基礎(chǔ)上,MooseFS保證了數(shù)據(jù)自愈),保證了任意單節(jié)點(diǎn)出現(xiàn)故障時(shí)不影響數(shù)據(jù)的完整性,并通過(guò)多種安全加密措施最大程度地保證了數(shù)據(jù)存儲(chǔ)的可靠性。在負(fù)載均衡方面,系統(tǒng)根據(jù)存儲(chǔ)節(jié)點(diǎn)的硬件資源利用率和各節(jié)點(diǎn)服務(wù)請(qǐng)求處理的情況,動(dòng)態(tài)地在各存儲(chǔ)服務(wù)節(jié)點(diǎn)上分發(fā)讀寫(xiě)請(qǐng)求。在擴(kuò)展性方面,基于MooseFS集群,系統(tǒng)支持對(duì)存儲(chǔ)節(jié)點(diǎn)、服務(wù)節(jié)點(diǎn)的在線擴(kuò)展以及對(duì)存儲(chǔ)域的在線擴(kuò)容,實(shí)現(xiàn)業(yè)務(wù)不中斷的前提下對(duì)服務(wù)節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)的添加。對(duì)于存儲(chǔ)容量的擴(kuò)展性,系統(tǒng)對(duì)業(yè)務(wù)流與數(shù)據(jù)流進(jìn)行了分離,業(yè)務(wù)流通過(guò)訪問(wèn)主控節(jié)點(diǎn)獲取,而數(shù)據(jù)則直接通過(guò)訪問(wèn)存儲(chǔ)節(jié)點(diǎn)進(jìn)行存儲(chǔ),大大提高了數(shù)據(jù)存取效率。系統(tǒng)支持對(duì)單個(gè)存儲(chǔ)節(jié)點(diǎn)的容量擴(kuò)展以及集群存儲(chǔ)節(jié)點(diǎn)數(shù)的任意擴(kuò)展。3.2數(shù)據(jù)安全機(jī)制數(shù)據(jù)安全機(jī)制方面,通過(guò)基于用戶空間的權(quán)限控制、數(shù)據(jù)隔離、信息加密、傳輸加密等技術(shù)手段,保障用戶數(shù)據(jù)的私密性與安全性。(1)權(quán)限控制系統(tǒng)面向多業(yè)務(wù)和多用戶,任何對(duì)資源的訪問(wèn)都經(jīng)過(guò)嚴(yán)格的權(quán)限控制。只有用戶確認(rèn)共享的資源才能被其他用戶或業(yè)務(wù)進(jìn)行訪問(wèn)。通過(guò)用戶管理,實(shí)現(xiàn)用戶身份的認(rèn)證,為用戶分配密鑰,維護(hù)用戶的密鑰鏈。(2)數(shù)據(jù)隔離系統(tǒng)為每個(gè)用戶創(chuàng)建獨(dú)立的存儲(chǔ)空間,根據(jù)用戶標(biāo)識(shí)和對(duì)應(yīng)權(quán)限對(duì)用戶空間的數(shù)據(jù)進(jìn)行訪問(wèn)控制,避免未授權(quán)用戶訪問(wèn)到其他用戶的數(shù)據(jù)以及用戶信息;各種存儲(chǔ)服務(wù)在進(jìn)行數(shù)據(jù)存儲(chǔ)和讀取時(shí),每種應(yīng)用都必須擁有自己獨(dú)立的權(quán)限,系統(tǒng)根據(jù)不同的應(yīng)用將數(shù)據(jù)隔離,避免數(shù)據(jù)被越權(quán)訪問(wèn)。(3)數(shù)據(jù)加密系統(tǒng)采用128bitAES加密算法對(duì)用戶文件進(jìn)行加密,防止用戶關(guān)鍵信息被盜取。用戶在上傳文件時(shí)可選擇對(duì)文件數(shù)據(jù)進(jìn)行加密,在獲取數(shù)據(jù)時(shí),可自動(dòng)或手動(dòng)解密,即使是系統(tǒng)管理員,也不能獲得用戶的加密數(shù)據(jù)。用戶口令由用戶自主選擇,用戶認(rèn)證身份,同時(shí)可以輔助UKey、口令卡等手段進(jìn)行認(rèn)證。由用戶口令可以通過(guò)公鑰加密標(biāo)準(zhǔn)(public-keycryptographystandard,PKCS)(RFC3447)協(xié)議生成用戶密鑰,該密鑰只在每次用戶成功登錄后生成,會(huì)話結(jié)束即予以清除。因此,只有授權(quán)用戶才能獲取其對(duì)應(yīng)的用戶密鑰。用戶私鑰由系統(tǒng)管理者分配,由基于密文策略的屬性加密(ciphertex-policyattributesbasedencryption,CP-ABE)機(jī)制生成,隱含式地包括了用戶屬性集合。文檔密鑰用來(lái)加密文檔,每個(gè)文檔對(duì)應(yīng)一個(gè)密鑰,該密鑰又通過(guò)CP-ABE機(jī)制加密來(lái)實(shí)現(xiàn)訪問(wèn)控制。3.3客戶端的實(shí)現(xiàn)和修改網(wǎng)盤(pán)客戶端為用戶提供網(wǎng)盤(pán)本地掛載。通過(guò)把網(wǎng)盤(pán)掛載到本地,用戶可以像操作自己的本地磁盤(pán)一樣對(duì)網(wǎng)盤(pán)進(jìn)行訪問(wèn),與此同時(shí),用戶還可通過(guò)鼠標(biāo)右鍵的下拉菜單實(shí)現(xiàn)對(duì)文件和文件夾的壓縮/解壓以及加解密。富客戶端提供豐富的操作功能,基于SSH和RSYNC實(shí)現(xiàn)加密傳輸和同步盤(pán)機(jī)制。瘦客戶端提供基本的掛載功能,基于SAMBA實(shí)現(xiàn),在Windows平臺(tái)下,客戶端的開(kāi)發(fā)采用Java實(shí)現(xiàn)對(duì)以下腳本的封裝(黑體部分用實(shí)際的用戶名和密碼替換)。在Linux平臺(tái)下,實(shí)現(xiàn)對(duì)以下腳本的封裝。(2)Web網(wǎng)盤(pán)提供網(wǎng)盤(pán)的Web服務(wù),綜合了郵件系統(tǒng)和基于PGP(prettygoodprivacy)的文件加密存儲(chǔ):支持文件的上傳與下載;支持文件目錄的瀏覽;支持文件和文件夾的移動(dòng)、重命名與刪除;支持文件的在線編輯與打開(kāi);支持文件以郵件方式外發(fā);支持文件和文件夾壓縮;通過(guò)加解密插件,實(shí)現(xiàn)文件上傳下載過(guò)程中的加解密。4網(wǎng)絡(luò)環(huán)境及帶寬實(shí)驗(yàn)系統(tǒng)的MFS分布式文件系統(tǒng)采用mfs-1.6.20版,集群服務(wù)器為VMwareSphere統(tǒng)一分配的虛擬機(jī),包括1個(gè)主控節(jié)點(diǎn)(1.87GHz雙核CPU,4GB內(nèi)存)、1個(gè)日志服務(wù)器(1.87GHz單核CPU,1GB內(nèi)存)和4個(gè)存儲(chǔ)節(jié)點(diǎn)服務(wù)器(1.87GHz單核CPU,1GB內(nèi)存,各自掛載1~2TB的磁盤(pán)空間),服務(wù)器操作系統(tǒng)為麒麟安全操作系統(tǒng)服務(wù)器版(KylinServer3.2.2),網(wǎng)絡(luò)環(huán)境為吉比特光纖網(wǎng)絡(luò),用戶通過(guò)無(wú)線接入網(wǎng)絡(luò),無(wú)線終端的平均帶寬大于1Mbit/s,帶寬上限可達(dá)到54Mbit/s。在此網(wǎng)絡(luò)環(huán)境下,網(wǎng)盤(pán)的下載速度達(dá)到了12MB/s,上傳速度達(dá)到了6MB/s。4.1系統(tǒng)高效運(yùn)行圖3給出了在多個(gè)客戶端并發(fā)連接的情況下主控節(jié)點(diǎn)的內(nèi)存壓力測(cè)試。當(dāng)1000個(gè)客戶端并發(fā)連接時(shí),大約1.15GB的系統(tǒng)內(nèi)存被占用;當(dāng)并發(fā)用戶數(shù)達(dá)到3000個(gè)時(shí),大約2.1GB內(nèi)存被占用,每個(gè)用戶占用的內(nèi)存為450~500KB;系統(tǒng)支持的最大并發(fā)用戶連接數(shù)為7000個(gè)。4.2存儲(chǔ)區(qū)域的劃分表1給出了在MooseFS集群各存儲(chǔ)節(jié)點(diǎn)的磁盤(pán)運(yùn)行時(shí)狀態(tài)(chunk表示當(dāng)前存儲(chǔ)節(jié)點(diǎn)上數(shù)據(jù)塊的數(shù)目,fsync是塊的同步時(shí)間)。各存儲(chǔ)節(jié)點(diǎn)的讀寫(xiě)速度均可達(dá)到每秒數(shù)百兆字節(jié),不同節(jié)點(diǎn)之間數(shù)據(jù)塊的最大同步時(shí)間是124ms,單個(gè)塊的最大讀寫(xiě)時(shí)間也在毫秒級(jí)。5系統(tǒng)存儲(chǔ)可靠本文基于云存儲(chǔ)技術(shù)為企業(yè)網(wǎng)和校園網(wǎng)設(shè)計(jì)了一種高性能、高可靠、安全、可擴(kuò)展的網(wǎng)絡(luò)硬盤(pán)。采用Moo