（計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)專業(yè)論文）數(shù)字有機(jī)體空間回收機(jī)制的研究與實(shí)現(xiàn).pdf

摘要摘要全球的數(shù)字化浪潮，帶來了海量的數(shù)據(jù)，在企業(yè)經(jīng)營中也有大量有價(jià)值的數(shù)據(jù)產(chǎn)生，這些數(shù)據(jù)對企業(yè)的生存與發(fā)展至關(guān)重要，而且企業(yè)這些數(shù)據(jù)會以幾何速率增長。因此業(yè)界對開放式的網(wǎng)絡(luò)存儲架構(gòu)的需求變得越來越迫切，并且網(wǎng)絡(luò)存儲架構(gòu)已經(jīng)成為一種科技進(jìn)步的必然趨勢。由于傳統(tǒng)存儲技術(shù)d a s 的廣泛采用，使得數(shù)據(jù)分散到各個(gè)服務(wù)器上，并且服務(wù)器大多都工作在不同的操作系統(tǒng)平臺上( 比如i - i p u x 、s o l a f i s 、l i n u x 等) ，這就形成了所謂的“信息孤島 【l 】，網(wǎng)絡(luò)存儲n a s 和s a n 的出現(xiàn)，雖然解決了部分問題，但與d a s 之間的數(shù)據(jù)訪問和管理相互獨(dú)立，這就給數(shù)據(jù)的共享和統(tǒng)一管理帶來了很大的困難。為此，存儲虛擬化就顯得特別重要了。通過存儲虛擬化系統(tǒng)，所有存儲資源將映射成一個(gè)統(tǒng)一的虛擬存儲空間，用戶可以通過應(yīng)用程序接口a p i 、命令行、g u i 以及基于w e b 的用戶界面來對它進(jìn)行透明的訪問和管理。本研究室所開發(fā)的數(shù)字有機(jī)體系統(tǒng)就是一個(gè)虛擬的存儲系統(tǒng)。其核心思想是通過聚集網(wǎng)絡(luò)上的各種存儲資源，形成虛擬的單一空間，向業(yè)務(wù)系統(tǒng)提供統(tǒng)一的映像，并提供數(shù)據(jù)的高可用性保證，從而滿足大規(guī)模網(wǎng)絡(luò)應(yīng)用的需要。然而本系統(tǒng)在使用中面臨如下問題：首先由于使用本系統(tǒng)每個(gè)用戶都有一個(gè)配額限制，所以當(dāng)一個(gè)用戶使用共享的存儲資源達(dá)到自己的最大配額時(shí)，就必須刪除自己的資源以便為新資源騰出空間，然而令人遺憾的是系統(tǒng)并沒有給用戶提供一個(gè)很好的資源刪除方式。其次當(dāng)注銷用戶時(shí)，系統(tǒng)管理員只是注銷該用戶的用戶信息，而沒有處理該用戶的資源，導(dǎo)致該用戶資源所占的存儲空間被白白浪費(fèi)。最后對于一些特定資源，系統(tǒng)并沒有給系統(tǒng)管理員提供一種跟蹤方式。為解決上述問題，本文在深入理解數(shù)字有機(jī)體操作系統(tǒng)的故障恢復(fù)機(jī)制、配額機(jī)制以及分布式數(shù)據(jù)庫的基礎(chǔ)上，提出了一種基于數(shù)字有機(jī)體的空間回收機(jī)制。該機(jī)制主要分為兩個(gè)部分：一部分是研究如何收集用戶資源；另一部分是研究如何收集系統(tǒng)特定資源。測試表明該機(jī)制很好的解決了上述問題。關(guān)鍵詞：空間回收，用戶資源，系統(tǒng)特定資源，數(shù)字有機(jī)體a b s t r a c ta b s t r a c tt h ed i g i t a lw a v eo ft h ew o r l dh a sb r o u g h tt h en e e d so fh u g ed a t ap r o c e s s ，s od o e st h ee n t e r p r i s e d a t ap l a y e da ni m p o r t a n tr o l ei nt h ee n t e r p r i s e w h i l ea tt h es a m et i m e ，d a t ai nt h ee n t e r p r i s ea r ei n c r e a s i n gr a p i d l y d u et ot h ew i d e l ya d o p t i o no ft r a d i t i o n a ls t o r a g et e c h n o l o g yd a s ，t h ed a t ah a sb e e ns c a t t e r e di n t od i f f e r e n ts e i v 睨 w h i c hr u n sd i f f e r e n to p e r a t i n gs y s t e m t h a ti st h es o c a l l e d i s o l a t e di n f o r m a t i o ni s l a n d ”a sar e s u l t ，s t o r a g ev i r t u a l i z a t i o nh a sb e e no nt h ec e n t r a li m p o r t a n c e t h r o u g ht h es t o r a g ev i r t u a l i z a f i o ns y s t e m ，a l ls t o r a g er e s o u r c e sw i l lb em a p p e di n t oau n i f i e dv i r t u a ls t o r a g es p a c e ；t h r o u g ht h ea p i ，c o m m a n dl i n e ，g u ia n dt h ew e bi n t e r f a c e ，t h eu s e rc a na c c e s sa n dm a n a g et h e s ed a t ae a s i l y t h ed i g i t a lo r g a n i s ms y s t e m ，w h i c hw a sd e s i g n e db y8 010l a b ，i sav i r t u a ls t o r a g es y s t e m t h r o u g hf o r m i n gau n i f i e dv i r t u a ls t o r a g es p a c eo fd i s t r i b u t e dr e s o u r c e so nt h en e t w o r k ，i tp r o v i d e sav i r t u a lu n i q u ei m a g es p a c ea n dm e e t st h en e e d so fl a r g e - s c a l en e t w o r ka p p l i c a t i o n s h o w e v e r ，t h es y s t e mw h i c hi sb e e nu s i n gi sf a c i n gt h o s ef o l l o w i n gp r o b l e m s ：f i r s to fa l l ，e a c hu s e rh a saq u o t a , s ow h e nu s e r su s es h a r e ds t o r a g er e s o u r c e st om c c tt h e i rq u o t a sb yt h el a r g e s t ，i ti sn e c e s s a r yt od e l e t et h e i ro w nr e s o u r c e si no r d e rt or e s e r v e dr 0 0 1 1 1f o rn e wr e s o u r c e s h o w e v e r ，t h em a i np r o b l e mi st h es y s t e md o e sn o tp r o v i d eu s e r s 麗mav e r yg o o dw a yo fr e s o u r c e sr e m o v e s e c o n d ，w h e nl o g g i n go f fb s e r s a c c o u n t s ，s y s t e ma d m i n i s t r a t o r so n l yl o g so f fu s e r s u s e ri n f o r m a t i o n ，b u td o n tr a n o v eu s e r s r e s o u r c e s ，w h i c hc a u s eu s e rs t o r a g es h a r i n gs p a c eb ew a s t e d f i n a l l yt l l es y s t e mc o u l dn o tp r o v i d et ot h es y s t e ma d m i n i s t r a t o ram e t h o dt ot r a c kt h o s er e s o u r c e s i no r d e rt os o l v et h ep r o b l e ma b o v e ，t h i st h e s i sd e l v ei n t od i g i t a lo r g a n i s ms y s t e mr e c o v e r ym o d u l e ，a sw e l la sq u o t am e c h a n i s m b a s e do nd i g i t a lo r g a n i s ms y s t e mam e c h a n i s mf o rt h ed i s t r i b u t e dd a t a b a s es p a c e sr e c y c l i n gm e c h a n i s mw a sp r o p o s e d t h em e c h a n i s mi sm a i n l yd i v i d e di n t ot w op a r t s ：o n ei st os t u d yh o wt oc o l l e c tu s e rr e s o u r c e s , t h eo t h e rp a r ti st oe x a m i n eh o wt oc o l l e c ts y s t e mr e s o u r c e s t e s ts h o w e dt h a tt h em e c h a n i s mc o u l ds o l v et h ep r o b l e m sa b o v ew i t h i nh i g he f f i c i e n c y a b s t r a c tk e y w o r d s ：s p a c e sr e c y c l i n gm e c h a n i s m ，u s e rr e s o u r c e s ，s y s t e m - s p e c i f i cr e s o u i o e s ，d i g i t a lo r g a n i s ms y s t e mm獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。簽名翠雄一日期：枷了年6 月7 日關(guān)于論文使用授權(quán)的說明本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。( 保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定)簽名：牡導(dǎo)師簽名：立生堂l日期：舯了年6 月 日第一章緒論1 1課題的背景及意義第一章緒論在當(dāng)今世界，信息正以爆炸性的速度在增長，從而給傳統(tǒng)的信息存儲手段帶來了嚴(yán)峻的挑戰(zhàn)。因?yàn)閭鹘y(tǒng)的存儲手段的存儲空間有限，而需要存儲的信息是無限快速增長的。這迫切需要新的存儲解決方案。在這種強(qiáng)烈的需求下，網(wǎng)絡(luò)存儲的概念被提出。由于任何一個(gè)單一的設(shè)備，無論它的存儲功能多么強(qiáng)大都是有限的，而同時(shí)，網(wǎng)絡(luò)上的存儲設(shè)備是無限的，并且可以不斷地得到擴(kuò)充。從這個(gè)角度上說，網(wǎng)絡(luò)上的存儲空間是無限的。如今，網(wǎng)絡(luò)存儲已成為市場和學(xué)術(shù)研究的熱點(diǎn)。由于附網(wǎng)存儲 2 】( n a s ) 和存儲區(qū)域網(wǎng)( s a n ) 【3 】的價(jià)格昂貴，同時(shí)并沒有隱藏各種存儲設(shè)備的特性，使得管理員的負(fù)擔(dān)加大。因此雖然它們在一定程度上解決了大規(guī)模存儲的問題但是添加這樣的存儲設(shè)備，但使用率并沒有如預(yù)期的那樣。所以，有必要研究一種價(jià)格相對低廉而存儲能力強(qiáng)的存儲系統(tǒng)?；诖?，虛擬存儲技術(shù)被提出，該技術(shù)徹底的屏蔽了存儲設(shè)備的各種物理特性，極大地減輕了管理員的負(fù)擔(dān)，方便了管理員對設(shè)備的管理。面對這種情況，電子科技大學(xué)8 0 1 0 研究室經(jīng)過多年的研究，提出了一種新的虛擬存儲系統(tǒng)一數(shù)字有機(jī)體系統(tǒng)【6 】，該存儲系統(tǒng)不僅滿足大規(guī)模存儲的需要，還從數(shù)據(jù)存放的安全性和可靠性上予以了一定程度上的保證。如今，該系統(tǒng)已在實(shí)際應(yīng)用中得到了檢驗(yàn)，得到用戶的充分肯定。但是當(dāng)前的數(shù)字有機(jī)體系統(tǒng)在使用中仍然存在如下幾大弊端：第一，在管理員注銷該用戶時(shí)，必須要對該用戶的資源作出處理，要么刪除該用戶的資源，要么將該用戶資源指派給其他用戶。但無論那種處理方式，前提都是管理員要獲知該用戶的所有資源。由于數(shù)字有機(jī)體系統(tǒng)并沒有提供這樣的接口。從而導(dǎo)致該用戶的資源由于沒有得到處理而永遠(yuǎn)滯留于系統(tǒng)中，白白占據(jù)系統(tǒng)的存儲資源。第二，當(dāng)引入界面應(yīng)用程序后，同樣由于系統(tǒng)沒有提供獲取用戶資源接口，使得用戶不能通過界面應(yīng)用程序來瀏覽自己的資源，從而導(dǎo)致用戶不能靈活的管理自己的資源。第三，目前用戶對自己創(chuàng)建資源的位置都是靠自己的記憶來獲取的。如果用戶忘記了，怎么辦呢? 第四，對于系統(tǒng)的一些特定資源管理員如何跟蹤。由電子科技大學(xué)碩士學(xué)位論文此可以看出，數(shù)字有機(jī)體系統(tǒng)在使用中主要面臨的是不方便用戶和管理員使用的問題?；诖?，本設(shè)計(jì)提出的用戶文件收集機(jī)制和系統(tǒng)特定資源收集機(jī)制很好的解決了系統(tǒng)存在的這些缺點(diǎn)。1 2 數(shù)字有機(jī)體系統(tǒng)簡單的說，數(shù)字有機(jī)體就是將數(shù)量眾多，分布廣泛的計(jì)算機(jī)聚合成一個(gè)有機(jī)的整體，向應(yīng)用提供強(qiáng)大的存儲，處理和通信的能力。單從存儲這方面看，數(shù)字有機(jī)體系統(tǒng)就退化成一種虛擬的存儲系統(tǒng)。它努力解決現(xiàn)有的存儲系統(tǒng)所面臨的所有問題，同時(shí)又滿足業(yè)務(wù)對存儲系統(tǒng)的各種要求。作為虛擬存儲系統(tǒng)的數(shù)字有機(jī)體系統(tǒng)有如下三個(gè)特性：( 1 ) 充分利用網(wǎng)絡(luò)上的各種存儲資源首先，網(wǎng)絡(luò)上的存儲資源是海量的，在一些存儲資源存儲能力達(dá)到或者接近其極限時(shí)，另一些存儲資設(shè)備的存儲資源卻被白白浪費(fèi)。面對這種對存儲資源使用的極端不均勻，數(shù)字有機(jī)體系統(tǒng)采用了各種算法使得各種存儲設(shè)備的存儲資源被合理利用，極大地避免存儲資源使用不均的情形出現(xiàn)。其次，眾所周知，集中式的數(shù)據(jù)存儲帶來的缺點(diǎn)：第一，可靠性降低。集中存儲數(shù)據(jù)的存儲資源被破壞將導(dǎo)致用戶無法訪問存儲數(shù)據(jù)。第二，數(shù)據(jù)的集中存儲導(dǎo)致訪問速度的變慢。比如，在5 0 個(gè)站點(diǎn)中，每個(gè)站點(diǎn)訪問數(shù)據(jù)都將向數(shù)據(jù)存放站點(diǎn)進(jìn)行請求，顯然若將訪問數(shù)據(jù)就近存放在訪問站的附近站或者訪問站上，豈不是更好。最后，數(shù)字有機(jī)體系統(tǒng)容易擴(kuò)充各種存儲資源。由于數(shù)字有機(jī)體系統(tǒng)的存儲虛擬性，使得網(wǎng)絡(luò)上存儲設(shè)備的各種特性被屏蔽，從而使得各種設(shè)備更容易被管理。并且可以購買性價(jià)比高的存儲設(shè)備方便的對網(wǎng)絡(luò)存儲資源進(jìn)行有效地?cái)U(kuò)充。顯然，使用價(jià)格適中的存儲設(shè)備構(gòu)建的存儲系統(tǒng)遠(yuǎn)比去買高性價(jià)比的存儲設(shè)備更便宜。( 2 ) 形成虛擬的單一存儲空間數(shù)字有機(jī)體系統(tǒng)由眾多各種類型的存儲設(shè)備組成，而每個(gè)設(shè)備都共享出自己空間的一部分，其上用來存放數(shù)字有機(jī)體系統(tǒng)的資源。數(shù)字有集體系統(tǒng)采用各種映射機(jī)制，將共享空間上的數(shù)據(jù)映射到一顆全局一致的目錄樹上，耳p d p f s 目錄樹。這里的數(shù)據(jù)映射，不光是將本地的數(shù)據(jù)映射到該目錄樹上，還將本地的資源映射到所有的其它節(jié)點(diǎn)上。這里的全局一致，不僅是對一個(gè)用戶而言，也是對每個(gè)節(jié)點(diǎn)而言的。即每個(gè)用戶在每個(gè)節(jié)點(diǎn)上看見的這顆目錄樹都是一樣的，使用的都是這個(gè)單一的存儲空間。用戶不需要了解數(shù)字有機(jī)體是怎樣實(shí)現(xiàn)虛擬存儲的，也不2第章緒論需要了解自己創(chuàng)建的資源存儲在那些位置上，用戶只需要進(jìn)入d p f s 目錄做創(chuàng)建自己的資源、刪除資源等操作，系統(tǒng)自動會進(jìn)行相關(guān)的實(shí)質(zhì)操作。由于提供了一顆全局一致的目錄樹，從而使得各個(gè)用戶之間可以方便的共享數(shù)據(jù)。用戶不必登錄到其它節(jié)點(diǎn)上訪問資源，在本地就可以訪問。另外，數(shù)字有機(jī)體系統(tǒng)將業(yè)務(wù)與存儲管理獨(dú)立開來，從而使得存儲管理的改變與業(yè)務(wù)系統(tǒng)的開發(fā)互不影響。最后，由于提供了單一的存儲空間，這樣就使得管理員可以方便的管理整個(gè)數(shù)字有機(jī)體空間，而不必到每一個(gè)存儲點(diǎn)。( 3 ) 數(shù)據(jù)高可用性、高可靠性保證數(shù)字有機(jī)體采用了冗余機(jī)制實(shí)現(xiàn)資源的可靠性。在資源的創(chuàng)建過程中，采用獨(dú)有的資源存放策略以及在資源查找中使用特定的資源查找策略，使得數(shù)據(jù)的高可靠性和高可用性得到保證。1 3 數(shù)字有機(jī)體系統(tǒng)中空間回收機(jī)制研究的內(nèi)容數(shù)字有機(jī)體系統(tǒng)中空間回收機(jī)制的研究內(nèi)容分為兩部份。一部分如何在d p f s這顆巨型目錄樹中將指定用戶的資源找出來，即用戶資源收集。要求當(dāng)用戶在任何一個(gè)節(jié)點(diǎn)決定刪除資源或者瀏覽資源時(shí)，系統(tǒng)能快速返回用戶資源。通過界面引用程序，用戶能方便的批量刪除資源或者資源的副本，而不是調(diào)用系統(tǒng)命令逐個(gè)刪除資源。另一部分是收集系統(tǒng)特定資源，這里特定資源是一個(gè)相對概念，本文是指系統(tǒng)中那些創(chuàng)建很久的資源、所占存儲空間很大的資源以及很少被訪問的資源。這里為了保證系統(tǒng)快速的響應(yīng)請求，必須事先收集這些資源，將它們放在特定的地方。為了冗余，可能會放在多個(gè)地方，那么就必須盡力要保證幾個(gè)地方的數(shù)據(jù)一致性。1 。4 論文組織本文主要論述了數(shù)字有機(jī)體系統(tǒng)中空間回收機(jī)制的研究與實(shí)現(xiàn)。本文首先介紹了網(wǎng)絡(luò)存儲的現(xiàn)狀和數(shù)字有機(jī)體的基本概念，接著講述了數(shù)字有機(jī)體空間回收機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)。本文的結(jié)構(gòu)安排如下：第二章首先介紹一些流行的存儲系統(tǒng)并分析它們的特點(diǎn)，接著對他們進(jìn)行簡單的比較，最后簡要介紹了數(shù)字有機(jī)體系統(tǒng)的一些存儲特點(diǎn)。第三章對數(shù)字有機(jī)體系統(tǒng)進(jìn)行了整體介紹，使讀者對數(shù)字有機(jī)體系統(tǒng)有個(gè)明電子科技大學(xué)碩士學(xué)位論文確的認(rèn)識。第四章空間回收機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)。第五章測試與分析。第六章結(jié)論。4第二章相關(guān)工作2 1 存儲系統(tǒng)概述第二章相關(guān)工作隨著信息的爆炸性增長，存儲設(shè)備也在不斷地發(fā)展，大致經(jīng)歷了如下幾個(gè)階段。最初，存儲設(shè)備質(zhì)量大、又重，而且同服務(wù)器直接相連。接著，硬盤出現(xiàn)。硬盤體積減小、存儲容量增大。硬盤實(shí)際上成為了一個(gè)標(biāo)準(zhǔn)，被用來作為衡量服務(wù)器的一個(gè)指標(biāo)。最后，盡管硬盤速度發(fā)展很快，但還是滿足不了市場的需求，于是出現(xiàn)了獨(dú)立的存儲設(shè)備，比如磁盤陣列。前面的這些存儲方式因此被稱為直連式存儲【7 j ( d i r e c t a t t a c h e ds t o r a g e ，簡稱d a s ) ，這是由于存儲設(shè)備都附接于服務(wù)器。圖2 - 1 業(yè)務(wù)與存儲設(shè)備間的關(guān)系從圖2 1 可以看出，數(shù)據(jù)管理層將業(yè)務(wù)服務(wù)層與存儲設(shè)備層分離出來。數(shù)據(jù)管理層提供業(yè)務(wù)服務(wù)對存儲設(shè)備訪問的一個(gè)支持。當(dāng)系統(tǒng)從界面1 進(jìn)行分離時(shí)，形成了存儲區(qū)域網(wǎng)絡(luò)( s a n ) 等；當(dāng)系統(tǒng)從界面2 進(jìn)行分離時(shí)，形成了網(wǎng)絡(luò)附接存儲( b i a s ) 。業(yè)務(wù)系統(tǒng)提供統(tǒng)一的虛擬存儲設(shè)備。除了從界面1 和界面2 進(jìn)行分離外，網(wǎng)絡(luò)存儲的發(fā)展還導(dǎo)致了一種技術(shù)的發(fā)展壯大，即虛擬存儲系統(tǒng)。2 2 常見存儲系統(tǒng)介紹存儲的分類方式有多種，若根據(jù)服務(wù)器類型來分，存儲就分為：封閉系統(tǒng)的存儲和開放系統(tǒng)的存儲。開放系統(tǒng)的外掛存儲根據(jù)連接的方式分為：直連式存儲電子科技大學(xué)碩士學(xué)位論文( d 拍n - a t t a c h e ds t o r a g e ，簡稱d a s ) 和網(wǎng)絡(luò)化存儲( f a b f i c , - a t t a c h e ds t o r a g e ，簡稱f a s ) ；開放系統(tǒng)的網(wǎng)絡(luò)化存儲根據(jù)傳輸協(xié)議又分為：網(wǎng)絡(luò)接入存儲( n e t w o r k a t t a c h e ds t o r a g e ，簡稱n a s ) 和存儲區(qū)域網(wǎng)絡(luò)( s t o r a g ea r e an e t w o r k ，簡稱s a n ) 。如d a s 、n a s 、s a n 都屬于開放系統(tǒng)的外掛存儲。2 2 1 直連式存儲( d a s )直連式存儲指的是存儲設(shè)備直接連在服務(wù)器上的存儲設(shè)備。如圖2 2 所示，存儲設(shè)備本身只是存儲硬件的簡單堆疊，對存儲設(shè)備的操作都是通過上層如a p p l i c a t i o ns e r v e r 發(fā)出操作指令，這些操作指令通過f i l es y s t e m 來實(shí)現(xiàn)。最終文件系統(tǒng)會調(diào)到具體的磁盤驅(qū)動進(jìn)行數(shù)據(jù)的訪問。作為用戶，只需熟悉a p p l i c a t i o ns e r v e r 所提供的操作接口，而不必關(guān)心下面的具體實(shí)現(xiàn)。a p p l i c a t i o ns e r v e rf i l es y s t e ms c s i ，f cj b o dl c ll、圖2 - 2d a s 結(jié)構(gòu)直連式存儲依賴服務(wù)器主機(jī)操作系統(tǒng)進(jìn)行數(shù)據(jù)的i o 讀寫和存儲維護(hù)管理，數(shù)據(jù)備份和恢復(fù)要求占用服務(wù)器主機(jī)資源( 包括c p u 、系統(tǒng)i o 等) ，數(shù)據(jù)流需要回流主機(jī)再到服務(wù)器連接著的磁帶機(jī)( 庫) ，數(shù)據(jù)備份通常占用服務(wù)器主機(jī)資源2 0 3 0 ，因此許多企業(yè)用戶的日常數(shù)據(jù)備份常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時(shí)進(jìn)行，以免影響正常業(yè)務(wù)系統(tǒng)的運(yùn)行。直連式存儲的數(shù)據(jù)量越大，備份和恢復(fù)的時(shí)間就越長，對服務(wù)器硬件的依賴性和影響就越大。2 2 2 網(wǎng)絡(luò)附接存儲( n a s )如圖2 1 所示，當(dāng)從界面2 截?cái)鄷r(shí)，下面的部分即數(shù)據(jù)管理和存儲設(shè)備被整合起來就是網(wǎng)絡(luò)附接存儲。如圖2 3 所示，文件系統(tǒng)被放到了存儲設(shè)備上，這樣由于6第二章相關(guān)工作每個(gè)存儲設(shè)備都有文件系統(tǒng)，該文件系統(tǒng)是專門針對存儲系統(tǒng)進(jìn)行了優(yōu)化的，所以從性能上說要高于文件服務(wù)器，并且利于擴(kuò)展。a p p l i c a t i o ns e r v e r眾af i l es y s t e mf i l es y s t e mr a i dr 加l c li c iu圖2 3 n a s 結(jié)構(gòu)圖n a s 采用網(wǎng)絡(luò)( t c p 口、a t m 、f d d i ) 技術(shù)，通過網(wǎng)絡(luò)交換機(jī)連接存儲系統(tǒng)和服務(wù)器主機(jī)，建立專用于數(shù)據(jù)存儲的存儲私網(wǎng)【1 6 】。隨著d 網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)接入存儲( n a s ) 技術(shù)發(fā)生質(zhì)的飛躍。n a s 優(yōu)點(diǎn)如下所述：首先減輕服務(wù)器負(fù)擔(dān)。n a s 設(shè)備的目的就是為了分離網(wǎng)絡(luò)設(shè)備中的服務(wù)器和存儲，讓這二者獨(dú)立進(jìn)行。這樣做能夠讓服務(wù)器( 特別是通用服務(wù)器) 有更多的計(jì)算資源來處理用戶的各種應(yīng)用和業(yè)務(wù)( 比如電子郵件處理、遠(yuǎn)程應(yīng)用等) 。n a s 則是用來幫助服務(wù)器完成一些文件的任務(wù)和i 0 的操作。其次方便數(shù)據(jù)共享。當(dāng)前的企業(yè)內(nèi)部網(wǎng)絡(luò)越來越龐大，形成了一個(gè)多操作系統(tǒng)、網(wǎng)絡(luò)設(shè)備多樣化的復(fù)雜網(wǎng)絡(luò)環(huán)境。n a s 設(shè)備正是為這種多樣性環(huán)境而設(shè)計(jì)的，除了對多種操作系統(tǒng)( u n i x 、l i n u x 、w i n d o w s 等) 的支持外，還支持多種網(wǎng)絡(luò)協(xié)議( t c p i p 等) ，這種設(shè)計(jì)使得n a s 可以輕而易舉的支持多個(gè)系統(tǒng)之間的數(shù)據(jù)共享( u n i x 和w i n d o w s 之間、u n i x 和l i n u x 之間、l i n u x 和w i n d o w s之間的數(shù)據(jù)傳輸共享) 。終端客戶則根本不知道數(shù)據(jù)原先是在u n i x 系統(tǒng)上，還是l i n u x 系統(tǒng)上，異或是在w i n d o w s 上。最后，n a s 還具有高可擴(kuò)展性和易管理性的特點(diǎn)等。當(dāng)然n a s 并不是完美無缺，n a s 設(shè)備同樣具有一些缺點(diǎn)。這是因?yàn)閭鹘y(tǒng)的t c p i p 協(xié)議不可避免的給n a s 帶來一些“先天”的缺點(diǎn)。存儲性能的局限。n a s雖然比傳統(tǒng)的d a s 設(shè)備在存儲性能上有很大的提高，但是只適合應(yīng)用在較小的網(wǎng)絡(luò)或者局域網(wǎng)內(nèi)。因?yàn)閚 a s 受限于企業(yè)網(wǎng)絡(luò)的帶寬，很可能會出現(xiàn)當(dāng)多臺客戶端7電子科技大學(xué)碩士學(xué)位論文訪問n a s 文件系統(tǒng)時(shí)，n a s 的性能大大的下降，最終不能滿足用戶的需求?？煽啃赃€有待提高。當(dāng)企業(yè)內(nèi)部網(wǎng)絡(luò)發(fā)展到一定的規(guī)模時(shí)，n a s 設(shè)備的數(shù)據(jù)服務(wù)和數(shù)據(jù)管理形成了網(wǎng)絡(luò)的雙重負(fù)擔(dān)，也就是說n a s 除了要處理正常的終端數(shù)據(jù)l i e 請求外，還需要做備份和恢復(fù)等操作。并且n a s 后期的擴(kuò)容成本高；一般的n a s沒有高可用配置，容易形成單點(diǎn)故障。2 2 3f c - s a n同n a s 不同，如圖2 1 ，當(dāng)從界面1 處進(jìn)行截?cái)鄷r(shí)，存儲設(shè)備就被單獨(dú)的獨(dú)立出來，存儲設(shè)備通過高速的光纖通道與f i l es y s t e m 相連，如圖2 - 4 所示，這就是s a n 。為了保障存儲設(shè)備與上層之間的通信流暢，s a n 一般有其獨(dú)有的網(wǎng)絡(luò)。s a n 并不是特定的設(shè)備，只是一種存儲方法而已。圖2 - 4f c s a n 結(jié)構(gòu)圖與單機(jī)d a s 系統(tǒng)比較，s a n 具有以下優(yōu)勢：s a n 網(wǎng)絡(luò)具有出色的可擴(kuò)展性，理論上最多可以連接1 6 0 0 萬個(gè)設(shè)備。s a n 不必停機(jī)或中斷與服務(wù)器的連接即可增加存儲。s a n 支持在線數(shù)據(jù)備份，因此不必建立單獨(dú)的備份系統(tǒng)。s a n 可以在較廣的范圍內(nèi)部署。與n a s 相比，s a n 的不同之處在于：s a n 對外提供的是磁盤設(shè)備，既在服務(wù)器上看到的是磁盤；而n a s 對外提供的是文件服務(wù)，服務(wù)器看到的是網(wǎng)絡(luò)文件系統(tǒng)。s a n 需要專門的傳輸網(wǎng)絡(luò)，而n a s 通常使用業(yè)務(wù)系統(tǒng)的網(wǎng)絡(luò)，因此s a n 的第二章相關(guān)工作網(wǎng)絡(luò)投入遠(yuǎn)高于n a s 。s a n 也存在以下不足之處：f c s a n 的傳輸距離通常不超過5 0 公里，因此還不能整合更多的主機(jī)，也不適宜大規(guī)模分散部署。缺乏統(tǒng)一的標(biāo)準(zhǔn)，時(shí)至今日，互操作性仍是f c s a n 實(shí)施過程中存在的主要問題?；趂 c s a n 的存儲設(shè)備價(jià)格仍居高不下，普通單位難以負(fù)擔(dān)。2 2 4s a nj 口n a s 的融合由于存儲思路的不同，帶來了s a n 和m 峪兩種存儲方式。它們都從一定程度上解決了大規(guī)模存儲信息的需求。同n a s 相比，s a n 沒有文件操作和管理系統(tǒng)，但s a n 更高速。實(shí)際上，由于理念不同帶來的這兩種存儲方式不但不矛盾，還可以共存于一個(gè)系統(tǒng)網(wǎng)絡(luò)中，充分發(fā)揮它們自己的優(yōu)勢，使得系統(tǒng)網(wǎng)絡(luò)的網(wǎng)絡(luò)存儲特性更好【1 9 】。當(dāng)然，從理論上來說，n a s 和s a n 的融合存在其合理性【2 l 】，滿足了一定程度上的市場需求。但由于s a n 采用的是光纖通道，對存儲設(shè)備之間的距離有所限制，不能太遠(yuǎn)。n a s 正好彌補(bǔ)了這種缺陷，借助于現(xiàn)有的快速以太網(wǎng)絡(luò)，n a s 通過p網(wǎng)絡(luò)向光纖通道發(fā)送相應(yīng)的命令。2 2 5 虛擬存儲技術(shù)存儲虛擬化是對存儲資源實(shí)施和配置的邏輯抽象【捌，就是把多個(gè)存儲介質(zhì)模塊( 如硬盤、邶) 通過一定的手段集中管理起來，所有的存儲模塊在一個(gè)存儲池( s t o r a g ep 0 0 1 ) 中得到統(tǒng)一管理，從主機(jī)和工作站的角度，看到就不是多個(gè)硬盤，而是一個(gè)分區(qū)或者卷，就好象是一個(gè)超大容量( 如1 t 以上) 的硬盤。這種可以將多種、多個(gè)存儲設(shè)備統(tǒng)一管理起來，為使用者提供大容量、高數(shù)據(jù)傳輸性能的存儲系統(tǒng)，就稱之為虛擬存儲。從虛擬化存儲的拓?fù)浣Y(jié)構(gòu)來講主要有兩種方式：即對稱式與非對稱式。對稱式虛擬存儲技術(shù)是指虛擬存儲控制設(shè)備與存儲軟件系統(tǒng)、交換設(shè)備集成為一個(gè)整體，內(nèi)嵌在網(wǎng)絡(luò)數(shù)據(jù)傳輸路徑中，其結(jié)構(gòu)如圖2 5 所示。9電子科技大學(xué)碩士學(xué)位論文圖2 5 對稱式虛擬存儲非對稱式虛擬存儲技術(shù)是指虛擬存儲控制設(shè)備獨(dú)立于數(shù)據(jù)傳輸路徑之外。從虛擬化存儲的實(shí)現(xiàn)原理來講也有兩種方式；即數(shù)據(jù)塊虛擬與虛擬文件系統(tǒng)，其結(jié)構(gòu)如圖2 - 6 所示。在這里，多個(gè)磁盤陣列通過f c 交換機(jī)同時(shí)接入服務(wù)器。服務(wù)器上部署的虛擬設(shè)備軟件則將這些磁盤陣列聚合成邏輯卷的形式提供給服務(wù)器的文件系統(tǒng)使用。這種方式能較好的解決多個(gè)設(shè)備的統(tǒng)一訪問和管理問題，也能較好的提高數(shù)據(jù)訪問速度，投入小。但存在兩個(gè)問題：單個(gè)磁盤損壞時(shí)可能影響整個(gè)存儲系統(tǒng)的訪問，因此可靠性不高，難以用于關(guān)鍵業(yè)務(wù)；進(jìn)行虛擬化管理要占用主機(jī)的處理能力，影響業(yè)務(wù)系統(tǒng)的處理性能。不過，現(xiàn)在處理器性能的提升遠(yuǎn)快于存儲設(shè)備性能的提升，因此第二個(gè)問題并不是很大。圖2 - 6 非對稱式虛擬存儲另一類虛擬化存儲技術(shù)在文件系統(tǒng)內(nèi)實(shí)現(xiàn)。為了解決附接存儲的問題，在主機(jī)層進(jìn)行擴(kuò)展也是一種可行的選擇，這就是分布式并行文件系統(tǒng)。傳統(tǒng)的分布式并行文件系統(tǒng)如圖2 7 所示。1 0第二章相關(guān)工作圖2 7 分布式并行文件系統(tǒng)示意圖分布式并行文件系統(tǒng)解決了以下幾個(gè)問題：對各種存儲設(shè)備的兼容問題。由于虛擬處理是在文件系統(tǒng)內(nèi)實(shí)現(xiàn)的，文件系統(tǒng)通過設(shè)備驅(qū)動程序訪問設(shè)備，因此只要設(shè)備能夠被主機(jī)訪問，即可被管理。解決了各種存儲設(shè)備的互操作問題。分布式并行文件系統(tǒng)能夠?qū)Ω鞣N存儲設(shè)備進(jìn)行統(tǒng)一管理和存取。解決了多臺服務(wù)器間共享數(shù)據(jù)的問題。對每臺服務(wù)器來說，看到的都是相同的虛擬文件系統(tǒng)，因此數(shù)據(jù)可以在主機(jī)間方便地共享。部分解決了d a s 系統(tǒng)的數(shù)據(jù)可靠性問題。由于數(shù)據(jù)可以在多個(gè)主機(jī)間復(fù)制，而且這些復(fù)制可以被統(tǒng)一管理，因此單個(gè)主機(jī)故障時(shí)能夠保證數(shù)據(jù)仍然可用。加快了數(shù)據(jù)訪問和數(shù)據(jù)處理的速度。由于數(shù)據(jù)可以同時(shí)分布在多臺服務(wù)器上，因此可以同時(shí)在多臺服務(wù)器上并發(fā)的訪問數(shù)據(jù)并處理數(shù)據(jù)，從而提高了數(shù)據(jù)訪問和處理速度。用分布式并行文件系統(tǒng)來建立虛擬存儲系統(tǒng)和共享數(shù)據(jù)仍然沒有解決以下問題t大范圍的分散部署。分布式并行文件系統(tǒng)的網(wǎng)絡(luò)環(huán)境通常是內(nèi)部高速局域網(wǎng)，不能是廣域網(wǎng)，因此無法分散大規(guī)模部署。大范圍的數(shù)據(jù)共享。由于分布式并行文件系統(tǒng)無法在大范圍內(nèi)部署，因此其數(shù)據(jù)共享的范圍也較小。需要配套的存儲管理系統(tǒng)。分布式并行文件系統(tǒng)本身并沒有存儲管理功能，因此需要單獨(dú)的存儲管理系統(tǒng)配合。2 2 6 數(shù)字有機(jī)體系統(tǒng)的存儲特性數(shù)字有機(jī)體系統(tǒng)空間回收機(jī)制的特性主要表現(xiàn)在以下三個(gè)方面：首先為了增電子科技大學(xué)碩士學(xué)位論文強(qiáng)可靠性，系統(tǒng)采取冗余機(jī)制，即在用戶創(chuàng)建資源時(shí)，系統(tǒng)根據(jù)一定的算法將資源存放在幾個(gè)地方；其次隨著資源熱點(diǎn)度的變化，資源的副本數(shù)和存儲位置也在不斷變化；最后為了加快資源的查找，獲取資源的信息，我們將資源的屬性存放在了數(shù)字有集體數(shù)據(jù)庫中，這樣帶來的是刪除資源時(shí)的同時(shí)也必須刪除該資源在數(shù)據(jù)庫中的存放信息。由于數(shù)字有機(jī)體資源的放置策略、資源屬性的放置策略都是自己獨(dú)有的，因此無論是d a s 、n a s 、s a n 存儲技術(shù)，還是一些傳統(tǒng)的虛擬存儲技術(shù)在解決刪除整個(gè)資源、刪除資源具體位置上的副本時(shí)都無能為力。關(guān)于數(shù)字有機(jī)體的刪除策略將在第三章進(jìn)行介紹。用戶資源收集模塊中將面臨站的死亡和啟動帶來的用戶資源表的一致性，這樣就需要將一個(gè)站內(nèi)數(shù)據(jù)庫的數(shù)據(jù)復(fù)制到其它站的數(shù)據(jù)庫中。由于本模塊只是調(diào)用數(shù)據(jù)庫小組提供的一些接口，而并不關(guān)心具體的數(shù)據(jù)復(fù)制是怎樣實(shí)現(xiàn)的，因此這里并沒有對常用數(shù)據(jù)復(fù)制技術(shù)進(jìn)行介紹。1 2第三章數(shù)字有機(jī)體系統(tǒng)第三章數(shù)字有機(jī)體系統(tǒng)3 1數(shù)字有機(jī)體系統(tǒng)概述數(shù)字有機(jī)體操作系統(tǒng)是一個(gè)基礎(chǔ)平臺，它完成的許多功能并不是用戶直接使用的，即它不像財(cái)務(wù)管理那樣的應(yīng)用軟件，每一個(gè)功能都是直接供人使用的。數(shù)字有機(jī)體操作系統(tǒng)主要的目標(biāo)是將分布在較大范圍內(nèi)的大量計(jì)算機(jī)聚合成一個(gè)有機(jī)的整體，以便向應(yīng)用提供強(qiáng)大的處理、存儲和通信等能力，從而滿足大規(guī)模網(wǎng)絡(luò)應(yīng)用的需要。與現(xiàn)有的b t ( p 2 p 27 】下載) 相比，b t 下載只提供一種快速下載文件的能力。它也不同于現(xiàn)有的c d n 系統(tǒng)，它完全具有c d n 的功能，并且還具有許多c d n 不具備的功能。它具有以下特性：( 1 ) 它將大量計(jì)算機(jī)的存儲設(shè)備管理起來，建立一個(gè)超海量的存儲系統(tǒng)，并且提供給所有計(jì)算機(jī)共享，以取代現(xiàn)有的昂貴的共享存儲設(shè)備。( 2 ) 它將分布在大量計(jì)算機(jī)上的文件組織起來，形成一棵統(tǒng)一的目錄樹，以便用戶間可以自由共享文件，并且提供透明訪問能力，用戶無需關(guān)心文件究竟在哪臺計(jì)算機(jī)上。( 3 ) 它提供有效的復(fù)制機(jī)制，保證用戶設(shè)定的最少副本數(shù)，并保證數(shù)據(jù)不會因?yàn)閱闻_計(jì)算機(jī)的損壞而丟失，從而有效的保證文件的可用性。( 4 ) 它提供有效的數(shù)據(jù)放置機(jī)制，可以預(yù)先將熱點(diǎn)文件放置到用戶將要訪問的地方，從而提高文件訪問的效率。( 5 ) 它具有良好的緩存機(jī)制，可以將遠(yuǎn)地的、本地經(jīng)常訪問的文件緩存在本地，從而提高文件訪問的速度。( 6 ) 它能夠同時(shí)從多個(gè)副本存儲點(diǎn)獲得數(shù)據(jù)，從而充分的利用網(wǎng)絡(luò)帶寬，提高獲得文件的速度。( 7 ) 通過緩存機(jī)制和放置算法，可以將用戶經(jīng)常訪問的文件放置在最靠近用戶的地方，從而減少主干網(wǎng)絡(luò)的帶寬開銷。( 8 ) 它提供按照語義發(fā)現(xiàn)資源的能力，從而提高了用戶使用資源的方便性。( 9 ) 它能夠根據(jù)用戶請求的資源找到最適合提供資源的服務(wù)點(diǎn)，從而將任務(wù)遷移到資源的所在地。( 1 0 ) 它能夠根據(jù)用戶的位置信息，找到盡可能靠近用戶的服務(wù)器為用戶提電子科技大學(xué)碩士學(xué)位論文供服務(wù)。( 11 ) 它能夠在所有服務(wù)器間均衡負(fù)載，從而有效的提高資源利用率。( 1 2 ) 它對基于d n s 的網(wǎng)絡(luò)應(yīng)用提供基于d n s 的透明調(diào)度機(jī)制，從而在不修改現(xiàn)有應(yīng)用的情況下使現(xiàn)有應(yīng)用也能利用數(shù)據(jù)有機(jī)體操作系統(tǒng)的特點(diǎn)。( 1 3 ) 它提供基于請求的、分布式并行的調(diào)度機(jī)制，有效的去除了調(diào)度這一單一故障點(diǎn)，從而提高了整個(gè)系統(tǒng)的可靠性。數(shù)字有機(jī)體系統(tǒng)的內(nèi)核核心是一個(gè)文件系統(tǒng)，該文件系統(tǒng)兼容已有的應(yīng)用軟件并作為l i n u x 文件系統(tǒng)的一個(gè)子文件系統(tǒng)，在數(shù)字有機(jī)體操作系統(tǒng)被安裝后即可掛載使用；使用時(shí)能夠像訪問普通文件一樣訪問數(shù)字有機(jī)體文件系統(tǒng)中的文件。整個(gè)數(shù)字有機(jī)體系統(tǒng)的文件被組織在本地的d p f s 目錄下，該目錄是一個(gè)全局一致的目錄樹，即將存放在數(shù)字有機(jī)體系統(tǒng)中不同站、不同節(jié)點(diǎn)上的資源統(tǒng)一映射n d p f s 目錄下，使得每個(gè)節(jié)點(diǎn)上看到的這顆目錄樹都是一樣的。數(shù)字有機(jī)體系統(tǒng)的用戶可以做如下的操作：創(chuàng)建目錄、創(chuàng)建文件、刪除子目錄、刪除文件、修改目錄或者文件名字、遍歷目錄樹等。本章將通過對數(shù)字有機(jī)體系統(tǒng)進(jìn)行了整體介紹，從而得出空間回收機(jī)制在整個(gè)數(shù)字有機(jī)體系統(tǒng)中的位置，為其設(shè)計(jì)和實(shí)現(xiàn)提供必要的支持和依據(jù)。3 2 數(shù)宇有機(jī)體網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)在理解數(shù)字有機(jī)體網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)之前，先理解兩個(gè)基本概念：一個(gè)是站，另一個(gè)是節(jié)點(diǎn)。站是數(shù)字有機(jī)體的基本組成單位，每個(gè)站由至少一個(gè)主機(jī)組成，站與站之間地位對等。節(jié)點(diǎn)實(shí)際上就是主機(jī)的另外一種說法而已，站內(nèi)節(jié)點(diǎn)之間地位對等。它的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖3 1 所示【2 8 1 。一個(gè)局域網(wǎng)內(nèi)可有多個(gè)站，通過路由器同遠(yuǎn)地的局域網(wǎng)連接。因此從硬件結(jié)構(gòu)來看，數(shù)字有機(jī)體系統(tǒng)分為三個(gè)層次，即節(jié)點(diǎn)、站、數(shù)字有機(jī)體。每個(gè)節(jié)點(diǎn)都有自己的存儲設(shè)備，它們可以是主機(jī)內(nèi)的磁盤，也可以是外接的磁盤陣列，甚至是s a n 這樣的存儲設(shè)備。從軟件結(jié)構(gòu)來看，數(shù)字有機(jī)體系統(tǒng)是構(gòu)建在現(xiàn)有l(wèi) i n u x 操作系統(tǒng)上的軟件層。它用來建立統(tǒng)一的文件存儲空間和文件系統(tǒng)映像，以便業(yè)務(wù)系統(tǒng)可以象訪問本地的文件一樣，訪問分散放置在整個(gè)系統(tǒng)內(nèi)的文件。1 4第三章數(shù)字有機(jī)體系統(tǒng)圖3 1 數(shù)字有機(jī)體網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖3 3 數(shù)字有機(jī)體系統(tǒng)結(jié)構(gòu)外核接口請求處理本機(jī)通內(nèi)外進(jìn)程讀寫l文件核通c a c h e系統(tǒng)v f s操作文件信接口信接目錄集實(shí)系統(tǒng)文件系統(tǒng)操作集實(shí)現(xiàn)口c a c t 把現(xiàn)數(shù)字有機(jī)體系統(tǒng)內(nèi)核站問配空文文副本額間件件機(jī)回讀緩副操作制收寫存系本站間副本管理管統(tǒng)理恢模站內(nèi)共享空間管理復(fù)塊站內(nèi)操作實(shí)現(xiàn)站內(nèi)副本管理分布式并行數(shù)據(jù)庫元數(shù)據(jù)管理模塊( d p s q l )網(wǎng)園圜圉站間絡(luò)通信鎖模塊基礎(chǔ)模塊數(shù)字有機(jī)體系統(tǒng)外核圖3 2 數(shù)字有機(jī)體系統(tǒng)結(jié)構(gòu)圖1 5電子科技大學(xué)碩士學(xué)位論文由上圖可見，整個(gè)數(shù)字有機(jī)體系統(tǒng)主要分為三大塊：數(shù)字有機(jī)體內(nèi)核、數(shù)字有機(jī)體外核以及分布式并行數(shù)據(jù)庫( d p s q l ) 【2 9 1 ?？臻g回收機(jī)制位于數(shù)字有機(jī)體外核的站間副本管理模塊中。其中，數(shù)字有機(jī)體內(nèi)核是基于l i n u x 內(nèi)核開發(fā)的，遵循了l i n u x 的風(fēng)格實(shí)現(xiàn)；而數(shù)字有機(jī)體外核在l i n u x 應(yīng)用層實(shí)現(xiàn)。而數(shù)字有機(jī)體外核直接使用分布式并行數(shù)據(jù)庫( d p s q l ) 提供的數(shù)據(jù)存儲功能。下面分別對這三大塊進(jìn)行介紹。3 3 1 數(shù)字有機(jī)體內(nèi)核數(shù)字有機(jī)體內(nèi)核核心部分既是分布式并行文件系統(tǒng)( d p f s ) ，下面對該文件系統(tǒng)進(jìn)行介紹。d p f s 文件系統(tǒng)是與l i n u x 操作系統(tǒng)內(nèi)核緊密結(jié)合的一個(gè)功能模塊。它與l i n u x文件系統(tǒng)和資源管理子系統(tǒng)的關(guān)系可以用圖3 3 表示。圖3 - 3d p f s 文件系統(tǒng)與其他部分間的關(guān)系應(yīng)用程序一般使用語言庫提供的函數(shù)訪問文件，如用f o p e n 函數(shù)打開文件。語言庫內(nèi)實(shí)現(xiàn)了將應(yīng)用程序的調(diào)用轉(zhuǎn)換為系統(tǒng)調(diào)用的處理，因此語言庫最終將調(diào)用文件系統(tǒng)調(diào)用來完成操作，如f o p e n 轉(zhuǎn)換為s y s系統(tǒng)調(diào)用。open系統(tǒng)調(diào)用將使進(jìn)程的控制轉(zhuǎn)入內(nèi)核。在內(nèi)核，l i n u x 的虛擬文件系統(tǒng)( v f s )將完成對系統(tǒng)調(diào)用的處理。v f s 并不直接操作文件，它依賴具體的子文件系統(tǒng)操作文件。如訪問本地的c x t 3 文件系統(tǒng)的文件時(shí)，則需要調(diào)用e x t 3 文件系統(tǒng)的處理函數(shù)。系統(tǒng)內(nèi)通?？梢酝瑫r(shí)存在多個(gè)不同的子文件系統(tǒng)。為了讓虛擬文件系統(tǒng)可以同時(shí)管理這些子文件系統(tǒng)，每個(gè)子文件系統(tǒng)需要按照固定的方式向虛擬文件系統(tǒng)注冊。按照l i n u x 文件系統(tǒng)規(guī)范，具體文件系統(tǒng)需要安裝在某個(gè)目錄下( 稱為安裝點(diǎn)) ，然后成為本地目錄樹的一部分。d p f s 文件系統(tǒng)將安裝在d p f s 目錄下，然后分布式資源目錄樹就稱為d p f s 下的一顆子樹。安裝文件系統(tǒng)時(shí)，實(shí)際上是告訴虛擬文件系統(tǒng)d p f s 目錄以下的文件和目錄都由d p f s 文件系統(tǒng)處理。1 6第三章數(shù)字有機(jī)體系統(tǒng)虛擬文件系統(tǒng)要訪問文件時(shí)，仍然需要具體文件系統(tǒng)的函數(shù)支持。為了統(tǒng)一各種不同子文件系統(tǒng)與虛擬文件系統(tǒng)間的接口，v f s 文件系統(tǒng)定義了多組函數(shù)指針。每組函數(shù)負(fù)責(zé)完成一類特定的功能。v f s 直接調(diào)用這些函數(shù)指針指向的函數(shù)來訪問和操作文件。因此，每個(gè)具體子文件系統(tǒng)需要實(shí)現(xiàn)自己的相應(yīng)的函數(shù)，并將這些函數(shù)的地址以固定的形式傳遞給虛擬文件系統(tǒng)，以便v f s 可以調(diào)用它們。虛擬文件系統(tǒng)針對i n o d e 、s u p e rb l o c k 和f i l e 分別定義了三組函數(shù)指針，即s t r u c tf i l e _ o p e r a t i o n s 、s t r u c ti n o d e _ o p e r a t i o n s 和s t r u c ts u p e ro p e r a t i o n s 。其中，s u p e rb l o c k的操作集在注冊d p f s 文件系統(tǒng)時(shí)傳遞給虛擬文件系統(tǒng)。另外兩個(gè)在獲得文件或者目錄的i n o d e 時(shí)傳遞給虛擬文件系統(tǒng)。l i n u x 虛擬文件系統(tǒng)的更多信息請參見其他參考資料，這里不再詳細(xì)描述。d p f s 文件系統(tǒng)也不直接操作文件。從某種意義上將，d p f s 文件系統(tǒng)只是資源管理系統(tǒng)在l i n u x 操作系統(tǒng)內(nèi)核的一個(gè)接口，只是為了方便用戶使用資源管理系統(tǒng)而實(shí)現(xiàn)的一種特殊接口而已。因此，d p f s 文件系統(tǒng)要操作文件和目錄，它需要使用通信機(jī)制請求資源管理系統(tǒng)提供服務(wù)，以便完成對文件和目錄的真正操作。d p f s 文件系統(tǒng)的主要任務(wù)是根據(jù)l i n u x 虛擬文件系統(tǒng)的接口規(guī)范，實(shí)現(xiàn)相應(yīng)的函數(shù)和完成必要的操作，以便l i n u x 的虛擬文件系統(tǒng)可以訪問到資源管理系統(tǒng)中的文件。在l i n u x 的內(nèi)核中，文件系統(tǒng)是通過w s ( v i r t u a lf i l es y s t e m ) l 句上為用戶提供一個(gè)統(tǒng)一的接口訪問操作系統(tǒng)中的文件系統(tǒng)的【3 1 】。l i n u x 中所有具體文件系統(tǒng)的類型結(jié)構(gòu)首先在v f s 中注冊文件類型。同樣的，數(shù)字有機(jī)體也在v f s 中注冊了文件類型為d p f s ，v f s 的s u p e r、和等結(jié)構(gòu)中的操作集指針被填充b l o c kd e n t r yi _ n o d e上d p f s 的對應(yīng)操作集。在d p f s 內(nèi)部實(shí)現(xiàn)了v f s 定義的標(biāo)準(zhǔn)接口集，該接口集定義了數(shù)字有集體內(nèi)核的刪除操作。當(dāng)用戶在數(shù)字有機(jī)體環(huán)境中時(shí)，其發(fā)出的命令通過v f s 傳給了d p f s ，然后通過內(nèi)外核通信接口將該命令發(fā)給了數(shù)字有機(jī)體外核。數(shù)字有機(jī)體外核在處理用戶命令時(shí)，直接使用具體文件系統(tǒng)的功能( 例如，e x t 3 和n f s 等) ，利用它們直接訪問物理磁盤文件或網(wǎng)絡(luò)文件。從而避免了直接對磁盤，內(nèi)存、磁帶等硬件設(shè)備進(jìn)行管理，簡化了實(shí)現(xiàn)過程。當(dāng)數(shù)字有機(jī)體外核處理完用戶命令時(shí)，也通過內(nèi)外核接口將操作結(jié)果原路返回給用戶。1 7電子科技大學(xué)碩士學(xué)位論文3 3 2 數(shù)字有機(jī)體外核數(shù)字有機(jī)體外核主要包括6 個(gè)模塊：基礎(chǔ)模塊、元數(shù)據(jù)管理模塊、副本管理模塊、文件系統(tǒng)操作集、外核接口請求處理、本機(jī)通信接口模塊和系統(tǒng)恢復(fù)模塊。為了敘述方便，在介紹各個(gè)模塊功能之前，先介紹一些基本概念。3 3 2 1基本概念( 1 ) 資源和資源d 、站d 、用戶d資源是數(shù)字有機(jī)體中描述和管理的基本對象，資源包括的范圍很廣，可以是任何能被組織和管理的實(shí)體。比如：文件、目錄、服務(wù)等。每個(gè)資源在數(shù)字有機(jī)體當(dāng)中都有一個(gè)唯一的全局標(biāo)識：一個(gè)以d p f s 開頭的分布式路徑名。比如資源：d p f s f i l e l 。 3 2 】資源d 是資源全局標(biāo)識經(jīng)過m d 5 算法加密后得來的一個(gè)數(shù)值，每個(gè)資源對應(yīng)一個(gè)唯一的資源d 。站d 是站名經(jīng)過m d 5 算法加密后得來的一個(gè)數(shù)值，每個(gè)站對應(yīng)一個(gè)唯一的站d 。用戶d 是用戶名經(jīng)過m d 5 算法加密后得來的一個(gè)數(shù)值，每個(gè)用戶對應(yīng)一個(gè)唯一的用戶d 。( 2 ) 副本副本是資源的具體存在形式，與傳統(tǒng)分布式系統(tǒng)一樣，數(shù)字有機(jī)體使用資源的多個(gè)副本分散存放來保證資源的可訪問性和訪問效率。( 3 ) 元數(shù)據(jù)元數(shù)據(jù)指描述數(shù)據(jù)的數(shù)據(jù)。這里分別指文件的描述信息和服務(wù)的描述信息。元數(shù)據(jù)管理的目的是為其他模塊提供查找和定位文件或者服務(wù)提供者的能力。文件的定位指系統(tǒng)根據(jù)文件的標(biāo)志( 指文件的分布式資源目錄名) ，快速的找到文件存儲位置的過程。文件存儲位置指存儲文件副本的站的信息。我們?yōu)槊總€(gè)文件建立一個(gè)精簡的描述信息，其中包括文件的存儲位置。因此，找到文件的描述信息即可獲得文件的存儲位置。這樣，文件的定位轉(zhuǎn)化為快速找到文件的描述信息。對于一個(gè)文件來說，其描述信息被分布式地存儲在系統(tǒng)中的某些站( 節(jié)點(diǎn)) 上。但是，不同的文件，其描述信息的存儲位置不同，理論上將理論上講，系統(tǒng)的每個(gè)站( 節(jié)點(diǎn)) 都參與存儲和管理文件的描述信息。一個(gè)文件的描述信息存儲位置由定位系統(tǒng)的d h t 機(jī)制給出。對文件描述信息的維護(hù)包括增加新的文件描述信息，第三章數(shù)字有機(jī)體系統(tǒng)查找文件的描述信息、一致更新描述信息和刪除描述信息。( 4 ) 站內(nèi)共享空間映射每個(gè)節(jié)點(diǎn)都可以共享出本機(jī)的部分存儲空間。為了方便的使用和訪問站內(nèi)其他節(jié)點(diǎn)的存儲空間，每個(gè)節(jié)點(diǎn)需要將其他節(jié)點(diǎn)的共享空間通過n f s 機(jī)制映射到本機(jī)