（通信與信息系統(tǒng)專業(yè)論文）基于dht的內(nèi)容服務技術研究.pdf

文摘 p 2 p ( p e e r - t o - p e e r ) 是當今最流行的互聯(lián)網(wǎng)技術之一。在p 2 p 技術的眾多應用 中，內(nèi)容服務應用一直是一個主要的應用領域。通常來講，內(nèi)容服務包括內(nèi)容服務 模型的構造，內(nèi)容發(fā)布，內(nèi)容存儲，內(nèi)容檢索和內(nèi)容下載等關鍵技術。如何在規(guī)模 巨大，網(wǎng)絡環(huán)境復雜的p 2 p 系統(tǒng)實現(xiàn)高效的內(nèi)容服務具有重大的研究意義，同時又 是具有挑戰(zhàn)性的研究課題。 本文以p 2 p 網(wǎng)絡中的內(nèi)容服務為研究對象，分析了p 2 p 網(wǎng)絡的特性以及內(nèi)容服務 技術的研究現(xiàn)狀，圍繞如何在p 2 p 網(wǎng)絡以更貼近自然語義的方式提供高效、可擴展 的內(nèi)容服務，深入研究了p 2 p 網(wǎng)絡中提供內(nèi)容服務的各項關鍵技術。主要研究工作 包括： 1 ) 提出了一種基于d h t 和資源內(nèi)容語義的開放式內(nèi)容服務模型。該模型采用了 o p e n d h t 的網(wǎng)絡結構，并以兩級發(fā)布資源的方式結合了d h t 的冗余、高容 錯、可擴展性及自組織能力和基于內(nèi)容語義的檢索算法能從自然語義角度 進行內(nèi)容篩選的優(yōu)點，同時具有很好的易用性和對異構網(wǎng)絡的利用能力。 2 ) 提出了一種適用于混合型d h t 的內(nèi)容存儲算法。該算法在對通信節(jié)點進行驗 證和對資源進行分布式存儲的基礎上，以合理的代價實現(xiàn)了系統(tǒng)對數(shù)據(jù)完 整性和安全性的要求。 3 ) 提出了對資源索引和原始文檔本身進行兩級發(fā)布的內(nèi)容發(fā)布算法。該算法 使得節(jié)點可以根據(jù)自身能力和網(wǎng)絡情況進行不同方式的內(nèi)容發(fā)布，從而獲 得最大限度的便利性；另一方面，索引文件的使用有效地限制了網(wǎng)絡的信 息冗余，為獲得良好的搜索效率準備了條件。 4 ) 提出了基于d h t 和語義矢量投影計算的內(nèi)容搜索算法。該算法在對詞間關系 進行考察的基礎上，改進了傳統(tǒng)的關鍵詞提取算法和文章關鍵詞矢量投影 計算方法，使得一方面參與計算的矢量更能體現(xiàn)文章內(nèi)容語義，另一方面 減小了計算量和網(wǎng)絡流量，提高了搜索效率。 5 ) 針對在混合型p 2 p 網(wǎng)絡中實現(xiàn)更好的內(nèi)容服務進行了一些內(nèi)容下載機制、用 戶激勵機制和網(wǎng)絡安全機制方面的考慮，進一步完善了所提出的系統(tǒng)。 關鍵詞：p 2 p 網(wǎng)絡，d h t ，內(nèi)容服務，內(nèi)容檢索，語義，資源索引，關鍵詞矢量， 掃 序 a b s t r a c t p 2 pi so n eo ft h ef a s t e s tg r o w i n ga n dm o s tp o p u l a ri n t e m e tt e c h n o l o g i e s a m o n gv a r i o u s p 2 p a p p l i c a t i o n s ，c o n t e n ts e r v i c ei sa l w a y sam o s ti m p o r t a n to n e g e n e r a l l ys p e a k i n g ， c o n s t r u c t i o no fc o n t e n ts e r v i c em o d e l ，c o n t e n ts t o r a g e ，c o n t e n tp u b l i c a t i o n ，c o n t e n t s e a r c h i n ga n dc o n t e n td o w n l o a da r et h eb a s eb l o c k so fc o n t e n ts e r v i c e h o wt o i m p l e m e n te f f i c i e n tc o n t e n ts e r v i c ei nac o m p l e xn e t w o r ke n v i r o n m e n t w h i c hc o n t a i n s h u g e a m o u n tn o d e si sac h a l l e n g i n gr e s e a r c ha r e aa n do fg r e a ti m p o r t a n c e t h er e s e a r c hi nt h i st h e s i sf o c u s e so nc o n t e n ts e r v i c ei np 2 pn e t w o r k i ta n a l y z e st h e p a r t i c u l a r i t yo fc o n t e n ts e r v i c ei np 2 p n e t w o r ka n dc u r r e n tr e s e a r c hs t a t u so nc o n t e n t s e r v i c e i no r d e rt op r o v i d ea l le f f i c i e n ta n de x t e n s i b l ec o n t e n ts e r v i c eb a s e do nn a t u r a l s e m a n t i ci np 2 pn e t w o r k , w ed i dm u c hr e s e a r c ho nt h ek e yt e c h n o l o g i e sa n dm a k e c o n t r i b u t i o n st ot h ef o l l o w i n ga r e a s ： 1 ) a no p e nc o n t e n ts e r v i c em o d e li sp r o p o s e db a s e do nd h ta n dt h es e m a n t i co f r e s o u r c ec o n t e n t t h i sm o d e li sa no p e n d h t s t r u c t u r e ，u s i n gt w o - s t e p sc o n t e n t p u b l i c a t i o n w 汕t h i sd e s i g n ，i ti n h e r i t st h er e d u n d a n c y ，f a u l tt o l e r a t i o n ， e x t e n s i b i l i t ya n ds e l fo r g a n i z a t i o nf r o md h t w h i l em a k e sf u l lu s eo f t h e a d v a n t a g e sp r o v i d e db ys e m a n t i c - b a s e ds e a r c h i n ga l g o r i t h m b e s i d e s ，t h i sm o d e l i se a s yf o ru s ea n da d a p t e dt ou n b a l a n c e dn e t w o r k 2 )ac o n t e n ts t o r a g ea l g o r i t h ma d a p t e dt oh y b r i dd h ti sp r o p o s e d 1 1 1 i sa l g o r i t h mi s b a s e do nv e r i f i c a t i o no fc o m m u n i c a t i o nn o d e sa n dd i s t r i b u t e dr e s o u r c es t o r a g e ， w h i c hf u l f i l lt h er e q u i r e m e n to fd a t ai n t e g r a l i t ya n ds y s t e ms e c u r i t yw i t h r e a s o n a b l ec o s t 3 1ac o n t e n tp u b l i c a t i o na l g o r i t h mw h i c hp u b l i s h e si n d e xa n dr e s o u r c ei t s e l fi n t o t w os t e p si sp r o p o s e d w i t ht h i sa l g o r i t h m ，o nt h eo n eh a n d ，n o d ec a nf l e x i b l y m a k ear e s o u r c ep u b l i c a t i o nd e c i s i o nb a s e do ni t so w nc a p a b i l i t ya n dn e t w o r k c o n n e c t i o n ；o nt h eo t h e rh a n d t h eu s i n go fi n d e xe 硒c i e n t l yr e s t r a i nn e t w o r k r e d u n d a n c ya n dp r e p a r ew e l lf o rq u a l i t ys e a r c h i n g 4 ) ac o n t e n ts e a r c h i n ga l g o r i t h mb a s e do nd h ta n ds e m a n t i cv e c t o rp r o j e c t i o n c o m p u t i n gi sp r o p o s e d t h i sa l g o r i t h mt a k e si n t oc o n s i d e r a t i o nr e l a t i o nb e t w e e n w o r d s ，i m p r o v i n gt r a d i t i o n a lk e y w o r d se x t r a c t i o na l g o r i t h ma n dp r o j e c t i o n c o m p u t i n gm e t h o dw i t hk e y w o r dv e c t o r s i nt h a tw a y ，n o to n l yt h ek e y w o r d v e c t o r sc a nb e t t e rp r e s e n tt h ec o n t e n ts e m a n t i co fr e s o u r c e s ，b u ta l s ot h e c o m p u t i n g a n dc o m m u n i c a t i o nl o a dr e d u c e v 5 ) i n o r d e rt op r o v i d eab e t t e rc o n t e n ts e r v i c ei na h y b r i dp 2 pn e t w o r k ，w ea l s ot a k e i n t oc o n s i d e r a t i o nc o n t e n td o w n l o a da l g o r i t h m ，u s e ri n c e n t i v em e c h a n i s ma n d s e c u r i t ym e c h a n i s m ，w h i c hg u a r a n t e et h ei n t e g r a l i t yo f o u rs y s t e m k e y w o r d s ：p 2 pn e t w o r k ，d h t ，c o n t e n ts e r v i c e ，c o n t e n ts e a r c h ，s e m a n t i c ，i n d e x ， k e y w o r dv e c t o r ，r a n k i n g 第一章、緒論： 1 1 研究背景 近年來，隨著i n t e r n e t 的廣泛使用以及接入i n t e r n e t 的計算機系統(tǒng)性能的持續(xù) 增長，p 2 p 計算已經(jīng)成為新的研究熱點。不同于傳統(tǒng)的c s 計算模式中以服務器為中 心的網(wǎng)絡結構以及數(shù)據(jù)存儲和處理方式，p 2 p 計算中各節(jié)點是邏輯對等的，節(jié)點之 間無需借助中間服務器即可直接共享和交換資源，這使得高效合理地組織和利用 i n t e r n e t 邊緣上大量分布的計算、存儲、通信、信息等資源成為可能。 p 2 p 計算模式的產(chǎn)生和發(fā)展過程同其它任何一種計算模式的產(chǎn)生和發(fā)展的過程 一樣，都是順應了計算機和網(wǎng)絡技術的發(fā)展趨勢，滿足了新的應用需求而出現(xiàn)的。 計算機和網(wǎng)絡領域的一些基本定律是p 2 p 計算興起的技術基礎： 摩爾定律( m o o r e sl a w ) 指出微處理器速度和磁盤的存儲能力每1 8 個月翻一 番。經(jīng)過多年的發(fā)展，目前單臺p c 的計算和存儲能力己經(jīng)超過早期的巨型 機，并且大量空閑。 吉爾德定律( g i l d e r sl a w ) 指出網(wǎng)絡帶寬每6 個月翻一番，迅速增長的網(wǎng)絡 帶寬為更多p c 的寬帶接入提供了可能，寬帶接入為許多應用提供了通信的物 理基礎支持。目前網(wǎng)絡帶寬的應用現(xiàn)狀是：一方面普通節(jié)點存在大量的空閑 帶寬，另一方面提供集中服務的服務器的帶寬和響應能力不足。 麥特卡夫定律( m e t c a l f e sl a w ) 指出網(wǎng)絡的價值與用戶數(shù)量成平方關系，即 接入網(wǎng)絡的用戶數(shù)和網(wǎng)絡的價值成正反饋關系。為了使互聯(lián)網(wǎng)的價值增值， 需要更有效的能夠支持更大規(guī)模用戶并實現(xiàn)用戶之間直接交流的計算模式。 由這些定律所揭示的計算機和網(wǎng)絡技術的發(fā)展趨勢同時也決定了c s 計算模式 中僅關注i n t e r n e t 核心資源的做法將受到越來越大的挑戰(zhàn)和沖擊。另一方面，c s 模式的性能擴展需要升級或者增加服務器，其代價高昂；而p 2 p 計算能充分利用 i n t e r n e t 邊緣的龐大閑置資源，以更低的代價實現(xiàn)同樣的服務；這也促進了p 2 p 的 發(fā)展。 在這各種原因的驅(qū)動下，從1 9 9 9 年最早的p 2 p 軟件n a p s t e r 的出現(xiàn)至今，短短的 不到十年的時間里，p 2 p 應用已經(jīng)成為成長速度最快，最流行的互聯(lián)網(wǎng)應用之一。 據(jù)統(tǒng)計，通過p 2 p 軟件進行資源共享所產(chǎn)生的網(wǎng)絡流量已經(jīng)占據(jù)了當前網(wǎng)絡總體流 量的5 0 以上。 p 2 p 技術應用在諸多領域顯示了很好的應用前景，同時其顯現(xiàn)出的問題也吸引 了諸多的活躍研究，例如：分布式計算、協(xié)同工作、分布式存儲、內(nèi)容共享和發(fā)布 等。概括和抽象各種p 2 p 系統(tǒng)，可以發(fā)現(xiàn)眾多p 2 p 系統(tǒng)中內(nèi)容服務都是一個基本的功 能模塊，內(nèi)容服務應用也一直是p 2 p 技術主要的應用領域。基于p 2 p 所提供的內(nèi)容服 務，用戶可以拋開應用服務器，通過p 2 p 軟件自由、實時而廉價地共享、發(fā)布自己 感興趣的內(nèi)容，可以按照興趣構建虛擬社區(qū)，可以得到個性化的服務；通過p 2 p 節(jié) 點之間的協(xié)作，可以低代價實現(xiàn)大規(guī)模流媒體的應用層廣播，可以實現(xiàn)大尺寸內(nèi)容 的協(xié)作下載。但是，如何在參與節(jié)點物理位置廣泛分布、數(shù)量巨大、行為不可控、 計算存儲能力和網(wǎng)絡連接不均勻的復雜環(huán)境下實現(xiàn)高效的內(nèi)容服務又是p 2 p 應用面 臨的巨大挑戰(zhàn)。 1 2p 2 p 的基本分類及o d c s 早期的p 2 p ( 如n a p s t e r ) ，依靠中心服務器實現(xiàn)共享資源的集中登記和搜索， 這一類p 2 p 我們稱為中心化拓手i p 2 p 。中心化拓 h p 2 p 的節(jié)點雖然已擁有了一定的自 制性，相互之間可以進行資源訪問，但是中心服務器和別的節(jié)點并不對等，而且可 能成為系統(tǒng)的性能瓶頸和單一故障點，因此在本文的討論中暫不考慮這一類結構的 p 2 p ，而只考慮與之相對的分布式拓于i p 2 p 。分布式拓手i p 2 p 又可以更進一步地分為 三類： 非結構化p 2 p 結構化p 2 p 混合型p 2 p 其中，非結構化p 2 p 網(wǎng)絡沒有固定的邏輯拓撲，節(jié)點之間的連接表現(xiàn)出隨機 性，因而其資源定位算法通常也具有不確定性的。另一方面，我1 f i n n 道，自然語言 的表達方式通常也是不精確的。二者之間不確定性的契合使得在非結構化p 2 p 網(wǎng)絡 上容易實現(xiàn)較靈活的資源查詢方式，也有眾多的機構和學者做出了卓有成效的研 究。例如，改進的b f s 們，有b f s l 2 1 ，迭代加深技術【2 】，索引緩存【2 】以及內(nèi)容緩存【3 l 等技術通過改進路由機制或者引入緩存在一定程度上減少了通信量，提高了搜索效 率；n e u r og r i d h i ，a p p n i s 及s r v n 6 1 等技術則進一步利