基于p2p網(wǎng)格的網(wǎng)絡(luò)自適應(yīng)視頻點(diǎn)播機(jī)制研究

基于p2p網(wǎng)格的網(wǎng)絡(luò)自適應(yīng)視頻點(diǎn)播機(jī)制研究

1基于p2p網(wǎng)格的gridvid系統(tǒng)現(xiàn)在，隨著帶寬網(wǎng)絡(luò)的普及，視頻點(diǎn)服務(wù)的使用越來越受到重視。然而，要建立有效、實(shí)用的視頻點(diǎn)采集系統(tǒng)，還需要進(jìn)行進(jìn)一步的研究。傳統(tǒng)的視頻點(diǎn)采集機(jī)制將大量視頻記錄數(shù)據(jù)存儲在一組集中的視頻服務(wù)器上。視頻服務(wù)器服務(wù)客戶端服務(wù)器執(zhí)行所有操作。當(dāng)狀況良好時，視頻服務(wù)器服務(wù)客戶端服務(wù)器將執(zhí)行所有操作。當(dāng)狀況良好的下載用戶增加時，視頻服務(wù)器服務(wù)服務(wù)器最終會達(dá)到及其操作的限制。為了提高系統(tǒng)的實(shí)用性，需要提高更多的視頻服務(wù)器。要提高系統(tǒng)服務(wù)器處理能力，還需要相應(yīng)提高網(wǎng)絡(luò)帶寬?；诖四Ｊ降南到y(tǒng)需要具有高成本、有限的視頻服務(wù)器數(shù)量和網(wǎng)絡(luò)帶寬的限制，以滿分利用系統(tǒng)中不同元素的強(qiáng)大合作功能。為了充分利用系統(tǒng)中各元素的強(qiáng)大合作功能，有必要將原始集中控制策略轉(zhuǎn)變?yōu)橹悄芊植伎刂品桨福⒊浞职l(fā)揮客戶端在系統(tǒng)中的作用。在當(dāng)前的視頻點(diǎn)播系統(tǒng)中,大多數(shù)終端設(shè)備的計算和存儲能力都具有很大冗余.如現(xiàn)在很多用戶都是用高性能PC機(jī)點(diǎn)播節(jié)目,新式的機(jī)頂盒也必將擁有高性能的計算能力和大的存儲空間.此時,點(diǎn)播用戶作為一個最終使用者具備了向他人主動提供服務(wù)的能力,從而能夠?qū)⑦@些點(diǎn)播端結(jié)點(diǎn)通過P2P(peer-to-peer)技術(shù)實(shí)現(xiàn)視頻共享和計算力共享.由于P2P技術(shù)主要致力于資源查找和資源共享,其在系統(tǒng)組織和QoS保證方面則比較欠缺,而網(wǎng)格技術(shù)的運(yùn)用則能夠較好地解決該問題.通過關(guān)聯(lián)結(jié)點(diǎn)間的協(xié)同運(yùn)作和基于網(wǎng)絡(luò)環(huán)境的自適應(yīng)調(diào)節(jié),本文提出了一個基于P2P網(wǎng)格的GridVOD系統(tǒng).GridVOD綜合了網(wǎng)格計算和P2P兩方面的優(yōu)勢,具有良好的靈活性、可擴(kuò)展性及安全性.在該系統(tǒng)中,點(diǎn)播端結(jié)點(diǎn)在享受服務(wù)的同時還作為非專有視頻服務(wù)器向其他端結(jié)點(diǎn)提供服務(wù).隨著這種端結(jié)點(diǎn)數(shù)量的不斷增多,整個系統(tǒng)的能力也隨之不斷得以增強(qiáng).所有點(diǎn)播端結(jié)點(diǎn)按照其點(diǎn)播用戶的興趣劃分為各個自治組,通過各個自治組合理地均衡點(diǎn)播負(fù)載.初始狀態(tài)下,所有視頻數(shù)據(jù)存放在專有視頻服務(wù)器上.系統(tǒng)經(jīng)過一段時間的運(yùn)轉(zhuǎn)后,許多視頻數(shù)據(jù)將分配在各個用戶端結(jié)點(diǎn)上.這些端結(jié)點(diǎn)上的非專有視頻服務(wù)器將滿足大量本地的點(diǎn)播請求,有效地減少了遠(yuǎn)距離通信量.GridVOD利用基于網(wǎng)格環(huán)境的系統(tǒng)監(jiān)測服務(wù)進(jìn)行網(wǎng)絡(luò)自適應(yīng)視頻組播,從而提高了系統(tǒng)的服務(wù)質(zhì)量.2基于p2p的流播方式近來,隨著Napster,Gnutella等P2P項目取得的極大成功,利用P2P技術(shù)提供視頻服務(wù)的嘗試也倍受人們的關(guān)注.Xu等人討論了基于P2P提供媒體流需要解決的問題,它通過OTSp2p數(shù)據(jù)指派算法實(shí)現(xiàn)多個結(jié)點(diǎn)共同為一個用戶提供服務(wù),其DACp2p接納控制協(xié)議則提高了系統(tǒng)總的流播送能力.Lee等人則提出了一個基于P2P全分布式的視頻點(diǎn)播系統(tǒng)架構(gòu),系統(tǒng)中不采用任何服務(wù)器(server-less),所有的視頻數(shù)據(jù)都被配置到各個用戶結(jié)點(diǎn)上.Loeser等人提出了一個基于P2P的分布式視頻點(diǎn)播網(wǎng)絡(luò)體系,它基于JXTA來實(shí)現(xiàn)對等結(jié)點(diǎn)的查詢、成員組織、視頻分發(fā)等,通過JXTA虛擬網(wǎng)實(shí)現(xiàn)一定的QoS保證.這些方案大多強(qiáng)調(diào)客戶端的數(shù)據(jù)能力,而較少關(guān)注視頻流與環(huán)境、各點(diǎn)播客戶間的動態(tài)協(xié)調(diào)關(guān)系.3glod品牌系統(tǒng)的視頻監(jiān)控服務(wù)本文提出的GridVOD系統(tǒng)由少量專有視頻服務(wù)器(dedicatedserver)、大量運(yùn)行于端結(jié)點(diǎn)上的非專有小視頻服務(wù)器(mini-server)和一些僅用于視頻播放的消費(fèi)結(jié)點(diǎn)(only-viewer)組成,系統(tǒng)各部件通過網(wǎng)絡(luò)連接為一個有機(jī)的整體(如圖1所示).按照網(wǎng)格計算的安全策略及資源控制規(guī)范,系統(tǒng)各組成部分被有效地組織為一個協(xié)同體,點(diǎn)播用戶按照虛擬組織(VO)的模式組織為不同的用戶群.根據(jù)整個系統(tǒng)的架構(gòu)需要,所有專有的視頻服務(wù)器被組織為一個典型的分布式視頻點(diǎn)播子系統(tǒng).當(dāng)采用部分專有視頻服務(wù)器作為整個系統(tǒng)的監(jiān)管者時,其高端的硬件配置及高度的安全環(huán)境能夠以較少的復(fù)雜度獲得較高的系統(tǒng)可靠性及安全性保障.由于當(dāng)前客戶端大容量的存儲空間足以緩存整部(或者部分)視頻節(jié)目,當(dāng)點(diǎn)播用戶完成一次視頻服務(wù)時,其對應(yīng)的視頻節(jié)目將緩存在客戶端結(jié)點(diǎn)中.同時,該端結(jié)點(diǎn)從專有服務(wù)器(或者鄰近的對等結(jié)點(diǎn))處下載到小視頻服務(wù)器軟件.當(dāng)新的點(diǎn)播請求被該端結(jié)點(diǎn)接受時,該端結(jié)點(diǎn)將使用mini-server軟件來向其他結(jié)點(diǎn)提供視頻服務(wù).獲得mini-server軟件及提供視頻服務(wù)過程中的安全保證通過GSI(gridsecurityinfrastructure)協(xié)議來實(shí)現(xiàn).各消費(fèi)結(jié)點(diǎn)是一個只能夠接受及解碼視頻流的簡單設(shè)備.該類型的終端結(jié)點(diǎn)包括低端的機(jī)頂盒(STB)及手持移動設(shè)備,如手機(jī)、PDA等.消費(fèi)結(jié)點(diǎn)常常需要通過代理結(jié)點(diǎn)來獲得服務(wù).3.1系統(tǒng)監(jiān)測在視頻流的播送過程中,網(wǎng)絡(luò)環(huán)境的惡化及服務(wù)器過載等情況將極大地影響點(diǎn)播的服務(wù)質(zhì)量.利用基于網(wǎng)格環(huán)境的系統(tǒng)監(jiān)測服務(wù),GridVOD力求做到網(wǎng)絡(luò)感知及視頻流對象的感知,以實(shí)現(xiàn)自適應(yīng)調(diào)節(jié).作為Globus網(wǎng)格計算工具集的一部分,GloPerf主要用于網(wǎng)絡(luò)延遲和網(wǎng)絡(luò)帶寬的動態(tài)監(jiān)測及其信息發(fā)布.通過對GloPerf加以改進(jìn),本系統(tǒng)設(shè)計了一種基于移動Agent的網(wǎng)絡(luò)監(jiān)測方法.監(jiān)測程序作為一個移動Agent運(yùn)行于各個活動的視頻結(jié)點(diǎn)上,并從監(jiān)測數(shù)據(jù)中抽取有用的結(jié)果信息上傳到一個LDAP數(shù)據(jù)庫中.在處理一個視頻流通道時,基于隨機(jī)時間或者通過事件觸發(fā)的方式,相應(yīng)結(jié)點(diǎn)從LDAP數(shù)據(jù)庫中獲得監(jiān)測信息.為了簡化系統(tǒng),結(jié)點(diǎn)的組織查詢信息和視頻索引信息也被存放在該LDAP數(shù)據(jù)庫中,在各個結(jié)點(diǎn)上僅緩存對應(yīng)該結(jié)點(diǎn)偏好的部分信息.新版本的Globustoolkit已經(jīng)使用NWS來監(jiān)測和預(yù)知網(wǎng)格資源,基于NWS改進(jìn)GridVOD系統(tǒng)的監(jiān)測服務(wù)將是下一階段的努力方向.4基于流合并的組播算法大量的實(shí)踐證明,用戶經(jīng)常點(diǎn)播的視頻節(jié)目集中于少數(shù)熱門節(jié)目上,系統(tǒng)可用性主要受網(wǎng)絡(luò)及磁盤I/O帶寬利用率的影響.當(dāng)不同用戶點(diǎn)播相同節(jié)目時,可以采用組播(multicast)通信讓這些用戶共用同一個視頻播送流.在基于流合并的組播算法中,最先點(diǎn)播該節(jié)目的用戶創(chuàng)建初始視頻流,初始流通道播放整個節(jié)目.當(dāng)節(jié)目播送ti時間間隔后,到達(dá)一個對該節(jié)目的新的點(diǎn)播用戶.該點(diǎn)播請求加入到該節(jié)目的組播組當(dāng)中,并且系統(tǒng)為該點(diǎn)播用戶分配一個新的通信通道來傳輸遺失的前ti時間的節(jié)目片斷流.此時,客戶端至少需要處理兩路視頻流,即:組播視頻流及遺失的節(jié)目片斷流.在客戶端緩存并且合并這些視頻流,使得點(diǎn)播用戶能夠進(jìn)行及時播放.5視頻服務(wù)器傳輸能力每個點(diǎn)播請求根據(jù)相關(guān)視頻服務(wù)器能力及網(wǎng)絡(luò)狀態(tài)來判定其是否可以被接受.當(dāng)一個新的點(diǎn)播請求到達(dá)一個視頻服務(wù)器時,該視頻服務(wù)器需要判斷是由它自己來接受該請求還是將該請求轉(zhuǎn)到別的視頻服務(wù)器上處理.在穩(wěn)態(tài)運(yùn)行過程當(dāng)中,視頻服務(wù)器為n個點(diǎn)播用戶保持有k路視頻流,它根據(jù)客戶端和網(wǎng)絡(luò)傳輸情況為k路視頻流盡力讀取并傳送視頻數(shù)據(jù).此時到達(dá)一個新的點(diǎn)播請求,系統(tǒng)原有的平衡將被打破,在視頻服務(wù)器中將可能出現(xiàn)k+1路視頻流.根據(jù)以下的條件判定式,當(dāng)所有這些條件都可以被滿足時,該視頻服務(wù)器接受該新的點(diǎn)播請求.否則,需要選擇其他視頻服務(wù)器來處理該請求.vk+1＞rk+1,(1)∑n=1k+1rn＜rs,(2)∑n=1k+1rn＜ds,(3)∑n=1k+1Bvn＜Bs.(4)vk+1＞rk+1,(1)∑n=1k+1rn＜rs,(2)∑n=1k+1rn＜ds,(3)∑n=1k+1Bvn＜Bs.(4)在這些條件判定式中,vi標(biāo)識第i路視頻流的網(wǎng)絡(luò)傳輸速度,ri代表保證第i路視頻流實(shí)時播放的數(shù)據(jù)傳輸速率,rs給出了該視頻服務(wù)器端總的網(wǎng)絡(luò)傳輸帶寬,ds給出了該視頻服務(wù)器總的磁盤I/O帶寬,Bvi代表保證第i路視頻流實(shí)時播放的基本緩沖區(qū)大小,Bs給出了該視頻服務(wù)器中總的緩沖區(qū)大小.6gridvid自適應(yīng)調(diào)節(jié)機(jī)制在利用系統(tǒng)監(jiān)測服務(wù)、結(jié)點(diǎn)間協(xié)調(diào)、基于興趣相似度的自治組管理及智能視頻索引的基礎(chǔ)上,GridVOD采用了一種自適應(yīng)調(diào)節(jié)機(jī)制來改善視頻播送質(zhì)量及提高系統(tǒng)效率.6.1基于自治組模型的flooding信號模型在實(shí)際應(yīng)用中,各點(diǎn)播用戶的行為表現(xiàn)出很大的相互關(guān)聯(lián)性.當(dāng)一些點(diǎn)播用戶表現(xiàn)出相似的興趣時,其相互之間將以很高的概率保持一種穩(wěn)定的連接關(guān)系.此時,這些具有相似興趣的對等結(jié)點(diǎn)將自發(fā)形成一個自治組.GridVOD系統(tǒng)采用了一種簡單的自治組模型.當(dāng)兩個端結(jié)點(diǎn)能夠相互為對方提供視頻服務(wù)時,則認(rèn)為兩者具有相似的興趣.端結(jié)點(diǎn)通過視頻索引信息的交換來了解其對等結(jié)點(diǎn)的興趣,興趣相似度將按照視頻節(jié)目的分類、相似節(jié)目的數(shù)量、該對等結(jié)點(diǎn)提供服務(wù)的質(zhì)量(QoS)等方面進(jìn)行評價.基于該簡單自治組模型,具有相似興趣的對等結(jié)點(diǎn)被組織在一個虛擬子網(wǎng)中(如圖2所示).本方案能夠有效避免服務(wù)定位中的大量Flooding消息.每個視頻點(diǎn)播的請求消息都帶有一個時間郵戳來標(biāo)識請求消息發(fā)送超時.一個點(diǎn)播請求首先被限定在該虛擬子網(wǎng)中進(jìn)行處理.當(dāng)該虛擬子網(wǎng)中的端結(jié)點(diǎn)不能滿足該點(diǎn)播請求時,該請求被發(fā)送給這些端結(jié)點(diǎn)的具有稍低相似度的對等結(jié)點(diǎn).依此類推,直至該點(diǎn)播請求超時.此時,該點(diǎn)播請求將直接發(fā)送給專有服務(wù)器進(jìn)行處理.6.2組播視頻流的獲得基于該自治組模型,本文設(shè)計了一個網(wǎng)絡(luò)自適應(yīng)組播策略,如圖3所示:在該原理示意圖中,各結(jié)點(diǎn)可用作視頻服務(wù)器.起初,結(jié)點(diǎn)a存放有視頻節(jié)目Filmv,為了響應(yīng)一個從b發(fā)出對Filmv的點(diǎn)播請求,需要為該初始視頻流分配一個從a到b的通信通道.經(jīng)過t1時間間隔后,從e發(fā)來一個對該相同節(jié)目Filmv的新的點(diǎn)播請求.此時,結(jié)點(diǎn)b上mini-server的服務(wù)能力和由b到e的網(wǎng)絡(luò)帶寬都相當(dāng)充足.將該點(diǎn)播請求加入到該節(jié)目的組播組當(dāng)中,通過組播通道獲得正在播送的視頻流.該節(jié)目0～t1時間的遺失節(jié)目片斷流則由結(jié)點(diǎn)b提供.經(jīng)過t2時間間隔后,從j發(fā)來一個對該相同節(jié)目Filmv的新的點(diǎn)播請求.此時,結(jié)點(diǎn)a處于忙狀態(tài),由b到j(luò)的網(wǎng)絡(luò)帶寬不足.結(jié)點(diǎn)h緩存有該節(jié)目Filmv,結(jié)點(diǎn)h上mini-server的服務(wù)能力、由h到j(luò)和由a到j(luò)的網(wǎng)絡(luò)帶寬都相當(dāng)充足.將該點(diǎn)播請求加入到由a發(fā)出的該節(jié)目的組播組當(dāng)中,通過組播通道獲得正在播送的視頻流.該節(jié)目0～t2時間的遺失節(jié)目片斷流則由結(jié)點(diǎn)h提供.利用獲得的監(jiān)測信息,GridVOD網(wǎng)絡(luò)自適應(yīng)組播策略合理均衡了服務(wù)器能力和網(wǎng)絡(luò)帶寬資源,整個視頻點(diǎn)播系統(tǒng)達(dá)到了最佳的運(yùn)行效率.本適應(yīng)性方法也適用于負(fù)載均衡及故障恢復(fù).6.3視頻節(jié)目存儲及運(yùn)行過程當(dāng)各結(jié)點(diǎn)使用獨(dú)立緩存管理策略時,在這些端結(jié)點(diǎn)上將出現(xiàn)許多重復(fù)的視頻節(jié)目,端結(jié)點(diǎn)只能緩存少量的瞬間熱門節(jié)目.而當(dāng)緩存大的視頻節(jié)目時,緩存資源利用率不高,并且有些很大的視頻節(jié)目也不能被緩存在單個結(jié)點(diǎn)上.這時,需要將整個視頻節(jié)目緩存到多個端結(jié)點(diǎn)上,每個結(jié)點(diǎn)上緩存的是部分節(jié)目數(shù)據(jù).GridVOD采用P2P協(xié)同緩存來實(shí)現(xiàn)該部分緩存機(jī)制,通過強(qiáng)關(guān)聯(lián)結(jié)點(diǎn)間的協(xié)同運(yùn)作實(shí)現(xiàn)多個結(jié)點(diǎn)間緩存空間的統(tǒng)一管理,其性能取決于系統(tǒng)的網(wǎng)絡(luò)環(huán)境感知能力和對流媒體對象的感知能力,并且需要對視頻節(jié)目進(jìn)行動態(tài)(或者靜態(tài))分段處理.當(dāng)點(diǎn)播用戶從初始服務(wù)器獲得一個視頻節(jié)目時,點(diǎn)播用戶根據(jù)網(wǎng)絡(luò)狀態(tài)、對應(yīng)該節(jié)目的興趣組、結(jié)點(diǎn)的緩存狀況等因素選擇最佳對等結(jié)點(diǎn)集合來緩存該節(jié)目.當(dāng)這些結(jié)點(diǎn)在向其他結(jié)點(diǎn)提供服務(wù)時,該虛擬緩存根據(jù)新狀態(tài)下的關(guān)聯(lián)度自動進(jìn)行動態(tài)調(diào)整,將部分結(jié)點(diǎn)上長時間未被訪問的分段轉(zhuǎn)移到流行度高的結(jié)點(diǎn)上去.其替換策略采用改進(jìn)的LRU算法,當(dāng)該節(jié)目的所有分段都經(jīng)過長時間未被訪問時,換出所有這些分段.7性能研究7.1實(shí)驗環(huán)境分析為了對我們提出的GridVOD系統(tǒng)進(jìn)行評估,我們建立了一個模擬實(shí)驗環(huán)境.通過4個交換機(jī)將所有機(jī)器連接在一個分布式網(wǎng)絡(luò)環(huán)境中,其中主交換機(jī)的端口速度為1000Mbps,其余3個交換機(jī)的端口速度為100Mbps.初始狀態(tài)下,所有視頻數(shù)據(jù)存放在一臺專有視頻服務(wù)器上.專有服務(wù)器接在主交換機(jī)上,服務(wù)器配置為:PentiumⅣ1.8GHz,512MB內(nèi)存,120GB硬盤.當(dāng)一臺計算機(jī)被用作mini-server時,在該計算機(jī)硬盤中保留5GB空間作為Cache空間用.為了方便測試,我們簡化了部分實(shí)驗參數(shù),如表1所示:實(shí)驗中采用GISMO工具集來進(jìn)行負(fù)載合成,使得模擬實(shí)驗環(huán)境更具現(xiàn)實(shí)意義.視頻數(shù)據(jù)為MPEG-I編碼格式.單次模擬實(shí)驗由30000個點(diǎn)播請求組成.用戶對所有N=300個視頻節(jié)目的請求遵從Zipf分布,點(diǎn)播請求的到達(dá)符合泊松分布,其到達(dá)率為每分鐘λ個點(diǎn)播請求.實(shí)驗中,以用戶請求撤消率來表示所有撤消的用戶點(diǎn)播數(shù)占總用戶點(diǎn)播數(shù)的比例.用戶請求撤消率越小,則系統(tǒng)的吞吐量越大.為了簡化分析,我們以緩存命中率來反映點(diǎn)播服務(wù)在本地失敗而需要由專有服務(wù)器提供的情況,它表示由端結(jié)點(diǎn)提供的視頻數(shù)據(jù)量占點(diǎn)播視頻總數(shù)據(jù)量的比例.實(shí)驗采用的另一個評價指標(biāo)是平均延時,它反映了系統(tǒng)的視頻服務(wù)質(zhì)量.現(xiàn)有VOD系統(tǒng)一般采用的是基于批處理的集中式視頻點(diǎn)播方法,作為對照,我們對它也進(jìn)行了模擬實(shí)驗.常用的批處理算法為FCFS批處理算法,它在每個間隔周期內(nèi)收集到足夠多的點(diǎn)播請求,然后將其中點(diǎn)播相同節(jié)目的用戶放在一個組中進(jìn)行組播處理.7.2用戶請求撤開系數(shù)對存儲頻率的影響首先,設(shè)定點(diǎn)播用戶中只有9個結(jié)點(diǎn)兼作mini-server,在不同用戶請求強(qiáng)度下,用戶請求撤消率如圖4所示,而平均延時的變化則如圖5所示.由實(shí)驗結(jié)果看出,基于網(wǎng)絡(luò)自適應(yīng)組播的系統(tǒng)能力比基于批處理集中式的現(xiàn)有VOD系統(tǒng)能力要大了很多,而平均延時則少了很多.當(dāng)設(shè)定用戶請求強(qiáng)度為每分鐘到達(dá)120個點(diǎn)播請求時,對應(yīng)于點(diǎn)播用戶中兼作mini-server的端結(jié)點(diǎn)數(shù)的不同,用戶請求撤消率如圖6所示,而平均延時的變化則如圖7所示.由圖6看出,當(dāng)兼作mini-server的端結(jié)點(diǎn)達(dá)到一定數(shù)量時,影響用戶請求撤消率的主要因素已經(jīng)變?yōu)樵揚(yáng)2P網(wǎng)格下的資源定位及