視頻云資源匯聚服務(wù)技術(shù)研究與應(yīng)用1

PAGE2PAGE5視頻云資源匯聚服務(wù)技術(shù)研究與應(yīng)用（一）課題背景進(jìn)入互聯(lián)網(wǎng)時代，企事業(yè)單位、政府組織和個人生成的信息總量急劇膨脹。對于來源繁多的信息資料，專業(yè)人士根據(jù)信息的格式加以劃分，將其分為結(jié)構(gòu)化信息和非結(jié)構(gòu)化信息兩大類。結(jié)構(gòu)化信息是可以數(shù)字化的數(shù)據(jù)信息，可以方便地通過計算機(jī)和數(shù)據(jù)庫技術(shù)進(jìn)行管理。無法完全數(shù)字化的信息稱為非結(jié)構(gòu)化信息，如文檔文件、圖片、圖紙資料、縮微膠片等。這些資源中擁有大量的有價值的信息[1]?，F(xiàn)在這類非結(jié)構(gòu)化信息正以成倍的速度增長，據(jù)統(tǒng)計，目前結(jié)構(gòu)化信息占信息資源總量20%，而包括文本、文檔、電子郵件、網(wǎng)頁、圖像、圖形、音頻、視頻等多媒體信息，非結(jié)構(gòu)化信息占據(jù)總量80%[1]，根據(jù)行業(yè)估計結(jié)果，超過85%的商業(yè)信息來源以非結(jié)構(gòu)化形式表現(xiàn)，雖然許多企業(yè)都擁有數(shù)據(jù)庫管理系統(tǒng)，但只有不到5%的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行了數(shù)字化管理[2]。"搜索和數(shù)據(jù)庫發(fā)展到了今天，人們早已達(dá)成一種共識，未來的信息將更多的由非結(jié)構(gòu)化信息構(gòu)成，非結(jié)構(gòu)化信息的處理存在著更多的成長空間，非結(jié)構(gòu)化信息技術(shù)促成的產(chǎn)業(yè)規(guī)模也將比數(shù)據(jù)庫的產(chǎn)業(yè)規(guī)模更為龐大[3]"。如何整合、訪問、分析、挖掘和利用這些海量信息資源，成為各行各業(yè)（包括航空航天、經(jīng)濟(jì)金融、電信、工業(yè)控制、圖書檔案、科學(xué)研究、工程設(shè)計、因特網(wǎng)等）增強(qiáng)組織機(jī)構(gòu)業(yè)務(wù)核心能力的一個關(guān)鍵。（二）課題介紹1、資源匯聚服務(wù)介紹隨著網(wǎng)絡(luò)信息與服務(wù)應(yīng)用趨于海量，互聯(lián)網(wǎng)上廣泛的信息共享和信息應(yīng)用逐漸受到數(shù)據(jù)海量、分布異構(gòu)、處理復(fù)雜、使用繁瑣等問題的制約。針對這些問題迫切需要新的解決方案和核心技術(shù)來管理整合以及處理海量分布的各種應(yīng)用信息，從而建立協(xié)同的工作環(huán)境實(shí)現(xiàn)更廣泛的服務(wù)種類之間的聚合。滿足日益增長的用戶體驗需求。聚合[4-5](mashup)是在復(fù)雜異構(gòu)的網(wǎng)絡(luò)環(huán)境下整合內(nèi)容和服務(wù)的有效方式。通過把松散的互聯(lián)網(wǎng)資源和服務(wù)集成起來提供創(chuàng)新的增值的應(yīng)用服務(wù)，國內(nèi)外已有很多對聚合技術(shù)的研究。聚合服務(wù)定義，是指利用運(yùn)營商的技術(shù)和平臺，聚集多領(lǐng)域的資源和能力，整合各種信息、內(nèi)容和應(yīng)用，將不同主題提供的業(yè)務(wù)與服務(wù)有機(jī)的結(jié)合在一起，“一站式”地提供給客戶，從而滿足客戶泛在化和一體化的需求，并為客戶創(chuàng)造額外價值的一種服務(wù)。2、視頻播放服務(wù)質(zhì)量（QOS）介紹視頻質(zhì)量有三個要素：感覺和聽覺、網(wǎng)絡(luò)傳輸完整性、用戶訪問所需內(nèi)容方便性。下圖顯示了主要網(wǎng)絡(luò)行為和相關(guān)性能指標(biāo)。A）QoE體驗質(zhì)量用戶感觀體驗；數(shù)學(xué)模型(如MOS)可以給予視頻分析預(yù)測感觀質(zhì)量；其他重要QoE因素包含圖像凍結(jié)和黑屏B）QoS服務(wù)質(zhì)量體現(xiàn)網(wǎng)絡(luò)傳輸性能；規(guī)范ETSITR101290提供了對MPEG丟失和服務(wù)類型參數(shù)的詳細(xì)描述；其他指標(biāo)同樣可以表示包延時和抖動C）會話控制分析用戶視頻趨勢和網(wǎng)絡(luò)響應(yīng)；視頻流協(xié)議分析可以診斷網(wǎng)絡(luò)性能；同時，該分析可以進(jìn)行商業(yè)智能，掌握視頻點(diǎn)播趨勢。（三）資源匯聚服務(wù)研究內(nèi)容1、P2P資源的搜索對等網(wǎng)絡(luò)（Peer-to-Peer，簡稱P2P）是一種網(wǎng)絡(luò)模型，在這種網(wǎng)絡(luò)中所有的節(jié)點(diǎn)都是對等點(diǎn)，各個節(jié)點(diǎn)具有相同的責(zé)任與能力并協(xié)同完成任務(wù)。P2P網(wǎng)絡(luò)中用戶在個人計算機(jī)之間直接進(jìn)行資源和服務(wù)的共享，而不是像傳統(tǒng)的客戶端/服務(wù)器（C/S）結(jié)構(gòu)那樣需要經(jīng)過服務(wù)器的介入和服務(wù)。在P2P網(wǎng)絡(luò)中，每臺個人計算機(jī)同時充當(dāng)服務(wù)器和客戶端的角色，當(dāng)需要其他計算機(jī)的文件或者服務(wù)時，兩臺計算機(jī)直接建立聯(lián)系，本機(jī)是客戶端。而當(dāng)響應(yīng)其他計算機(jī)的資源要求時，本機(jī)又成為提供資源與服務(wù)的服務(wù)器。通常這些資源和服務(wù)包括：文件的共享與交換。目前常用的P2P網(wǎng)絡(luò)的分類方法根據(jù)其拓?fù)浣Y(jié)構(gòu)分為結(jié)構(gòu)化P2P網(wǎng)絡(luò)、松散結(jié)構(gòu)化P2P和非結(jié)構(gòu)化P2P網(wǎng)絡(luò)。結(jié)構(gòu)化P2P網(wǎng)絡(luò)是指網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)固定，典型代表是Napster，這類網(wǎng)絡(luò)提供了文件邏輯地址和文件存儲地址之間的映射關(guān)系，從而保證有效路由，并保證最終找到目標(biāo)節(jié)點(diǎn)，而非結(jié)構(gòu)化P2P網(wǎng)絡(luò)中，節(jié)點(diǎn)之間是任意連接的，資源的放置無任何規(guī)律。與結(jié)構(gòu)化P2P網(wǎng)絡(luò)搜索相比，非結(jié)構(gòu)化P2P網(wǎng)絡(luò)搜索效率較低，資源確定性比較差，這也使得非結(jié)構(gòu)化P2P網(wǎng)絡(luò)的搜索算法一直是人們研究的重點(diǎn)。本地資源存儲存儲的視頻信息，要求以視頻流的形式通過網(wǎng)絡(luò)接口發(fā)送給客戶端，響應(yīng)客戶的交互請求，并保證視頻流的連續(xù)輸出。然而視頻信息具有實(shí)時性要求，其一、必須以恒定的速率播放，否則會引起畫面的抖動;其二、在視頻流中包含的多種信號必須保持同步，如畫面的配音必須與口型一致等。視頻數(shù)據(jù)的存取方式，將直接影響視頻服務(wù)器提供的交互服務(wù)，如快進(jìn)和快倒等功能的實(shí)現(xiàn)。此外，視頻具有數(shù)據(jù)量大的特點(diǎn)，一般的文件系統(tǒng)在處理實(shí)時多媒體文件時，已無法滿足視頻信息的高容量、高讀寫速率的需求[6]。視頻行業(yè)對存儲系統(tǒng)的性能有明確的指標(biāo)要求，除了磁盤讀寫速度、空間利用率等量化指標(biāo)外，還要求提供高效的索引機(jī)制，支持對視頻數(shù)據(jù)的快速檢索和播放控制。具體地講，視頻存儲的功能和性能需求包括以下幾方面[7-8]:(l)可靠的視頻索引和存儲CDN數(shù)字視頻系統(tǒng)通常包含多個相互獨(dú)立的分發(fā)點(diǎn)，分布在各分發(fā)點(diǎn)處的設(shè)備包含采集數(shù)據(jù)，由視頻服務(wù)器對圖像數(shù)據(jù)進(jìn)行壓縮編碼存儲在大容量存儲設(shè)備中，并通過IP網(wǎng)絡(luò)傳輸?shù)奖O(jiān)控中心或遠(yuǎn)程終端，通過網(wǎng)絡(luò)實(shí)時觀看、實(shí)時操控。由于存在多個視頻源，存儲設(shè)備必須具有實(shí)時接收和存儲多路視頻的能力;同時，還當(dāng)具備處理并發(fā)訪問的能力，能夠同時為多個用戶提供視頻檢索、下載和在線瀏覽服務(wù)。高可靠性和高FO速率是視頻對存儲設(shè)備最基本的要求。檢索速度是衡量存儲系統(tǒng)性能的關(guān)鍵指標(biāo)之一。視頻文件在存儲設(shè)備上的高效布局、失效恢復(fù)機(jī)制及磁盤優(yōu)化調(diào)度[9]，能夠增加存儲系統(tǒng)的可靠性和檢索的速度。另一方面，視頻數(shù)據(jù)包含大量的結(jié)構(gòu)信息及語義信息，視頻監(jiān)控的每個通道在不同時間內(nèi)可能設(shè)置不同的錄像參數(shù)，如編碼格式、分辨率、亮度、對比度、色度等;根據(jù)觸發(fā)方式，還會產(chǎn)生定時、手動、報警等不同類型的錄像，錄像參數(shù)的改變往往與特定的操作或事件相聯(lián)系。在視頻數(shù)據(jù)存儲過程中，對這些信息加以注解，將對數(shù)據(jù)檢索提供很大的幫助。(2)分布式視頻服務(wù)CDN數(shù)字視頻系統(tǒng)為分發(fā)點(diǎn)或遠(yuǎn)程終端提供視頻的瀏覽、檢索、回放等功能。帶寬是因特網(wǎng)上的有限資源，使用幀間壓縮產(chǎn)生的視頻編碼形成連續(xù)的位流，網(wǎng)絡(luò)視頻信息是一種多媒體實(shí)時數(shù)據(jù)，在Internet上的傳輸有嚴(yán)格的時間限制，通常要求高帶寬、低延時和低抖動。為實(shí)現(xiàn)靈活的播放控制，如開始、暫停、快在為一個新客戶提供服務(wù)前，多媒體服務(wù)器必須使用準(zhǔn)入控制算法來決定一個新客戶的加入是否與正在服務(wù)的客戶連續(xù)播放請求相沖突。文獻(xiàn)[17]提出基于觀察的準(zhǔn)入控制算法和自適應(yīng)準(zhǔn)入控制算法。彈性丟失JPEG和MPEG算法[18]，利用人類的感覺容忍性和視頻流的空間和時間冗余來近似地重構(gòu)失效存儲在磁盤上的資料。基于校驗的失效恢復(fù)算法[17]，使用視頻流的順序特性來減少RAID數(shù)組的聯(lián)機(jī)恢復(fù)開銷。集成多媒體文件系統(tǒng)[19]的提出旨在支持多種數(shù)據(jù)類型的存儲和檢索，將不同的技術(shù)集成到文件系統(tǒng)是一個挑戰(zhàn)，極大地加大了文件系統(tǒng)的復(fù)雜性。（五）技術(shù)方案

非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)——視頻存儲結(jié)構(gòu)

建立非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)——視頻存儲結(jié)構(gòu)，支持非結(jié)構(gòu)化數(shù)據(jù)的視頻統(tǒng)一建模、信息抽取、查詢處理，實(shí)現(xiàn)體系結(jié)構(gòu)可擴(kuò)展性，實(shí)現(xiàn)多種存儲方式，支持網(wǎng)絡(luò)分布式環(huán)境下海量非結(jié)構(gòu)化數(shù)據(jù)中視頻的處理、支持管理功能。(六)課題計劃1、2012年09月-2012年11月，查閱有關(guān)文獻(xiàn)資料，明確課題的目標(biāo)。確定到底是做資源存儲還是QOS視頻質(zhì)量，還是都寫進(jìn)來。2、2012年12月-2013年02月，參閱所需各種資料，熟悉存儲各種方法，提出新的、高效的可用算法。3、2013年03月-2013年06月，將所提出的新型算法編寫成程序，為未來的測試做下基礎(chǔ)。同時準(zhǔn)備所需要測試的準(zhǔn)備工作，比如服務(wù)器，以及隨機(jī)大量視頻資源用于測試。4、2013年06月-2013年09月，將程序在機(jī)器中測試，總結(jié)經(jīng)驗，對算法的優(yōu)缺點(diǎn)進(jìn)行總結(jié)。5、2013年09月-2013年11月，進(jìn)一步完善所作的工作，完成畢業(yè)論文。參考文獻(xiàn)[1]拓爾思(300229)研究報告/report/20110629/41fad6c1-b410-5664-b974-a3fe8b314390.html[2]王東臨,/co138/co197/article.html?id=67517[3]韋升陽,ECM:在系統(tǒng)中提煉信息./ewk2004/ewkArticles/520/Article35001.html.2006-1-[4]MiahSJ,GammackJ，Amashuparchitectureforwebend-userapplicationdesigns[C]//2ndIEEEInternationalConferenceonDigitalEcosystemsandTechnologies.Phitsanulok,Thailand:IEEEComputerSociety,2008:532-537.[5]BenslimaneD,DustdarS,ShethA.Servicesmashups:thenewgenerationofwebapplication[J].IEEEInternetComputing,2008,12(5):13-15.[6]/zh-tw/非結(jié)構(gòu)化信息[6]蔡明，任綺年，易劍光.視頻監(jiān)控系統(tǒng)中的視頻存儲系統(tǒng)的設(shè)計與實(shí)現(xiàn).江南大學(xué)學(xué)報(自然科學(xué)版),2003,2(2):115-l18,123[7]李立群.嵌入式視頻存儲和檢索系統(tǒng)的設(shè)計與實(shí)現(xiàn).中國人民解放軍信息工程大學(xué)碩士學(xué)位論文,2006[8]劉富強(qiáng).數(shù)字視頻監(jiān)控系統(tǒng)開發(fā)及應(yīng)用.機(jī)械工業(yè)出版社,2003[9]PrashantJ.Shenoy,PawanGoyal,SriramS.Rao,HarriekM.Vin.SymPhony:AnIntegratedMultimediaFileSystem.InProceedingsoftheACM/SPIEMultimediaComputingandNetworking.ACM,NewYork,1998:124-138[10]陸正武.面向流媒體應(yīng)用存儲系統(tǒng)的研究與實(shí)現(xiàn).華中科技大學(xué)碩士學(xué)位論文,2004[11]Anderew5.Tanenbaum著,陳向群,馬洪兵譯.現(xiàn)代操作系統(tǒng).機(jī)械工業(yè)出版社,2005[12]鄧偉.存儲的前世今生—存儲設(shè)備對比及應(yīng)用.中國交通信息產(chǎn)業(yè),2007(7):101-102[13]張雪明.基于嵌入式Linux的網(wǎng)絡(luò)存儲的實(shí)現(xiàn)和研究.北京郵電大學(xué)碩士學(xué)位論文，2005[14]譚志虎.附網(wǎng)存儲一種新的網(wǎng)絡(luò)存儲方案.電子計算機(jī)與外部設(shè)備,1999(l):3,4[15]EricBurgener.StorageAreaNetworks:ThefabricofSANSloomsinyourfuture.IEEEComputer,1998(3):87-89[16]PrashantJ.Shenoy,HarriekM.Vin.EfficientStripingTechniquesforMultimediaFileServers.InProceedingsofNOSSDAV’97,St.Loius,MO,,ExtendedversionavailableasTechniealReportTR96-27，DePt.ofComputerSciences,Univ.ofTexasatAustin.1997.5:25-36[17]PrashantJ.Shenoy,HarrickM.Vin.Cello:ADiskSchedulingFrameworkforNextGenerationOperatingSystems.ACMSIGMETRICSPerformanceEvaluationReview,1998,26(l):44-55[18]HarrickM.Vin,PawanGoyal,AlokGoyal,An