Video Object編碼技術_電子通信論文

1、Video Object編碼技術_電子通信論文    Video Object編碼技術西部廣播電視2001.10發(fā)表2001中南地區(qū)廣播電視技術討論會技術論文二等獎     多媒體信息是未來人類獲取信息最主要的載體，因此它已成為目前世界上技術開發(fā)和研究的熱點。視頻信息作為多媒體信息中最被關注、數(shù)據(jù)量最大的一員，現(xiàn)在也正面臨著一場其意義不亞于從模擬到數(shù)字的技術進步革新：從傳統(tǒng)的矩形DCT變換編碼到根據(jù)視頻內容、劃分對象、分別變換編碼的新的編碼方法。一、傳統(tǒng)的編碼方式    傳統(tǒng)

2、的視頻編碼是以視頻信號的數(shù)字量為編碼對象的，與視頻信息的內容無關，無論是M-JPEG、MPEG-1還是MPEG-2，都是以DCT矩形變換塊為變換編碼單元，對DCT塊內圖像的亮度和色度進行特征取樣，提取像素；采用幀間編碼、運動估測技術，在參考幀幀內DCT編碼的基礎上，對DCT塊內圖像的像素特征進行差值預測編碼?；诰匦蜠CT編碼的視頻編碼在設計思想上只考慮到對信號數(shù)據(jù)進行處理的需要（比如小的比特率以利于傳輸、高的比特率以保證質量），但未考慮視頻信息-圖像內容本身的含義和重要性，以及視頻信息應用者的主觀需求（比如部分內容的提取功能）。另外，這種基?quot;塊"的壓縮算法在低碼率時容易產(chǎn)

3、生"方塊效應"和"抽幀"，大大縮小了視頻信息的應用領域。    小波變換是一種新的變換編碼方法，它與DCT變換相比，考慮到了視頻信號對不同應用環(huán)境的自適應性（不同的清晰度與比特率），可以將基礎圖像層與增強圖像層分離編碼傳輸，用戶可根據(jù)實際情況選擇是否打開增強圖像層。但無論用戶選擇是或否，被傳送的視頻信息卻都是一樣的。二、 基于內容對象的編碼    1、 VO與VOP概念的引入    傳統(tǒng)的視頻編碼方式是將整個視頻信號作為一個內容單體來處

4、理，其本身不可再分割，而這與人類對視覺信息的判別法則，也就是大腦對視神經(jīng)導入的視覺信號的處理方法是完全不同的。這就決定了我們不可能將一個視頻信息完整的從視頻信號中提取出來，比如：將加有臺標和字幕的視頻恢復成無臺標、字幕的視頻。解決問題的惟一途徑就是在編碼時就將不同的視頻信息載體-視頻對象VO（Video Objects）區(qū)分開，獨立編碼傳送，將圖像序列中的每一幀，看成是由不同的VO加上活動的背景所組成。VO可以是人或物，也可以是計算機生成的2D或3D圖形。VO具有音頻屬性，其屬性賦值可能?quot;有"或者是"無"。但音頻的具體內容數(shù)據(jù)是獨立于視頻編碼、傳輸?shù)?。V

5、O概念的引入，更加符合人腦對視覺信息的處理方式，并使視頻信號的處理方式從數(shù)字化進展到智能化。提高了視頻信號的交互性和靈活性，使得更廣泛的視頻應用和更多的內容交互功能成為可能。    現(xiàn)代圖像編碼理論指出，人眼捕獲圖像信息的本質是"輪廓紋理"，即人眼感興趣的是VO的一些表面特性，如形狀、運動、紋理等。VO的表面往往是不規(guī)則的、千變萬化的，但可將其視為一定視角下，n個形狀規(guī)則的、具有一定紋理的剖面的組合的連續(xù)運動，這些剖面的組合稱為視頻對象面VOP(Video Object Profile)。VOP描述了VO在一定視角條件下的表面特性。V

6、OP的編碼主要由兩部分組成：一個是形狀編碼，另一個是紋理和運動信息編碼。VOP紋理編碼和運動的預測、補償在原理上同MPEG-2基本一致，而形狀編碼技術則是首次應用在圖像編碼領域。    2、新的編碼技術    合成VO的獨立編碼 在以前，2D或3D動畫被看作是視頻的一部分，并一概以視頻的方法來處理。實際上，根據(jù)合成VO的合成機理和特性，大部分合成VO都可以用通用的有關圖形文本的多種表達方式來描述。非復雜性合成VO將被視為一種獨立于視頻的數(shù)據(jù)類型來編碼，并定義了其描述框架、通用的數(shù)據(jù)流結構和靈活的接口。而復雜性合成V

7、O和自然VO的編碼方法，將采用以下的編碼方法。    基于矩形窗口的VOP分割 考慮到與現(xiàn)有標準的兼容，目前已得到應用的VO編碼技術，比如MPEG4，仍采用了基于矩形窗口的內容分割法。編碼時，首先利用像素特征統(tǒng)計，將每一個VOP都限定在一個矩形窗口內，稱之為VOP窗口(VOP Window),取窗的原則為：長、寬均為16像素的整數(shù)倍（便于對現(xiàn)有標準的兼容和將來的擴展），同時保證VOP窗口中非VOP的宏塊數(shù)目最少。目前標準中的視頻幀可認為是一個無VOP的特例，在編碼過程中將形狀編碼模塊屏蔽掉就可以了。在一個VOP窗口內，VOP剖面的形狀也是采用8×

8、;8像素的矩形形狀。針對不同的VOP，可以根據(jù)不同的應用場合和運動、變化的特點，采用固定的或可變的VOP幀頻（即VOP刷新頻率）。    矩形窗口分割法并不能體現(xiàn)VOP的具體形狀信息。為了確認采用矩形窗口分割法的VOP的形狀信息，就引入了形狀編碼技術。形狀編碼其實并不是什么新技術，它在計算機圖形學、計算機視覺領域早有應用。而目前的視頻編碼標準中的位圖技術其實就是形狀編碼的簡單特例。位圖采用矩陣的形式來表示二值（0或1）的形狀信息，具有較高的編碼效率和較低的運算復雜度。VOP的形狀信息有兩類：邊緣信息和灰度信息。邊緣信息用0、1來表示VOP的形狀，0表示非

9、VOP區(qū)域，1表示VOP區(qū)域。對于包含一定透明度的VOP區(qū)域，可以用灰度信息（取值0255之間）來表示透明程度，其中0表示完全透明，255表示完全不透明。對于模糊邊緣部分，可將其視為灰度信息從周圍已知VOP區(qū)域的灰度值向0值的過渡區(qū)域，采用內插法確定其形狀信息。    基于小波變換的VOP分割 基于矩形窗口的VOP分割依舊存在"塊效應"問題，而基于小波變換的VOP分割則可以很好的解決這個問題，而且由于這種分割方法的本身就包含了VOP的形狀信息，所以無需另對形狀信息進行判別與編碼。基于小波變換的VOP分割方法是目前最為活躍的視頻編碼課題

10、研究領域，各種算法不斷的被發(fā)表，但基本上可以劃分為兩類方法：    1、利用圖像灰度特征分割：不同的圖像具有不同的灰度分布，利用小波變換，將圖像變換到小波域，產(chǎn)生各層、各子帶圖像。小波變換后，大部分的能量是集中在低頻子帶圖像上，即大面積的平均灰度區(qū)域信息主要在低頻子帶圖像中體現(xiàn)。根據(jù)信息論的原理，確定多個灰度閾值，可以將具有不同灰度的VOP從低頻子帶圖像中分離。同時再利用高頻子帶圖像以及模糊數(shù)學模型，確定每一個VOP的邊緣信息。利用圖像灰度特征分割的小波變換，是沿掃描方向的單方向變換。    2、利用圖像紋理特征分

11、割：紋理是一種局部特征反復出現(xiàn)的結果，它體現(xiàn)了圖像的局部頻域信息。對于一幅數(shù)字圖像，進行多方向的小波變換是可行的，比如對一幀畫面進行垂直方向或對角線方向的小波變換。經(jīng)過多種小波變換后可得到不同方向的各子帶圖像，它們各自蘊涵著不同紋理的局部頻譜信息和紋理走向等信息。對具有相同頻譜特征的圖像局部進行聚類分析，并根據(jù)紋理頻譜和紋理走向確定該聚類的紋理邊緣。根據(jù)信息論原理和運動估測，將運動矢量具有相關性的聚類二次歸類于不同的對象（即VOP），并影射成不同灰度顯示。多級小波變換的結果最多可線性的影射成0255灰度級顯示。進行小波變換的方向越多，各方向的夾角越小，圖像分割也就越準確，但計算量也隨之迅速膨脹

12、。根據(jù)局域紋理中心頻率的變化自適應地選擇小波變換的級數(shù)（幾個方向的變換）和方向，有助于在圖像分割的準確性和計算量之間達到平衡。正如本文前面所述，人眼捕獲圖像信息的本質?quot;輪廓紋理"，故基于多方向小波變換的提取圖像特征、分割紋理圖像的方法符合人眼視覺生理的特點，是紋理圖像分析的重要發(fā)展方向。    無論是哪一種方法，當?shù)玫讲煌琕OP的不同灰度表示之后，通過類似于鍵技術的多通道處理，即可得到多個原始的彩色VOP。目前實驗表明，基于小波變換的圖像分割在邊界上仍有些模糊，但總體效果還是相當滿意的，達到了分割紋理圖像的目的。  

13、;  VOP運動信息編碼和運動補償 人眼在觀看圖像時，會自動跟蹤人所感興趣的VOP。即人看的不是時間軸上的信息，而是VOP的運動軌跡-光流軸上的信息。光流軸是VOP上的一點在活動圖像上的運動軌跡，它在不同的幀中位于不同的空間位置，其意義在于：VOP自身的各種變化都將映射于光流軸上的一點。光流軸信息的獨立編碼將帶來諸多好處：（1）在編碼時，對于剛性VOP，由于它在運動中不會發(fā)生形狀和紋理上的變化，故該VOP只需要完成一次采樣、編碼，而后就只需發(fā)出幾個運動矢量指明它的光流軸即可；對于非剛性VOP，只需在發(fā)生變化時才需要重新采樣、編碼，這就使得不同的VOP采用不同的VOP幀頻成為可能，將編碼的數(shù)據(jù)率最低限度的降低。（2）VOP在運動中的各種變化都將"留跡"于光流軸，當在進行運動補償時，比如不同制式之間的轉換或者慢動作的制作，就可以根據(jù)光流軸映射信息，采用內插法得出時間軸上某一確定點的VOP狀態(tài)，達到無損轉換的目的。（3）在時間軸上，簡單的將一個圖像序列的兩路信號疊加，隨即噪波和圖像的活動部分都得不到增強；若在光流軸上進行信號疊加，活動圖像的降噪問題就得到了簡單解決。