視頻處理及寬帶通信課件

1、數(shù)字媒體基礎(chǔ)清華大學(xué)自動化季向陽清華大學(xué)自動化提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS系統(tǒng)四提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS系統(tǒng)四提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS數(shù)字媒體數(shù)字媒體: 文字、圖形、圖像、聲音、視頻和動畫數(shù)字媒體技術(shù)：表示、記錄、處理、存儲、傳輸、顯示、管理數(shù)字媒體數(shù)字媒體: 文字、圖形、圖像、聲音、視頻和動畫 計算機視覺計算機圖形學(xué)信號處理涉及學(xué)科 計算機視覺計算機圖形學(xué)信號處理涉及學(xué)科6可見光敏感器視覺感知視頻數(shù)據(jù)場景成像過程6可見光視覺視頻數(shù)

2、據(jù)場景成像過程計算機圖形學(xué)是利用計算機研究圖形的表示、生成、處理、顯示的學(xué)科如何在計算機中表示圖形、以及利用計算機進(jìn)行圖形的計算、處理和顯示的相關(guān)原理與算法，構(gòu)成了計算機圖形學(xué)的主要研究內(nèi)容圖形硬件、圖形標(biāo)準(zhǔn)、圖形交互技術(shù)、光柵圖形生成算法、曲線曲面造型、實體造型、真實感圖形計算與顯示算法，以及科學(xué)計算可視化、計算機動畫、自然景物仿真、虛擬現(xiàn)實等計算機圖形學(xué)計算機圖形學(xué)用計算機來模擬人的視覺機理獲取和處理信息計算機視覺的最終研究目標(biāo)就是使計算機能象人那樣通過視覺觀察和理解世界，具有自主適應(yīng)環(huán)境的能力計算機視覺用計算機來模擬人的視覺機理獲取和處理信息計算機視覺圖像的基本屬性 時間分辨率空間分辨率

3、位深度顏色空間圖像的基本屬性 時間分辨率空間分辨率位深度顏色空間兩種常用的圖像表示方法矢量圖: 由數(shù)學(xué)計算得到的線條和曲線組成，根據(jù)圖像的幾何特性描繪圖像 文件小 圖像放大或縮小不影響圖像的分辨率 圖像的分辨率不依賴于輸出設(shè)備位圖：點陣圖像，由像素點組成逼真度高兩種常用的圖像表示方法矢量圖: 由數(shù)學(xué)計算得到的線條和曲線組提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS系統(tǒng)四提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS圖象的彩色模型 光源的種類有源物體（照明光源），無源物體（反射光源）圖像彩色模型的生成相加混色原理和相減混色原理彩色空間的線性變換標(biāo)準(zhǔn) 圖象的彩色模型

4、光源的種類有源物體（照明光源），無源物體圖象的彩色模型-光源的種類有源物體一個能發(fā)出光波的物體稱為有源物體，它的顏色由該物體發(fā)出的光波決定，使用RGB相加混色模型無源物體一個不發(fā)光波的物體稱為無源物體，它的顏色由該物體吸收或者反射哪些光波決定，用CMY青色(Cyan)、品紅(Magenta)和黃色(Yellow) 相減混色模型圖象的彩色模型-光源的種類有源物體無源物體圖像彩色模型的生成相加混色原理一幅彩色圖像可以看成由許許多多的點組成的。圖像中的單個點稱為像素(pixel)，每個像素都有一個值，稱為像素值，它表示特定顏色的強度一個像素值往往用R、G、B三個分量表示。如果每個像素的每個顏色分量用

5、二進(jìn)制的1位來表示，那末每個顏色的分量只有“1”和“0”這兩個值。每種顏色的強度是100%，或者是0%每個像素所顯示的顏色是8種可能出現(xiàn)的顏色之一圖像彩色模型的生成相加混色原理一幅彩色圖像可以看成由許許多圖像彩色模型的生成相減混色原理用彩色墨水或顏料進(jìn)行混合，這樣得到的顏色稱為相減色。任何一種顏色都可以用三種基本顏料按一定比例混合得到這三種顏色是青色C、品紅M和黃色Y，稱為CMY模型用這種方法產(chǎn)生的顏色之所以稱為相減色，乃是因為它減少了為視覺系統(tǒng)識別顏色所需要的反射光圖像彩色模型的生成相減混色原理用彩色墨水或顏料進(jìn)行混合，這圖像彩色模型的生成加減混色示意圖像彩色模型的生成加減混色示意圖像彩色模

6、型的生成相加混色原理 相加混色原理 ：組合紅(Red)、綠(Green)和藍(lán)(Blue)三種波長的光，以產(chǎn)生特定顏色稱為相加混色，稱為RGB相加模型。相加混色是計算機應(yīng)用中定義顏色的基本方法圖像彩色模型的生成相加混色原理 相加混色原理 ：組合圖像彩色模型顏色模型RGB： 彩色最基本模型，適合于計算機系統(tǒng)CMY ： 印刷YUV： PAL制式彩色電視信號YIQ： NTSC制式彩色電視信號（日本/北美）YCbCr：數(shù)字視頻常用的顏色模型品紅黃青圖像彩色模型顏色模型品紅黃青彩色空間的線性變換標(biāo)準(zhǔn) 為了使用人的視角特性以降低數(shù)據(jù)量，通常把RGB空間表示的彩色圖像變換到其他彩色空間。目前采用的彩色空間變換

7、有三種：YIQ, YUV和YCrCb每一種彩色空間都產(chǎn)生一種亮度分量信號和兩種色度分量信號，而每一種變換使用的參數(shù)都是為了適應(yīng)某種類型的顯示設(shè)備其中，YIQ適用于NTSC彩色電視制式，YUV適用于PAL和SECAM彩色電視制式，而YCrCb適用于計算機用的顯示器彩色空間的線性變換標(biāo)準(zhǔn) 為了使用人的視角特性以降低數(shù)據(jù)量，通YUV與YIQ模型 在彩色電視制式中，使用YUV和YIQ模型來表示彩色圖像在PAL彩色電視制式中使用YUV模型，其中的YUV不是那幾個英文單詞的組合詞，而是符號，Y表示亮度，UV用來表示色差，U、V是構(gòu)成彩色的兩個分量在NTSC彩色電視制式中使用YIQ模型，其中的Y表示亮度，I

8、、Q是兩個彩色分量YUV與YIQ模型 在彩色電視制式中，使用YUV和YIQ模型YUV與YIQ模型YUV表示法的重要性是它的亮度信號(Y)和色度信號(U、V)是相互獨立的，也就是Y信號分量構(gòu)成的黑白灰度圖與用U、V信號構(gòu)成的另外兩幅單色圖是相互獨立的由于Y、U、V獨立，所以可以對這些單色圖分別進(jìn)行編碼黑白電視能接收彩色電視信號也就是利用了YUV分量之間的獨立性YUV與YIQ模型YUV表示法的重要性是它的亮度信號(Y)和YUV與YIQ模型YUV表示法的另一個優(yōu)點是可以利用人眼的特性來降低數(shù)字彩色圖像所需要的存儲容量。人眼對彩色細(xì)節(jié)的分辨能力遠(yuǎn)比對亮度細(xì)節(jié)的分辨能力低若把人眼剛能分辨出的黑白相間的條

9、紋換成不同顏色的彩色條紋，那么眼睛就不再能分辨出條紋來把彩色分量的分辨率降低而不明顯影響圖像的質(zhì)量，就可以把幾個相鄰像素不同的彩色值當(dāng)作相同的彩色值來處理，從而減少所需的存儲容量YUV與YIQ模型YUV表示法的另一個優(yōu)點是可以利用人眼的特 YUV與YIQ模型例如，要存儲RGB 888的彩色圖像，即R、G和B分量都用8位二進(jìn)制數(shù)表示，圖像的大小為640480像素，那末所需要的存儲容量為921 600字節(jié)如果用YUV來表示同一幅彩色圖像，Y分量仍然為640480，并且Y分量仍然用8位表示，而對每四個相鄰像素(22)的U、V值分別用相同的一個值表示，那末存儲同樣的一幅圖像所需的存儲空間就減少到460

10、 800字節(jié)是圖像壓縮技術(shù)的一種方法 YUV與YIQ模型例如，要存儲RGB 888的彩色圖像YUV與RGB彩色空間變換 在考慮人的視覺系統(tǒng)和陰極射線管CRT(cathode ray tube)的非線性特性之后，RGB和YUV的對應(yīng)關(guān)系可以近似地用下面的方程式表示： Y = 0.299R + 0.587G + 0.114B U = - 0.147R- 0.289G + 0.436B V = 0.615R - 0.515G - 0.100B 或者寫成矩陣的形式， YUV與RGB彩色空間變換 在考慮人的視覺系統(tǒng)和陰極射線YIQ與RGB彩色空間變換 RGB和YIQ的對應(yīng)關(guān)系用下面的方程式表示： Y =

11、 0.299R + 0.587G + 0.114B I = 0.596R - 0.275G - 0.321B Q = 0.212R - 0.523G + 0.311B或者寫成矩陣的形式， YIQ與RGB彩色空間變換 RGB和YIQ的對應(yīng)關(guān)系用下面的圖像彩色模型的生成相加混色原理CRT是陰極射線管。LED,即發(fā)光二極管，是一種半導(dǎo)體固體發(fā)光器件，LED可以直接發(fā)出紅、黃、藍(lán)、綠、青、橙、紫、白色的光LCD，液晶顯示器，是一種數(shù)字顯示技術(shù)，可以通過液晶和彩色過濾器過濾光源，在平面面板上產(chǎn)生圖象。PDP是Plasma Display Panel等離子顯示器圖像彩色模型的生成相加混色原理CRT是陰極射

12、線管。提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS系統(tǒng)四提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS視頻信號的頻域特性空間頻率fs （二維為例）圖像平面上圖像亮度或色度變化快慢的一個度量兩正交方向構(gòu)成二維空間向量水平方向fx垂直方向fy頻率合成視頻信號的頻域特性空間頻率fs （二維為例）圖像平面上圖像亮空間頻率示例二維正弦信號，單位面積左下右上左上空間頻率示例二維正弦信號，單位面積空間頻率為： 等效為沿方向的頻率空間頻率示例空間頻率為： 等效為沿方向的頻率空間頻率示例由于人類視網(wǎng)膜的結(jié)構(gòu)特點，人眼所能感知的信號變化速度隨著觀察距離的增加而增加更符合人類視覺系統(tǒng)的

13、空間頻率測量是根據(jù)每度觀測角的周期數(shù)(CPD)測量空間頻率：角頻率角頻率由于人類視網(wǎng)膜的結(jié)構(gòu)特點，人眼所能感知的信號變化速度隨著觀察由空間頻率和觀測距離確定角頻率由空間頻率和觀測距離確定角頻率時間頻率（每秒周期數(shù)）依賴于二維空間位置；對某一個固定的二維空間位置（x,y），它的時間頻率被定義為每秒變化的周期數(shù)（單位：Hz)依賴于圖像場景的變化速度由攝像機或物體的運動造成，或由二者共同造成視頻信號的頻域特性時間頻率（每秒周期數(shù)）視頻信號的頻域特性由線性運動產(chǎn)生的時間頻率設(shè)零時刻成像圖形則t時刻成像圖形視頻信號的頻域特性由線性運動產(chǎn)生的時間頻率設(shè)零時刻成像圖形則t時刻成像圖形視頻由線性運動產(chǎn)生的時間

14、頻率作連續(xù)空間傅立葉變換由線性運動產(chǎn)生的時間頻率作連續(xù)空間傅立葉變換運動速度、空間頻率和時間頻率構(gòu)成如下關(guān)系式：運動對象時間頻率不僅取決于對象的運動速度，還取決于對象的空間頻率由線性運動產(chǎn)生的時間頻率運動速度、空間頻率和時間頻率構(gòu)成如下關(guān)系式：運動對象時間頻率圖 示圖 示重要結(jié)論當(dāng)fx=fy=0時，不論 vx,vy何值，都有ft=0, 表明在對象具有完全無變化的圖案，如整個平面就一種顏色時，則無論對象沿時間平面運動有多快，人眼都觀察不到在時間上的改變?nèi)绻\動方向(vx,vy)與空間頻率方向(fx, fy)是互相垂直的，則時間頻率ft=0。沿著空間頻率方向ft變化速度最快。沿著空間頻率方向(fx

15、,fy)的垂直方向則無空間變化。表明一個對象在其圖案不變化的方向上運動不產(chǎn)生任何時間頻率上的改變。時間頻率最大的是當(dāng)對象在空間頻率改變最大的方向上運動時重要結(jié)論當(dāng)fx=fy=0時，不論 vx,vy何值，都有ft=提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS系統(tǒng)四提 綱視頻處理基礎(chǔ)概念一顏色空間二視頻信號的頻域特性三HVS人類視覺系統(tǒng)任何視頻系統(tǒng)從根本上說是給人看的。因此，理解人類視覺系統(tǒng)（ Human Visual System，簡稱HVS）如何感知視頻信號是極其重要的HVS對視覺信號的敏感度依賴于信號的時間頻率和空間頻率視覺頻率響應(yīng)的知識在設(shè)計視頻系統(tǒng)中是非常重要的。例如，時

16、間和空間截止頻率是確定視頻攝取和顯示系統(tǒng)的幀率和行率的基礎(chǔ)。深刻地理解HVS，也有利于利用視覺冗余壓縮視頻信息圖像亮度的時間和空間變化的感覺人類視覺系統(tǒng)任何視頻系統(tǒng)從根本上說是給人看的。因此，理解人類人類視覺系統(tǒng)基本概念和特性對比靈敏度，視覺惰性，馬赫帶效應(yīng)，隱藏時間頻率響應(yīng)空間頻率響應(yīng)時空頻率響應(yīng)人眼平滑跟蹤人類視覺系統(tǒng)基本概念和特性對比靈敏度（Contrast Sensitivity)韋伯法則(Webers law)：人類視覺系統(tǒng)處理圖像過程中，亮度相對周圍環(huán)境的變化量比起絕對亮度更能引起感官知覺的反應(yīng)對比靈敏度（Contrast Sensitivity)韋伯法對比靈敏度數(shù)學(xué)上定義韋伯比L

17、表示在背景亮度L下，人眼主觀上剛剛可辨別亮度差別所需的最小光強，也稱為亮度的辨別閾值（visibility threshold）韋伯法則只是實際感官知覺的近似規(guī)律，但基于它的對比度度量方法韋伯比被廣泛應(yīng)用于視覺科學(xué)領(lǐng)域?qū)Ρ褥`敏度數(shù)學(xué)上定義韋伯比L表示在背景亮度L下，人眼主觀上對比靈敏度對比靈敏度的定義：辨別閾值的倒數(shù)對比靈敏度取值依賴于刺激物顏色、空間頻率、時間頻率、物體運動等等因素對比靈敏度函數(shù)(Contrast sensitivity function，簡稱CSF)：研究HVS的主要手段對比靈敏度對比靈敏度的定義：辨別閾值的倒數(shù)視覺惰性（Visual Persistence）實驗表明，亮度

18、感覺不會隨著光刺激的消失而消失，而是以接近指數(shù)的規(guī)律減少，這種現(xiàn)象稱為視覺惰性，或稱為視覺暫留，是現(xiàn)代電影、電視的理論基礎(chǔ)視覺暫留是由人類視覺系統(tǒng)的時間相加機制引起的，它對進(jìn)入人眼的光進(jìn)行積分。根據(jù)布勞赫法則（Blochs law），積分或維持時間與光的強度成反比。光源越亮，積分時間越短。當(dāng)顯示較亮?xí)r，它給予人眼以較高的時間靈敏度視覺惰性是研究HVS時間頻率響應(yīng)得到的衍生結(jié)果視覺惰性（Visual Persistence）實驗表明，亮視覺惰性數(shù)數(shù)有多少黑點視覺惰性數(shù)數(shù)有多少黑點視覺惰性試著將頭前后移動觀察此圖視覺惰性試著將頭前后移動觀察此圖馬赫帶效應(yīng)（Mach band effect)指當(dāng)亮度

19、發(fā)生躍變時，會有一種邊緣增強的感覺，視覺上會感到邊緣的亮側(cè)更亮，暗側(cè)更暗右側(cè)：均勻灰度級下的馬赫帶，仔細(xì)觀察相鄰灰度級邊緣，會察覺邊緣存在對比度增強的效果，能很清楚地看到交線馬赫帶效應(yīng)（Mach band effect)指當(dāng)亮度發(fā)生躍馬赫帶效應(yīng)由視覺系統(tǒng)中神經(jīng)細(xì)胞的側(cè)抑制現(xiàn)象造成的。所謂側(cè)抑制，是指一個神經(jīng)元興奮后，它的分支會對周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制，這種抑制使神經(jīng)細(xì)胞之間呈現(xiàn)競爭，一個興奮最強的神經(jīng)細(xì)胞對周圍神經(jīng)細(xì)胞抑制也強，雖然一開始各個細(xì)胞都處于興奮狀態(tài)，但最后那個輸出最大的神經(jīng)細(xì)胞獲勝馬赫帶效應(yīng)由視覺系統(tǒng)中神經(jīng)細(xì)胞的側(cè)抑制現(xiàn)象造成的。所謂側(cè)抑制馬赫帶效應(yīng)馬赫效應(yīng)會導(dǎo)致所謂的局部閾值效

20、應(yīng)，即在邊緣的亮側(cè)，臨近邊緣的象素的誤差感知閾值比離邊緣遠(yuǎn)的象素的閾值要高34倍。同樣在邊緣暗側(cè)，這個關(guān)系也成立。即邊緣可以“掩蓋”臨近象素點的誤差 掩蓋是非常局部的（典型的視角僅為5） 與眼球的無意識運動有關(guān) 眼球穩(wěn)定時，邊緣掩蓋效應(yīng)會大大減小 馬赫帶效應(yīng)馬赫效應(yīng)會導(dǎo)致所謂的局部閾值效應(yīng)，即在邊緣的亮側(cè)，上兩組量化成8bit下兩組量化成4bit顯然左面的兩圖差別比較明顯馬赫帶效應(yīng)上兩組量化成8bit馬赫帶效應(yīng)隱藏（Masking） 原本可視的目標(biāo)信號由于其他信號的存在而變得不可視或不易察覺了；反之亦然，原本不易察覺的目標(biāo)信號由于其他信號的存在而變成可以察覺到的 前面的馬赫帶效應(yīng)可以認(rèn)為是一種

21、空間隱藏主要分類空間隱藏、時間隱藏對比度隱藏、噪聲隱藏、熵隱藏隱藏（Masking） 原本可視的目標(biāo)信號由于其他信號的存在空間隱藏示例左圖疊加中圖構(gòu)成右圖空間隱藏示例左圖疊加中圖構(gòu)成右圖HVS的時間頻率響應(yīng)對隨時間以不同頻率變化的圖形的視覺靈敏度。研究表明，觀察者的時間響應(yīng)取決于眾多因素，其中至少包括觀察距離、顯示亮度和背景亮度HVS的時間頻率響應(yīng)對隨時間以不同頻率變化的圖形的視覺靈敏度關(guān)于時間頻率響應(yīng)的實驗平面顯示屏幕的亮度以如下形式成正弦變化： 其中B為背景亮度，實際也是平均亮度；f為顯示頻率；m是調(diào)制系數(shù)。實驗中，要求觀測者確定屏幕的閃爍現(xiàn)象恰好無法察覺時的最低調(diào)制系數(shù) mmin 從前面

22、給出的韋伯比定義，可知此時mmin的倒數(shù)恰好表示觀察者對于給定頻率 的對比靈敏度。此時，對比靈敏度函數(shù)也可稱為調(diào)制傳遞函數(shù)（Modulated Transform Function, MTF） 關(guān)于時間頻率響應(yīng)的實驗平面顯示屏幕的亮度以如下形式成正弦變化HVS的時間頻率響應(yīng)不同曲線代表在不同的亮度水平B（單位：籌闌，Troland）下得到的HVS的時間頻率響應(yīng)HVS的時間頻率響應(yīng)不同曲線代表在不同的亮度水平B（單位：籌HVS有以下幾條規(guī)律該時間響應(yīng)大體上類似于帶通濾波器的響應(yīng)，在某個中間頻率點達(dá)到對比靈敏度最大值，然后迅速下降，直到約4.5倍于峰值頻率的頻率截止處當(dāng)背景亮度很低時，該時間響應(yīng)又

23、類似低通濾波響應(yīng)的峰值隨背景亮度的增加而增加例如：當(dāng)背景亮度在7.1籌闌時，峰值響應(yīng)出現(xiàn)在大約89HZ處，而截止頻率大約在4045HZHVS有以下幾條規(guī)律該時間響應(yīng)大體上類似于帶通濾波器的響應(yīng)，HVS的時間頻率響應(yīng)臨界閃爍頻率：眼睛感覺不到閃爍的最低幀速率；方便于視頻系統(tǒng)設(shè)計時決定幀速度(幀間隔與視覺暫留周期，幀率臨界閃爍頻率)臨界閃爍頻率取決于顯示器的平均亮度電影的平均亮度低，CRT顯示器的亮度高；電影可用比電視更低的幀速率 電影：24 frame/s 電視：50 field/s(PAL & SECAM) 60 field/s(NTSC) 電腦顯示器：72 fpsHVS的時間頻率響應(yīng)臨界閃爍

24、頻率：眼睛感覺不到閃爍的最低幀速HVS的空間頻率響應(yīng)對于具有不同空間頻率的靜態(tài)空間圖形的視覺靈敏度通常取水平或垂直方向；水平或垂直方向上的視覺靈敏度比其他方向要高角頻率的函數(shù)實驗證明：HVS的空間頻率響應(yīng)與帶通濾波器的類似，峰值大約在25cpd處，減少大約在30cpd處HVS的空間頻率響應(yīng)對于具有不同空間頻率的靜態(tài)空間圖形的視覺HVS的空間頻率響應(yīng)該圖是一個顯示不同空間頻率下對比度變化的例子，水平方向上從左到右空間頻率按指數(shù)規(guī)律依次增大，垂直方向上對比敏感度從上到下按指數(shù)規(guī)律依次增大，仔細(xì)觀察此圖，可以發(fā)現(xiàn)人眼大致對右圖所示區(qū)域內(nèi)的對比靈敏度敏感的主觀事實HVS的空間頻率響應(yīng)該圖是一個顯示不同

25、空間頻率下對比度變化的不同背景亮度下空間頻率響應(yīng)的對比顯然在平均亮度較低的時候人眼所能察覺的空間頻率范圍較小，這也是看電影比看電視要舒服原因之一HVS的空間頻率響應(yīng)不同背景亮度下空間頻率響應(yīng)的對比HVS的空間頻率響應(yīng)色差信號YR、 YB和亮度Y的對比靈敏度曲線顯然，色差信號截止頻率和峰值頻率都比亮度信號的要小得多，利用這一點可對色差信號采用比亮度信號少的比特數(shù)壓縮圖像（如采用YUV4：2：0等）HVS的空間頻率響應(yīng)色差信號YR、 YB和亮度Y的對比靈敏度曲線HVS的空間掃視眼運動當(dāng)觀看景物時，眼睛經(jīng)常從一個位置跳到另一個位置，我們稱之為掃視眼運動研究發(fā)現(xiàn)，掃視眼運動有增強對比靈敏度的作用，但是會降低峰值響應(yīng)出現(xiàn)的頻率掃視眼運動當(dāng)觀看景物時，眼睛經(jīng)常從一個位置跳到另一個位置，我掃視眼運動HVS的空間頻率響應(yīng)實心圓（正常條件下）空心方塊（佩帶具有最佳增益的穩(wěn)定器條件下）空心圓（增益大約變化5的條件下）眼運動正常比沒有眼運動（即佩帶著穩(wěn)定器）的觀察者視覺靈敏度要大約高10倍掃視眼運動HVS的空間頻率響應(yīng)HVS的時空頻率響應(yīng)(a) 對于不同的時間