視頻編碼技術(shù)課件

第3章視頻編碼技術(shù)1.視頻信號的數(shù)字化2.視頻文件格式3.視頻壓縮編碼原理4.視頻壓縮標(biāo)準(zhǔn)1ppt課件第3章視頻編碼技術(shù)1.視頻信號的數(shù)字化1ppt課件學(xué)習(xí)目標(biāo)掌握視頻數(shù)字化方法了解視頻文件格式掌握視頻壓縮編碼原理（預(yù)測編碼、變換編碼、統(tǒng)計編碼原理）理解視頻壓縮標(biāo)準(zhǔn)（MPEG標(biāo)準(zhǔn)）2ppt課件學(xué)習(xí)目標(biāo)掌握視頻數(shù)字化方法2ppt課件3.1視頻信號的數(shù)字化

所謂視頻（videofrequency

），連續(xù)的圖像變化每秒超過24幀（frame）畫面以上時，根據(jù)視覺暫留原理，人眼無法辨別單幅的靜態(tài)畫面，看上去是平滑連續(xù)的視覺效果，這樣連續(xù)的畫面叫做視頻。即視頻是由一系列單獨(dú)的靜止圖像組成，其單位用幀或格來表示；

人眼在觀察景物時，光信號傳入大腦神經(jīng)，需經(jīng)過一段短暫的時間，光的作用結(jié)束后，視覺形象并不立即消失，而能繼續(xù)保留其影像0.1-0.4秒左右，這種現(xiàn)象被稱為視覺暫留現(xiàn)象。1.視頻相關(guān)的基本概念3ppt課件3.1視頻信號的數(shù)字化所謂視頻（vide幀：一幀是掃描獲得的一幅完整圖像的信號，是視頻圖像的最小單位；“幀”在動畫創(chuàng)作當(dāng)中又稱“格”。幀率：就是每秒鐘掃描多少幀。對于PAL制式電視系統(tǒng)，幀率為25幀；而NTSC制式電視系統(tǒng)，幀率為30幀。場：視頻的一個掃描過程。有逐行掃描和隔行掃描，對于逐行掃描，一幀即是一個垂直掃描場；對于隔行掃描，一幀由兩場構(gòu)成：奇數(shù)場和偶數(shù)場，是用兩個隔行掃描場表示一幀。1.視頻相關(guān)的基本概念4ppt課件幀：一幀是掃描獲得的一幅完整圖像的信號，是視1.視頻相關(guān)的基（1）逐行掃描圖逐行掃描方式實線為行掃描的正程，左→右；虛線逆程，右→左。1.視頻相關(guān)的基本概念5ppt課件（1）逐行掃描圖逐行掃描方式實線為行掃描的正程，左→右；1（2）隔行掃描圖隔行掃描方式1.視頻相關(guān)的基本概念6ppt課件（2）隔行掃描圖隔行掃描方式1.視頻相關(guān)的基本概念6pp

視頻信號有模擬視頻信號與數(shù)字視頻信號之分。模擬視頻即指由連續(xù)的模擬信號組成視頻圖像，它的存儲介質(zhì)是磁帶或錄像帶；在編輯或轉(zhuǎn)錄過程中畫面質(zhì)量會降低。數(shù)字視頻是把模擬信號變?yōu)閿?shù)字信號，它描繪的是圖像中的單個像素，可以直接存儲在電腦硬盤中，因此在編輯過程中可以最大限度地保證畫面質(zhì)量幾乎沒有損失。1.視頻相關(guān)的基本概念7ppt課件視頻信號有模擬視頻信號與數(shù)字視頻信號之分。1.視頻相關(guān)的基

但數(shù)字視頻的數(shù)據(jù)量是非常驚人的，按照ITU-R601標(biāo)準(zhǔn)4∶2∶2格式的PAL制數(shù)字化視頻信號，每幀數(shù)據(jù)量為720×576×8×2≈6.64Mbit，每秒數(shù)據(jù)量為6.64×25≈165Mbit。ITU-R601——數(shù)字演播室標(biāo)準(zhǔn)4:2:2格式中色差信號的取樣為亮度信號的一半。600Mbit的存儲空間只能存儲90幀的視頻圖像信號，或者說可以存儲大約3.6s的數(shù)字電視節(jié)目。如果存儲更高分辨率的高清數(shù)字電視信號，那存儲時間就更短了，大約只有幾秒鐘。因此對視頻的處理、傳輸、存儲和顯示提出了更高的要求。1.視頻相關(guān)的基本概念8ppt課件但數(shù)字視頻的數(shù)據(jù)量是非常驚人的，按照I

視頻信息和信號特點：(1)直觀性：給人印象更深刻、生動、具體。(2)確定性：“百聞不如一見”。(3)高效性：人眼是一個高度復(fù)雜的并行信息處理系統(tǒng)，能并行快速地觀察一幅圖像的細(xì)節(jié)，因此它獲取視頻信息的效率要比語音信息高得多。(4)廣泛性：人類接受的信息，80%來自視覺。1.視頻相關(guān)的基本概念9ppt課件視頻信息和信號特點：(1)直觀性：給人印象更深刻、生動、數(shù)字視頻的獲取方法：2.視頻的采集及數(shù)字化從現(xiàn)成的數(shù)字視頻庫中截取。利用計算機(jī)軟件制作視頻。利用計算機(jī)生成的動畫，如把flc或gif動畫格式轉(zhuǎn)換成avi等視頻格式。把靜態(tài)圖像或圖形文件序列組合成視頻文件序列。通過視頻采集設(shè)備獲取數(shù)字視頻。通過視頻采集卡把模擬視頻轉(zhuǎn)換成數(shù)字視頻，并按數(shù)字視頻文件的格式保存下來。10ppt課件數(shù)字視頻的獲取方法：2.視頻的采集及數(shù)字化從現(xiàn)成的數(shù)字視頻庫數(shù)字視頻的采集系統(tǒng)視頻源設(shè)備：錄像機(jī)、電視機(jī)、影碟機(jī)等；視頻采集卡：對模擬視頻信號進(jìn)行采樣、量化和編碼的設(shè)備；高性能計算機(jī)：接收和記錄編碼后的數(shù)字視頻數(shù)據(jù)。大容量存儲設(shè)備：存儲經(jīng)過編輯修改的數(shù)字視頻文件。2.視頻的采集及數(shù)字化11ppt課件數(shù)字視頻的采集系統(tǒng)視頻源設(shè)備：錄像機(jī)、電視機(jī)、影碟機(jī)等；2.視頻采集卡的接口復(fù)合端口色差分量接口S-Video信號端子IEEE1394接口2.視頻的采集及數(shù)字化12ppt課件視頻采集卡的接口復(fù)合端口2.視頻的采集及數(shù)字化12ppt課件視頻采集卡的接口復(fù)合端口

也稱AV接口，通常都是成對的白色音頻接口和黃色的視頻接口，常用接頭有BNC接頭和蓮花(RCA)接頭。傳輸?shù)氖橇炼?色度(Y/C)混合在一起的視頻信號。易導(dǎo)致亮、色串?dāng)_、清晰度降低等問題，是最差的視頻信號。2.視頻的采集及數(shù)字化13ppt課件視頻采集卡的接口復(fù)合端口也稱AV接口，通常都

分量視頻信號(ComponentVideoSignal)是指每個基色分量作為獨(dú)立的視頻信號。一般用亮度-色差表示，如Y和Cr、Cb，Y和I、Q，Y和U、V。使用分量視頻信號是表示顏色的最好方法。

分量信號接入口視頻采集卡的接口色差分量接口2.視頻的采集及數(shù)字化14ppt課件分量視頻信號(ComponentVideoSig視頻采集卡的接口S-Video信號端子

S-Video四芯插頭（座）

地(亮度)地(色度)亮度(含同步信號)色度S端子信號，它同時傳送兩路信號：亮度信號Y和色度信號C。由于將亮度和色度分離，色度對亮度的串?dāng)_現(xiàn)象也消失。其圖象質(zhì)量優(yōu)于復(fù)合視頻信號，但低于分量視頻信號。

S端子用四芯插頭，一些計算機(jī)顯卡或非線性編輯卡也有用七芯插頭，其外形與S端子一樣，只是又包含了復(fù)合視頻信號。2.視頻的采集及數(shù)字化15ppt課件視頻采集卡的接口S-Video信號端子S-Vi視頻采集卡的接口2.視頻的采集及數(shù)字化蓮花接頭16ppt課件視頻采集卡的接口2.視頻的采集及數(shù)字化蓮花接頭16ppt課件視頻采集卡的接口IEEE1394接口IEEE1394是一種外部串行總線標(biāo)準(zhǔn)，800Mbps的高速。1394接口具有把一個輸入信息源傳來的數(shù)據(jù)向多個輸出機(jī)器廣播的功能，特別適用于家庭視聽的連接。由于該接口具有等時間的傳送功能，確保視聽AV設(shè)備重播聲音和圖像數(shù)據(jù)質(zhì)量，具有好的重播效果。2.視頻的采集及數(shù)字化17ppt課件視頻采集卡的接口IEEE1394接口IEEE1視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化

數(shù)字化方法（1）先從復(fù)合彩色圖像中分離出彩色分量，然后數(shù)字化。（2）首先用一個高速A/D轉(zhuǎn)換器對彩色全信號進(jìn)行數(shù)字化,然后在數(shù)字域中進(jìn)行分離，以獲得所希望的YCbCr，YUV，YIQ或RGB分量數(shù)據(jù)。18ppt課件視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化數(shù)字化方法18ppt

數(shù)字化標(biāo)準(zhǔn)——ITU-RBT.601標(biāo)準(zhǔn)彩色電視圖像數(shù)字化標(biāo)準(zhǔn)，稱為CCIR601標(biāo)準(zhǔn)，現(xiàn)改為ITU-RBT.601標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)規(guī)定了彩色電視圖像轉(zhuǎn)換成數(shù)字圖像時使用的采樣頻率，彩色空間之間的轉(zhuǎn)換關(guān)系等。視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化（1）色彩空間轉(zhuǎn)換19ppt課件數(shù)字化標(biāo)準(zhǔn)——ITU-RBT.601標(biāo)準(zhǔn)視頻圖像的數(shù)字化視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化

（2）采樣頻率亮度信號采樣頻率fs=13.5MHZ；色度信號采樣頻率fc＝6.75MHZ或13.5MHZ；每個掃描行的有效樣本數(shù)均為720；

如圖2.15(數(shù)字視頻技術(shù)及應(yīng)用P23)

數(shù)字信號取值范圍：亮度信號220級，色度信號225級。

①對PAL制、SECAM制，采樣頻率fs為：

fs=625(行數(shù)/幀)×25(幀數(shù)/秒)×N=15625×N=13.5MHz,N=864

其中，N為每一掃描行上的采樣數(shù)目。

②對NTSC制，采樣頻率fs為：

fs=525×29.97×N=15734×N=13.5MHz,N=858

其中，N為每一掃描行上的采樣數(shù)目。20ppt課件視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化（2）采樣頻率20p視頻圖像的數(shù)字化

（3）亮度和色度信號的采樣

Y:Cb:Cr＝4:1:1

這種方式是在每4個連續(xù)的采樣點上，取4個亮度Y的樣本值，而色差Cb、Cr分別取其第一點的樣本值，共6個樣本。

Y:Cb:Cr

＝4:2:2

這種方式是在每4個連續(xù)的采樣點上，取4個亮度Y的樣本值，而色差Cb、Cr分別取其第一點和第三點的樣本值，共8個樣本。這種方式能給信號的轉(zhuǎn)換留有一定余量，效果更好一些。這是通常所用的方式。2.視頻的采集及數(shù)字化Y:Cb:Cr

＝4:4:4

在這種方式中，對每個采樣點，亮度Y、色差Cb、Cr各取一個樣本。這種方式對于原本就具有較高質(zhì)量的信號源，可以保證其色彩質(zhì)量，但信息量大。21ppt課件視頻圖像的數(shù)字化（3）亮度和色度信號的采樣2.視頻的采集及Y:U:V＝4:2:0

分兩種情況：

MPEG-1/H.261/H.263等標(biāo)準(zhǔn)使用的：水平方向的2個Y樣本和垂直方向上的2個Y樣本共用1個Cb樣本和1個Cr樣本。

MPEG-2標(biāo)準(zhǔn)使用的：

MPEG-2相對于MPEG-1的Cr，Cb子采樣在水平方向有半個像素的偏移。22ppt課件Y:U:V＝4:2:022ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)23ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)23ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)（續(xù)）MPEG-224ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)（續(xù)）MPEG-圖ITU-TBT.601建議的取樣點結(jié)構(gòu)（續(xù)）MPEG-1/H.261/H.263××××××××××××××××××××××××××××××××eMPEG-1相對于MPEG-2的Cr，Cb子采樣在水平方向有半個像素的偏移。25ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)（續(xù)）MPEG-表ITU-TBT.601建議的4∶2∶2標(biāo)準(zhǔn)26ppt課件表ITU-TBT.601建議的4∶2∶2標(biāo)準(zhǔn)26ppt課

（4）分辨率

CCITT規(guī)定了稱為公用中分辨率格式CIF(CommonIntermediateFormat)和1/4公用中分辨率格式(Quarter-CIF，QCIF)格式。－QCIF：176x144－CIF:352x288－SD(標(biāo)清):720x480;640x480,704x480,720x576－HD(高清):1280x720,1920x1080視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化

CCITT:InternationalTelephoneandTelegraphConsultativeCommittee，國際電報電話咨詢委員會27ppt課件（4）分辨率視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化

（1）本地影像視頻格式

－AVI格式，英文全稱為AudioVideoInterleaved，即音頻視頻交錯格式。所謂“音頻視頻交錯”，就是可以將視頻和音頻交織在一起進(jìn)行同步播放。這種視頻格式的優(yōu)點是圖像質(zhì)量好,可以跨多個平臺使用，現(xiàn)在幾乎所有的非線性編輯系統(tǒng)都支持AVI格式。其缺點是體積過于龐大。壓縮標(biāo)準(zhǔn)不統(tǒng)一是其主要問題。

－DV-AVI格式，DV的英文全稱是DigitalVideoFormat，是由索尼、松下等多家廠商聯(lián)合提出的一種家用數(shù)字視頻格式。它可以通過電腦的IEEE1394端口傳輸視頻數(shù)據(jù)到電腦，也可以將電腦中編輯好的的視頻數(shù)據(jù)回錄到數(shù)碼攝像機(jī)中。這種視頻格式的文件擴(kuò)展名一般是.avi，所以也叫DV-AVI格式。3.2數(shù)字視頻文件格式28ppt課件（1）本地影像視頻格式3.2數(shù)字視頻文件格式28ppt課

－MPEG格式，英文全稱為MovingPictureExpertGroup，即運(yùn)動圖像專家組格式。MPEG文件格式是運(yùn)動圖像壓縮算法的國際標(biāo)準(zhǔn)，MPEG不是一種簡單的文件格式，而是編碼方案。它采用了有損壓縮方法減少運(yùn)動圖像中的冗余信息，其最大壓縮比可達(dá)到200:1。目前MPEG視頻格式常見的壓縮標(biāo)準(zhǔn)是MPEG-1、MPEG-2、MPEG-4。家里?？吹腣CD、SVCD、DVD就是這種格式。

－DivX格式，是由MPEG-4衍生出的另一種視頻編碼(壓縮)標(biāo)準(zhǔn)，也即DVDrip格式，它采用了DivX壓縮技術(shù)對DVD盤片的視頻圖像進(jìn)行高質(zhì)量壓縮，同時用MP3或AC3對音頻進(jìn)行壓縮，然后再將視頻與音頻合成并加上相應(yīng)的外掛字幕文件而形成的視頻格式。其畫質(zhì)直逼DVD并且體積只有DVD的數(shù)分之一。3.2數(shù)字視頻文件格式（1）本地影像視頻格式29ppt課件－MPEG格式，英文全稱為MovingPictur30ppt課件30ppt課件31ppt課件31ppt課件

－MOV格式，美國Apple公司開發(fā)的一種視頻格式，默認(rèn)的播放器是蘋果的QuickTimePlayer。具有較高的壓縮比率和較完美的視頻清晰度等特點，但是其最大的特點還是跨平臺性，即不僅能支持MacOS，同樣也能支持Windows系列。

AvidMediacomposer非線性編輯軟件支持該格式。（1）本地影像視頻格式32ppt課件－MOV格式，美國Apple公司開發(fā)的一種視頻格式，默認(rèn)33ppt課件33ppt課件（２）網(wǎng)絡(luò)影像視頻格式

廣泛應(yīng)用于視頻點播、網(wǎng)絡(luò)演示、遠(yuǎn)程教育、網(wǎng)絡(luò)視頻廣告等等互聯(lián)網(wǎng)信息服務(wù)領(lǐng)域。

－ASF格式，英文全稱為AdvancedStreamingFormat，是微軟推出的可以直接使用Windows自帶的WindowsMediaPlayer對其進(jìn)行播放。它使用了MPEG-4的壓縮算法，所以壓縮率和圖像的質(zhì)量都很不錯。

－WMV格式，英文全稱為WindowsMediaVideo，也是微軟推出的一種采用獨(dú)立編碼方式并且可以直接在網(wǎng)上實時觀看視頻節(jié)目的文件壓縮格式。WMV格式的主要優(yōu)點包括：本地或網(wǎng)絡(luò)回放、可擴(kuò)充的媒體類型、多語言支持、環(huán)境獨(dú)立性、豐富的流間關(guān)系以及擴(kuò)展性等。

3.2數(shù)字視頻文件格式34ppt課件（２）網(wǎng)絡(luò)影像視頻格式3.2數(shù)字視頻文件格式34ppt課

－RM格式，RealNetworks公司所制定的音頻視頻壓縮規(guī)范稱為RealMedia，用戶可以使用RealPlayer或RealOnePlayer進(jìn)行實況轉(zhuǎn)播，可以根據(jù)不同的網(wǎng)絡(luò)傳輸速率制定出不同的壓縮比率，從而實現(xiàn)在低速率的網(wǎng)絡(luò)上進(jìn)行影像數(shù)據(jù)實時傳送和播放，實現(xiàn)在線播放。另外，RM作為目前主流網(wǎng)絡(luò)視頻格式，可以通過其RealServer服務(wù)器將其它格式的視頻轉(zhuǎn)換成RM視頻并由RealServer服務(wù)器負(fù)責(zé)對外發(fā)布和播放。3.2數(shù)字視頻文件格式（２）網(wǎng)絡(luò)影像視頻格式35ppt課件－RM格式，RealNetworks公司所制定的音頻視

－RMVB格式，是一種由RM視頻格式升級延伸出的新視頻格式。RMVB視頻格式打破了原先RM格式那種平均壓縮采樣的方式，對靜止和動作場面少的畫面場景采用較低的編碼速率，這樣可以留出更多的帶寬空間，而這些帶寬會在出現(xiàn)快速運(yùn)動的畫面場景時被利用，保證了靜止畫面質(zhì)量的前提下，大幅地提高了運(yùn)動圖像的畫面質(zhì)量，從而圖像質(zhì)量和文件大小之間就達(dá)到了微妙的平衡。（２）網(wǎng)絡(luò)影像視頻格式3.2數(shù)字視頻文件格式36ppt課件－RMVB格式，是一種由RM視頻格式升級延伸出的新視頻表常用的視頻格式轉(zhuǎn)換軟件3.2數(shù)字視頻文件格式未完，見續(xù)表37ppt課件表常用的視頻格式轉(zhuǎn)換軟件3.2數(shù)字視頻文件格式未完，見表常用的視頻格式轉(zhuǎn)換軟件（續(xù)表）3.2數(shù)字視頻文件格式38ppt課件表常用的視頻格式轉(zhuǎn)換軟件（續(xù)表3.3視頻壓縮編碼1.視頻壓縮原理

視頻數(shù)據(jù)之所以能被壓縮，是因為在視頻數(shù)據(jù)中存在著大量的冗余信息。

視頻數(shù)據(jù)主要存在下列冗余：（1）空間冗余，同一幀圖像中相鄰的像素具有很強(qiáng)的相關(guān)性。（2）時間冗余，圖像序列中相鄰幀的對應(yīng)像素具有很強(qiáng)的相關(guān)性。（3）結(jié)構(gòu)冗余，在視頻圖像的紋理區(qū)，像素的亮、色度信息存在著明顯的分布模式，如果知道了分布模式，就可以通過某種算法來生成圖像，即存在結(jié)構(gòu)冗余。空間冗余時間冗余39ppt課件3.3視頻壓縮編碼1.視頻壓縮原理視頻數(shù)1.視頻壓縮原理（4）視覺冗余，研究發(fā)現(xiàn)人眼的視覺特性是非均勻和非線性的。例如，人眼對視頻圖像色度的敏感性遠(yuǎn)低于對亮度的敏感性，對低頻信息的敏感度高于對高頻信息的敏感度等等。在很多場合，人眼是視頻信息的最終接收者，因此，可以對人眼不敏感的信息少編碼甚至不編碼以壓縮數(shù)據(jù)量。（5）知識冗余，指視頻圖像中所包含的某些信息與人們的一些先驗知識有關(guān)。例如在頭肩圖像中，頭、眼、鼻和嘴的相對位置等信息就是人類的共性知識。3.3視頻壓縮編碼

40ppt課件1.視頻壓縮原理（4）視覺冗余，研究發(fā)現(xiàn)人眼的視覺特性是非均視頻壓縮編碼的類型：預(yù)測編碼：差分脈沖PCM等變換編碼：正交變換、離散余弦變換統(tǒng)計編碼：霍夫曼編碼、游程編碼、算術(shù)編碼子帶編碼小波變換編碼分形編碼知識（模型）基編碼3.3視頻壓縮編碼2.視頻壓縮編碼41ppt課件視頻壓縮編碼的類型：3.3視頻壓縮編碼2.視頻壓縮編碼43.3.1預(yù)測編碼1.預(yù)測編碼的基本內(nèi)容預(yù)測編碼是基于圖像數(shù)據(jù)的時間和空間冗余特性，用相鄰的已知像素（或圖像塊）來預(yù)測當(dāng)前像素（或圖像塊）的取值，然后再對預(yù)測誤差進(jìn)行量化和編碼。42ppt課件3.3.1預(yù)測編碼1.預(yù)測編碼的基本內(nèi)容42ppt課

這些相鄰像素（或圖像塊）可以是同行掃描的，也可以是前幾行或前幾幀的，相應(yīng)的預(yù)測編碼分別稱為一維、二維和三維預(yù)測，其中一維和二維預(yù)測是幀內(nèi)預(yù)測，三維預(yù)測是幀間預(yù)測，即在時間軸上用前一幀的像素（或圖像塊）對后一幀的像素（或圖像塊）進(jìn)行預(yù)測。

幀間預(yù)測編碼主要利用活動圖像序列相鄰幀間的相關(guān)性，即圖像數(shù)據(jù)的時間冗余來達(dá)到壓縮的目的，它可以獲得比幀內(nèi)預(yù)測編碼高得多的壓縮比。43ppt課件這些相鄰像素（或圖像塊）可以是同行掃描2.預(yù)測編碼的類型

預(yù)測編碼分線性預(yù)測和非線性預(yù)測兩類，線性預(yù)測編碼又稱為差分脈沖編碼調(diào)制，即DPCM（DifferentialPulseCodeModulation）。

DPCM系統(tǒng)又稱預(yù)測量化系統(tǒng)。44ppt課件2.預(yù)測編碼的類型預(yù)測編碼分線性預(yù)測差分脈沖調(diào)制預(yù)測——原理圖量化器預(yù)測器譯碼器預(yù)測器－＋＋編碼器發(fā)送端接收端Xndn^XnXn’dn’dn’^XnXn’45ppt課件差分脈沖調(diào)制預(yù)測——原理圖量化器預(yù)測器譯碼器預(yù)測器－＋＋編碼差分脈沖調(diào)制預(yù)測發(fā)送端預(yù)測器帶有存儲器，把tn時刻以前的采樣值x1,x2,x3,xn-1存儲起來并據(jù)此對xn進(jìn)行預(yù)測，得到預(yù)測值dn為xn與的差值，dn’為dn經(jīng)量化器量化的值xn’是接收端的輸出信號誤差qn為

qn=xn-xn’=xn-(+dn’)=(xn-)-dn’=dn-dn’實際上就是發(fā)送端的量化器對誤差量化的誤差對dn’的量化越粗糙，壓縮比越高，失真越大^Xn^Xn^Xn^Xn46ppt課件差分脈沖調(diào)制預(yù)測^^^^46ppt課件差分脈沖調(diào)制預(yù)測——應(yīng)用示例例如，取一序列為10，12，14，16，18，20。（例如亮度變化緩慢的圖像的亮度值）由于其中所有數(shù)字都不相同，但是是一個等差的數(shù)列，所以行程編碼和哈夫曼對其不產(chǎn)生壓縮效果。先用DPCM方法，其預(yù)測器的預(yù)測參數(shù)為

=Xn-1，則其誤差值得到一個新的序列10，2，2，2，2，2。然后再使用行程編碼方法對這個新序列進(jìn)行壓縮，壓縮結(jié)果為10(5,2)。^Xn47ppt課件差分脈沖調(diào)制預(yù)測——應(yīng)用示例^47ppt課件差分脈沖調(diào)制預(yù)測適用于輸入數(shù)據(jù)為平穩(wěn)的隨機(jī)過程預(yù)測器設(shè)計是預(yù)測編碼系統(tǒng)的核心，預(yù)測器的復(fù)雜程度與線性預(yù)測中使用以前的樣本數(shù)有關(guān)，樣本數(shù)越多，預(yù)測器越復(fù)雜對預(yù)測誤差的量化是造成圖像質(zhì)量下降的主要原因，表現(xiàn)為：斜率過載：圖像輪廓變模糊顆粒噪聲：圖像在平坦區(qū)出現(xiàn)顆粒狀的細(xì)斑邊緣忙亂：在變化不快的邊緣出現(xiàn)閃爍不定現(xiàn)象偽輪廓：在圖像亮度值緩慢變化區(qū)域出現(xiàn)偽輪廓48ppt課件差分脈沖調(diào)制預(yù)測48ppt課件3.雙向預(yù)測

前向預(yù)測：就是用K-1幀來預(yù)測K幀圖像。后向預(yù)測：用K幀預(yù)測前面的K-1幀圖像。

雙向預(yù)測：用前、后兩幀來預(yù)測中間幀圖像。圖雙向預(yù)測示意圖49ppt課件3.雙向預(yù)測前向預(yù)測：就是用K-1幀來預(yù)測K幀圖像50ppt課件50ppt課件51ppt課件51ppt課件圖I、P和B圖像的依賴關(guān)系I幀：幀內(nèi)圖(IntraPicture),只做幀內(nèi)編碼P幀：預(yù)測圖(PredictedPicture),前向預(yù)測幀B幀：雙向圖(BidirectionalPicture),雙向預(yù)測幀52ppt課件圖I、P和B圖像的依賴關(guān)系I幀：幀內(nèi)圖(IntraP

（1）I幀

I幀采用類似JPEG的編碼方式實現(xiàn)。它不以任何其他幀做參考幀，僅僅進(jìn)行幀內(nèi)的空域冗余壓縮。53ppt課件（1）I幀53ppt課件

（2）P幀

P幀是由一個過去的I幀或P幀采用運(yùn)動補(bǔ)償?shù)膸g預(yù)測進(jìn)行更有效的編碼方式。圖像P由殘差圖像SAD和運(yùn)動矢量MV組成。DCT+量化+RLE54ppt課件（2）P幀DCT+量化+RLE54ppt課件圖5-12運(yùn)動自適應(yīng)幀內(nèi)插55ppt課件圖5-12運(yùn)動自適應(yīng)幀內(nèi)插55ppt課件

（3）B幀

B幀是用過去的圖像(I幀或P幀)和后來的圖像幀(I幀或P幀)，采用運(yùn)動補(bǔ)償?shù)碾p向預(yù)測編碼方式。DCT+量化+RLE56ppt課件（3）B幀DCT+量化+RLE56ppt課件4.像素塊預(yù)測MPEG編碼時，先將一幀圖像分割成若干橫條，每一橫條稱為一片，在625行的PAL制中，每幀圖像切成18片，在525行的NTSC制中，每幀圖像切成15片。每一片再縱向切割成22塊，這些塊稱為宏塊或大塊，它是MPEG標(biāo)準(zhǔn)的圖像處理基本單元。57ppt課件4.像素塊預(yù)測MPEG編碼時，先將一

每個宏塊中的彩色圖像，可以用一個亮度信號Y和兩個色差信號Cb和Cr來表示，由于人眼對亮度信號敏感高于色度信號，因而對每個宏塊的亮度信號再平均分成4個像塊。每個像塊在水平方向分成8個像素，垂直方向也分成8個像素，則每個像塊可分成64個像素，而兩個色差信號Cb、Cr宏塊不再分成像塊，而是直接分成64個像素，如圖5-8所示。58ppt課件每個宏塊中的彩色圖像，可以用一個亮度信圖5-8MPEG圖像的格式59ppt課件圖5-8MPEG圖像的格式59ppt課件

在圖像編碼領(lǐng)域目前使用的運(yùn)動估值算法有塊匹配法、像素遞歸法、相位相關(guān)法以及針對由攝像機(jī)運(yùn)動引起圖像全局運(yùn)動的全局運(yùn)動參數(shù)估值等。

其中塊匹配法是最常用的一種方法，在活動視頻編碼的國際標(biāo)準(zhǔn)H.261、MPEG-1、MPEG-2中，實際都采用塊匹配法做運(yùn)動估值。60ppt課件在圖像編碼領(lǐng)域目前使用的運(yùn)動估值算法有

變換編碼的基本原理就是將原來在空間域或時間域內(nèi)描述的信號，變換到正交矢量空間（頻域或變換域）中去，用變換系數(shù)來表示原始圖像，并對變換系數(shù)進(jìn)行編碼。3.3.2變換編碼

盡管變換本身并不帶來數(shù)據(jù)壓縮，但由于變換后信號的能量大部分集中于少數(shù)幾個變換系數(shù)上，刪去對信號貢獻(xiàn)較?。ǚ讲钚。┑南禂?shù)，就可以達(dá)到有效壓縮的目的，并且不會引起明顯的失真。正交變換K-L變換離散余弦DCT變換61ppt課件變換編碼的基本原理就是將原來在空間域或時K-L變換只是理論上的最佳方法，由于本身沒有通用的變換矩陣，計算量大，應(yīng)用起來不現(xiàn)實。在實際編碼工作中，人們更常采用離散余弦變換（DCT）。它也是正交變換，非常接近K-L變換，效果僅次于K-L變換。對大多數(shù)圖像信源來說，DCT變換是在現(xiàn)行變換編碼方法中最接近K-L變換的方法。

62ppt課件K-L變換只是理論上的最佳方法，由于本圖5-16變換編碼系統(tǒng)框圖63ppt課件圖5-16變換編碼系統(tǒng)框圖63ppt課件

實現(xiàn)變換編碼可以分4個步驟完成：第1步是選擇方塊的大小，較好的方塊尺寸是4×4（H.264）、8×8（H.261，JPEG，MPEG）或16×16；第2步是選擇變換類型，DCT變換是目前應(yīng)用最廣泛的一種類型；第3步是選擇變換系數(shù)，并對其進(jìn)行高效的量化，以便傳輸或存儲；第4步是對量化系數(shù)進(jìn)行比特分配即編碼，通常使用Huffman編碼或游程編碼。64ppt課件實現(xiàn)變換編碼可以分4個步驟完成：第3步是選擇變換系數(shù)1．二維8×8DCT變換圖5-17DCT后系數(shù)65ppt課件1．二維8×8DCT變換圖5-17DCT后系數(shù)65pp圖5-18Z字形掃描66ppt課件圖5-18Z字形掃描66ppt課件圖5-208×8亮度抽樣信號的DCT壓縮編碼實例67ppt課件圖5-208×8亮度抽樣信號的DCT壓縮編碼實例67pp圖5-208×8亮度抽樣信號的DCT壓縮編碼實例Z字形掃描和0游程編碼

按順序記錄數(shù)據(jù)，直到最后一個非0數(shù)據(jù)，然后加上塊結(jié)束碼EOB。解碼端收到EOB后自動補(bǔ)0，直至補(bǔ)夠64個系數(shù)。68ppt課件圖5-208×8亮度抽樣信號的DCT壓縮編碼實例Z字形掃圖5-21轉(zhuǎn)換掃描示意圖

轉(zhuǎn)換掃描：MPEG-2中采用，適用于隔行掃描。69ppt課件圖5-21轉(zhuǎn)換掃描示意圖轉(zhuǎn)換掃描：MPEG-2中采3.3.3統(tǒng)計編碼

根據(jù)信息碼字出現(xiàn)的概率分布特性尋找概率與碼字長度間的最優(yōu)匹配，據(jù)此對信息進(jìn)行壓縮，這就是統(tǒng)計編碼方法。

常用的統(tǒng)計編碼有霍夫曼（Huffman）編碼、游程編碼和算術(shù)編碼三種。70ppt課件3.3.3統(tǒng)計編碼根據(jù)信息碼字出哈夫曼編碼最佳編碼定理哈夫曼1952年提出內(nèi)容：在變字長編碼中，對于出現(xiàn)概率大的信息符號編以短字長的碼，對于概率小的符號編以長字長的碼。如果碼字長度嚴(yán)格按所對應(yīng)符號出現(xiàn)概率大小逆序排列，則平均碼字長度一定小于其他以任何符號順序排列方式得到的平均碼字長度.71ppt課件哈夫曼編碼最佳編碼定理71ppt課件哈夫曼編碼編碼方法步驟1.將符號按出現(xiàn)概率由大到小排列，給最后兩個符號賦予一個二進(jìn)制碼，概率大的賦1，小的賦0（反之亦可）;2.把最后兩個符號的概率合成一個概率，重復(fù)上一步;3.重復(fù)步驟2，直到最后只剩下兩個概率為止;4.將每個符號所對應(yīng)的分支的0,1反序排出即可.72ppt課件哈夫曼編碼編碼方法72ppt課件可以看出，概率大的符號其編碼短，概率小的符號其編碼長，符號使用其編碼來表示，達(dá)到數(shù)據(jù)壓縮目的。哈夫曼編碼過程演示A1A2A3A4A5A6A70.230.210.180.150.130.070.03100.10100.23100.33100.44

1

00.56011編碼01001111101011001100073ppt課件可以看出，概率大的符號其編碼短，概率小的符號其編碼長，符號使哈夫曼編碼哈夫曼編碼過程演示74ppt課件哈夫曼編碼哈夫曼編碼過程演示74ppt課件哈夫曼編碼哈夫曼編碼結(jié)果分析編碼010011111010110011000碼長2233344碼字的平均長度_

7N=∑niP(ai)=2.72biti=1信息符號的熵值

7H(a)=∑P(ai)log2P(ai)=2.61biti=1編碼效率：=

2.61/2.72≈

96%可見，哈夫曼編碼結(jié)果，其平均長度接近于信息符號的熵值，但是仍有冗余。75ppt課件哈夫曼編碼哈夫曼編碼結(jié)果分析編碼01碼長2碼哈夫曼編碼哈夫曼編碼最佳情況示例信源有四個符號：

Xa1a2a3a41/21/41/81/8

信息熵：

H(x)=-1/2log2(1/2)-1/4log2(1/4)-1/8log2(1/8)2=1.75bit/字符76ppt課件哈夫曼編碼哈夫曼編碼最佳情況示例76ppt課件哈夫曼編碼a1

a2

a3

a4

1/21/41/81/8符號概率011/4011/2011編碼010110111采用哈夫曼編碼（二進(jìn)制編碼）

a1a2a3a4

_010110111平均碼長：N=(1/2)1+(1/4)2+(1/8)6=1.75bit/字符編碼效率：=1.75/1.75=100%哈夫曼編碼最佳情況示例77ppt課件哈夫曼編碼a11/2符號概率011/4011/20

圖像的子帶編碼（SubbandCoding，SBC）是從語音的子帶編碼移植過來的。子帶編碼與變換編碼一樣，是一種在頻率域中進(jìn)行數(shù)據(jù)壓縮的方法。3.3.4子帶編碼（SBC）78ppt課件圖像的子帶編碼（SubbandCoding79ppt課件79ppt課件80ppt課件80ppt課件

取樣后的信號經(jīng)過量化、編碼，合并成一個總的碼流傳送給接收端。在接收端，首先把碼流分成與原來的各子帶信號相對應(yīng)的子帶碼流（分頻），然后解碼，將頻譜搬移至原來的位置，最后經(jīng)帶通濾波器后，合并得到重建的信號。81ppt課件取樣后的信號經(jīng)過量化、編碼，合并成一個總的碼圖5-284子帶為基礎(chǔ)的樹狀分裂結(jié)構(gòu)二維子帶編碼82ppt課件圖5-284子帶為基礎(chǔ)的樹狀分裂結(jié)構(gòu)二維子帶編碼82pp圖5-29140Mbit/sHDTV子帶編碼系統(tǒng)框圖83ppt課件圖5-29140Mbit/sHDTV子帶編碼系統(tǒng)框圖83.4數(shù)字視頻編碼標(biāo)準(zhǔn)JPEG標(biāo)準(zhǔn)√

MPEG標(biāo)準(zhǔn)√ITU-RBT.601數(shù)字視頻標(biāo)準(zhǔn)H.26X標(biāo)準(zhǔn)H.323可視通信系統(tǒng)標(biāo)準(zhǔn)

84ppt課件3.4數(shù)字視頻編碼標(biāo)準(zhǔn)JPEG標(biāo)準(zhǔn)√84ppt第3章視頻編碼技術(shù)1.視頻信號的數(shù)字化2.視頻文件格式3.視頻壓縮編碼原理4.視頻壓縮標(biāo)準(zhǔn)85ppt課件第3章視頻編碼技術(shù)1.視頻信號的數(shù)字化1ppt課件學(xué)習(xí)目標(biāo)掌握視頻數(shù)字化方法了解視頻文件格式掌握視頻壓縮編碼原理（預(yù)測編碼、變換編碼、統(tǒng)計編碼原理）理解視頻壓縮標(biāo)準(zhǔn)（MPEG標(biāo)準(zhǔn)）86ppt課件學(xué)習(xí)目標(biāo)掌握視頻數(shù)字化方法2ppt課件3.1視頻信號的數(shù)字化

所謂視頻（videofrequency

），連續(xù)的圖像變化每秒超過24幀（frame）畫面以上時，根據(jù)視覺暫留原理，人眼無法辨別單幅的靜態(tài)畫面，看上去是平滑連續(xù)的視覺效果，這樣連續(xù)的畫面叫做視頻。即視頻是由一系列單獨(dú)的靜止圖像組成，其單位用幀或格來表示；

人眼在觀察景物時，光信號傳入大腦神經(jīng)，需經(jīng)過一段短暫的時間，光的作用結(jié)束后，視覺形象并不立即消失，而能繼續(xù)保留其影像0.1-0.4秒左右，這種現(xiàn)象被稱為視覺暫留現(xiàn)象。1.視頻相關(guān)的基本概念87ppt課件3.1視頻信號的數(shù)字化所謂視頻（vide幀：一幀是掃描獲得的一幅完整圖像的信號，是視頻圖像的最小單位；“幀”在動畫創(chuàng)作當(dāng)中又稱“格”。幀率：就是每秒鐘掃描多少幀。對于PAL制式電視系統(tǒng)，幀率為25幀；而NTSC制式電視系統(tǒng)，幀率為30幀。場：視頻的一個掃描過程。有逐行掃描和隔行掃描，對于逐行掃描，一幀即是一個垂直掃描場；對于隔行掃描，一幀由兩場構(gòu)成：奇數(shù)場和偶數(shù)場，是用兩個隔行掃描場表示一幀。1.視頻相關(guān)的基本概念88ppt課件幀：一幀是掃描獲得的一幅完整圖像的信號，是視1.視頻相關(guān)的基（1）逐行掃描圖逐行掃描方式實線為行掃描的正程，左→右；虛線逆程，右→左。1.視頻相關(guān)的基本概念89ppt課件（1）逐行掃描圖逐行掃描方式實線為行掃描的正程，左→右；1（2）隔行掃描圖隔行掃描方式1.視頻相關(guān)的基本概念90ppt課件（2）隔行掃描圖隔行掃描方式1.視頻相關(guān)的基本概念6pp

視頻信號有模擬視頻信號與數(shù)字視頻信號之分。模擬視頻即指由連續(xù)的模擬信號組成視頻圖像，它的存儲介質(zhì)是磁帶或錄像帶；在編輯或轉(zhuǎn)錄過程中畫面質(zhì)量會降低。數(shù)字視頻是把模擬信號變?yōu)閿?shù)字信號，它描繪的是圖像中的單個像素，可以直接存儲在電腦硬盤中，因此在編輯過程中可以最大限度地保證畫面質(zhì)量幾乎沒有損失。1.視頻相關(guān)的基本概念91ppt課件視頻信號有模擬視頻信號與數(shù)字視頻信號之分。1.視頻相關(guān)的基

但數(shù)字視頻的數(shù)據(jù)量是非常驚人的，按照ITU-R601標(biāo)準(zhǔn)4∶2∶2格式的PAL制數(shù)字化視頻信號，每幀數(shù)據(jù)量為720×576×8×2≈6.64Mbit，每秒數(shù)據(jù)量為6.64×25≈165Mbit。ITU-R601——數(shù)字演播室標(biāo)準(zhǔn)4:2:2格式中色差信號的取樣為亮度信號的一半。600Mbit的存儲空間只能存儲90幀的視頻圖像信號，或者說可以存儲大約3.6s的數(shù)字電視節(jié)目。如果存儲更高分辨率的高清數(shù)字電視信號，那存儲時間就更短了，大約只有幾秒鐘。因此對視頻的處理、傳輸、存儲和顯示提出了更高的要求。1.視頻相關(guān)的基本概念92ppt課件但數(shù)字視頻的數(shù)據(jù)量是非常驚人的，按照I

視頻信息和信號特點：(1)直觀性：給人印象更深刻、生動、具體。(2)確定性：“百聞不如一見”。(3)高效性：人眼是一個高度復(fù)雜的并行信息處理系統(tǒng)，能并行快速地觀察一幅圖像的細(xì)節(jié)，因此它獲取視頻信息的效率要比語音信息高得多。(4)廣泛性：人類接受的信息，80%來自視覺。1.視頻相關(guān)的基本概念93ppt課件視頻信息和信號特點：(1)直觀性：給人印象更深刻、生動、數(shù)字視頻的獲取方法：2.視頻的采集及數(shù)字化從現(xiàn)成的數(shù)字視頻庫中截取。利用計算機(jī)軟件制作視頻。利用計算機(jī)生成的動畫，如把flc或gif動畫格式轉(zhuǎn)換成avi等視頻格式。把靜態(tài)圖像或圖形文件序列組合成視頻文件序列。通過視頻采集設(shè)備獲取數(shù)字視頻。通過視頻采集卡把模擬視頻轉(zhuǎn)換成數(shù)字視頻，并按數(shù)字視頻文件的格式保存下來。94ppt課件數(shù)字視頻的獲取方法：2.視頻的采集及數(shù)字化從現(xiàn)成的數(shù)字視頻庫數(shù)字視頻的采集系統(tǒng)視頻源設(shè)備：錄像機(jī)、電視機(jī)、影碟機(jī)等；視頻采集卡：對模擬視頻信號進(jìn)行采樣、量化和編碼的設(shè)備；高性能計算機(jī)：接收和記錄編碼后的數(shù)字視頻數(shù)據(jù)。大容量存儲設(shè)備：存儲經(jīng)過編輯修改的數(shù)字視頻文件。2.視頻的采集及數(shù)字化95ppt課件數(shù)字視頻的采集系統(tǒng)視頻源設(shè)備：錄像機(jī)、電視機(jī)、影碟機(jī)等；2.視頻采集卡的接口復(fù)合端口色差分量接口S-Video信號端子IEEE1394接口2.視頻的采集及數(shù)字化96ppt課件視頻采集卡的接口復(fù)合端口2.視頻的采集及數(shù)字化12ppt課件視頻采集卡的接口復(fù)合端口

也稱AV接口，通常都是成對的白色音頻接口和黃色的視頻接口，常用接頭有BNC接頭和蓮花(RCA)接頭。傳輸?shù)氖橇炼?色度(Y/C)混合在一起的視頻信號。易導(dǎo)致亮、色串?dāng)_、清晰度降低等問題，是最差的視頻信號。2.視頻的采集及數(shù)字化97ppt課件視頻采集卡的接口復(fù)合端口也稱AV接口，通常都

分量視頻信號(ComponentVideoSignal)是指每個基色分量作為獨(dú)立的視頻信號。一般用亮度-色差表示，如Y和Cr、Cb，Y和I、Q，Y和U、V。使用分量視頻信號是表示顏色的最好方法。

分量信號接入口視頻采集卡的接口色差分量接口2.視頻的采集及數(shù)字化98ppt課件分量視頻信號(ComponentVideoSig視頻采集卡的接口S-Video信號端子

S-Video四芯插頭（座）

地(亮度)地(色度)亮度(含同步信號)色度S端子信號，它同時傳送兩路信號：亮度信號Y和色度信號C。由于將亮度和色度分離，色度對亮度的串?dāng)_現(xiàn)象也消失。其圖象質(zhì)量優(yōu)于復(fù)合視頻信號，但低于分量視頻信號。

S端子用四芯插頭，一些計算機(jī)顯卡或非線性編輯卡也有用七芯插頭，其外形與S端子一樣，只是又包含了復(fù)合視頻信號。2.視頻的采集及數(shù)字化99ppt課件視頻采集卡的接口S-Video信號端子S-Vi視頻采集卡的接口2.視頻的采集及數(shù)字化蓮花接頭100ppt課件視頻采集卡的接口2.視頻的采集及數(shù)字化蓮花接頭16ppt課件視頻采集卡的接口IEEE1394接口IEEE1394是一種外部串行總線標(biāo)準(zhǔn)，800Mbps的高速。1394接口具有把一個輸入信息源傳來的數(shù)據(jù)向多個輸出機(jī)器廣播的功能，特別適用于家庭視聽的連接。由于該接口具有等時間的傳送功能，確保視聽AV設(shè)備重播聲音和圖像數(shù)據(jù)質(zhì)量，具有好的重播效果。2.視頻的采集及數(shù)字化101ppt課件視頻采集卡的接口IEEE1394接口IEEE1視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化

數(shù)字化方法（1）先從復(fù)合彩色圖像中分離出彩色分量，然后數(shù)字化。（2）首先用一個高速A/D轉(zhuǎn)換器對彩色全信號進(jìn)行數(shù)字化,然后在數(shù)字域中進(jìn)行分離，以獲得所希望的YCbCr，YUV，YIQ或RGB分量數(shù)據(jù)。102ppt課件視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化數(shù)字化方法18ppt

數(shù)字化標(biāo)準(zhǔn)——ITU-RBT.601標(biāo)準(zhǔn)彩色電視圖像數(shù)字化標(biāo)準(zhǔn)，稱為CCIR601標(biāo)準(zhǔn)，現(xiàn)改為ITU-RBT.601標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)規(guī)定了彩色電視圖像轉(zhuǎn)換成數(shù)字圖像時使用的采樣頻率，彩色空間之間的轉(zhuǎn)換關(guān)系等。視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化（1）色彩空間轉(zhuǎn)換103ppt課件數(shù)字化標(biāo)準(zhǔn)——ITU-RBT.601標(biāo)準(zhǔn)視頻圖像的數(shù)字化視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化

（2）采樣頻率亮度信號采樣頻率fs=13.5MHZ；色度信號采樣頻率fc＝6.75MHZ或13.5MHZ；每個掃描行的有效樣本數(shù)均為720；

如圖2.15(數(shù)字視頻技術(shù)及應(yīng)用P23)

數(shù)字信號取值范圍：亮度信號220級，色度信號225級。

①對PAL制、SECAM制，采樣頻率fs為：

fs=625(行數(shù)/幀)×25(幀數(shù)/秒)×N=15625×N=13.5MHz,N=864

其中，N為每一掃描行上的采樣數(shù)目。

②對NTSC制，采樣頻率fs為：

fs=525×29.97×N=15734×N=13.5MHz,N=858

其中，N為每一掃描行上的采樣數(shù)目。104ppt課件視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化（2）采樣頻率20p視頻圖像的數(shù)字化

（3）亮度和色度信號的采樣

Y:Cb:Cr＝4:1:1

這種方式是在每4個連續(xù)的采樣點上，取4個亮度Y的樣本值，而色差Cb、Cr分別取其第一點的樣本值，共6個樣本。

Y:Cb:Cr

＝4:2:2

這種方式是在每4個連續(xù)的采樣點上，取4個亮度Y的樣本值，而色差Cb、Cr分別取其第一點和第三點的樣本值，共8個樣本。這種方式能給信號的轉(zhuǎn)換留有一定余量，效果更好一些。這是通常所用的方式。2.視頻的采集及數(shù)字化Y:Cb:Cr

＝4:4:4

在這種方式中，對每個采樣點，亮度Y、色差Cb、Cr各取一個樣本。這種方式對于原本就具有較高質(zhì)量的信號源，可以保證其色彩質(zhì)量，但信息量大。105ppt課件視頻圖像的數(shù)字化（3）亮度和色度信號的采樣2.視頻的采集及Y:U:V＝4:2:0

分兩種情況：

MPEG-1/H.261/H.263等標(biāo)準(zhǔn)使用的：水平方向的2個Y樣本和垂直方向上的2個Y樣本共用1個Cb樣本和1個Cr樣本。

MPEG-2標(biāo)準(zhǔn)使用的：

MPEG-2相對于MPEG-1的Cr，Cb子采樣在水平方向有半個像素的偏移。106ppt課件Y:U:V＝4:2:022ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)107ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)23ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)（續(xù)）MPEG-2108ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)（續(xù)）MPEG-圖ITU-TBT.601建議的取樣點結(jié)構(gòu)（續(xù)）MPEG-1/H.261/H.263××××××××××××××××××××××××××××××××eMPEG-1相對于MPEG-2的Cr，Cb子采樣在水平方向有半個像素的偏移。109ppt課件圖ITU-TBT.601建議的取樣點結(jié)構(gòu)（續(xù)）MPEG-表ITU-TBT.601建議的4∶2∶2標(biāo)準(zhǔn)110ppt課件表ITU-TBT.601建議的4∶2∶2標(biāo)準(zhǔn)26ppt課

（4）分辨率

CCITT規(guī)定了稱為公用中分辨率格式CIF(CommonIntermediateFormat)和1/4公用中分辨率格式(Quarter-CIF，QCIF)格式。－QCIF：176x144－CIF:352x288－SD(標(biāo)清):720x480;640x480,704x480,720x576－HD(高清):1280x720,1920x1080視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化

CCITT:InternationalTelephoneandTelegraphConsultativeCommittee，國際電報電話咨詢委員會111ppt課件（4）分辨率視頻圖像的數(shù)字化2.視頻的采集及數(shù)字化

（1）本地影像視頻格式

－AVI格式，英文全稱為AudioVideoInterleaved，即音頻視頻交錯格式。所謂“音頻視頻交錯”，就是可以將視頻和音頻交織在一起進(jìn)行同步播放。這種視頻格式的優(yōu)點是圖像質(zhì)量好,可以跨多個平臺使用，現(xiàn)在幾乎所有的非線性編輯系統(tǒng)都支持AVI格式。其缺點是體積過于龐大。壓縮標(biāo)準(zhǔn)不統(tǒng)一是其主要問題。

－DV-AVI格式，DV的英文全稱是DigitalVideoFormat，是由索尼、松下等多家廠商聯(lián)合提出的一種家用數(shù)字視頻格式。它可以通過電腦的IEEE1394端口傳輸視頻數(shù)據(jù)到電腦，也可以將電腦中編輯好的的視頻數(shù)據(jù)回錄到數(shù)碼攝像機(jī)中。這種視頻格式的文件擴(kuò)展名一般是.avi，所以也叫DV-AVI格式。3.2數(shù)字視頻文件格式112ppt課件（1）本地影像視頻格式3.2數(shù)字視頻文件格式28ppt課

－MPEG格式，英文全稱為MovingPictureExpertGroup，即運(yùn)動圖像專家組格式。MPEG文件格式是運(yùn)動圖像壓縮算法的國際標(biāo)準(zhǔn)，MPEG不是一種簡單的文件格式，而是編碼方案。它采用了有損壓縮方法減少運(yùn)動圖像中的冗余信息，其最大壓縮比可達(dá)到200:1。目前MPEG視頻格式常見的壓縮標(biāo)準(zhǔn)是MPEG-1、MPEG-2、MPEG-4。家里?？吹腣CD、SVCD、DVD就是這種格式。

－DivX格式，是由MPEG-4衍生出的另一種視頻編碼(壓縮)標(biāo)準(zhǔn)，也即DVDrip格式，它采用了DivX壓縮技術(shù)對DVD盤片的視頻圖像進(jìn)行高質(zhì)量壓縮，同時用MP3或AC3對音頻進(jìn)行壓縮，然后再將視頻與音頻合成并加上相應(yīng)的外掛字幕文件而形成的視頻格式。其畫質(zhì)直逼DVD并且體積只有DVD的數(shù)分之一。3.2數(shù)字視頻文件格式（1）本地影像視頻格式113ppt課件－MPEG格式，英文全稱為MovingPictur114ppt課件30ppt課件115ppt課件31ppt課件

－MOV格式，美國Apple公司開發(fā)的一種視頻格式，默認(rèn)的播放器是蘋果的QuickTimePlayer。具有較高的壓縮比率和較完美的視頻清晰度等特點，但是其最大的特點還是跨平臺性，即不僅能支持MacOS，同樣也能支持Windows系列。

AvidMediacomposer非線性編輯軟件支持該格式。（1）本地影像視頻格式116ppt課件－MOV格式，美國Apple公司開發(fā)的一種視頻格式，默認(rèn)117ppt課件33ppt課件（２）網(wǎng)絡(luò)影像視頻格式

廣泛應(yīng)用于視頻點播、網(wǎng)絡(luò)演示、遠(yuǎn)程教育、網(wǎng)絡(luò)視頻廣告等等互聯(lián)網(wǎng)信息服務(wù)領(lǐng)域。

－ASF格式，英文全稱為AdvancedStreamingFormat，是微軟推出的可以直接使用Windows自帶的WindowsMediaPlayer對其進(jìn)行播放。它使用了MPEG-4的壓縮算法，所以壓縮率和圖像的質(zhì)量都很不錯。

－WMV格式，英文全稱為WindowsMediaVideo，也是微軟推出的一種采用獨(dú)立編碼方式并且可以直接在網(wǎng)上實時觀看視頻節(jié)目的文件壓縮格式。WMV格式的主要優(yōu)點包括：本地或網(wǎng)絡(luò)回放、可擴(kuò)充的媒體類型、多語言支持、環(huán)境獨(dú)立性、豐富的流間關(guān)系以及擴(kuò)展性等。

3.2數(shù)字視頻文件格式118ppt課件（２）網(wǎng)絡(luò)影像視頻格式3.2數(shù)字視頻文件格式34ppt課

－RM格式，RealNetworks公司所制定的音頻視頻壓縮規(guī)范稱為RealMedia，用戶可以使用RealPlayer或RealOnePlayer進(jìn)行實況轉(zhuǎn)播，可以根據(jù)不同的網(wǎng)絡(luò)傳輸速率制定出不同的壓縮比率，從而實現(xiàn)在低速率的網(wǎng)絡(luò)上進(jìn)行影像數(shù)據(jù)實時傳送和播放，實現(xiàn)在線播放。另外，RM作為目前主流網(wǎng)絡(luò)視頻格式，可以通過其RealServer服務(wù)器將其它格式的視頻轉(zhuǎn)換成RM視頻并由RealServer服務(wù)器負(fù)責(zé)對外發(fā)布和播放。3.2數(shù)字視頻文件格式（２）網(wǎng)絡(luò)影像視頻格式119ppt課件－RM格式，RealNetworks公司所制定的音頻視

－RMVB格式，是一種由RM視頻格式升級延伸出的新視頻格式。RMVB視頻格式打破了原先RM格式那種平均壓縮采樣的方式，對靜止和動作場面少的畫面場景采用較低的編碼速率，這樣可以留出更多的帶寬空間，而這些帶寬會在出現(xiàn)快速運(yùn)動的畫面場景時被利用，保證了靜止畫面質(zhì)量的前提下，大幅地提高了運(yùn)動圖像的畫面質(zhì)量，從而圖像質(zhì)量和文件大小之間就達(dá)到了微妙的平衡。（２）網(wǎng)絡(luò)影像視頻格式3.2數(shù)字視頻文件格式120ppt課件－RMVB格式，是一種由RM視頻格式升級延伸出的新視頻表常用的視頻格式轉(zhuǎn)換軟件3.2數(shù)字視頻文件格式未完，見續(xù)表121ppt課件表常用的視頻格式轉(zhuǎn)換軟件3.2數(shù)字視頻文件格式未完，見表常用的視頻格式轉(zhuǎn)換軟件（續(xù)表）3.2數(shù)字視頻文件格式122ppt課件表常用的視頻格式轉(zhuǎn)換軟件（續(xù)表3.3視頻壓縮編碼1.視頻壓縮原理

視頻數(shù)據(jù)之所以能被壓縮，是因為在視頻數(shù)據(jù)中存在著大量的冗余信息。

視頻數(shù)據(jù)主要存在下列冗余：（1）空間冗余，同一幀圖像中相鄰的像素具有很強(qiáng)的相關(guān)性。（2）時間冗余，圖像序列中相鄰幀的對應(yīng)像素具有很強(qiáng)的相關(guān)性。（3）結(jié)構(gòu)冗余，在視頻圖像的紋理區(qū)，像素的亮、色度信息存在著明顯的分布模式，如果知道了分布模式，就可以通過某種算法來生成圖像，即存在結(jié)構(gòu)冗余。空間冗余時間冗余123ppt課件3.3視頻壓縮編碼1.視頻壓縮原理視頻數(shù)1.視頻壓縮原理（4）視覺冗余，研究發(fā)現(xiàn)人眼的視覺特性是非均勻和非線性的。例如，人眼對視頻圖像色度的敏感性遠(yuǎn)低于對亮度的敏感性，對低頻信息的敏感度高于對高頻信息的敏感度等等。在很多場合，人眼是視頻信息的最終接收者，因此，可以對人眼不敏感的信息少編碼甚至不編碼以壓縮數(shù)據(jù)量。（5）知識冗余，指視頻圖像中所包含的某些信息與人們的一些先驗知識有關(guān)。例如在頭肩圖像中，頭、眼、鼻和嘴的相對位置等信息就是人類的共性知識。3.3視頻壓縮編碼

124ppt課件1.視頻壓縮原理（4）視覺冗余，研究發(fā)現(xiàn)人眼的視覺特性是非均視頻壓縮編碼的類型：預(yù)測編碼：差分脈沖PCM等變換編碼：正交變換、離散余弦變換統(tǒng)計編碼：霍夫曼編碼、游程編碼、算術(shù)編碼子帶編碼小波變換編碼分形編碼知識（模型）基編碼3.3視頻壓縮編碼2.視頻壓縮編碼125ppt課件視頻壓縮編碼的類型：3.3視頻壓縮編碼2.視頻壓縮編碼43.3.1預(yù)測編碼1.預(yù)測編碼的基本內(nèi)容預(yù)測編碼是基于圖像數(shù)據(jù)的時間和空間冗余特性，用相鄰的已知像素（或圖像塊）來預(yù)測當(dāng)前像素（或圖像塊）的取值，然后再對預(yù)測誤差進(jìn)行量化和編碼。126ppt課件3.3.1預(yù)測編碼1.預(yù)測編碼的基本內(nèi)容42ppt課

這些相鄰像素（或圖像塊）可以是同行掃描的，也可以是前幾行或前幾幀的，相應(yīng)的預(yù)測編碼分別稱為一維、二維和三維預(yù)測，其中一維和二維預(yù)測是幀內(nèi)預(yù)測，三維預(yù)測是幀間預(yù)測，即在時間軸上用前一幀的像素（或圖像塊）對后一幀的像素（或圖像塊）進(jìn)行預(yù)測。

幀間預(yù)測編碼主要利用活動圖像序列相鄰幀間的相關(guān)性，即圖像數(shù)據(jù)的時間冗余來達(dá)到壓縮的目的，它可以獲得比幀內(nèi)預(yù)測編碼高得多的壓縮比。127ppt課件這些相鄰像素（或圖像塊）可以是同行掃描2.預(yù)測編碼的類型

預(yù)測編碼分線性預(yù)測和非線性預(yù)測兩類，線性預(yù)測編碼又稱為差分脈沖編碼調(diào)制，即DPCM（DifferentialPulseCodeModulation）。

DPCM系統(tǒng)又稱預(yù)測量化系統(tǒng)。128ppt課件2.預(yù)測編碼的類型預(yù)測編碼分線性預(yù)測差分脈沖調(diào)制預(yù)測——原理圖量化器預(yù)測器譯碼器預(yù)測器－＋＋編碼器發(fā)送端接收端Xndn^XnXn’dn’dn’^XnXn’129ppt課件差分脈沖調(diào)制預(yù)測——原理圖量化器預(yù)測器譯碼器預(yù)測器－＋＋編碼差分脈沖調(diào)制預(yù)測發(fā)送端預(yù)測器帶有存儲器，把tn時刻以前的采樣值x1,x2,x3,xn-1存儲起來并據(jù)此對xn進(jìn)行預(yù)測，得到預(yù)測值dn為xn與的差值，dn’為dn經(jīng)量化器量化的值xn’是接收端的輸出信號誤差qn為

qn=xn-xn’=xn-(+dn’)=(xn-)-dn’=dn-dn’實際上就是發(fā)送端的量化器對誤差量化的誤差對dn’的量化越粗糙，壓縮比越高，失真越大^Xn^Xn^Xn^Xn130ppt課件差分脈沖調(diào)制預(yù)測^^^^46ppt課件差分脈沖調(diào)制預(yù)測——應(yīng)用示例例如，取一序列為10，12，14，16，18，20。（例如亮度變化緩慢的圖像的亮度值）由于其中所有數(shù)字都不相同，但是是一個等差的數(shù)列，所以行程編碼和哈夫曼對其不產(chǎn)生壓縮效果。先用DPCM方法，其預(yù)測器的預(yù)測參數(shù)為

=Xn-1，則其誤差值得到一個新的序列10，2，2，2，2，2。然后再使用行程編碼方法對這個新序列進(jìn)行壓縮，壓縮結(jié)果為10(5,2)。^Xn131ppt課件差分脈沖調(diào)制預(yù)測——應(yīng)用示例^47ppt課件差分脈沖調(diào)制預(yù)測適用于輸入數(shù)據(jù)為平穩(wěn)的隨機(jī)過程預(yù)測器設(shè)計是預(yù)測編碼系統(tǒng)的核心，預(yù)測器的復(fù)雜程度與線性預(yù)測中使用以前的樣本數(shù)有關(guān)，樣本數(shù)越多，預(yù)測器越復(fù)雜對預(yù)測誤差的量化是造成圖像質(zhì)量下降的主要原因，表現(xiàn)為：斜率過載：圖像輪廓變模糊顆粒噪聲：圖像在平坦區(qū)出現(xiàn)顆粒狀的細(xì)斑邊緣忙亂：在變化不快的邊緣出現(xiàn)閃爍不定現(xiàn)象偽輪廓：在圖像亮度值緩慢變化區(qū)域出現(xiàn)偽輪廓132ppt課件差分脈沖調(diào)制預(yù)測48ppt課件3.雙向預(yù)測

前向預(yù)測：就是用K-1幀來預(yù)測K幀圖像。后向預(yù)測：用K幀預(yù)測前面的K-1幀圖像。

雙向預(yù)測：用前、后兩幀來預(yù)測中間幀圖像。圖雙向預(yù)測示意圖133ppt課件3.雙向預(yù)測前向預(yù)測：就是用K-1幀來預(yù)測K幀圖像134ppt課件50ppt課件135ppt課件51ppt課件圖I、P和B圖像的依賴關(guān)系I幀：幀內(nèi)圖(IntraPicture),只做幀內(nèi)編碼P幀：預(yù)測圖(PredictedPicture),前向預(yù)測幀B幀：雙向圖(BidirectionalPicture),雙向預(yù)測幀136ppt課件圖I、P和B圖像的依賴關(guān)系I幀：幀內(nèi)圖(IntraP

（1）I幀

I幀采用類似JPEG的編碼方式實現(xiàn)。它不以任何其他幀做參考幀，僅僅進(jìn)行幀內(nèi)的空域冗余壓縮。137ppt課件（1）I幀53ppt課件

（2）P幀

P幀是由一個過去的I幀或P幀采用運(yùn)動補(bǔ)償?shù)膸g預(yù)測進(jìn)行更有效的編碼方式。圖像P由殘差圖像SAD和運(yùn)動矢量MV組成。DCT+量化+RLE138ppt課件（2）P幀DCT+量化+RLE54ppt課件圖5-12運(yùn)動自適應(yīng)幀內(nèi)插139ppt課件圖5-12運(yùn)動自適應(yīng)幀內(nèi)插55ppt課件

（3）B幀

B幀是用過去的圖像(I幀或P幀)和后來的圖像幀(I幀或P幀)，采用運(yùn)動補(bǔ)償?shù)碾p向預(yù)測編碼方式。DCT+量化+RLE140ppt課件（3）B幀DCT+量化+RLE56ppt課件4.像素塊預(yù)測MPEG編碼時，先將一幀圖像分割成若干橫條，每一橫條稱為一片，在625行的PAL制中，每幀圖像切成18片，在525行的NTSC制中，每幀圖像切成15片。每一片再縱向切割成22塊，這些塊稱為宏塊或大塊，它是MPEG標(biāo)準(zhǔn)的圖像處理基本單元。141ppt課件4.像素塊預(yù)測MPEG編碼時，先將一

每個宏塊中的彩色圖像，可以用一個亮度信號Y和兩個色差信號Cb和Cr來表示，由于人眼對亮度信號敏感高于色度信號，因而對每個宏塊的亮度信號再平均分成4個像塊。每個像塊在水平方向分成8個像素，垂直方向也分成8個像素，則每個像塊可分成64個像素，而兩個色差信號Cb、Cr宏塊不再分成像塊，而是直接分成64個像素，如圖5-8所示。142ppt課件每個宏塊中的彩色圖像，可以用一個亮度信圖5-8MPEG圖像的格式143ppt課件圖5-8MPEG圖像的格式59ppt課件

在圖像編碼領(lǐng)域目前使用的運(yùn)動估值算法有塊匹配法、像素遞歸法、相位相關(guān)法以及針對由攝像機(jī)運(yùn)動引起圖像全局運(yùn)動的全局運(yùn)動參數(shù)估值等。

其中塊匹配法是最常用的一種方法，在活動視頻編碼的國際標(biāo)準(zhǔn)H.261、MPEG-1、MPEG-2中，實際都采用塊匹配法做運(yùn)動估值。144ppt課件在圖像編碼領(lǐng)域目前使用的運(yùn)動估值算法有

變換編碼的基本原理就是將原來在空間域或時間域內(nèi)描述的信號，變換到正交矢量空間（頻域或變換域）中去，用變換系數(shù)來表示原始圖像，并對變換系數(shù)進(jìn)行編碼。3.3.2變換編碼

盡管變換本身并不帶來數(shù)據(jù)壓縮，但由于變換后信號的能量大部分集中于