第12章 視頻壓縮技術(shù)

西安電子科技大學(xué)出版社應(yīng)用電視技術(shù)趙堅(jiān)勇第12章

視頻壓縮技術(shù)12.1

視頻壓縮的基本原理12.2

靜止圖像壓縮12.3

活動(dòng)圖像編碼12.1

視頻壓縮的基本原理12.1.1

視頻信號(hào)的數(shù)字化和壓縮模擬電視信號(hào)(包括視頻和音頻)通過(guò)取樣、量化后編碼為二進(jìn)制數(shù)字信號(hào)的過(guò)程稱(chēng)為模數(shù)變換(A／D變換)或脈沖編碼調(diào)制PCM(PulseCodingModulation)，所得到的信號(hào)也稱(chēng)為PCM信號(hào)，其過(guò)程可用圖12―1(a)表示。若取樣頻率等于fs、用n比特量化，則PCM信號(hào)的碼率為nfs(b／s)。PCM編碼既可以對(duì)彩色全電視信號(hào)直接進(jìn)行，也可以對(duì)亮度信號(hào)和兩個(gè)色差信號(hào)分別進(jìn)行，前者稱(chēng)為全電視信號(hào)編碼，后者稱(chēng)為分量編碼。PCM信號(hào)經(jīng)解碼和插入濾波恢復(fù)為模擬信號(hào)，如圖12―1(b)所示，解碼是編碼的逆過(guò)程，插入濾波是把解碼后的信號(hào)插補(bǔ)為平滑、連續(xù)的模擬信號(hào)。這兩個(gè)步驟合稱(chēng)為數(shù)模變換（D／A變換）或PCM解碼。圖12―1

電視信號(hào)的數(shù)字化和復(fù)原(a)A/D變換；(b)D/A變換1.奈奎斯特取樣定理理想取樣時(shí)，只要取樣頻率大于或等于模擬信號(hào)中最高頻率的兩倍，就可以不失真地恢復(fù)模擬信號(hào)，這稱(chēng)為奈奎斯特取樣定理。模擬信號(hào)中最高頻率的兩倍稱(chēng)為折疊頻率。2.亞奈奎斯特取樣按取樣定理，若取樣頻率fs小于模擬信號(hào)最高頻率fmax的2倍會(huì)產(chǎn)生混疊失真，但若巧妙地選擇取樣頻率，令取樣頻譜中的混疊分量落在色度分量和亮度分量之間，就可用梳狀濾波器去除混疊成分。3.均勻量化和非均勻量化在輸入信號(hào)的動(dòng)態(tài)范圍內(nèi)，量化間隔幅度處處都相等的量化稱(chēng)均勻量化或線性量化。對(duì)于量化間距固定的均勻量化，信噪比隨輸入信號(hào)的動(dòng)態(tài)幅度的增加而增加。在強(qiáng)信號(hào)時(shí)固然可把噪波淹沒(méi)掉；在弱信號(hào)時(shí)，噪波的干擾就十分顯著。為改善弱信號(hào)時(shí)的信噪比，量化間距應(yīng)隨輸入信號(hào)幅度而變化，大信號(hào)時(shí)進(jìn)行粗量化，小信號(hào)時(shí)進(jìn)行細(xì)量化，也就是采用非均勻量化(或稱(chēng)非線性量化)。非均勻量化有兩種方法。一是把非線性處理放在編碼器前和解碼器后的模擬部分，編解碼仍采用均勻量化，在均勻量化編碼器之前，對(duì)輸入信號(hào)進(jìn)行壓縮，這樣等效于對(duì)大信號(hào)進(jìn)行粗量化，小信號(hào)進(jìn)行細(xì)量化。在均勻量化解碼器之后，再進(jìn)行擴(kuò)張，以恢復(fù)原信號(hào)。另一種方法是直接采用非均勻量化器，輸入信號(hào)大時(shí)進(jìn)行粗量化(量化間距大)，輸入信號(hào)小時(shí)細(xì)量化(量化間距小)。也有采用若干個(gè)量化間距不等的均勻量化器，當(dāng)輸入信號(hào)超過(guò)某一電平時(shí)進(jìn)入粗間距均勻量化器，低于某一電平時(shí)進(jìn)入細(xì)間距量化器，稱(chēng)為準(zhǔn)瞬時(shí)壓擴(kuò)方式。通常用Q表示量化，用IQ或Q-1表示反量化。量化過(guò)程相當(dāng)于由輸入值找到它所在的區(qū)間號(hào)，反量化過(guò)程相當(dāng)于由量化區(qū)間號(hào)得到對(duì)應(yīng)的量化電平值。量化區(qū)間總數(shù)遠(yuǎn)遠(yuǎn)少于原量值的總數(shù)，所以量化能實(shí)現(xiàn)數(shù)據(jù)壓縮。很明顯，反量化后并不能保證得到原來(lái)的值，因此量化過(guò)程是一個(gè)不可逆過(guò)程，用量化的方法來(lái)進(jìn)行壓縮編碼是一種非信息保持型編碼。通常這兩個(gè)過(guò)程均可用查表方法實(shí)現(xiàn)，量化過(guò)程在編碼端完成，而反量化過(guò)程則在解碼端完成。12.1.2ITU―RBT.601分量數(shù)字系統(tǒng)數(shù)字視頻信號(hào)是將模擬視頻信號(hào)經(jīng)過(guò)取樣、量化和編碼形成的，模擬電視有PAL、NTSC等制式，必然會(huì)形成不同制式的數(shù)字視頻信號(hào)，不便于國(guó)際數(shù)字視頻信號(hào)的互通。1982年10月，國(guó)際無(wú)線電咨詢(xún)委員會(huì)CCIR(ConsultativeCommitteeforInternationalRadio)通過(guò)了第一個(gè)關(guān)于演播室彩色電視信號(hào)數(shù)字編碼的建議，1993年變更為國(guó)際電聯(lián)無(wú)線電通信部門(mén)ITU―R(InternationalTelecommunicationsUnion―RadiocommunicationsSector)BT．601分量數(shù)字系統(tǒng)建議。BT.601建議采用了對(duì)亮度信號(hào)和兩個(gè)色差信號(hào)分別編碼的分量編碼方式，對(duì)不同制式的信號(hào)采用相同的取樣頻率13.5MHz，與任何制式的彩色副載波頻率無(wú)關(guān)。對(duì)亮度信號(hào)Y的取樣頻率為13.5MHz。由于色度信號(hào)的帶寬遠(yuǎn)比亮度信號(hào)的帶寬窄，對(duì)色度信號(hào)U和V的取樣頻率為6.75MHz。每個(gè)數(shù)字有效行分別有720個(gè)亮度取樣點(diǎn)和360×2個(gè)色差信號(hào)取樣點(diǎn)。對(duì)每個(gè)分量的取樣點(diǎn)都是均勻量化，對(duì)每個(gè)取樣進(jìn)行8比特精度的PCM編碼。這幾個(gè)參數(shù)對(duì)525行、60場(chǎng)／秒和625行50場(chǎng)／秒的制式都是相同的。有效取樣點(diǎn)是指只有掃描正程的樣點(diǎn)有效，逆程的樣點(diǎn)不在PCM編碼的范圍內(nèi)。因?yàn)樵跀?shù)字化的視頻信號(hào)中，不再需要行、場(chǎng)同步信號(hào)和消隱信號(hào)，只要有行、場(chǎng)(幀)的起始位置即可。例如，對(duì)于PAL制，傳輸所有的樣點(diǎn)數(shù)據(jù)，大約需要200Mb／s的傳輸速率，傳輸有效樣點(diǎn)只需要160Mb／s左右的速率。色度信號(hào)的取樣率是亮度信號(hào)的取樣率的一半，常稱(chēng)作4∶2∶2格式，可以理解為每一行里的Y、U、V的樣點(diǎn)數(shù)之比為4∶2∶2。12.1.3熵編碼熵編碼(EntropyCoding)是一類(lèi)無(wú)損編碼，因編碼后的平均碼長(zhǎng)接近信源的熵而得名。熵編碼多用可變字長(zhǎng)編碼(VLC，VariableLengthCoding)實(shí)現(xiàn)。其基本原理是對(duì)信源中出現(xiàn)概率大的符號(hào)賦以短碼，對(duì)出現(xiàn)概率小的符號(hào)賦以長(zhǎng)碼，從而在統(tǒng)計(jì)上獲得較短的平均碼長(zhǎng)。所編的碼應(yīng)是即時(shí)可譯碼，某一個(gè)碼不會(huì)是另一個(gè)碼的前綴，各個(gè)碼之間無(wú)需附加信息便可自然分開(kāi)。1.Huffman編碼霍夫曼（Huffman）編碼是一種可變長(zhǎng)編碼,編碼方法如圖12―2所示。其編碼過(guò)程如下：(1)將輸入信號(hào)符號(hào)以出現(xiàn)概率由大至小為序排成一列。(2)將兩處最小概率的符號(hào)相加合成為一個(gè)新概率，再按出現(xiàn)概率大小排序。(3)重復(fù)步驟(2)，直至最終只剩兩個(gè)概率。(4)編碼從最后一步出發(fā)逐步向前進(jìn)行，概率大的符號(hào)賦予“0”碼，另一個(gè)概率賦予“1”碼，直至到達(dá)最初的概率排列為止。圖12―2Huffman編碼2.算術(shù)編碼Huffman編碼的每個(gè)代碼都要使用一個(gè)整數(shù)位，如果一個(gè)符號(hào)只需要用2.5位就能表示，但在Huffman編碼中卻必須用3個(gè)符號(hào)表示，因此它的編碼效率就較低。與其相比，算術(shù)編碼并不是為每個(gè)符號(hào)產(chǎn)生一個(gè)單獨(dú)的代碼，而是使整條信息共用一個(gè)代碼，增加到信息上的每個(gè)新符號(hào)都遞增地修改輸出代碼。假設(shè)信源由4個(gè)符號(hào)s1、s2、s3和s4組成，其概率模型如表12―1所示。把各符號(hào)出現(xiàn)的概率表示在如圖12―3所示的單位概率區(qū)間之中，區(qū)間的寬度代表概率值的大小，各符號(hào)所對(duì)應(yīng)的子區(qū)間的邊界值，實(shí)際上是從左到右各符號(hào)的累積概率。在算術(shù)編碼中，通常采用二進(jìn)制的小數(shù)來(lái)表示概率，每個(gè)符號(hào)所對(duì)應(yīng)的概率區(qū)間都是半開(kāi)區(qū)間，如s1對(duì)應(yīng)［0，0.001)，s2對(duì)應(yīng)［0.001，0.011)。算術(shù)編碼所產(chǎn)生的碼字實(shí)際上是一個(gè)二進(jìn)制小數(shù)值的指針，該指針指向所編的符號(hào)對(duì)應(yīng)的概率區(qū)間。表12―1

信源概率模型和算術(shù)編碼過(guò)程圖12―3

算術(shù)編碼過(guò)程示意圖若將符號(hào)序列s3s3s2s4進(jìn)行算術(shù)編碼，序列的第一個(gè)符號(hào)為s3，我們用指向圖12―3中第3個(gè)子區(qū)間的指針來(lái)代表這個(gè)符號(hào)。由此得到碼字0.011。后續(xù)的編碼將在前面編碼指向的子區(qū)間內(nèi)進(jìn)行。將［0.011，0.111)區(qū)間再按符號(hào)的概率值劃分成4份，對(duì)第二個(gè)符號(hào)s3，指針指向0.1001,碼字串變?yōu)?.1001。然后s3所對(duì)應(yīng)的子區(qū)間又被劃分為4份，開(kāi)始對(duì)第3個(gè)符號(hào)進(jìn)行編碼……算術(shù)編碼的基本法則如下：(1)初始狀態(tài)：編碼點(diǎn)(指針?biāo)柑?C0=0，區(qū)間寬度A0=1。(2)新編碼點(diǎn)：

Ci=Ci-1+Ai-1×Pi式中：Ci-1是原編碼點(diǎn)；Ai-1是原區(qū)間寬度；Pi為所編符號(hào)對(duì)應(yīng)的累積概率。新區(qū)間寬度Ai=Ai-1×pi式中，pi為所編符號(hào)對(duì)應(yīng)的概率。根據(jù)上述法則，對(duì)序列s3s3s2s4進(jìn)行算術(shù)編碼的過(guò)程如下：第一個(gè)符號(hào)s3：C1=C0+A0×P1=0+1×0.011=0.011A1=A0×p1=1×0.1=0.1［0.011,0.111)第二個(gè)符號(hào)s3：C2=C1+A1×P2=0.011+0.1×0.011=0.1001A2=A1×p2=0.1×0.1=0.01［0.1001,0.1101)第三個(gè)符號(hào)s2：C3=C2+A2×P3=0.1001+0.01×0.001=0.10011

A3=A2×p3=0.01×0.01=0.0001

［0.10011,0.10101)第四個(gè)符號(hào)s4：

C4=C3+A3×P4=0.10011+0.0001×0.111=0.1010011

A4=A3×p4=0.0001×0.001=0.0000001

［0.1010011,0.10101)3.游程編碼游程編碼RLC(RunLengthCoding)是一種十分簡(jiǎn)單的壓縮方法，它將數(shù)據(jù)流中連續(xù)出現(xiàn)的字符用單一的記號(hào)來(lái)表示。例如，字符串5310000000000110000000012000000000000可以壓縮為5310―10110―08120―12，其中，“―”后面2個(gè)數(shù)字是“―”前面數(shù)字的連續(xù)個(gè)數(shù)。游程編碼的壓縮率不高，但編碼、解碼的速度快，仍然得到廣泛的應(yīng)用，特別是在變換編碼后再進(jìn)行游程編碼，有很好的效果。12.1.4預(yù)測(cè)編碼和變換編碼1.DPCM原理基于圖像的統(tǒng)計(jì)特性進(jìn)行數(shù)據(jù)壓縮的基本方法就是預(yù)測(cè)編碼。它是利用圖像信號(hào)的空間或時(shí)間相關(guān)性，用已傳輸?shù)南袼貙?duì)當(dāng)前的像素進(jìn)行預(yù)測(cè)，然后對(duì)預(yù)測(cè)值與真實(shí)值的差——預(yù)測(cè)誤差，進(jìn)行編碼處理和傳輸。目前用得較多的是線性預(yù)測(cè)方法，全稱(chēng)為差值脈沖編碼調(diào)制DPCM(DifferentialPulseCodeModulation)。利用幀內(nèi)相關(guān)性(像素間、行間的相關(guān))的DPCM稱(chēng)幀內(nèi)預(yù)測(cè)編碼。如果對(duì)亮度信號(hào)和兩個(gè)色差信號(hào)分別進(jìn)行DPCM編碼，對(duì)亮度信號(hào)采用較高的取樣率和較多位數(shù)編碼，對(duì)色差信號(hào)用較低的取樣率和較少位數(shù)編碼，構(gòu)成時(shí)分復(fù)合信號(hào)后再進(jìn)行DPCM編碼，這樣做可使總碼率更低。圖12―4

DPCM原理(a)DPCM編碼器；(b)DPCM解碼器利用幀間相關(guān)性(鄰近幀的時(shí)間相關(guān)性)的DPCM被稱(chēng)為幀間預(yù)測(cè)編碼，因幀間相關(guān)性大于幀內(nèi)相關(guān)性，其編碼效率更高；若把這兩種DPCM組合起來(lái)，再配上變字長(zhǎng)編碼技術(shù)，能取得較好的壓縮效果。DPCM是圖像編碼技術(shù)中研究得最早、且應(yīng)用最廣的一種方法，它的一個(gè)重要的特點(diǎn)是算法簡(jiǎn)單，易于硬件實(shí)現(xiàn)。圖12―4（a）是它的示意圖，編碼單元主要包括線性預(yù)測(cè)器和量化器兩部分。編碼器的輸出不是圖像像素的樣值f(m，n)，而是該樣值與預(yù)測(cè)值g(m，n)之間的差值，即預(yù)測(cè)誤差e(m，n)的量化值E(m，n)。根據(jù)圖像信號(hào)統(tǒng)計(jì)特性的分析，給出一組恰當(dāng)?shù)念A(yù)測(cè)系數(shù)，使預(yù)測(cè)誤差主要分布在“0”附近，經(jīng)非均勻量化，采用較少的量化分層，圖像數(shù)據(jù)得到了壓縮。而量化噪聲又不易被人眼所覺(jué)察，圖像的主觀質(zhì)量并不明顯下降。圖12―4（b）是DPCM解碼器，其原理與編碼器剛好相反。DPCM編碼性能主要取決于預(yù)測(cè)器的設(shè)計(jì)。預(yù)測(cè)器設(shè)計(jì)要確定預(yù)測(cè)器的階數(shù)N以及各預(yù)測(cè)系數(shù)。圖12―4是一個(gè)四階預(yù)測(cè)器的示意圖。圖12―5(a)表示預(yù)測(cè)器所用的輸入像素和被預(yù)測(cè)像素之間的位置關(guān)系，圖12―5(b)表示預(yù)測(cè)器的結(jié)構(gòu)。圖12―5

四階預(yù)測(cè)器(a)輸入像素和預(yù)測(cè)像素；(b)預(yù)測(cè)器構(gòu)成2.變換編碼原理圖像變換編碼是將空間域里描述的圖像，經(jīng)過(guò)某種變換(如傅里葉變換、離散余弦變換和沃爾什變換等)在變換域中進(jìn)行描述，將圖像能量在空間域的分散分布變?yōu)樵谧儞Q域的相對(duì)集中分布，便于用“Z”(Zig

Zag)字形掃描、自適應(yīng)量化、變長(zhǎng)編碼等進(jìn)一步處理，完成對(duì)圖像信息的有效壓縮。先從一個(gè)實(shí)例來(lái)看，一個(gè)域的數(shù)據(jù)變換到另一個(gè)域后，其分布是如何改變的。以1×2像素構(gòu)成的子圖像，即相鄰兩個(gè)像素組成的子圖像為例，每個(gè)像素3比特編碼，取0～7共8個(gè)灰度級(jí)，兩個(gè)像素有64種可能的灰度組合，由圖12―6（a）中的64個(gè)坐標(biāo)點(diǎn)表示。一般圖像相鄰像素之間存在很強(qiáng)的相關(guān)性，絕大多數(shù)的子圖像中相鄰兩像素灰度級(jí)相等或很接近，也就是說(shuō)在x1=x2直線附近出現(xiàn)的概率大，如圖12―6（a）中的陰影區(qū)所示?，F(xiàn)在將坐標(biāo)系逆時(shí)針旋轉(zhuǎn)45°，如圖12―6(b)所示。在新的坐標(biāo)系y1、y2中，概率大的子圖像區(qū)位于y1軸附近。表明變量y1、y2之間的聯(lián)系比變量x1、x2之間的聯(lián)系在統(tǒng)計(jì)上更加獨(dú)立，方差也重新分布。在原來(lái)坐標(biāo)系中子圖像的兩個(gè)像素具有較大的相關(guān)性，能量的分布比較分散，兩者具有大致相同的方差，而在變換后的坐標(biāo)系中，子圖像的兩個(gè)像素之間的相關(guān)性大大減弱，能量分布向y1軸集中，y1的方差也遠(yuǎn)大于y2。這種變換后坐標(biāo)軸上方差不均勻分布正是正交變換編碼能夠?qū)崿F(xiàn)圖像數(shù)據(jù)壓縮的理論根據(jù)。若按照人的視覺(jué)特性，只保留方差較大的那些變換系數(shù)分量，就可以獲得更大的數(shù)據(jù)壓縮比，這就是視覺(jué)心理編碼的方法。把一個(gè)n×n像素的子圖像看成為n2維坐標(biāo)系中的一個(gè)坐標(biāo)點(diǎn)，在n2維坐標(biāo)系中每一個(gè)坐標(biāo)點(diǎn)對(duì)應(yīng)于n2個(gè)像素。這個(gè)坐標(biāo)點(diǎn)各維的數(shù)值是其對(duì)應(yīng)的n2個(gè)像素的灰度組合。圖像在n2維變換域中，相關(guān)性大大下降。因此，用變換后的系數(shù)進(jìn)行編碼，比直接用圖像數(shù)據(jù)編碼可獲得更大的數(shù)據(jù)壓縮。圖12―6

正交變換的物理意義(a)子圖像在陰影區(qū)的概率較大；(b)旋轉(zhuǎn)變換后正交變換將被處理數(shù)據(jù)按照某種變換規(guī)則映射到另一個(gè)域中去處理，圖像編碼采用二維正交變換的方式。若將整個(gè)圖像作為一個(gè)二維矩陣，正交變換的計(jì)算量太大。所以將一幅圖像分成一個(gè)個(gè)小圖像塊，通常是8×8或16×16小方塊，每個(gè)圖像塊可以看成為一個(gè)二維數(shù)據(jù)矩陣。正交變換以這些小圖像塊為單位進(jìn)行，變換編碼把統(tǒng)計(jì)上密切相關(guān)的像素構(gòu)成的矩陣通過(guò)線性正交變換，變成統(tǒng)計(jì)上較為相互獨(dú)立、甚至完全獨(dú)立的變換系數(shù)所構(gòu)成的矩陣。信息論的研究表明，變換前后圖像的信息量并無(wú)損失，可以通過(guò)反變換得到原來(lái)的圖像值。統(tǒng)計(jì)分析表明，正交變換后，數(shù)據(jù)的分布向新坐標(biāo)系中的少數(shù)坐標(biāo)集中，集中于少數(shù)的直流或低頻分量的坐標(biāo)點(diǎn)。正交變換并不壓縮數(shù)據(jù)量，但它去除了大部分相關(guān)性，數(shù)據(jù)分布相對(duì)集中，可以依據(jù)人的視覺(jué)特性，對(duì)變換系數(shù)進(jìn)行量化，允許引入一定量的誤差，只要它們?cè)谥亟▓D像中造成的圖像失真不明顯，或者能達(dá)到所要求的觀賞質(zhì)量就行。量化可以增加許多不用編碼的0系數(shù)，然后再對(duì)量化后的系數(shù)施行變長(zhǎng)編碼。3.離散余弦變換(DCT)在常用的正交變換中，離散余弦變換DCT(DiscreteCosineTransform)的性能接近最佳，是一種準(zhǔn)最佳變換。DCT變換矩陣與圖像內(nèi)容無(wú)關(guān)，由于它構(gòu)造成對(duì)稱(chēng)的數(shù)據(jù)序列，避免了子圖像輪廓處的跳躍和不連續(xù)現(xiàn)象。DCT變換也有快速算法(FDCT)，在圖像編碼的應(yīng)用中，大都采用二維DCT變換。對(duì)于一般圖像，在二維DCT的變換域中，幅值較大的系數(shù)集中在低頻域，圖12―7是一幅圖像上的兩個(gè)8×8像素矩陣及其二維DCT系數(shù)矩陣。圖12―7(a)是背景區(qū)域的一小塊圖像，它的系數(shù)矩陣左上角的50為DCT系數(shù)的直流分量，它標(biāo)志著該像素塊的亮度平均值，其余系數(shù)皆為零，說(shuō)明在變換域中系數(shù)的分布是相當(dāng)集中的。圖12―7(b)為細(xì)節(jié)較多的區(qū)域里的一小塊圖像，其系數(shù)的分布集中的程度要差一些。圖12―7

圖像塊的DCT變換(a)背景部分圖像塊的DCT；(b)細(xì)節(jié)部分圖像塊的DCT圖12―8

Z字形掃描對(duì)自然景物圖像的統(tǒng)計(jì)表明，DCT系數(shù)矩陣的能量集中在反映水平和垂直低頻分量的左上角。量化以后，DCT系數(shù)矩陣變得稀疏，位于矩陣右下角的高頻分量系數(shù)大部分被量化為零。游程編碼的思想是，用適當(dāng)?shù)膾呙璺绞綄⒁蚜炕亩SDCT系數(shù)矩陣變換為一維序列，所用的掃描方式應(yīng)使序列中連零的數(shù)目盡量多，或者說(shuō)使連零的游程盡量長(zhǎng)，對(duì)游程的長(zhǎng)度進(jìn)行游程編碼RLC(RunLengthCoding)以替代逐個(gè)地傳送這些零值，就能進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)壓縮。常用的Z(ZigZag)字形掃描如圖12―8所示。游程編碼的方法是將掃描得到的一維序列轉(zhuǎn)化為一個(gè)由二元數(shù)組(run，1evel)組成的數(shù)組序列。其中,run表示連零的長(zhǎng)度，level表示這串連零之后出現(xiàn)的一個(gè)非零值。當(dāng)剩下的所有系數(shù)都為零時(shí)，用一個(gè)符號(hào)EOB(EndofBlock)來(lái)代表。4.混合編碼混合編碼是近年來(lái)廣泛采用的方法，這種方法充分利用各種單一壓縮方法的長(zhǎng)處，以期在壓縮比和效率之間取得最佳的平衡。如廣泛流行的JPEG和MPEG壓縮方法都是典型的混合編碼方案。12.2

靜止圖像壓縮靜止圖像是指內(nèi)容不變的圖像。它可能是不活動(dòng)場(chǎng)景圖像或活動(dòng)場(chǎng)景圖像某一瞬時(shí)的“凍結(jié)”圖像。靜止圖像編碼是指對(duì)單幅圖像的編碼。靜止圖像用于傳送文件、模型、圖片和現(xiàn)場(chǎng)的實(shí)況監(jiān)視圖像。實(shí)況監(jiān)視每隔一定時(shí)間間隔更換一幅新的圖像，可以不連續(xù)地看到現(xiàn)場(chǎng)的情況，是一種準(zhǔn)實(shí)時(shí)的監(jiān)視。靜止圖像編碼有以下要求：(1)清晰度：靜止圖像中的細(xì)節(jié)容易被觀察到，要求有更高的清晰度。(2)逐漸浮現(xiàn)的顯示方式：在窄帶傳輸時(shí)為了減少等待時(shí)間，要求編碼能提供逐漸浮現(xiàn)的顯示方式，即先傳模糊的整幅圖像，再逐漸變清晰。(3)抗干擾：一幅圖像的傳輸時(shí)間較長(zhǎng)，各種干擾噪聲顯示時(shí)間較長(zhǎng)，影響觀看，要求編碼與調(diào)制方式都有較強(qiáng)的抗干擾能力。

圖12―9是靜止圖像編碼傳輸系統(tǒng)示意圖。攝像機(jī)攝取的全電視信號(hào)，經(jīng)數(shù)據(jù)采集卡捕獲一幀圖像并數(shù)字化后，送至幀存儲(chǔ)器；也可用數(shù)字?jǐn)z像機(jī)直接得到數(shù)字圖像。編碼器對(duì)幀存儲(chǔ)器中存放的數(shù)字圖像進(jìn)行壓縮編碼，因時(shí)間充?？刹捎幂^復(fù)雜的算法提高壓縮比，保持較高的清晰度。經(jīng)調(diào)制后送到信道中傳輸。接收的過(guò)程則相反，信號(hào)經(jīng)解調(diào)、解碼后送幀存儲(chǔ)器，然后以一定的方式讀出，經(jīng)D／A變換后在顯示屏上顯示，或被拷貝下來(lái)。圖12―9

靜止圖像數(shù)字傳輸系統(tǒng)12.2.1JPEG標(biāo)準(zhǔn)JPEG是國(guó)際標(biāo)準(zhǔn)化組織ISO（InternationalOrganizationforStandardization)／國(guó)際電工技術(shù)委員會(huì)IEC和ITU―T共同組成的聯(lián)合圖像專(zhuān)家小組(JointPhotographicExpertsGroup)的縮寫(xiě)。1991年3月JPEG建議（ISO／IEC10918號(hào)標(biāo)準(zhǔn)）“多灰度靜止圖像的數(shù)字壓縮編碼(通常簡(jiǎn)稱(chēng)為JPEG標(biāo)準(zhǔn))”正式通過(guò)。這是一個(gè)適用于彩色和單色多灰度或連續(xù)色調(diào)靜止數(shù)字圖像的壓縮標(biāo)準(zhǔn)，包括無(wú)損壓縮和基于離散余弦變換和霍夫曼編碼的有損壓縮兩個(gè)部分。JPEG基本算法操作可分成六個(gè)步驟，如圖12―10所示。圖12―10

JPEG算法步驟1.彩色坐標(biāo)轉(zhuǎn)換彩色坐標(biāo)轉(zhuǎn)換是要去除數(shù)據(jù)冗余量，不屬于JPEG算法，JPEG是與彩色坐標(biāo)無(wú)關(guān)的。壓縮可采用不同坐標(biāo)(如RGB、YUV、YIQ等)的圖像數(shù)據(jù)。2.離散余弦變換JPEG采用8×8子塊的二維離散余弦變換算法。在編碼器的輸入端，把原始圖像(U、V的像素是Y的一半)順序地分割成一系列8×8的子塊。在8×8圖像塊中，像素值變化緩慢，具有較低的空間頻率。進(jìn)行二維8×8離散余弦變換可以將圖像塊的能量集中在極少數(shù)系數(shù)上，DCT的(0，0)元素是塊的平均值，其他元素表明在每個(gè)空間頻率下的譜能為多少。一般地，離原點(diǎn)(0，0)越遠(yuǎn)，元素衰減得越快。3.量化為了達(dá)到壓縮數(shù)據(jù)的目的，對(duì)DCT系數(shù)需作量化處理。量化的作用是在保持一定質(zhì)量的前提下，丟棄圖像中對(duì)視覺(jué)效果影響不大的信息。量化是多對(duì)一映射，是造成DCT編碼信息損失的根源。JPEG標(biāo)準(zhǔn)中采用線性均勻量化器，量化過(guò)程為對(duì)64個(gè)DCT系數(shù)除以量化步長(zhǎng)并四舍五入取整，量化步長(zhǎng)由量化表決定。量化表元素因DCT系數(shù)位置和彩色分量的不同而取不同值。量化表為8×8矩陣，與DCT變換系數(shù)一一對(duì)應(yīng)。量化表一般由用戶規(guī)定(JPGE標(biāo)準(zhǔn)中給出了參考值)，可根據(jù)人類(lèi)視覺(jué)系統(tǒng)和壓縮圖像類(lèi)型的特點(diǎn)進(jìn)行優(yōu)化，并作為編碼器的一個(gè)輸入。量化表中元素為1～255之間的任意整數(shù)，其值規(guī)定了它所對(duì)應(yīng)DCT系數(shù)的量化步長(zhǎng)。DCT變換系數(shù)除以量化表中對(duì)應(yīng)位置的量化步長(zhǎng)并舍去小數(shù)部分后，多數(shù)變?yōu)榱悖瑥亩_(dá)到了壓縮的目的。表12―2和表12―3分別給出了JPEG標(biāo)準(zhǔn)所推薦的亮度量化表和色度量化表。

表12―2

JPEG亮度量化步長(zhǎng)表12―3

JPEG色度量化步長(zhǎng)4.差分編碼64個(gè)變換數(shù)經(jīng)量化后，DCT的(0，0)元素是直流分量(DC系數(shù))，即空間域中64個(gè)圖像采樣值的均值，相鄰8×8子塊之間的DC系數(shù)一般有很強(qiáng)的相關(guān)性，變化應(yīng)該較緩慢。JPEG標(biāo)準(zhǔn)對(duì)DC系數(shù)采用DPCM編碼(差分編碼)方法，即對(duì)相鄰像素塊之間的DC系數(shù)的差值進(jìn)行編碼能將它們中的大多數(shù)數(shù)值減小。5.游程編碼其余63個(gè)交流分量(AC系數(shù))采用游程編碼。如果從左到右、從上到下地掃描塊，零元素不集中，因此采用從左上角開(kāi)始沿對(duì)角線方向Z字形掃描。量化后的AC系數(shù)通常會(huì)有許多零值。6.熵編碼為了進(jìn)一步壓縮數(shù)據(jù)，對(duì)DC碼和AC游程編碼的碼字再作具有統(tǒng)計(jì)特性的熵編碼。JPEG標(biāo)準(zhǔn)建議采用霍夫曼編碼和自適應(yīng)二進(jìn)制算術(shù)編碼。12.2.2

JPEG2000標(biāo)準(zhǔn)JPEG2000是JPEG工作組制定的最新的靜止圖像壓縮編碼的國(guó)際標(biāo)準(zhǔn)，標(biāo)準(zhǔn)號(hào)為ISO／IEC15444(ITU―TT.800)，于2000年年底陸續(xù)公布。JPEG2000主要由六個(gè)部分組成：第一部分為編碼的核心部分，提供優(yōu)秀的壓縮性能和壓縮靈活性，提供隨機(jī)訪問(wèn)碼流的機(jī)制。第二部分為編碼擴(kuò)展。第三部分為MotionJPEG2000(MJP2)。第四部分為一致性測(cè)試（測(cè)試用不同方法實(shí)現(xiàn)時(shí)標(biāo)準(zhǔn)的一致性）。第五部分為參考軟件。第六部分為復(fù)合圖像文件格式。1.JPEG2000采用了小波變換(DWT)JPEG基本算法中的基于子塊的DCT變換被離散小波變換DWT(DiscreteWaveletTransform)所取代。DWT自身具有多分辨率圖像表示性能，它可以在大范圍去除圖像的相關(guān)性，將圖像能量分布更好地集中，使壓縮效率得到提高。一個(gè)圖像可以被分成若干大小相等的片(tile)，片的具體尺寸可以由用戶根據(jù)應(yīng)用需要來(lái)決定，片包括所有的圖像分量。假設(shè)圖像有3個(gè)分量(YUV)且圖像被分成4個(gè)片，實(shí)際上指的是對(duì)應(yīng)的4個(gè)Y片，4個(gè)U片和4個(gè)V片，即每個(gè)片由3個(gè)分量片組成。各個(gè)分量片獨(dú)立編解碼，所以可以從碼流中單獨(dú)提取某個(gè)或某些片，解碼后重建圖像。這種片劃分和片獨(dú)立編碼的機(jī)制有利于從碼流中提取和解碼某個(gè)圖像區(qū)域。對(duì)分量片做不同級(jí)別的小波分解(小波變換)，小波變換的作用是對(duì)圖像進(jìn)行多分辨率分解，即把原始圖像分解成不同空間、不同頻率的子圖像。這些子圖像實(shí)際上是由小波變換后產(chǎn)生的系數(shù)構(gòu)成，即系數(shù)圖像。對(duì)一個(gè)原始圖像或分量片進(jìn)行3級(jí)小波分解的例子如圖12-11所示,每一級(jí)分解都把圖像分解成4個(gè)不同空間、不同頻帶的子圖像(也稱(chēng)子帶圖像或子帶分量)。這4個(gè)子帶分量是：低頻分量LL(包含圖像的低頻信息，即圖像的主要特征，低頻分量可再次分解)；水平分量LH(包含較多的水平邊緣信息)，垂直分量HL(包含較多的垂直邊緣信息)和對(duì)角分量HH(包含水平和垂直邊緣信息)。從圖12―11可以看出，分解級(jí)數(shù)越多，圖像分辨率等級(jí)越多，每一級(jí)分解圖像的分辨率降為前一級(jí)的一半。在解碼端，如果只想得到低于原始圖像分辨率的圖像，就只需對(duì)部分子帶圖像(子帶分量)進(jìn)行解碼。小波變換本身并不具有數(shù)據(jù)壓縮能力，變換前，原始圖像的數(shù)據(jù)量(像素值的個(gè)數(shù))與變換后各系數(shù)的數(shù)據(jù)量（系數(shù)個(gè)數(shù)）相等，變換的意義在于使圖像的能量分布（頻域內(nèi)的系數(shù)分布）發(fā)生了改變，圖像的主要能量集中在低頻區(qū)(LL區(qū))，而水平、垂直、對(duì)角線部分的高頻能量較少。通過(guò)量化，把大量幅值較小系數(shù)抑制為零，從而壓縮數(shù)據(jù)量。要進(jìn)一步大幅度壓縮數(shù)據(jù)量，還需進(jìn)行合適的編碼處理(如算術(shù)編碼)，用更少的比特表示那些量化后不為零的小波系數(shù)。圖12―11

DWT對(duì)靜止圖像進(jìn)行三級(jí)分解(a)一級(jí)分解示意圖；(b)二級(jí)分解示意圖；(c)三級(jí)分解示意圖2.JPEG2000同時(shí)支持有損和無(wú)損壓縮小波變換可以使用可逆的LeGall(5，3)濾波器，也可以使用不可逆的Daubechies(9，7)雙正交濾波器?？赡鏋V波器支持無(wú)損編碼；不可逆濾波器不支持無(wú)損編碼，但能達(dá)到更高的壓縮比。3.JPEG2000支持ROI處理在處理圖像時(shí)，往往對(duì)部分感興趣區(qū)域ROI(RegionofInterest)有較高的質(zhì)量要求，希望是無(wú)損壓縮。為了得到較高的壓縮效率，把圖像的其他部分看成是背景，進(jìn)行壓縮比較高的有損壓縮。在傳輸圖像碼流時(shí)，ROI區(qū)域可先于圖像的其他部分被傳輸，如果壓縮碼流被截取，則在一定程度上可保證ROI的質(zhì)量。

JPEG2000系統(tǒng)為ROI區(qū)域產(chǎn)生一個(gè)ROI模板，用來(lái)標(biāo)志ROI區(qū)域。選擇適當(dāng)?shù)谋壤蜃觭，將位于ROI模板區(qū)域之外的背景量化系數(shù)的幅值除以2s，得到的數(shù)值小于ROI模板中最小的量化系數(shù)幅值。這樣處理后，位于ROI模板內(nèi)的量化系數(shù)所處的位平面高于背景系數(shù)所處的位平面，在進(jìn)行位平面算術(shù)編碼的時(shí)候，先對(duì)ROI域中的量化系數(shù)編碼，然后再對(duì)背景系數(shù)編碼。因?yàn)镽OI區(qū)域的位平面高于背景區(qū)域，ROI區(qū)域的壓縮碼流位于整個(gè)碼流的前端，當(dāng)碼流被截?cái)鄷r(shí)ROI區(qū)域中的數(shù)據(jù)在一定程度上受到保護(hù)，保證了ROI的重構(gòu)質(zhì)量。4.可隨機(jī)獲取部分壓縮碼流JPEG2000系統(tǒng)將碼流分層組織，每一層含有一定的質(zhì)量信息，在前面層的基礎(chǔ)上改善圖像質(zhì)量。在網(wǎng)絡(luò)上進(jìn)行圖像瀏覽時(shí)，可先傳送第一層，給用戶一個(gè)較粗的圖像，然后再傳送第二層，圖像質(zhì)量在第一層的基礎(chǔ)上得到改善，這樣一層一層地傳輸下去，可得到不同質(zhì)量的重構(gòu)圖像。如果傳輸了所有的層，則可獲得完整的圖像壓縮碼流。JPEG2000由于采用了這種思想，使得壓縮生成的碼流同時(shí)具有質(zhì)量可分級(jí)性和分辨率可分級(jí)性。5.隨機(jī)存取圖像某個(gè)區(qū)域有時(shí)只需得到巨幅圖像的部分區(qū)域，JPEC2000標(biāo)準(zhǔn)利用小波變換的局部特性，可識(shí)別部分圖像區(qū)域在子帶上的映射。每個(gè)碼塊是獨(dú)立進(jìn)行編碼的，通過(guò)選取含有此部分圖像區(qū)域信息的碼塊壓縮位流，進(jìn)行解碼，可以重構(gòu)出所要的目標(biāo)區(qū)域。ROI技術(shù)在很大程度上為實(shí)現(xiàn)隨機(jī)存取碼流提供了一種渠道。6.抗誤碼性能在JPEG2000標(biāo)準(zhǔn)中，采取了一些措施來(lái)提高圖像壓縮碼流的抗誤碼性能，將量化后的子帶系數(shù)分成若干個(gè)小的編碼單元——碼塊，對(duì)每個(gè)碼塊進(jìn)行獨(dú)立編解碼。這樣，當(dāng)一個(gè)碼塊的位流發(fā)生比特錯(cuò)誤時(shí)，只會(huì)把錯(cuò)誤引起的影響限制在本碼塊中。壓縮碼流數(shù)據(jù)采用了稱(chēng)為包(packet)的結(jié)構(gòu)單元，每個(gè)包的數(shù)據(jù)前面含有再同步信息，允許發(fā)生錯(cuò)誤后重新恢復(fù)同步。7.視覺(jué)頻率加權(quán)在JPEG2000中，可選擇使用對(duì)不同空間頻率有不同敏感度的視覺(jué)系統(tǒng)模型。這一模型用對(duì)比度敏感函數(shù)CSF（ContrastSensitivityFunction）來(lái)衡量。因?yàn)镃SF函數(shù)是由變換系數(shù)的視覺(jué)頻率來(lái)決定的，所以可給小波變換后的每個(gè)子帶分配一個(gè)CSF權(quán)值。CSF權(quán)值的確定依據(jù)觀察重構(gòu)圖像的視覺(jué)條件而定，有兩種選取辦法：固定的視覺(jué)加權(quán)編碼和視覺(jué)累進(jìn)加權(quán)編碼。固定的視覺(jué)加權(quán)僅由視覺(jué)條件決定。對(duì)分層組織碼流，因?yàn)槲涣骺杀唤財(cái)?，在不同的截?cái)嗵帲胁煌馁|(zhì)量，因而進(jìn)行觀察的視覺(jué)條件是不同的。比如，對(duì)于低比特率的情況，缺少細(xì)節(jié)，壓縮圖像質(zhì)量差，適合進(jìn)行遠(yuǎn)距離觀察；隨著比特?cái)?shù)的增加，細(xì)節(jié)越來(lái)越多，壓縮圖像質(zhì)量逐漸變好，適合近距離觀測(cè)。因此，CSF權(quán)值在不同的截?cái)嗵帒?yīng)有不同的值，這便是視覺(jué)累進(jìn)加權(quán)編碼。在進(jìn)行視覺(jué)累進(jìn)加權(quán)編碼時(shí)，不需改變系數(shù)值或者量化步長(zhǎng)，而是根據(jù)視覺(jué)權(quán)值，改變失真矩陣，通過(guò)參考文獻(xiàn)［41］中提出的PCRD算法，計(jì)算碼塊對(duì)每個(gè)層的貢獻(xiàn)，通過(guò)改變碼塊編碼通道在分層組織位流中的順序來(lái)實(shí)現(xiàn)。JPEG2000具有的多種特點(diǎn)使得它具有廣泛的應(yīng)用前景。由于采用小波變換和最新的壓縮算法，能夠獲得較好的壓縮比，且對(duì)壓縮碼流可進(jìn)行靈活處理，如隨機(jī)獲取部分壓縮碼流、累進(jìn)式傳輸、實(shí)現(xiàn)ROI以及壓縮碼流具有較強(qiáng)的容錯(cuò)性能等，可應(yīng)用于因特網(wǎng)、移動(dòng)通信、打印、掃描、數(shù)字?jǐn)z像、遙感、傳真、醫(yī)療、數(shù)字圖書(shū)館以及電子商務(wù)等方面的圖像壓縮。身份確認(rèn)方面，將身份證頭像照片用高清晰度的數(shù)字相機(jī)攝制，經(jīng)JPEG2000壓縮存儲(chǔ)在數(shù)據(jù)庫(kù)中。在需要進(jìn)行身份驗(yàn)證的場(chǎng)合，驗(yàn)證終端可以根據(jù)證件代號(hào)通過(guò)因特網(wǎng)從數(shù)據(jù)庫(kù)里直接獲取壓縮的圖像數(shù)據(jù)，在本地迅速恢復(fù)出大幅高清晰的頭像照片。在醫(yī)療方面，JPEG2000編碼器對(duì)醫(yī)生指定的病變部位予以無(wú)損壓縮，而對(duì)圖像中不影響診斷結(jié)果的其他部分采用高達(dá)100倍的壓縮率予以視覺(jué)可接受壓縮。壓縮之后的圖像完全保存了疾病特征，而數(shù)據(jù)量非常小。醫(yī)生可以把它迅速發(fā)送到千里之外的醫(yī)學(xué)專(zhuān)家那里，以最快的速度得到權(quán)威的確診。許多著名的圖形圖像公司如Corel，Pegasus等都開(kāi)始在新開(kāi)發(fā)的圖像工具軟件中集成JPEG2000圖像壓縮技術(shù)，Microsoft，Netscape等瀏覽器領(lǐng)域的公司也開(kāi)始將JPEG2000新技術(shù)集成到下一個(gè)版本的瀏覽器中。JPEG2000將在21世紀(jì)圖像壓縮領(lǐng)域發(fā)揮重要作用。12.2.3

數(shù)字照相機(jī)數(shù)字照相機(jī)也稱(chēng)數(shù)碼照相機(jī)，它是利用靜止圖像壓縮的典型例子。數(shù)字照相機(jī)是光學(xué)技術(shù)、微電子技術(shù)與數(shù)字信號(hào)處理技術(shù)相結(jié)合的產(chǎn)物。其基本原理是利用普通照相機(jī)的光學(xué)系統(tǒng)，把被攝圖像投射到圖像傳感器上，傳感器把光信號(hào)轉(zhuǎn)化成電信號(hào)，再經(jīng)過(guò)模／數(shù)(A／D)轉(zhuǎn)換、數(shù)字圖像處理和壓縮，最終以數(shù)字形式存儲(chǔ)到磁盤(pán)、可移動(dòng)閃速存儲(chǔ)卡等數(shù)字存儲(chǔ)器中。圖12―12是數(shù)字照相機(jī)結(jié)構(gòu)示意圖。圖12―12

數(shù)字照相機(jī)結(jié)構(gòu)示意圖1.數(shù)碼相機(jī)的優(yōu)點(diǎn)1)瞬時(shí)顯示攝影效果數(shù)碼相機(jī)的液晶顯示屏在拍攝照片后立即顯示拍攝的效果，對(duì)不滿意圖像可以立即刪去重拍。2)更寬的曝光控制范圍數(shù)碼相機(jī)的成像器件光電靈敏度很高，在低照度條件下也能夠較好地曝光。用MOS開(kāi)關(guān)方式控制光電器件的感光時(shí)間，控制最小時(shí)間可達(dá)微秒級(jí)；在環(huán)境照度很高時(shí)，數(shù)碼相機(jī)也可以得到合適曝光的圖像。3)圖像逼真數(shù)碼相機(jī)的數(shù)字圖像可直接輸入計(jì)算機(jī)用制造廠提供的處理軟件進(jìn)行特技處理，也可用Photoshop那樣的通用軟件處理。對(duì)于在攝影過(guò)程中出現(xiàn)的諸如色溫、清晰度、像差和曝光量等技術(shù)缺陷，可以通過(guò)后處理得到一定程度的修正，能大大提高所攝圖像的質(zhì)量。特別是對(duì)于光學(xué)像差中的畸變，數(shù)字圖像已經(jīng)有了很好的補(bǔ)償修正手段。也可以對(duì)圖像進(jìn)行任意的修改、編輯、合成、分解和景物置換等處理。4)圖像通信便捷數(shù)碼相機(jī)以數(shù)字信號(hào)的形式記錄影像，以計(jì)算機(jī)圖像文件格式保存圖像，可以利用最先進(jìn)的通信手段快速傳輸?？梢酝ㄟ^(guò)E

mail的形式和網(wǎng)頁(yè)的形式在Internet上傳輸，也可以通過(guò)衛(wèi)星地面工作站作超遠(yuǎn)距離的圖像傳輸。5)準(zhǔn)確復(fù)制和長(zhǎng)期保存由數(shù)碼相機(jī)得到的數(shù)字影像在復(fù)制過(guò)程中不存在任何信號(hào)損失。以計(jì)算機(jī)文件形式保存的數(shù)字圖像可以永久保存在硬盤(pán)或光盤(pán)中。6)設(shè)備簡(jiǎn)單且處理速度快數(shù)碼成像系統(tǒng)只需要數(shù)碼相機(jī)和通用計(jì)算機(jī)及其輸出設(shè)備，即可完成整個(gè)圖像制作過(guò)程，設(shè)備簡(jiǎn)單，處理速度快。2.數(shù)碼相機(jī)技術(shù)指標(biāo)1)成像器件的像素?cái)?shù)成像器件的像素?cái)?shù)對(duì)數(shù)碼相機(jī)的圖像質(zhì)量起決定性的作用。數(shù)碼相機(jī)一般CCD像素?cái)?shù)在100萬(wàn)(1280×1024)以上。數(shù)碼相機(jī)的成像器件像素?cái)?shù)在很大程度上決定了相機(jī)圖像的最高分辨率。分辨率用于評(píng)價(jià)數(shù)碼圖像的質(zhì)量，數(shù)碼相機(jī)攝取數(shù)碼照片的分辨率是可選擇的。數(shù)碼相機(jī)的像素指標(biāo)只有一個(gè)，而所拍攝的數(shù)字圖像的分辨率指標(biāo)卻可以有許多個(gè)，分辨率越高的照片要求有越大的存儲(chǔ)空間來(lái)存儲(chǔ)數(shù)據(jù)。2)A／D轉(zhuǎn)換精度評(píng)價(jià)數(shù)碼照片的圖像質(zhì)量除了分辨率外，還有照片色彩的編碼位數(shù)。編碼位數(shù)決定了在A／D轉(zhuǎn)換過(guò)程中的精確程度。一般來(lái)說(shuō)，24（3×8）位的色彩已經(jīng)相當(dāng)豐富，可適應(yīng)絕大部分的拍攝要求。3)光電傳感器電荷耦合器件(CCD)傳感器和互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器是兩類(lèi)主要的圖像傳感器。CCD數(shù)碼相機(jī)經(jīng)歷了較長(zhǎng)的發(fā)展時(shí)期，目前在成像質(zhì)量、分辨率上優(yōu)于CMOS，而CMOS數(shù)碼相機(jī)在產(chǎn)品價(jià)格、耗電量等方面又有獨(dú)特的優(yōu)勢(shì)。目前高檔專(zhuān)業(yè)型數(shù)碼相機(jī)多為CCD型，廉價(jià)普及型數(shù)碼相機(jī)多為CMOS型。近來(lái)CMOS成像器件發(fā)展很快，已經(jīng)出現(xiàn)了100萬(wàn)像素的CMOS器件。CMOS器件的最大優(yōu)點(diǎn)是可以將信號(hào)放大、模數(shù)轉(zhuǎn)換和數(shù)字圖像處理等電路集成到一塊芯片上，形成片上成像系統(tǒng)(CameraonChip)，這對(duì)數(shù)碼相機(jī)的小型化、微型化具有重要的意義。CMOS成像器件通過(guò)開(kāi)關(guān)電路進(jìn)行像素信號(hào)傳輸，使用者可以控制開(kāi)關(guān)電路有選擇地獲取圖像信息，形成智能像素器件(ActivePixelSensor)。該器件對(duì)于工業(yè)自動(dòng)化控制、機(jī)器人視覺(jué)等領(lǐng)域中的成像系統(tǒng)具有重要的價(jià)值。4)DSP(數(shù)字圖像處理)能力DSP能力較強(qiáng)的相機(jī)能夠較高水平地完成諸如黑色補(bǔ)償、光照度補(bǔ)償、缺陷像素修補(bǔ)、濾色器補(bǔ)償插值、γ校正、白平衡和假彩色抑制等操作，補(bǔ)償了許多由于硬件所造成的圖像缺陷，圖像質(zhì)量達(dá)到較為完善的程度。越是高檔的數(shù)碼相機(jī)，DSP的處理能力越強(qiáng)。一些數(shù)碼相機(jī)還能顯示選單，可以設(shè)定一些DSP圖像處理中的參數(shù)，獲得某些特殊效果。DSP還能從圖像中提取曝光量信息和對(duì)焦信息，控制鏡頭和快門(mén)，使相機(jī)處于最佳工作狀態(tài)。DSP還將完成圖像壓縮的任務(wù)，好的圖像壓縮算法可以在壓縮圖像存儲(chǔ)量的同時(shí)，很好地保持圖像細(xì)節(jié)的信息，解壓縮后顯示的圖像與原圖像比較看不出任何區(qū)別。高的壓縮比可以節(jié)省數(shù)碼相機(jī)的存儲(chǔ)空間，在有限的空間中存儲(chǔ)更多高質(zhì)量的圖片?？斓膲嚎s速度可以在相機(jī)完成一次曝光以后迅速回到待機(jī)狀態(tài)，提高相機(jī)的連拍速度。5)取景器數(shù)碼相機(jī)的取景方式有光學(xué)取景和LCD(LiquidCrystalDisplay,液晶顯示)取景。光學(xué)取景中有平視取景和通過(guò)鏡頭TTL(ThroughtheLens)取景之分。平視取景結(jié)構(gòu)簡(jiǎn)單，但由于取景器光軸與鏡頭光軸不重合，眼睛看到的景像與實(shí)際拍攝景像存在位置誤差和尺寸誤差，近距離拍攝時(shí)，誤差更明顯。TTL取景的取景光軸和成像光軸是重合的，取景誤差較小，取景范圍可達(dá)到實(shí)拍畫(huà)面的95%以上。專(zhuān)業(yè)級(jí)的數(shù)碼相機(jī)采用TTL取景方式。6)圖像存儲(chǔ)低檔數(shù)碼相機(jī)以?xún)?nèi)裝存儲(chǔ)器為主，當(dāng)存儲(chǔ)器存滿后，必須暫停拍攝，要等到存儲(chǔ)的圖像數(shù)據(jù)輸出之后才能繼續(xù)拍攝。對(duì)于存儲(chǔ)卡型的照相機(jī)，只要有備用的存儲(chǔ)卡，就可以像換膠卷一樣換存儲(chǔ)卡。PC卡是用得最多的可移動(dòng)式存儲(chǔ)器，它有一個(gè)PCMCIA插槽。有的數(shù)碼相機(jī)PC卡是惟一的存儲(chǔ)器，也有的數(shù)碼相機(jī)有內(nèi)部存儲(chǔ)器，仍支持PC卡作為擴(kuò)展存儲(chǔ)器，存在PC卡中的數(shù)字圖像可以通過(guò)PC卡讀取器輸入計(jì)算機(jī)。PC卡的優(yōu)點(diǎn)是可以大量存儲(chǔ)照片?？梢苿?dòng)式存儲(chǔ)卡還有閃爍存儲(chǔ)卡(FlashCard)，也采用PC卡標(biāo)準(zhǔn)，可直接插入便攜式計(jì)算機(jī)的PC卡插口將信息輸入，也可用PC卡讀取器輸入計(jì)算機(jī)。CompactFlash存儲(chǔ)卡采用標(biāo)準(zhǔn)ATA／IDE接口，配有專(zhuān)門(mén)的PCMCIA轉(zhuǎn)換卡，筆記本計(jì)算機(jī)的用戶可直接在PCMCIA插槽上使用。3.數(shù)字圖像處理(DSP)DSP是數(shù)碼相機(jī)的主要部件，所有功能都是由DSP來(lái)實(shí)現(xiàn)的。DSP控制著CCD、A／D轉(zhuǎn)換器件、LCD和控制面板。1)暗電流補(bǔ)償補(bǔ)償?shù)姆椒ㄊ窃谄骷耆诠獾臈l件下,先測(cè)出各像素的暗電流值，再?gòu)呐臄z后圖像的像素值中減去相應(yīng)的暗電流值。2)鏡頭光照度補(bǔ)償由于鏡頭的漸暈效應(yīng)，即使拍攝目標(biāo)是一個(gè)受均勻光照的物面，成像器件受到的照度仍是不均勻的，器件邊緣所受的光照度較小。對(duì)于同一鏡頭，照度差是有固定規(guī)律的，通過(guò)DSP數(shù)字補(bǔ)償，等效于成像器件得到均勻的照度。3)缺陷像素修補(bǔ)成像器件的幾十萬(wàn)個(gè)像素中總有一定數(shù)量的疵點(diǎn)，在完全遮光條件下數(shù)碼相機(jī)讀取像素灰度值時(shí)，一些“亮點(diǎn)”就是疵點(diǎn)位置。通常用插值的方法來(lái)實(shí)現(xiàn)缺陷像素的修補(bǔ)，用周?chē)袼氐幕叶戎低扑愠鋈毕菹袼氐幕叶戎怠?)彩色校正彩色校正就是通過(guò)調(diào)整三基色光的增益，使成像器件的光譜特性與顯示或打印設(shè)備的光譜特性一致，以使顯示或打印圖像的色彩更加完美。通常是通過(guò)一個(gè)變換矩陣來(lái)改變紅、綠、藍(lán)三基色光的增益，同時(shí)保證白平衡。5)自動(dòng)聚焦和自動(dòng)曝光聚焦圖像比未聚焦圖像的輪廓更加分明，紋理細(xì)節(jié)更加清晰。聚焦圖像的高頻分量更大一些。用數(shù)字高通濾波獲取不同焦距時(shí)輸入圖像的高頻分量并進(jìn)行比較，高頻分量的最大值對(duì)應(yīng)著最佳聚焦。為了簡(jiǎn)化計(jì)算，只對(duì)圖像的一部分進(jìn)行濾波處理能達(dá)到同樣的效果。自動(dòng)曝光以圖像平均亮度為參考，調(diào)節(jié)光圈和改變圖像傳感器的曝光參數(shù)。為了防止亮的背景引起主要物體曝光不足，暗的背景又使主要物體曝光過(guò)度，根據(jù)主要物體一般位于照片中央這一特點(diǎn)，將攝取的圖像分成中央和周邊兩部分，分別計(jì)算其亮度，并加權(quán)不同的經(jīng)驗(yàn)值。6)γ校正數(shù)字圖像的顯示和打印設(shè)備中，像素的灰度值與所顯示圖像中對(duì)應(yīng)的亮度值呈非線性關(guān)系。通過(guò)γ校正，顯示或打印的圖像能夠正確反應(yīng)被攝景物的灰度值。7)濾色器補(bǔ)償插值光電器件是通過(guò)濾色器得到圖像的三基色信息的，每個(gè)像素只得到了一種基色的信息，即R、G、B(或Cy、Mg、Ye、G)中的一種顏色。像素的其他顏色就必須用其周?chē)袼氐念伾畔⒉逯档玫健?)輪廓增強(qiáng)濾色器起了低通濾波的作用，圖像的輪廓變得平滑。DSP增強(qiáng)圖像的輪廓，而圖像的噪聲不能被放大。先找到灰度變化大的輪廓像素，計(jì)算輪廓像素與前一像素的Y分量差值，將Y分量差值放大并疊加到原像素Y值上。噪聲造成的假輪廓像素少、灰度變化小，要將差值低于設(shè)定閾值的假輪廓信號(hào)去掉,以保證處理后圖像的真實(shí)性。9)圖像壓縮數(shù)碼相機(jī)的存儲(chǔ)空間有限，獲取的數(shù)字圖像必須經(jīng)過(guò)壓縮。以前的數(shù)碼相機(jī)采用JPEG標(biāo)準(zhǔn)；最新的數(shù)碼相機(jī)采用JPEG2000標(biāo)準(zhǔn)，用小波變換進(jìn)行壓縮。4.模式控制數(shù)碼照相機(jī)一般提供照相(Camera)、顯示(Display)和計(jì)算機(jī)(Computer)三種模式。在照相模式時(shí)，系統(tǒng)實(shí)現(xiàn)拍攝、處理圖像信息的功能。在顯示模式時(shí)，可以觀察已拍攝的照片，有編輯功能可修改照片。在計(jì)算機(jī)模式時(shí)，可將數(shù)碼相機(jī)的圖像信息傳送到計(jì)算機(jī)之中。照相模式要實(shí)現(xiàn)曝光控制、自動(dòng)對(duì)焦控制、閃光控制、數(shù)字圖像的獲取以及DSP處理等操作，有一套完善的控制流程。數(shù)碼相機(jī)在接通電源后首先是對(duì)閃光燈系統(tǒng)的主電容進(jìn)行充電。相機(jī)的各種拍攝方式、測(cè)光方式、對(duì)焦方式、分辨率和白平衡等參數(shù)可以進(jìn)入設(shè)置選單進(jìn)行修改。在待機(jī)狀態(tài)時(shí)，光電傳感器不斷地輸出圖像，圖像經(jīng)DSP預(yù)處理后，作為曝光和對(duì)焦的依據(jù)，對(duì)鏡頭進(jìn)行曝光和對(duì)焦的粗調(diào)。同時(shí)，DSP在預(yù)處理后將低分辨率的畫(huà)面實(shí)時(shí)地輸出到LCD顯示屏上，供攝影者取景。處于待機(jī)狀態(tài)的數(shù)碼相機(jī)接到拍攝命令后，進(jìn)入拍攝狀態(tài)，相機(jī)迅速對(duì)曝光和聚焦進(jìn)行細(xì)調(diào)，并鎖定相應(yīng)的參數(shù)。若景物照度不夠，可打開(kāi)防紅眼燈照明，在快門(mén)動(dòng)作的瞬間進(jìn)行閃光。當(dāng)相機(jī)處于自拍狀態(tài)時(shí)，快門(mén)動(dòng)作啟動(dòng)自拍延時(shí)，通常為8～12秒鐘，在延時(shí)階段給出LED閃爍或蜂鳴聲提示。在完成一次曝光后，DSP進(jìn)一步處理所獲得的數(shù)字圖像，壓縮圖像信息，將剛拍攝的圖像顯示在LCD上，由攝影者來(lái)決定取舍。當(dāng)攝影者確認(rèn)之后，將圖像存儲(chǔ)在相機(jī)的存儲(chǔ)體中，相機(jī)回到了待機(jī)狀態(tài)。12.3

活動(dòng)圖像編碼12.3.1

概述活動(dòng)圖像信號(hào)，就是電視信號(hào)，數(shù)字化后的圖像信號(hào)稱(chēng)為數(shù)字圖像。活動(dòng)圖像的編碼要求實(shí)時(shí)和高效。圖12―13為活動(dòng)圖像編碼傳輸系統(tǒng)的方框圖。系統(tǒng)中有兩個(gè)傳輸緩沖存儲(chǔ)器，隨著圖像內(nèi)容的變化，活動(dòng)圖像編碼輸出是不均勻碼流，與信道的傳輸特性不相適應(yīng)，利用緩沖存儲(chǔ)器來(lái)存儲(chǔ)數(shù)據(jù)流，保證數(shù)據(jù)能不間斷地勻速輸出。圖12―13

活動(dòng)圖像編碼傳輸系統(tǒng)不同應(yīng)用場(chǎng)合對(duì)圖像質(zhì)量要求是不同的。數(shù)字電視要播出新聞、體育比賽、文藝節(jié)目，對(duì)圖像的質(zhì)量要求很高。會(huì)議電視畫(huà)面中人數(shù)少、運(yùn)動(dòng)少、背景不變，對(duì)圖像質(zhì)量的要求降低。電視電話圖像是單人頭像，只有臉部表情的變化，對(duì)圖像質(zhì)量的要求最低。通常把圖像編碼分為下面幾個(gè)應(yīng)用層次：(1)標(biāo)準(zhǔn)數(shù)字電視：圖像分辨率為720×576，采用ISOMPEG―2標(biāo)準(zhǔn)，約8Mb/s的碼率可以達(dá)到演播室級(jí)的圖像質(zhì)量要求。地面廣播時(shí)，采用現(xiàn)代數(shù)字調(diào)制技術(shù)，可在一路8MHz信道傳送4路標(biāo)準(zhǔn)數(shù)字電視。(2)會(huì)議電視：圖像分辨率為352×288，采用ITU―TH.261建議，碼率為p×64kb／s(p=1～30)，屬中、低速碼率的圖像壓縮。一般認(rèn)為，碼率為384kb／s(p=6)以上時(shí)，圖像質(zhì)量才比較滿意。(3)數(shù)字影碟機(jī)等：圖像分辨率為352×288，國(guó)際標(biāo)準(zhǔn)為MPEG―1，碼率為1.5Mb／s，其中約1.2Mb／s用于圖像，其余用于聲音和同步?？蛇_(dá)到VHS錄像帶圖像質(zhì)量。(4)可視電話：圖像分辨率為176×144，采用ITU―TH.263建議，碼率為64kb／s以下，經(jīng)調(diào)制解調(diào)后，能在現(xiàn)有的模擬電話線上傳送活動(dòng)的彩色電視電話圖像，因此也稱(chēng)為極低碼率的圖像編碼。(5)高清晰度電視：圖像分辨率可高達(dá)1920×1080，具有兩倍于現(xiàn)有標(biāo)準(zhǔn)的水平和垂直清晰度，采用ISOMPEG―2標(biāo)準(zhǔn)，碼率約為20Mb／s?；顒?dòng)圖像的壓縮編碼利用每幅圖像內(nèi)部的相關(guān)性進(jìn)行幀內(nèi)壓縮編碼，有變換編碼和預(yù)測(cè)編碼兩種基本類(lèi)型；還利用相鄰幀之間的相關(guān)性進(jìn)行幀間壓縮編碼，主要是運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和混合編碼?；旌暇幋a是變換編碼和預(yù)測(cè)編碼相結(jié)合的編碼方法。H.261、H.263、MPEG―1、MPEG―2和MPEG―4標(biāo)準(zhǔn)都采用了混合編碼方案。12.3.2

幀間預(yù)測(cè)編碼幀間預(yù)測(cè)將畫(huà)面分為三種區(qū)域：(1)背景區(qū)：相鄰的幀背景區(qū)的絕大部分?jǐn)?shù)據(jù)相同，幀間相關(guān)性很強(qiáng)。(2)運(yùn)動(dòng)物體區(qū)：若將物體運(yùn)動(dòng)近似看作簡(jiǎn)單的平移，則相鄰幀的運(yùn)動(dòng)區(qū)的數(shù)據(jù)也基本相同。假如能采用某種位移估值方法對(duì)位移量進(jìn)行“運(yùn)動(dòng)補(bǔ)償”，那么兩幀的運(yùn)動(dòng)區(qū)之間的相關(guān)性也是很強(qiáng)的。(3)暴露區(qū)：是指物體運(yùn)動(dòng)后所暴露出的曾被物體遮蓋住的區(qū)域。如果存儲(chǔ)器將暴露區(qū)的數(shù)據(jù)暫存，則再次遮蓋后暴露出來(lái)的數(shù)據(jù)與存儲(chǔ)的數(shù)據(jù)相同。若是畫(huà)面從一個(gè)場(chǎng)景切換為另一場(chǎng)景時(shí)，就沒(méi)有幀間相關(guān)性了。人眼對(duì)靜止圖像分辨力較高，在傳輸靜止圖像或圖像的靜止部分時(shí)，要有較高的分辨率，卻可以減少傳輸幀數(shù)，在接收端依靠幀存儲(chǔ)器把未傳輸?shù)膸瑥?fù)制出來(lái)。人眼對(duì)于圖像中運(yùn)動(dòng)物體的分辨率隨著物體運(yùn)動(dòng)速率的增大而降低，攝像器件和顯示器件也有一定的積分模糊效應(yīng)，在傳輸圖像中的運(yùn)動(dòng)物體時(shí)，可以降低這部分圖像的分辨率，物體的運(yùn)動(dòng)速度越高，可用越低的分辨率進(jìn)行傳輸。這種方法就叫做空間分辨率和時(shí)間分辨率的交換。對(duì)于變化緩慢的圖像，幀間相關(guān)性強(qiáng)，宜采用幀間預(yù)測(cè)；當(dāng)景物的運(yùn)動(dòng)增大時(shí)，幀間相關(guān)性減弱；而由于攝像機(jī)的“積分效應(yīng)”，圖像的高頻成分減弱，幀內(nèi)相關(guān)性反而有所增加，應(yīng)采用幀內(nèi)編碼，編碼器應(yīng)進(jìn)行幀內(nèi)幀間自適應(yīng)編碼。對(duì)于運(yùn)動(dòng)的物體，估計(jì)出物體在相鄰幀內(nèi)的相對(duì)位移，用上一幀中物體的圖像對(duì)當(dāng)前幀的物體進(jìn)行預(yù)測(cè)，將預(yù)測(cè)的差值部分編碼傳輸，就可以壓縮這部分圖像的碼率。這種考慮了對(duì)應(yīng)區(qū)域的位移或運(yùn)動(dòng)的預(yù)測(cè)方式就稱(chēng)為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼。幀間預(yù)測(cè)是運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)在運(yùn)動(dòng)矢量為零時(shí)的特殊情況。運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)編碼包括以下四個(gè)部分：(1)物體的劃分：劃分靜止區(qū)域和運(yùn)動(dòng)區(qū)域。(2)運(yùn)動(dòng)估計(jì)：對(duì)每一個(gè)運(yùn)動(dòng)物體進(jìn)行位移估計(jì)。(3)運(yùn)動(dòng)補(bǔ)償：由位移的估值建立同一運(yùn)動(dòng)物體在不同幀的空間位置對(duì)應(yīng)關(guān)系，從而建立了預(yù)測(cè)關(guān)系。(4)補(bǔ)償后的預(yù)測(cè)信息編碼：對(duì)運(yùn)動(dòng)物體的補(bǔ)償后的位移幀差信號(hào)(DFD)，以及運(yùn)動(dòng)矢量等進(jìn)行編碼傳輸。塊匹配運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)把一幅圖像分為互不重疊的N×N像素的子塊，對(duì)每個(gè)子塊估計(jì)位移（運(yùn)動(dòng)）矢量，將它編碼傳送到接收端。對(duì)運(yùn)動(dòng)矢量的估計(jì)主要有以下兩種塊匹配算法BMA(BlockMatchingAlgorithm):(1)全搜索算法：估計(jì)像素的位移(運(yùn)動(dòng))時(shí)，取以該像素為中心的一個(gè)子塊，在前一幀圖像中尋找一個(gè)與之最匹配(相關(guān)最大)的子塊，該子塊中心與當(dāng)前像素的位移即為估計(jì)的位移(運(yùn)動(dòng))矢量。估值時(shí)要選擇合適的子塊尺寸N。N小時(shí)，塊內(nèi)像素運(yùn)動(dòng)一致性好，估計(jì)準(zhǔn)確度較高，但運(yùn)動(dòng)矢量碼率會(huì)增大，計(jì)算量也增大；N大時(shí)，計(jì)算量減小，運(yùn)動(dòng)矢量的碼率變小，但塊內(nèi)像素運(yùn)動(dòng)一致性變差，運(yùn)動(dòng)估計(jì)準(zhǔn)確度不高，不能進(jìn)行有效的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。一般N取16，有時(shí)也取4、8或32。在全搜索條件下，塊匹配算法達(dá)到最優(yōu)，缺點(diǎn)是運(yùn)算量大。在實(shí)際應(yīng)用場(chǎng)合，常采用性能略低但運(yùn)算量少的快速算法。(2)三步搜索算法TSS(ThreeStepSearch)：在三步法中，搜索范圍為±8，即在上一幀以當(dāng)前子塊為原點(diǎn)，將當(dāng)前子塊在其上下左右距離為8的范圍內(nèi)按一定規(guī)則移動(dòng)，每移動(dòng)到一個(gè)位置，取出同樣大小的子塊與當(dāng)前子塊進(jìn)行匹配計(jì)算。常用的還有共軛方向搜索法(CDS)、二維對(duì)數(shù)搜索法(LOGS)、交叉搜索法(CS)和動(dòng)態(tài)搜索窗調(diào)整搜索法(DSWDS)等?；旌暇幋a是將變換編碼和預(yù)測(cè)編碼組合在一起。通常用DCT等變換進(jìn)行空間冗余度的壓縮，用幀間預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)進(jìn)行時(shí)間冗余度的壓縮，以達(dá)到對(duì)活動(dòng)圖像的更高的壓縮效率。通常把變換部分DCT放在預(yù)測(cè)環(huán)內(nèi)(見(jiàn)后面要講到的圖12―16——H.261編碼器原理框圖)，預(yù)測(cè)環(huán)本身工作在圖像域內(nèi)，便于使用性能優(yōu)良，帶有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)，這種帶有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)與DCT結(jié)合的方案壓縮性能高，編碼技術(shù)成熟，編碼延遲較短，成為活動(dòng)圖像壓縮的主流方案。12.3.3

ITU―TH.261在視頻壓縮的國(guó)際標(biāo)準(zhǔn)中，H.261建議具有特別的意義。它綜合了圖像編碼40多年的研究成果，首次采用了DCT加幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的混合編碼模式。它規(guī)范的數(shù)據(jù)格式、編碼器模塊結(jié)構(gòu)、編碼輸出碼流的層次結(jié)構(gòu)以及開(kāi)放的編碼控制與實(shí)現(xiàn)策略等技術(shù)，對(duì)后來(lái)制定的視頻編碼標(biāo)準(zhǔn)產(chǎn)生了深遠(yuǎn)的影響。H.261建議為不同生產(chǎn)廠家的設(shè)備互通創(chuàng)造了條件，數(shù)字視頻通信迅速發(fā)展，與之相對(duì)應(yīng)的H.320會(huì)議電視系統(tǒng)在20世紀(jì)90年代得到了廣泛應(yīng)用，其結(jié)果又進(jìn)一步推動(dòng)了視頻通信的標(biāo)準(zhǔn)化步伐。在H.320之后，ITU又相繼推出了一系列應(yīng)用于不同場(chǎng)合的視頻通信國(guó)際標(biāo)準(zhǔn)：H.321建議，用于ATM網(wǎng)絡(luò)；H.322建議，用于有質(zhì)量保證的局域網(wǎng)；H.323建議，用于IP網(wǎng)絡(luò)；H.324建議，用于PSTN網(wǎng)絡(luò)H.263建議，用于極低碼率(小于64kb／s)的場(chǎng)合。壓縮效率約提高3dB，它們結(jié)合ITU-T.120多媒體會(huì)議數(shù)據(jù)傳送協(xié)議，就構(gòu)成了功能強(qiáng)大的多媒體通信系統(tǒng)。1990年7月ITU―T通過(guò)H.261建議——“p×64kb/s視聽(tīng)業(yè)務(wù)的視頻編解碼器”。其中,p=1～30。該標(biāo)準(zhǔn)的應(yīng)用目標(biāo)是會(huì)議電視和可視電話，通常p=1，2時(shí)適用于可視電話，p大于6時(shí)可以適用于會(huì)議電視業(yè)務(wù)。1.公共中間格式為了便于不同制式彩色電視信號(hào)的互連，ITU提出先把不同制式彩色電視信號(hào)都轉(zhuǎn)換成公共中間格式（CommonIntermediateFormat,CIF格式）。亮度信號(hào)按每行352個(gè)像素，每幀288行進(jìn)行正交抽樣，抽樣頻率為6.75MHz；色差信號(hào)按每行176個(gè)像素，每幀144行進(jìn)行正交抽樣，抽樣頻率為3.375MHz；29.97幀/秒逐行掃描。QCIF(QuarterCIF)格式亮度和色度樣點(diǎn)數(shù)在水平和垂直方向都減半，亮度信號(hào)為176×144，色差信號(hào)為88×72，還是29.97幀/秒逐行掃描。每幀圖像(Picture)分為12個(gè)塊組GOB(GroupofBlocks）;每個(gè)GOB包括33個(gè)宏塊MB(Macroblock）;每個(gè)宏塊有6個(gè)塊B(Block），其中4個(gè)亮度塊和2個(gè)色度塊，塊由8×8像素?cái)?shù)據(jù)（變換系數(shù)TC）組成，像素是CIF格式中最基本的編碼單位。CIF格式圖像層次結(jié)構(gòu)如圖12―14所示。圖12―14

CIF格式圖像層次結(jié)構(gòu)2.數(shù)據(jù)結(jié)構(gòu)CIF和QCIF的數(shù)據(jù)結(jié)構(gòu)分為四個(gè)層次：(1)圖像層：由圖像頭和塊組數(shù)據(jù)組成，圖像頭由一個(gè)20比特的圖像起始碼、視頻格式和時(shí)間參數(shù)(幀數(shù))等標(biāo)志信息組成。(2)塊組層：由塊組頭和宏塊數(shù)據(jù)組成。塊組頭由16比特的塊組起始碼、塊組編號(hào)和量化步長(zhǎng)等組成。(3)宏塊層：由宏塊頭和塊數(shù)據(jù)組成。宏塊頭由宏塊地址、宏塊類(lèi)型和量化步長(zhǎng)等組成。(4)塊層：由變換系數(shù)（TC）和塊結(jié)束符（EOB）等組成。圖12―15是H.261數(shù)據(jù)結(jié)構(gòu)示意圖，這樣一種數(shù)據(jù)結(jié)構(gòu)，能夠保證解碼器對(duì)接收到的數(shù)據(jù)流解碼時(shí)的惟一性。圖12―15

H.261數(shù)據(jù)結(jié)構(gòu)示意圖3.編碼器框圖編碼器框圖如圖12―16所示，兩個(gè)雙向選擇開(kāi)關(guān)由編碼控制器CC控制。當(dāng)它們同時(shí)接到上邊時(shí)，編碼器工作在幀內(nèi)編碼模式，輸入信號(hào)直接進(jìn)行DCT變換，經(jīng)過(guò)量化處理后再進(jìn)行變字長(zhǎng)編碼VLC，得到最后的編碼輸出。當(dāng)雙向開(kāi)關(guān)同時(shí)接到下方時(shí)，編碼器利用存儲(chǔ)在幀存儲(chǔ)器FM中的上一幀圖像進(jìn)行幀間預(yù)測(cè)，將輸入信號(hào)與預(yù)測(cè)信號(hào)相減后，對(duì)預(yù)測(cè)誤差進(jìn)行DCT變換，經(jīng)過(guò)量化處理后再進(jìn)行變字長(zhǎng)編碼VLC，得到最后的編碼輸出。此時(shí)，編碼器工作在幀間編碼模式，是一個(gè)幀間預(yù)測(cè)與DCT組成的混合編碼器。根據(jù)應(yīng)用的需要，還可以加入運(yùn)動(dòng)估計(jì)和補(bǔ)償處理MEP，改善幀間預(yù)測(cè)的效果。為了使解碼器能正確地解碼，編碼器的工作狀態(tài)必須即時(shí)通知解碼端，為此每個(gè)編碼模式和控制參數(shù)等輔助信息也要進(jìn)行編碼傳輸。

H.261采用的是“混合編碼”法，即幀間預(yù)測(cè)(DPCM)與幀內(nèi)變換(2D―DCT)相結(jié)合。若前后兩幀很相似，則編碼器進(jìn)行幀間預(yù)測(cè)，然后對(duì)所得的幀間預(yù)測(cè)誤差進(jìn)行二維離散余弦變換(2D―DCT)；若前后兩幀圖像不很相似，則對(duì)該當(dāng)前幀圖像進(jìn)行幀內(nèi)DCT編碼，即把該幀圖像中每一個(gè)8×8塊進(jìn)行DCT，再對(duì)所得的DCT系數(shù)進(jìn)行量化，然后把所得的量化值進(jìn)行二維變長(zhǎng)編碼。圖12―16

H.261編碼器原理框圖4.BCH糾錯(cuò)為了提高信道的抗誤碼能力，H.261采用了一種叫BCH(511,493)的糾錯(cuò)編碼。（詳見(jiàn)14.1.2節(jié)信道編碼。）發(fā)送的比特流分成長(zhǎng)度為493比特的數(shù)據(jù)組。對(duì)每一組數(shù)據(jù)進(jìn)行某種邏輯運(yùn)算，結(jié)果所得18比特校驗(yàn)數(shù)據(jù)放在493比特視頻數(shù)據(jù)的后面，共計(jì)511比特?cái)?shù)據(jù)為一組送到接收端。如果發(fā)生誤碼，在接收端用校驗(yàn)碼經(jīng)特定的運(yùn)算查驗(yàn)出錯(cuò)碼并糾正。這種BCH(511，493)糾錯(cuò)碼可在493比特?cái)?shù)據(jù)中自動(dòng)糾正2比特錯(cuò)誤。H.261中規(guī)定，編碼器必須進(jìn)行糾錯(cuò)編碼，解碼器可選用糾錯(cuò)解碼。5.編碼控制編碼中采用了變長(zhǎng)編碼技術(shù)，經(jīng)壓縮編碼后的數(shù)據(jù)是速率不均勻的碼流，為了以恒定速率在通信網(wǎng)中傳送，用緩沖存儲(chǔ)器進(jìn)行數(shù)據(jù)的平滑。根據(jù)緩沖存儲(chǔ)器當(dāng)前已緩存的數(shù)據(jù)量，控制源編碼器中量化器的量化步長(zhǎng)等參數(shù)，從而得到恒定的速率。H.261中沒(méi)有具體規(guī)定碼流控制方法。為了防止幀間預(yù)測(cè)誤差的累積，編碼器中采用了一種強(qiáng)迫更新的方法，H.261中規(guī)定宏塊至少每傳送132次，就需要以幀內(nèi)模式傳送一次，但對(duì)具體方法未作規(guī)定。12.3.4

ITU―TH.263ITU―T于1995年8月公布了低于64kb／s的窄帶通信信道的視頻編碼建議，即H.263。該標(biāo)準(zhǔn)是H.261的重要發(fā)展，可用于可視電話極低比特率的編解碼器。例如，可視電話信號(hào)經(jīng)過(guò)H.263壓縮再經(jīng)V.34調(diào)制后，可沿PSTN傳送(碼流可以壓縮到28.8kb／s，其中視頻為20kb／s左右)，被編碼的信號(hào)格式可以是S―QCIF，彩色亞取樣4∶2∶0，也可以是QCIF、CIF或更大的輸入格式，幀頻較低。該編碼器提供與H.261同樣的質(zhì)量，但是比特?cái)?shù)減少一半。1.更豐富的圖像格式H.263標(biāo)準(zhǔn)中不僅有H.261中的CIF和QCIF格式，還有sub―QCIF、4CIF和16CIF等格式，如表12―4所示。2.兩種運(yùn)動(dòng)估值塊在H.261建議中，只對(duì)16×16像素的宏塊進(jìn)行運(yùn)動(dòng)估計(jì)，而H.263建議中不僅可以用16×16像素的宏塊為單位進(jìn)行運(yùn)動(dòng)估計(jì)，還可以根據(jù)需要對(duì)8×8像素的子塊進(jìn)行運(yùn)動(dòng)估計(jì)，即每個(gè)宏塊可使用4個(gè)運(yùn)動(dòng)矢量。表12―4

H.263圖像格式3.更高效的運(yùn)動(dòng)矢量編碼在H.261中，對(duì)運(yùn)動(dòng)矢量采用一維前值預(yù)測(cè)與VLC相結(jié)合的方法編碼。在H.263中，則采用更為復(fù)雜的二維預(yù)測(cè)與VLC相結(jié)合的編碼。4.半像素運(yùn)動(dòng)估計(jì)精度在H.261中，運(yùn)動(dòng)的估值精度為整數(shù)像素，范圍為(-16，+15)；而在H.263中采用半像素精度，范圍為(-16.0，+15.5)。在H.263中，采用雙線性?xún)?nèi)插來(lái)得到運(yùn)動(dòng)估計(jì)用的半精度像素的預(yù)測(cè)值，如圖12―17所示。圖12―17

雙線性?xún)?nèi)插預(yù)測(cè)半精度像素5.增加高級(jí)選項(xiàng)除了半像素精度進(jìn)行運(yùn)動(dòng)估計(jì)以外，H.263的基本編碼方法與H.261相同，為了能適合極低碼率的傳輸，H.263增加了4個(gè)編碼的高級(jí)選項(xiàng)，進(jìn)一步提高了編碼效率，在極低碼率下獲得了較好的圖像質(zhì)量。1)無(wú)限制的運(yùn)動(dòng)矢量模式當(dāng)某一運(yùn)動(dòng)矢量所指向的參考像素超出編碼圖像區(qū)域時(shí)，就用其邊緣的圖像值代替“這個(gè)并不存在的像素”，有效改進(jìn)邊緣有運(yùn)動(dòng)物體的圖像的質(zhì)量。2)基于語(yǔ)法的算術(shù)編碼（SAC）可變長(zhǎng)編碼、解碼過(guò)程都用算術(shù)編碼、解碼過(guò)程取代,將顯著降低所需的碼率。3)高級(jí)預(yù)測(cè)模式對(duì)P―幀的亮度分量采用所謂交疊塊運(yùn)動(dòng)補(bǔ)償(OBMC)方法，即某一個(gè)8×8子塊的運(yùn)動(dòng)補(bǔ)償由本塊和周?chē)?個(gè)塊的運(yùn)動(dòng)矢量加權(quán)平均得到；對(duì)某些宏塊（16×16）用4個(gè)運(yùn)動(dòng)矢量，每個(gè)子塊（8×8）都有一個(gè)運(yùn)動(dòng)矢量，用它們?nèi)〈瓉?lái)一個(gè)宏塊的運(yùn)動(dòng)矢量。本模式減少了方塊效應(yīng)，明顯地改進(jìn)了圖像質(zhì)量。圖12―18

PB幀雙向預(yù)測(cè)過(guò)程示意圖4)PB幀模式PB幀名稱(chēng)來(lái)源于MPEG標(biāo)準(zhǔn)。一個(gè)PB幀包含一個(gè)P幀和一個(gè)B幀。P幀是由前一個(gè)P幀預(yù)測(cè)所得；B幀是由前一個(gè)P幀和本PB幀單元中的P幀進(jìn)行雙向預(yù)測(cè)編碼得到的。雙向預(yù)測(cè)過(guò)程如圖12―18所示。根據(jù)不同的應(yīng)用需要，ITU―T的H.263工作組制定了新的版本。例如，H.263+(1998年)、H.263++(2000年)等。最新的H.263++，高級(jí)選項(xiàng)多達(dá)19項(xiàng)。12.3.5MPEG―1標(biāo)準(zhǔn)ISO／IEC的聯(lián)合技術(shù)委員會(huì)自20世紀(jì)90年代以來(lái)先后頒布的一系列圖像和視頻編碼的國(guó)際標(biāo)準(zhǔn)促進(jìn)了多媒體與圖像業(yè)務(wù)的發(fā)展。其中，MPEG―1建議用于VCD之類(lèi)的視頻家電設(shè)備和視頻點(diǎn)播VOD(VideoonDemand）系統(tǒng)；MPEG―2的主要應(yīng)用范圍是數(shù)字電視廣播和DVD系統(tǒng)。ITU的H.320標(biāo)準(zhǔn)把數(shù)字視頻引入企業(yè)、辦公室，ISO的MPEG―1和MPEG〖CD*2]2把數(shù)字視頻引入到千家萬(wàn)戶。運(yùn)動(dòng)圖像專(zhuān)家組MPEG(MovingPicturesExpertsGroup）的正式名稱(chēng)是ISO／IECJTC1／SC29／WG11。MPEG―1是MPEG工作組制定的第一個(gè)標(biāo)準(zhǔn)（ISO／IEC11172），標(biāo)題是：信息技術(shù)——具有1.5Mb／s數(shù)據(jù)傳輸率的數(shù)字存儲(chǔ)媒體活動(dòng)圖像及其伴音的編碼，包括系統(tǒng)、視頻、音頻、一致性、參考軟件等五部分。1.圖像格式SIFMPEG―1處理逐行掃描的圖像，對(duì)隔行掃描的圖像源應(yīng)先轉(zhuǎn)換為逐行掃描格式再編碼；輸入的視頻信號(hào)必須是數(shù)字化的一個(gè)亮度信號(hào)和兩個(gè)色差信號(hào)(Y，CB，CR)，對(duì)于碼率為1～1.5Mb／s，合理的選擇是圖像速率為24、25或30幀每秒，水平分辨率為250～400像素，垂直分辨率為200～300線。對(duì)于典型的應(yīng)用，MPEG―1定義了SIF格式。表12―5和圖12―19分別為由CCIR601到SIF的格式轉(zhuǎn)換數(shù)據(jù)和采樣模式。表12―5

CCIR601到SIF的格式轉(zhuǎn)換數(shù)據(jù)圖12―19

由CCIR601到SIF的格式轉(zhuǎn)換采樣模式2.圖像組MPEG―1提出了圖像組GOP(GroupofPicture)的概念，從視頻編碼算法的角度而言，MPEG―1(以及MPEG―2)將視頻圖像幀(picture)劃分為三大類(lèi)：I幀(IntracodedPicture,幀內(nèi)編碼圖像幀)：不參考其他