圖像信息基本知識(shí)匯總

1、圖像信息基本知識(shí)匯總一、 人眼視覺特性 引起視覺的外周感受器官是眼，它由含有感光細(xì)胞的視網(wǎng)膜和作為附屬結(jié)構(gòu)的折光系統(tǒng)等部分組成。人眼的適宜刺激是波長370-740nm的電磁波；在這個(gè)可見光譜的范圍內(nèi)，人腦通過接受來自視網(wǎng)膜的傳入信息，可以分辨出視網(wǎng)膜像的不同亮度和色澤，因而可以看清視野內(nèi)發(fā)光物體上反光物質(zhì)的輪廓、形狀、顏色、大小、遠(yuǎn)近和表面細(xì)節(jié)等情況。 自然界形形色色的物體以及文字、圖形等形象，通過視覺系統(tǒng)在人腦得到反映。據(jù)估計(jì)，在人腦獲得的全部信息中，大約有95%以上來自視覺系統(tǒng)，因而眼無疑是人體最重要的感覺器官。 1 人眼構(gòu)造簡介人眼的基本結(jié)構(gòu)如下圖所示。 人眼的結(jié)構(gòu)和照相機(jī)相似：瞳孔的直

2、徑可在2-8毫米間調(diào)節(jié)-光圈；扁球形彈性透明體（晶狀體）-透鏡；使不同距離的景物在視網(wǎng)膜上成像，視細(xì)胞受到光的刺激產(chǎn)生電脈，電脈沖沿著神經(jīng)纖維傳遞到視神經(jīng)中樞，由于各細(xì)胞產(chǎn)生的電脈沖不同，大腦就形成了景象的感覺。 當(dāng)用光學(xué)原理分析眼的折光特性時(shí)，首先遇到的一個(gè)困難是，眼球并非一個(gè)薄透鏡或單球面折光體，而是由一系列曲率半徑和折光指數(shù)都不相同的折光體所組成的折光系統(tǒng)。 研究表明，正常成人眼處于安靜而不進(jìn)行調(diào)節(jié)的狀態(tài)時(shí)，它的折光系統(tǒng)的后主焦點(diǎn)的位置，正好是其視網(wǎng)膜所在的位置。 這一解剖關(guān)系對(duì)于理解正常眼的折光成像能力十分重要。它說明，凡是位于眼前方6m以外直至無限遠(yuǎn)處的物體，由于由它們發(fā)出或反射出的

3、光線在到達(dá)眼的折光系統(tǒng)時(shí)已近于平行，因而都可以在視網(wǎng)膜上形成基本清晰的像，這正如放置于照相機(jī)主焦點(diǎn)處的底片，可以拍出清晰的遠(yuǎn)景一樣。 當(dāng)然，人眼不是無條件的看清任何遠(yuǎn)處的特體，例如，人眼可以看清楚月亮（或其他更遠(yuǎn)的星體）和它表面較大的陰影，但不能看清楚月球表面更小的物體或特征。為什么？造成后一限制的原因有二：一是，如果來自某物體的光線過弱，或它們在空間傳播時(shí)被散射或吸收，那么它們到達(dá)視網(wǎng)膜時(shí)已減弱到不足以興奮感光細(xì)胞的程度，這樣就不可能被感知；二是，如果物體過小或它們離眼的距離過大，則它們在視網(wǎng)膜上形成的大小，將會(huì)小到視網(wǎng)膜分辨能力的限度以下，因而也不能感知。 如果安靜狀態(tài)的眼的折光能力正好把

4、6m以外的物體成像在視網(wǎng)膜上，那么來自較6m為近的物體的光線將是不同程度呈輻射狀的，它們在折射后的成像位置將在主焦點(diǎn)，亦即視網(wǎng)膜的位置之后；由于光線到達(dá)視網(wǎng)膜時(shí)尚未聚焦，因而物像是模糊的，由此也只能引起一個(gè)模糊的視覺形象。 但正常眼在看近物時(shí)為什么也十分清楚？ 這是由于眼在看近物時(shí)已進(jìn)行了調(diào)節(jié)，使進(jìn)入眼內(nèi)的光線經(jīng)歷較強(qiáng)的折射，結(jié)果也能成像在視網(wǎng)膜上。人眼的調(diào)節(jié)亦即折光能力的改變，主要是靠晶狀體形狀的改變。眼調(diào)節(jié)前后睫狀體位置和晶狀體形狀的改變 為什么買電影往往不要前幾排的票？為什么我要戴眼鏡才看得清楚？瞳孔和瞳孔對(duì)光反應(yīng) 瞳孔指虹膜中間的開孔，是光線進(jìn)入眼內(nèi)的門戶；它在亮光處縮小，在暗光處散大

5、。瞳孔大小隨光照強(qiáng)度而變化的反應(yīng)，是一種神經(jīng)反射，稱為瞳孔對(duì)光反射。引起此反射的感受器就是視網(wǎng)膜，傳入纖維在視神經(jīng)中，但這部分纖維在進(jìn)入中樞后不到達(dá)外側(cè)膝狀體，而在在中腦的頂蓋前區(qū)換神經(jīng)元，然后到同側(cè)和對(duì)側(cè)的動(dòng)眼神經(jīng)核，傳出纖維主要是動(dòng)眼神經(jīng)中的副交感纖維，效應(yīng)器也主要是瞳孔約肌。 有關(guān)“視網(wǎng)膜的結(jié)構(gòu)和兩種感光換能系統(tǒng) ”、“視桿細(xì)胞的感光換能機(jī)制 ”、“視錐系統(tǒng)的換能和顏色視覺 ”、“視網(wǎng)膜的信息處理 ”等不作介紹，感興趣的同學(xué)可查閱相關(guān)文獻(xiàn)2 人眼視覺模型（1） 點(diǎn)擴(kuò)展函數(shù)和調(diào)制轉(zhuǎn)移函數(shù)沖激函數(shù)經(jīng)過光學(xué)系統(tǒng)后的成像稱為點(diǎn)擴(kuò)展函數(shù)（PSF）或沖激響應(yīng)函數(shù)；經(jīng)線性移不變系統(tǒng)后得到的圖像是原圖像

6、與點(diǎn)擴(kuò)展函數(shù)的卷積；稱為光學(xué)系統(tǒng)的調(diào)制轉(zhuǎn)移函數(shù)（MTF）；和可以表征一個(gè)線性移不變的光學(xué)系統(tǒng)（2） 人眼視覺模型人眼類似一個(gè)光學(xué)系統(tǒng)。由于神經(jīng)系統(tǒng)的調(diào)節(jié)，它又不是普通意義上的光學(xué)系統(tǒng)。建立視覺模型就是力圖用線性光學(xué)系統(tǒng)的概念來解釋某些視覺特性，并可進(jìn)行一些定量的分析和預(yù)測。 1）作為一個(gè)光學(xué)器件，從空間頻率的角度來說，是一個(gè)低通型線性系統(tǒng)。表明：人眼的分辨力是有限的。（瞳孔一定的幾何尺寸及視細(xì)胞有一定的大小。）2）人眼對(duì)于亮度的響應(yīng)具有對(duì)數(shù)性質(zhì)。人眼正是通過這一對(duì)數(shù)性質(zhì)來接受寬達(dá)倍的亮度范圍。人所能覺察到的亮度增量的度量是以B為底的對(duì)數(shù)增量形式，而不是線性增量：3）由于神經(jīng)系統(tǒng)的作用，從空間頻

7、率的角度來說，人眼又具有帶通型線性系統(tǒng)的特性，又稱為側(cè)抑制效應(yīng)。加權(quán)求和運(yùn)算將有帶通濾波器的效應(yīng)。4）從時(shí)間上說，人眼對(duì)亮度的響應(yīng)有一定的延時(shí)。這是由神經(jīng)系統(tǒng)時(shí)間響應(yīng)上的限制引起的。 人從亮處進(jìn)入暗室時(shí)，最初看不清楚任何東西，經(jīng)過一定時(shí)間，視覺敏感度才逐漸增主，恢復(fù)了在暗處的視力，這稱為暗適應(yīng)。相反，從暗處初來到亮光處，最初感到一片耀眼的光亮，不能看清物體，只有稍待片刻才能恢復(fù)視覺，這稱為明適應(yīng)。 （3）人眼調(diào)制轉(zhuǎn)移函數(shù)和對(duì)數(shù)-線性系統(tǒng) 圖像處理中大量是靜止圖像，因此上述模型中的1），2），3）三個(gè)子系統(tǒng)將起作用。為了抵消人眼對(duì)亮度響應(yīng)的對(duì)數(shù)性質(zhì)，測試人眼視覺系統(tǒng)的實(shí)際亮度應(yīng)當(dāng)是指數(shù)性的，這樣

8、人眼視覺系統(tǒng)可以“線性化”，直接可測出調(diào)制轉(zhuǎn)移函數(shù)。亮暗在空間上作正弦變化條紋圖像的物理對(duì)比度和感覺對(duì)比度之比隨空間頻率變化而變化的曲線，稱為調(diào)制轉(zhuǎn)移函數(shù)（MTF）。3 . 視覺系統(tǒng)對(duì)顏色的感知 可見光的波長范圍為380nm780nm，大多數(shù)自然光都是由不同波長的光組合而成。 人的視網(wǎng)膜有對(duì)紅、綠、藍(lán)顏色敏感程度不同的三種錐體細(xì)胞，另外還有一種在光功率極端低的條件下才起作用的桿狀體細(xì)胞，因此顏色只存在于眼睛和大腦中。顏色是視覺系統(tǒng)對(duì)可見光的感知結(jié)果。 紅、綠和藍(lán)三種錐體細(xì)胞對(duì)不同頻率的光的感知程度不同，對(duì)不同亮度的感知程度也不同，因此不同組成成分的可見光就呈現(xiàn)出不同的顏色.視覺系統(tǒng)對(duì)顏色和亮度

9、的響應(yīng)特性曲線（各個(gè)波長的光的強(qiáng)度相等）上面的顏色響應(yīng)曲線表明，人類眼睛對(duì)藍(lán)光的靈敏度遠(yuǎn)遠(yuǎn)低于對(duì)紅光和綠光的靈敏度。亮度響應(yīng)曲線表明人眼對(duì)波長為550nm左右的黃綠色最為敏感。 許多具有不同光譜分布的光產(chǎn)生的視覺效果（顏色）是一樣的。即光譜與顏色的對(duì)應(yīng)是多對(duì)一的。 光譜分布不同而看上去相同的兩種顏色稱為條件等色（匹配等色）。 絕大部分可見光譜對(duì)眼睛的刺激效果都可以用紅（700nm）,綠（）,藍(lán)（）三色光按不同比例和強(qiáng)度的混合來等效表示。（三刺激理論）匹配任意可見光所需的三原色光比例曲線從人的主觀感覺角度，顏色包含三個(gè)要素：(1)色調(diào)（hue）：色調(diào)反映顏色的類別，如紅色、綠色、藍(lán)色等。色調(diào)大致

10、對(duì)應(yīng)光譜分布中的主波長。(2)飽和度（Saturation） 飽和度是指彩色光所呈現(xiàn)顏色的深淺或純潔程度。對(duì)于同一色調(diào)的彩色光，其飽和度越高，顏色就越深，或越純；而飽和度越小，顏色就越淺，或純度越低。高飽和度的彩色光可因摻入白光而降低純度或變淺，變成低飽和度的色光。100%飽和度的色光就代表完全沒有混入白光的純色光。(3)明亮度（luminance） 明亮度是光作用于人眼時(shí)引起的明亮程度的感覺。一般來說，彩色光能量大則顯得亮，反之則暗。 大量試驗(yàn)表明，人的眼睛能分辨128種不同的色調(diào)，1030種不同的飽和度，而對(duì)亮度非常敏感。人眼大約可以分辨35萬種顏色。4. 顏色模型 顏色模型（color

11、model）是用來精確標(biāo)定和生成各種顏色的一套規(guī)則和定義。 某種顏色模型所標(biāo)定的所有顏色就構(gòu)成了一個(gè)顏色空間。 顏色空間通常用三維模型表示，空間中的顏色通常使用代表三個(gè)參數(shù)的三維坐標(biāo)來指定 對(duì)于人來說，可以通過色調(diào)、飽和度和亮度來定義顏色（HSL顏色模型）； 對(duì)于顯示設(shè)備來說，可以用紅、綠、藍(lán)磷光體的發(fā)光量來描述顏色（RGB顏色模型）； 對(duì)于打印設(shè)備來說，可以使用青色、品紅、黃色和黑色顏料的用量來指定顏色（CMYK顏色模型）。(1) RGB顏色模型 理論上絕大部分可見光譜都可用紅、綠和藍(lán) (RGB) 三色光按不同比例和強(qiáng)度的混合來表示。LR(紅色的百分比)G(綠色的百分比) B(藍(lán)色的百分比)

12、如L0.3R+0.6G+0.1R 當(dāng)然，這里的系數(shù)只是近似的，它具體的值依賴于顯示器所采用的磷粉標(biāo)準(zhǔn)，以NTSC視頻信號(hào)標(biāo)準(zhǔn)，則三個(gè)系數(shù)依次為：、0.144 RGB模型稱為相加混色模型，用于光照、視頻和顯示器。例如，顯示器通過紅、綠和藍(lán)熒光粉發(fā)射光線產(chǎn)生彩色。(2) CMYK顏色模型在理論上，絕大多數(shù)顏色都可以用三種基本顏料（青色cyan、品紅magenta、和黃色yellow）按一定比例混合得到。理論上，青色、品紅和黃色三種基本色素等量混合能得到黑色。但實(shí)際上，因?yàn)樗写蛴∮湍紩?huì)包含一些雜質(zhì)，這三種油墨混合實(shí)際上產(chǎn)生一種土灰色，必須與黑色 (K) 油墨混合才能產(chǎn)生真正的黑色，所以再加入黑色

13、作為基本色形成CMYK顏色模型。CMYK模型稱為相減混色模型。RGB彩色空間和CMY彩色空間的表示法顏色模型的空間表示(3)HSL顏色模型在HSL模型中，H定義色調(diào)；S定義顏色的深淺程度或飽和度；L定義亮度。RGB模型和CMYK模型主要是面向設(shè)備的，而HSL模型更容易被人理解和控制。（4）YIQ顏色模型我們也可以將RGB顏色模型轉(zhuǎn)化為亮度-色度空間。在NTSC視頻信號(hào)中使用了YIQ顏色模型。這是一種由RGB轉(zhuǎn)化來的亮度-色度模型，該模型中Y代表了光源的亮度，而色度則包含在I、Q兩個(gè)參數(shù)里。在參數(shù)I中包含了橙-青的色彩信息，Q中包含了綠-品紅的色彩信息。由于人眼對(duì)于亮度的敏感程度大于對(duì)于色度的敏

14、感程度，因此將最大的帶寬分給Y信號(hào)，并且由于Y信號(hào)包含了亮度信號(hào)，所以在黑白電視機(jī)中就只使用Y信號(hào)。下面是RGBYIQ的變換公式：（5）YUV顏色模型 YUV顏色模型和YIQ顏色模型類似。 事實(shí)上YUV只是一類顏色模型(YCrCb)的總稱。其中Y的定義是相同的，色度信息也是組合在Cr、Cb中，其中Cr代表了光源中的紅色分量，Cb代表了光源中的藍(lán)色分量，因此它的變換公式： 5“眼見為實(shí)”嗎？馬赫帶效應(yīng)雖然條帶強(qiáng)度恒定，但實(shí)際感覺到了一幅帶有毛邊（特別是靠近邊界處）的亮度圖形。二、 圖像質(zhì)量評(píng)價(jià)可懂度逼真度1.圖像質(zhì)量評(píng)估方法與標(biāo)準(zhǔn)當(dāng)前對(duì)圖像質(zhì)量的評(píng)估方法主要分成兩類：主觀評(píng)價(jià)和客觀測量。主觀評(píng)價(jià)

15、的方法與標(biāo)準(zhǔn)已相對(duì)完善，而客觀測量則處于熱點(diǎn)研究中。1）主觀評(píng)價(jià) 主觀評(píng)價(jià)的方法是將待評(píng)價(jià)的圖像序列播放給評(píng)論者觀看，并記錄他們的打分，然后對(duì)所有評(píng)論者的打分進(jìn)行統(tǒng)計(jì)，得出平均分作為評(píng)價(jià)結(jié)果。 很顯然，主觀評(píng)價(jià)有幾個(gè)顯著的不足之處： (1)觀察者一般需要是一個(gè)群體，并且經(jīng)過培訓(xùn)以準(zhǔn)確判定主觀評(píng)測分，人力和物力投入大，為時(shí)較長；(2)圖像內(nèi)容與情節(jié)千變?nèi)f化，觀察者個(gè)體差異大，容易發(fā)生主觀上的偏差；(3)主觀評(píng)價(jià)無法進(jìn)行實(shí)時(shí)監(jiān)測；(4)僅僅只有平均分，如果評(píng)測分?jǐn)?shù)低，無法確切定位問題出在哪里。 2）客觀測量 客觀測量基于仿人眼視覺模型的原理對(duì)圖像質(zhì)量進(jìn)行客觀評(píng)估，并給出客觀評(píng)價(jià)分。近幾年，隨著人們對(duì)人眼視覺系統(tǒng)研究的深入，客觀測量的方法和工具不斷被開發(fā)出來，其測量結(jié)果也與主觀評(píng)價(jià)較吻合。國際上也成立了ITU-R視頻質(zhì)量專家組(ITU-RVQEG：VideoQualityExperts Group)專門研究和規(guī)范圖像質(zhì)量客觀測量的方法和標(biāo)準(zhǔn)。 VQEG規(guī)定了兩個(gè)簡單的技術(shù)參數(shù)：峰值信噪比(PSNR)和均方差(MSE)。此外，還有許多圖像質(zhì)量模型，這些模型在測量圖像質(zhì)量時(shí)都基于人眼視覺特性。下圖是一種典型的基于解碼圖像與基準(zhǔn)圖像差值的圖像質(zhì)量客觀測量模型。 三、 圖像噪聲1