圖象和視覺基礎

圖象和視覺基礎第一頁，共七十四頁，編輯于2023年，星期五2.1視覺基礎2.1.1人眼與亮度視覺人眼是人類視覺系統(tǒng)的重要組成部分，由晶狀體和視網(wǎng)膜組成。晶狀體相當于光學鏡頭（但是要靈活得多），視網(wǎng)膜相當于膠片。視網(wǎng)膜表面分布著許多光接受細胞，這些細胞負責接受光的能量并形成視覺圖案。第二頁，共七十四頁，編輯于2023年，星期五光接受細胞有兩種：錐細胞和柱細胞。錐細胞在亮度較高時活躍，可以分辨光的顏色，但數(shù)量較少；柱細胞對低亮度較為敏感，不感受顏色，只提供視野的整體信息，這就是為什么人眼在天色較暗時看到的物體都是黑白剪影的原因。由于數(shù)字圖象是以亮度點集合的形式顯示的，眼睛區(qū)分不同亮度的能力在表達圖象處理結果時是很重要的。第三頁，共七十四頁，編輯于2023年，星期五

人的視覺系統(tǒng)能夠適應的光強度級別范圍是很寬的。從夜視閾值到強閃光約有1010量級。但是人的視覺系統(tǒng)并不能同時在這么大范圍工作,確切地說,它是利用改變其整個靈敏度來完成這一大變動的,這就是所謂的亮度適應現(xiàn)象。與整個適應范圍相比,能同時鑒別的光強度級的總范圍很小。在一定的條件下，一個視覺系統(tǒng)當前的靈敏度叫做亮度適應級。人眼在某一時刻所能感受到的主觀亮度范圍是以此適應級為中心的一個小范圍。第四頁，共七十四頁，編輯于2023年，星期五2.1.2顏色視覺1、RGB模型（面向彩色顯示器或打印機）

視覺三基色假說:C=R+G+B視網(wǎng)膜錐細胞感紅,感綠,感藍色素波長：R:700nmG:546.1nmB:435.8nm利用三基色疊加可產(chǎn)生光的三補色：品紅:紅+藍藍綠:綠+藍黃:紅+綠第五頁，共七十四頁，編輯于2023年，星期五區(qū)分顏色的3種基本特征量*輝度：輝度與物體的反射率成正比*色調：是與混合光譜中主要光的波長相聯(lián)系的*飽和度：與色調的純度有關，純光譜色是完全飽和的，隨著白光的加入飽和度逐漸減少。色調和飽和度合起來稱為色度。顏色可用輝度和色度共同表示。為組成某種顏色所需的紅、綠、藍的量稱為3個刺激量，用X，Y，Z表示。從而，一種顏色可用它的3個色系數(shù)表示，分別為：第六頁，共七十四頁，編輯于2023年，星期五1931年，國際照度委員會（CIE）制定了一個色度圖，用組成某種顏色的三原色的比例來規(guī)定這種顏色（如圖）。色度圖中，邊界上的點代表純顏色，移向中心表示混合的白光增加而純度減少。到中心點C處各種光譜能量相等而顯為白色，此處純度為零。某種顏色的純度一般稱為該顏色的飽和度。色度圖中，連接任2端點的直線上的點表示由這2端點的顏色相加而組成的一種顏色。3點可組成一個三角形。第七頁，共七十四頁，編輯于2023年，星期五2、HSI模型（面向彩色處理，如動畫中的彩色模型）

H—色調（hue）S—飽和度（saturation）I—密度（intensity，對應成象亮度和圖象灰度）這個模型有兩個特點：（1）I分量與圖象的彩色信息無關；（2）H和S分量與人感受顏色的方式是緊密相連的。上述特點使得HSI模型非常適合于借助人的視覺系統(tǒng)來感知彩色特性的圖象處理算法。第八頁，共七十四頁，編輯于2023年，星期五對色點P，H的值對應指向該點的矢量與R軸的夾角。S與指向該點的矢量長成正比，越長越飽和。I的值是沿1根通過三角形中心并垂直于三角形平面的直線來測量的。從紙面出來越多越白，進入紙面越多越黑。第九頁，共七十四頁，編輯于2023年，星期五3、從RGB轉換到HSI

（Smith1978）第十頁，共七十四頁，編輯于2023年，星期五4、從HSI轉換到RGB第十一頁，共七十四頁，編輯于2023年，星期五例2.1彩色圖象的R、G、B和H、S、I各分量的圖示圖2.1一幅彩色圖象的R、G、B和H、S、I各分量

(a)(b)(c)分別為R、G、B分量

(d)(e)(f)分別為H、S、I分量第十二頁，共七十四頁，編輯于2023年，星期五2.2成象基礎2.2.1成象模型圖象代表一個2-D的亮度函數(shù)，記為

。在特定的坐標處,的值或幅度是一個正的標量,其物理意義由圖像源決定。當一幅圖像從物理過程產(chǎn)生時,它的值正比于物理源的輻射能量(如電磁波)。因此,一定是非零和有限的,這就是:第十三頁，共七十四頁，編輯于2023年，星期五函數(shù)可由兩個量來表征:(1)入射到觀察場景的光源的量和(2)場景中物體反射光的量。相應地稱為入射分量和反射率,并分別表示為和。因為與和都成正比，所以可以認為是由這兩個函數(shù)相乘得到的：其中反射分量限制在0(全吸收)和1(全反射)之間。的性質取決于照射源,而取決于成象物體的特性。第十四頁，共七十四頁，編輯于2023年，星期五沒有顏色的光叫消色或單色光。這種光的屬性是它的強度或大小。灰度級這一詞匯通常用來描述單色光強度,因為它的范圍從黑到灰,最后到白。單色圖象在坐標處的強度稱為圖象在那一點的灰度值,即:的要求僅僅是正的,要求為有限。區(qū)間稱為灰度級。實際常常令該區(qū)間為，為黑,在灰度級中為白。所有中間值是從黑到白的各種灰度值。第十五頁，共七十四頁，編輯于2023年，星期五2.2.2成象變換

攝象機坐標系統(tǒng)中的圖象平面與平面重合，光學軸沿軸。

圖象平面的中心處于原點，鏡頭中心的坐標是是鏡頭的焦距。假設攝象機坐標系統(tǒng)與世界坐標系統(tǒng)平行。第十六頁，共七十四頁，編輯于2023年，星期五設是3-D空間中任意點的世界坐標。，即所有客觀場景中感興趣的點都在鏡頭的前面。點與其投影到圖象平面的坐標間的關系為：第十七頁，共七十四頁，編輯于2023年，星期五2.2.3采樣和量化

圖象函數(shù)f(x,y)在空間和取值(灰度)上必須數(shù)字化才能被計算機處理.圖象的采樣空間坐標(x,y)的數(shù)字化被稱為圖象采樣確定水平和垂直方向上的象素個數(shù)N、MMN1、均勻采樣和量化第十八頁，共七十四頁，編輯于2023年，星期五圖象采樣的形式化定義設Z表示整數(shù)集合。采樣過程：將xy平面分配到一個網(wǎng)格上，且每一個網(wǎng)格中心的坐標是一個笛卡兒乘積ZxZ的元素對，即所有有序元素對(m,n)的集合，其中m和n屬于整數(shù)集合Z。xy平面(m,n)第十九頁，共七十四頁，編輯于2023年，星期五圖象的量化?取值的數(shù)字化被稱為圖象灰度級量化?量化處理：將f映射到Z的處理(均勻量化、最佳量化)?Z的最大取值，確定象素的灰度級數(shù)

G=2k，如256存儲1幅數(shù)字圖象所需的位數(shù)（bit）

當一幅圖象有2k灰度級時，通常稱該圖象是k比特圖象。第二十頁，共七十四頁，編輯于2023年，星期五空間分辯率與圖象質量256x256x256128x128x25664x64x25632x32x256第二十一頁，共七十四頁，編輯于2023年，星期五幅度分辯率與圖象質量256x256x256256x256x128256x256x64256x256x32第二十二頁，共七十四頁，編輯于2023年，星期五采樣分辨率和灰度級與圖象質量之間的關系Huang[1965]實驗：實驗方法選取一組細節(jié)多少不同的、不同N、M、G的圖象讓觀察者根據(jù)他們的主觀質量感覺給這些圖象排序實驗結論隨著采樣分辨率和灰度級的提高，主觀質量也提高對有大量細節(jié)的圖象，質量對灰度級需求相應降低第二十三頁，共七十四頁，編輯于2023年，星期五2、非均勻采樣采用自適應的采樣方法來改善圖象質量在尖銳的灰度過渡區(qū)采用較密的采樣在平滑區(qū)域采用較稀采樣MN第二十四頁，共七十四頁，編輯于2023年，星期五2.3圖象基礎2.3.1象素間聯(lián)系1、象素的鄰域：位于坐標(x,y)的一個象素p有4個水平和垂直的相鄰象素,其坐標由下式給出:(x+1,y),(x-1,y),(x,y+1),(x,y-1)這個象素集稱為p的4鄰域,用N4(p)表示。每個象素距(x,y)一個單位距離,如果(x,y)位于圖象的邊界,則p的某一鄰域象素位于圖象的外部。第二十五頁，共七十四頁，編輯于2023年，星期五p的4個對角近鄰象素有如下坐標:(x+1,y+1),(x+1,y-1),(x-1,y+1),(x-1,y-1)并用ND(p)表示。與4個鄰域點一起把這些點叫做p的8鄰域,用N8(p)表示。與前邊一樣,如果(x,y)位于圖象的邊界,則ND(p)和N8(p)中的某些點落入圖象的外邊。第二十六頁，共七十四頁，編輯于2023年，星期五2、連接性、連通性

象素間的連通性是一個基本概念,它簡化了許多數(shù)字圖象概念的定義,如區(qū)域和邊界.為了確定兩個象素是否連接,必須確定它們是否相鄰及它們的灰度值是否滿足特定的相似性準則(或者說,它們的灰度值是否相等)。例如,在具有0,1值的二值圖象中,兩個象素可能是4-近鄰象素,但是,僅當它們具有同一灰度值時才能說是連接的。第二十七頁，共七十四頁，編輯于2023年，星期五令V表示定義連接的灰度值集合。在二值圖像中,如考慮灰度值為1的象素之間的連通性,則V={1}。在灰度圖象中,考慮灰度值在8到16之間象素的連通性，則V={8，9，…，15，16}。(a)4-連接:2個象素p和r在V中取值且r在N4(p)中。(b)8-連接:2個象素p和r在V中取值且r在N8(p)中。(c)m-連接(混合連接}:2個象素p和r在V中取值且滿足下列條件之一：

(i)r在N4(p)中;(ii)r在ND(p)中且集合N4(p)∩N4(r)沒有V中的值。第二十八頁，共七十四頁，編輯于2023年，星期五混合連接是8-連接的改進?；旌线B接的引人是為了消除采用8-連接常常發(fā)生的二義性。例如,下圖中(a)對于V={1}所示的象素安排。位于(b)上部的三個像素顯示了多重(二義性)8-連接,如虛線指出的那樣。這種二義性可以通過m-連接消除,如(c)所示。第二十九頁，共七十四頁，編輯于2023年，星期五如果圖象子集S1中的某些象素與S2中的某些象素毗鄰,則SI和S2是毗鄰的。如果一個象素p與另一個象素q相連接，則他們相毗鄰。從具有坐標(x,y)的象素p到具有坐標(s,t)的象素q的通路是由一系列特定象素組成的，這些象素具有坐標(x0,y0),(x1,y1)….(xn,yn)這里(x0,y0)=(x,y),(xn,yn)=(s,t),并且象素(xi,yi)與(xi-1，yi-1)毗鄰。在這種情況下,n是通路的長度。第三十頁，共七十四頁，編輯于2023年，星期五令S代表一幅圖象中象素的子集.

如果在S中p,q象素之間存在一個通路,則說兩個象素p和q在S中是連通的。對于S中的任何象素p,S中連通到該象素的象素集叫做S的連通分量（組元，component）。第三十一頁，共七十四頁，編輯于2023年，星期五3、距離量度對于像素p,q和r,其坐標分別為(x,y),(s,t)和(v,w),如果:(a)D(p,q)≥0,D(p,q)=0,當且僅當p=q(b)D(p,q)=D(q,p)(c)D(p,r)≤D(p,q)+D(q,r)

則D是距離量度函數(shù)。第三十二頁，共七十四頁，編輯于2023年，星期五p和q間的歐氏距離定義如下:De(p,q)=[(x-s)2+(y-t)2]1/2(2.5.1)對于距離量度,距點(x,y)的距離小于或等于某一值d的象素是,中心在(x,y)半徑為d的圓平面。p和q間的D4距離（城市街區(qū)距離）如下式定義:D4(p,q)=|x-s|+|y-t|

在這種情況下,距(x,y)的D4距離小于或等于某一值d的象素形成一個中心在(x,y)的菱形。第三十三頁，共七十四頁，編輯于2023年，星期五例如,距(x,y)的D4距離小于或等于2的象素形成固定距離的下列輪廓:

2212210122122D4=1的象素是(x,y)的4鄰域。第三十四頁，共七十四頁，編輯于2023年，星期五p和q間的D8距離(也叫棋盤距離)定義為下式:D8(p,q)=max(|x-s|,|y-t|)

在這種情況下,距(x,y)的D8距離小于或等于某一值d的象素形成中心在(x,y)的正方形。例如,距點(x,y)(中心點)的D8距離小于或等于2的象素形成下列固定距離的輪廓:2222221112210122111222222D8=1的象素是(x,y)的8鄰域。第三十五頁，共七十四頁，編輯于2023年，星期五注意：p和q之間的D4和D8距離與任何通路無關,因為這些距離僅與點的坐標有關。然而,如果選擇考慮m-連通,則兩點間的Dm距離用點間最短的通路定義。在這種情況下,兩象素間的距離將依賴于沿通路的象素值以及它們的鄰點值。例如,考慮下列安排的象素：

tqs1pp=1,q=1

0q01pDm(p,q)=2

1q01pDm(p,q)=3

0q11p

1q11pDm(p,q)=4第三十六頁，共七十四頁，編輯于2023年，星期五2.3.2圖象運算（算術運算、邏輯運算）1、算術運算加法、減法乘法、除法圖象的算術運算是逐象素進行的。一般用于灰度圖象。圖象象素的坐標也可以進行算術運算（如：圖象平移、旋轉與縮放等）第三十七頁，共七十四頁，編輯于2023年，星期五加法運算的定義C(x,y)=A(x,y)+B(x,y)主要應用舉例去除“疊加性”噪聲生成圖象疊加效果圖象的加法運算第三十八頁，共七十四頁，編輯于2023年，星期五去除“疊加性”噪聲設有一幅混有噪聲的圖g(x,y)是由原始圖f(x,y)和噪聲圖e(x,y)疊加而成，即g(x,y)=f(x,y)+e(x,y)這里假設每個坐標點(x,y)上的噪聲都不相關且均值為零.我們處理的目標就是通過加入一系列噪聲圖像{gi(x,y)}來減少噪聲。如果噪聲符合上述限制,若對M幅不同的圖象取平均得:第三十九頁，共七十四頁，編輯于2023年，星期五可以證明：可見，隨著平均圖數(shù)量M的增加，噪聲在每個象素位置(x,y)的影響逐步減少。例2.3.1：用圖象平均消除隨機噪聲(練習)第四十頁，共七十四頁，編輯于2023年，星期五圖象疊加對于兩個圖象f1(x,y)和f2(x,y)的加權組合

g(x,y)=αf1(x,y)+βf2(x,y)其中α+β=1得到各種圖象合成的效果，也可以用于兩張相片的銜接。第四十一頁，共七十四頁，編輯于2023年，星期五減法運算的定義

C(x,y)=A(x,y)-B(x,y)主要應用去除不需要的疊加性圖案檢測同一場景兩幅圖象之間的變化第四十二頁，共七十四頁，編輯于2023年，星期五去除不需要的疊加性圖案設：背景圖象b(x,y)，前景背景混合圖象f(x,y)

g(x,y)=f(x,y)–b(x,y)g(x,y)為去除了背景的圖象。第四十三頁，共七十四頁，編輯于2023年，星期五檢測同一場景兩幅圖象之間的變化

設：時間1的圖象為T1(x,y)， 時間2的圖象為T2(x,y)g(x,y)=T2(x,y)-T1(x,y)=-如：運動檢測、運動估計等第四十四頁，共七十四頁，編輯于2023年，星期五2、邏輯運算圖象象素之間的邏輯運算求反異或、或與

邏輯運算是對二值圖象的象素值進行處理的一種圖象運算第四十五頁，共七十四頁，編輯于2023年，星期五求反的定義

g(x,y)=255-f(x,y)

主要應用

獲取一個陰圖象（反色圖像）

獲取一個子圖像的補圖像第四十六頁，共七十四頁，編輯于2023年，星期五反色獲取陰圖象第四十七頁，共七十四頁，編輯于2023年，星期五子圖象的補圖象第四十八頁，共七十四頁，編輯于2023年，星期五異或運算的定義g(x,y)=f(x,y)h(x,y)

（相同輸出0，相異輸出1）獲取相交子圖象=黑色代表1，白色代表0第四十九頁，共七十四頁，編輯于2023年，星期五或運算的定義

g(x,y)=f(x,y)\/h(x,y)合并子圖象=黑色代表1，白色代表0第五十頁，共七十四頁，編輯于2023年，星期五圖象的非幾何變換非幾何變換（針對圖像象素灰度）－非幾何變換的定義：對于原圖象f(x,y)，灰度值變換函數(shù)T唯一確定了非幾何變換：

g(x,y)=T(f(x,y))g(x,y)是目標圖象，圖像沒有幾何位置的改變，只是圖像的灰度取值發(fā)生了變化。－對于彩色原圖象f(x,y)，顏色值變換函數(shù)Tr(f(x,y));Tg(f(x,y));Tb(f(x,y));第五十一頁，共七十四頁，編輯于2023年，星期五基于模板的圖象運算（T為卷積模板）模板的定義模板大小模板系數(shù)模板運算的定義模板運算舉例：均值變換第五十二頁，共七十四頁，編輯于2023年，星期五模板的定義（二維濾波器的系數(shù)構成模板）所謂模板就是一個系數(shù)矩陣模板大?。和ǔＪ瞧鏀?shù)，如：

3x35x57x7模板系數(shù):矩陣的元素

w1w2w3 w4w5w6 w7w8w9第五十三頁，共七十四頁，編輯于2023年，星期五模板運算的定義

對于某圖象的子圖像：

z1z2z3 z4

z5z6 z7z8z9

象素z5的模板運算公式為：R=w1z1+w2z2+...+w9z9第五十四頁，共七十四頁，編輯于2023年，星期五模板運算例：均值變換(均值濾波)

模板系數(shù)：wi=1/9

計算公式：R=（z1+z2+...+z9）/9

均值濾波第五十五頁，共七十四頁，編輯于2023年，星期五灰度級變換（點運算）

定義：對于輸入圖象f(x,y)，灰度級變換T將產(chǎn)生一個輸出圖象g(x,y)，且g(x,y)的每一個象素值，都是由f(x,y)的對應輸入象素點的值決定的，與其鄰域點的取值無關。

g(x,y)=T(f(x,y))灰度級變換（點運算）的實現(xiàn)通過灰度級映射關系R=T（r）(R,r取值范圍為0－255)來實現(xiàn)灰度級變換。輸入象素值與輸出象素之間的映射關系可以通過查表來實現(xiàn)。因此灰度級變換也被稱為LUT（LookUpTable）變換。第五十六頁，共七十四頁，編輯于2023年，星期五例如：圖象求反R=T(r)=255-r第五十七頁，共七十四頁，編輯于2023年，星期五如：對比度拉伸與動態(tài)范圍壓縮

根據(jù)圖象直方圖（圖象的灰度統(tǒng)計分布）改變圖象質量第五十八頁，共七十四頁，編輯于2023年，星期五2.3.3圖象坐標變換

-平移變換

-放縮變換

-旋轉變換鏡象變換：水平鏡象、垂直鏡象第五十九頁，共七十四頁，編輯于2023年，星期五1、平移變換第六十頁，共七十四頁，編輯于2023年，星期五2、縮放變換3、旋轉變換繞原點旋轉度(逆時針)，可表示為第六十一頁，共七十四頁，編輯于2023年，星期五圖象的平移與旋轉第六十二頁，共七十四頁，編輯于2023年，星期五4、水平鏡象與垂直鏡象水平鏡象垂直鏡象第六十三頁，共七十四頁，編輯于2023年，星期五2.3.4圖象格式1、調色板

調色板是包含不同顏色的顏色表，每種顏色以紅、綠、藍三種顏色的組合來表示，圖象的每一個象素對應一個數(shù)字，而該數(shù)字對應調色板中的一種顏色。如某象素值為1，則表示該顏色為調色板的編號為1的顏色。

16色或256色需要調色板。真彩色圖象的每個象素直接用R、G、B三個字節(jié)來表示顏色，不需要調色板。第六十四頁，共七十四頁，編輯于2023年，星期五2、圖象格式

圖象格式指的是存儲圖象采用的文件格式。常用的圖象格式有：

(1)BMP(Bitmap)文件;(2)GIF(GraphicsInterchangeFormat)文件;(3)TIFF(TagImageFileFormat)文件;(4)PCX文件;(5)JPEG格式；

(6)PSD格式；

(7)PCD格式；

(8)WMF矢量格式。第六十五頁，共七十四頁，編輯于2023年，星期五(1)、BMP文件

BMP文件是MicrosoftWindows所定義的圖象文件格式，最早應用在Microsoft公司的MicrosoftWindows窗口系統(tǒng)中。BMP圖象文件的特點：

?該結構只能存放一幅圖象；

?只能存儲四種圖象數(shù)據(jù)：單色、16色、256色、真彩色

?圖象數(shù)據(jù)有壓縮和不壓縮兩種處理方式，壓縮方式有：RLE4和RLE8；

?調色板的數(shù)據(jù)存儲結構與文件頭的某些參數(shù)有關BMP圖象文件的文件結構可分為三部分：

?表頭；長度固定為54個字節(jié)

?調色板；真彩色沒有調色板

?圖象數(shù)據(jù)。第六十六頁，共七十四頁，編輯于2023年，星期五(2)、GIF文件

GIF文件是CompuServe公司為了方便網(wǎng)絡用戶傳輸圖象數(shù)據(jù)而制定的一種圖象文件格式。GIF圖象文件經(jīng)常用于網(wǎng)頁的動畫、透明等特技制作。其特點為：

?具有多元化結構，能夠存儲多幅圖象；

?調色板數(shù)據(jù)有通用調色板和局部調色板之分；

?采用LZW壓縮法；

?圖象數(shù)據(jù)一個字節(jié)存儲一點；

?文件內的各種圖象數(shù)據(jù)區(qū)和補充區(qū)多數(shù)沒有固定的數(shù)據(jù)長度和存放位置；?圖象數(shù)據(jù)有順序排列和交叉排列兩種方式；

?最多只能存儲256色圖象。第六十七頁，共七十四頁，編輯于2023年，星期五GIF圖象文件的文件結構一般由七個數(shù)據(jù)單元組成：

?表頭；

?通用調色板；真彩色沒有調色板

?圖象數(shù)據(jù)區(qū)以及四個補充區(qū)。表頭和圖象數(shù)據(jù)區(qū)是文件不可缺少的單元，其它是可選內容。第六十八頁，共七十四頁，編輯于2023年，星期五(3)、TIFF文件

TIFF文件是Aldus公司與微軟公司共同開發(fā)設計的圖象文件格式。其特點為：

?善于應用指針功能，能夠存儲多幅圖