數(shù)字圖像處理 數(shù)字圖像基礎(chǔ)

數(shù)字圖像處理

（DigitalImageProcessing）第二章數(shù)字圖像基礎(chǔ)第二章數(shù)字圖像基礎(chǔ)

2.1視覺感知要素2.3圖像感知和獲取2.4圖像采樣和量化2.5像素間關(guān)系和基本操作

2.6圖像處理的數(shù)學工具介紹第2章第2頁第2章第3頁2.1視覺感知要素數(shù)字圖像處理的質(zhì)量評價多由人眼主觀評價;許多圖像處理相關(guān)技術(shù)要根據(jù)人眼特性設(shè)計;如電視圖像場頻率、屏幕刷新頻率、圖像量化級別、立體顯示(雙目視覺)、圖像壓縮根據(jù)人類認知圖像內(nèi)容的機制可以研究出新的圖像處理算法為什么要研究人類視覺?第2章第4頁2.1人眼與亮度視覺數(shù)字圖像處理的質(zhì)量評價多由人眼主觀評價;許多圖像處理相關(guān)技術(shù)要根據(jù)人眼特性設(shè)計;如電視圖像場頻率、屏幕刷新頻率、圖像量化級別、立體顯示(雙目視覺)、圖像壓縮根據(jù)人類認知圖像內(nèi)容的機制可以研究出新的圖像處理算法為什么要研究人類視覺?2.1.1人眼的結(jié)構(gòu)角膜虹膜光軸鏡頭(晶狀體)中心凹盲點1.5mm視神經(jīng)鞏膜脈絡(luò)膜眼白瞳孔虹膜Lens(透鏡),Iris[‘a(chǎn)i?ris](虹膜),Retina[‘retin?]視網(wǎng)膜,Fovea[‘f?uvi?]小凹(尤指視網(wǎng)膜的中央凹),cornea[k?ni?]角膜,sclera鞏膜,人眼:近似球體,平均直徑約為20mm,眼球壁由三層膜構(gòu)成角膜和鞏膜脈絡(luò)膜睫狀體虹膜視網(wǎng)膜眼球內(nèi)部主要是晶狀體和玻璃體眼球分為屈光系統(tǒng)和感光系統(tǒng)兩部分第2章第6頁2.1.1人眼的結(jié)構(gòu)屈光系統(tǒng)的作用是將物體清晰地成像在視網(wǎng)膜上角膜:覆蓋眼球前表面,硬的透明膜,有屈光作用;房水:充滿在角膜和虹膜之間以及虹膜與晶狀體之間的水樣透明液體,由睫狀體產(chǎn)生,提供角膜和晶狀體等組織新陳代謝所需的能量,維持眼內(nèi)壓.晶狀體:透明體,位于玻璃體和虹膜之間.通過睫狀肌的收縮可改變晶狀體的屈光力,使得不同距離的物體在視網(wǎng)膜上成像.玻璃體:位于眼球內(nèi)部之間,透明流體.第2章第7頁2.1.1人眼的結(jié)構(gòu)虹膜:調(diào)節(jié)光通量的大小瞳孔直徑可變2~8mm睫狀肌:調(diào)節(jié)晶狀體區(qū)域(調(diào)焦)脈絡(luò)膜:黑色,含有豐富的色素,吸收外來光,消除眼球內(nèi)部的反射光和散射光(暗室黑布).給視網(wǎng)膜提供營養(yǎng)虹膜:眼球外壁,保護眼球中心凹:敏感度最高直徑1.5mm錐狀細胞密度大,敏感度度最高的區(qū)域.桿狀細胞密度小第2章第8頁2.1.1人眼的結(jié)構(gòu)感光系統(tǒng)的作用是將光刺激轉(zhuǎn)換為神經(jīng)刺激,送入大腦神經(jīng)系統(tǒng).主要由視網(wǎng)膜組成.視網(wǎng)膜是倒置結(jié)構(gòu),由外到里由三層細胞構(gòu)成神經(jīng)節(jié)細胞層:神經(jīng)節(jié)細胞,與視神經(jīng)相連,傳遞神經(jīng)刺激雙極細胞層:雙極細胞,連接視細胞和神經(jīng)節(jié)細胞.感光細胞層:兩種視細胞,錐狀細胞

桿狀細胞,感受光線的明暗和顏色刺激第2章第9頁2.1.1人眼的結(jié)構(gòu)

錐狀細胞數(shù)目:600~700萬,位于中心凹附近每個錐狀細胞連接到單獨一個雙極性細胞空間分辨率高,對顏色敏感度高感光靈敏度低,錐狀視覺稱為“明視覺”桿狀細胞數(shù)目:7500萬~1.5億幾個桿狀細胞連接到同一個雙極性細胞空間分辨率低,沒有色彩感覺感光靈敏度高,桿狀視覺稱為“暗視覺”第2章第10頁2.1.2人眼中的圖像形成過程—光學過程

角膜虹膜光軸鏡頭(晶狀體)中心凹脈絡(luò)膜鞏膜盲點1.5mm

1.5mm視神經(jīng)2.55mmFocallength:14mm~17mm晶狀體vs光學透鏡：晶狀體適應(yīng)性更強聚焦遠處時，晶狀體變得扁平；近處聚焦時，晶狀體變厚成像過程：1.視網(wǎng)膜圖像主要反射在中心凹；2.光敏細胞（柱狀/錐狀細胞））產(chǎn)生神經(jīng)刺激3.視覺神經(jīng)將神經(jīng)刺激轉(zhuǎn)換為電脈沖，最后由大腦解碼第2章第11頁視網(wǎng)膜上的離散光線接收器:錐狀(cone)接收器(6~7百萬個)和柱狀(rod)接收器(75~150百萬個)2.1.2人眼中的圖像形成過程-化學結(jié)構(gòu)

空間上的離散化Conevision(bright-lightvision)Rodvision(dam-lightvision)Whenyoufirstenteranextremelybrightenvironment,forexample,whenemergingfromadarkmovieshouseintoaverybrightsunlitareathemancarvingtheduckwouldappearlikethis.

Butinlessthanaminutehewillappearasseenbelow.

Intheleftphotothecontrastisverylow.

Belowthecontrastisnormal.Whenlightadaptedascenemightlooklikethis.LightAdaptationForapproximatelythefirst10minutesinthedark,theconesrequirelesslighttoreachathresholdresponsethandotherods.Thereafter,therodsrequirelesslight.Thepointatwhichtherodsbecomemoresensitiveiscalledtherod-conebreak.DarkAdaptationFunction2.1.2人眼中的圖像形成過程-神經(jīng)處理結(jié)構(gòu)

視網(wǎng)膜視神經(jīng)視神經(jīng)交叉外側(cè)膝狀體核視輻線視覺皮質(zhì)第2章第15頁2.1.2人眼中的圖像形成過程人眼視覺的空間特性空間分辨率為1’灰度分辨能力為64級視覺的時間特性活動圖像的幀率至少15fps時,人眼才有圖像連續(xù)的感覺活動圖像幀率在25fps時,人眼感受不到閃爍感監(jiān)控視頻15fps,電影24fps,電視25fps,DVD30fps

電腦屏幕

60fps10個灰度級128個灰度級第2章第16頁2.1.3亮度適應(yīng)和區(qū)分

(brightadaptationanddiscrimination)Subjectivebrightnessvs.lightintensity主觀亮度vs.光強度主觀亮度：人的視覺系統(tǒng)感知的亮度，是進入人眼的光強的對數(shù)函數(shù)b=log(a)Subjectivebrightness主觀亮度Lightintensity光強度

視覺特點1.亮度適應(yīng)101010-20同一時刻所能區(qū)分的具體范圍遠小于總體范圍以適應(yīng)級為中心的小范圍區(qū)別能力為10-20個亮度級變化實際眼睛遍歷觀看圖像時，在各個不同適應(yīng)級上變化，實際區(qū)分能力要多許多—視覺適應(yīng)性低照明下亮度區(qū)分能力較差---韋伯比率眩目極限暗視覺門限2.1.3亮度適應(yīng)和區(qū)分

(brightadaptationanddiscrimination)

第2章第18頁2.1.3亮度適應(yīng)和區(qū)分

(brightadaptationanddiscrimination)Brightnessadaptation(亮度適應(yīng))Photopic(亮適應(yīng))(暗適應(yīng))(炫目極限)Brightnessadaptationlevel亮度適應(yīng)現(xiàn)象Brightnessadaptationlevel亮度適應(yīng)級視覺系統(tǒng)當前的靈敏度級別主觀亮度光強對數(shù)亮度適應(yīng)現(xiàn)象：視覺系統(tǒng)不能同時在一個范圍內(nèi)工作，通過改變其靈敏度來完成不同強度級別的適應(yīng)。2.1.3亮度適應(yīng)和區(qū)分

(brightadaptationanddiscrimination)Brightnessdiscrimination(亮度區(qū)分)你能看出亮度變化量I?人眼視覺對亮度的對比度敏感而非對亮度本身敏感。韋伯率越小，亮度區(qū)分能力越強錐狀細胞(亮視覺)柱狀細胞(暗視覺)當背景光保持恒定時，改變中間光源亮度，從不能感覺到可以感覺間變化，一般可觀測到12-24級不同強度變化低照度，韋伯比高，亮度辨別能力差高照度，韋伯比低，亮度辨別能力強視覺系統(tǒng)往往會在不同強度區(qū)域的邊界出出現(xiàn)“下沖”或“上沖”現(xiàn)象。Mayoureyesdeceiveus?主觀亮度不是光強的簡單函數(shù)2.1.3亮度適應(yīng)和區(qū)分

同時對比現(xiàn)象，即感知區(qū)域的亮度并不簡單地取決于其強度，與其周圍環(huán)境或區(qū)域亮度有關(guān)系。馬赫帶效應(yīng)雖然條帶強度恒定，但實際感覺到一幅帶有毛邊（特別是邊界處）的亮度圖形。邊緣處，亮的一邊更亮，暗的一邊更暗。感覺亮度不是簡單的強度函數(shù)的；視覺系統(tǒng)有趨于過高或過低估計不同亮度區(qū)域邊界值的效應(yīng)。馬赫帶效應(yīng)Therounddotsareallexactlythesamecolorgray.Imerelycreatedtheoneontheextremerightandthencopiedittoeachofthedarkerrectangles.Clearly,thelightnessofthebackgroundeffectsthewayinwhichweperceivethecentergraydot.Thiseffectiscalledsimultaneouscontrast.Again,ascanbeseeninotherdemonstrations,theperceptionofthiskindofdisplayisaresultoflateralinteractions.同時對比現(xiàn)象SimultaneousContrast人眼對某個區(qū)域感覺的亮度（主觀亮度）不僅依賴于他自身的亮度，還與它的背景有關(guān)。Anexampleofsimultaneouscontrast同時對比度現(xiàn)象第2章第25頁Mayoureyesdeceiveus?2.1.3亮度適應(yīng)和區(qū)分-視錯覺Hering&PogendorfIllusionsThisiscalledaKanizsafigureafterthepersonwhoinventedit.Ifyoulookcarefullyyouwillprobablyseetheedgesoftheentiretriangle,eventhoughthetriangleisdefinedonlybythenotchesinthereddisks.KanizsaIllusion在錯覺中，眼睛填上了不存在的信息或錯誤地感知物體的幾何特點。Whatdoyouseeinthisdiagram?Inordertofindoutwhatpeopleoftensaytheyseeselectpossibleperceptions.BrightnessAdaptation&Discrimination(cont…)Formoregreatillusionexamplestakealookat:/persci/gaz/

Taketwopiecesofpaperandplacetheiredgesascloseaspossibletobothsidesofonereddiagonal.Notethattheredsquareinthemiddleisthesameasalltheothersquaresonthatdiagonal.Nowmoveyourpiecesofpapertoexposemainlytheredsquaresontheotherdiagonal.Onthisdiagonal

alltheredsquares,includingthecenterone,areagainthesamecolorred.Becausethecentersquareiscommontobothdiagonalsthisexerciseprovesthatalltheredsquaresinbothdiagonalsareexactlythesameredcolor.Yet,whenthepatternisseenasawhole,thetworeddiagonalsappeardifferentfromeachotherColorAssimilation第2章第31頁2.1.3亮度適應(yīng)和區(qū)分-視覺惰性視覺惰性:人眼的主觀亮度感覺與光的作用時間有關(guān),光像一旦在視網(wǎng)膜上形成,在它消失后,視覺系統(tǒng)將會對這個光像的感覺持續(xù)一段時間Availablehere:/Visual%20Demos/Demo%2015.html

BeauLotto:OpticalIllusionsShowHowWeSee/talks/lang/eng/beau_lotto_optical_illusions_show_how_we_see.html

錯覺中的視覺真相2.1.3亮度適應(yīng)和區(qū)分-視錯覺第二章數(shù)字圖像基礎(chǔ)2.1視覺感知要素2.3圖像感知和獲取2.4圖像采樣和量化2.5像素間關(guān)系和基本操作

2.6圖像處理的數(shù)學工具介紹第2章第35頁第2章第36頁2.3圖像的感知與獲取圖像F是由“照射”源I和“場景”對光能的反射R或吸收共同作用得到人眼感受到的物體的顏色C是由人眼的感知特性G、光源I和物體的吸收和反射特性R共同決定(a)單個成像傳感器(光二極管)(b)線傳感器(掃描儀)(c)傳感器陣列(CCD)第2章第37頁2.3圖像的感知與獲取(a)單個傳感器運動產(chǎn)生二維圖像(b)線傳感器帶獲取圖像(掃描儀，傳真)(c)環(huán)形傳感器帶獲取圖像(CT，核磁共振)第2章第38頁2.3圖像的感知與獲取傳感器陣列獲取數(shù)字圖像(CCD攝像頭DCDV)圖像形成模型

在特定坐標(x,y)處，通過傳感器轉(zhuǎn)換獲得的f值為一正的標量。函數(shù)f(x,y)由：①入射到觀察場景的光源總量；②場景中物體反射光的總量組成。0<f(x,y)<∞0<i(x,y)<∞0<r(x,y)<1平均反射系數(shù)，反射分量白光強度,入射分量灰度（Intensity）單色圖像在任何坐標(x0,y0)處的強度為圖像在該處的灰度級l＝f(x0,y0),顯然有，可以規(guī)定灰度級范圍為[0,L-1]簡單的圖像形成模型第二章數(shù)字圖像基礎(chǔ)2.1視覺感知要素

2.3圖像感知和獲取

2.4圖像采樣和量化2.5像素間關(guān)系和基本操作2.6圖像處理的數(shù)學工具介紹第2章第40頁

獲取圖像的目標是從感知的數(shù)據(jù)中產(chǎn)生數(shù)字圖像，但是傳感器的輸出是連續(xù)的電壓波形，因此需要把連續(xù)的感知數(shù)據(jù)轉(zhuǎn)換為數(shù)字形式。這一過程由圖像的取樣與量化來完成。

數(shù)字化坐標值稱為空間取樣

512X512象素Pixel分辨率Resolution

數(shù)字化幅度值稱為幅值量化

256級，8bit，灰度級連續(xù)圖象數(shù)字圖象離散化2.4圖像采樣和量化

SamplingandQuantization

采樣定理Nyguist準則2.4圖像采樣和量化

SamplingandQuantization

類比一維信號電壓流量txy二維圖象2.4圖像采樣和量化

SamplingandQuantization

數(shù)字圖像的采集過程采樣和量化2.4圖像采樣和量化

SamplingandQuantization

陣列中傳感器的數(shù)量決定了圖像兩個方向的取樣限制第2章第45頁數(shù)字圖像是模擬圖像經(jīng)取樣、量化、編碼獲得圖像取樣:圖像空間離散化,確定圖像空間分辨率圖像量化:圖像幅度離散化,確定圖像幅度分辨率圖像編碼:用較少的bit表示量化后的圖像(JPEG)2.4圖像采樣和量化

SamplingandQuantization

2.4圖像采樣和量化

SamplingandQuantization

2.4圖像采樣和量化

SamplingandQuantization

2.4圖像采樣和量化

SamplingandQuantization

2.4圖像采樣和量化

SamplingandQuantization

數(shù)字圖像的質(zhì)量很大程度上取決于取樣和量化過程中所用的取樣數(shù)和灰度級,圖像內(nèi)容是確定這兩個參數(shù)的重要因素2.4圖像采樣和量化

SamplingandQuantization

圖像的非均勻采樣：在灰度級變化尖銳的區(qū)域，用細膩的采樣，在灰度級比較平滑的區(qū)域，用粗糙的采樣。圖像的非均勻量化：非均勻量化是依據(jù)一幅圖像具體的灰度值分布的概率密度函數(shù),按總的量化誤差最小的原則來進行量化.具體做法是對圖像中像素灰度值頻繁出現(xiàn)的灰度值范圍,量化間隔取小一些,而對那些像素灰度值極少出現(xiàn)的范圍,則量化間隔取大一些.由于圖像灰度值的概率分布函數(shù)因圖像不同而異,所以不可能找到可用于所有圖像的最佳非等間隔量化方法.2.4圖像采樣和量化

SamplingandQuantization

思考：1、為什么圖像經(jīng)常用512×512、256×256、128×128等形式表述；答:因為當圖像的大小是2的次冪時，圖像的許多計算可以得到簡化。答:存儲一幅大小為M×N，有2k個不同灰度級的圖像所用的Bit數(shù)為: b=M×N×k (2.4-4)因此，存儲一幅512×512，有256個灰度級（k=8）的圖像需要512×512×8=2097152(Bit)或512×512=256K(Byte)2、存儲一幅512×512，有256個灰度級的圖像需要多少比特？空間分辨率（spatialresolution）圖像中可分辨的最小細節(jié)，主要由采樣間隔值決定2.4圖像采樣和量化-空間分辨率

SamplingandQuantization

1)

DPI＝DotsPerInch=每英寸的點數(shù)

報紙的的分辨率為75dpi,雜志133dpi,精致書籍2400dpi（外文）采樣間隔值越小，空間分辨率越高空間分辨率變化對圖像視覺效果的影響(a)原始圖像(256×256)(b)采樣圖像(128×128)(c)采樣圖像(64×64)(d)采樣圖像(32×32)(e)采樣圖像(16×16)(c)采樣圖像(8×8)灰度級L不變的情況下灰度級別中可辨別的最小變化，通常也把灰度級L稱為灰度分辨率量化灰度所用的bit數(shù)，如256級的灰圖像的灰度分辨率為8bit。量化確定灰度分辨率2.4圖像采樣和量化-灰度級分辨率

SamplingandQuantization

灰度級分辨率對圖像視覺效果的影響灰度級分別為256,128,64,32的數(shù)字圖像256128643216824灰度級別越少，偽輪廓現(xiàn)象越明顯。圖像的分辨率表示的是能看到圖像細節(jié)的多少，顯然依賴于M×N和灰度級別L保持M×N不變而減少L則會導致假輪廓保持L不變而減少M×N則會導致棋盤狀效果圖像質(zhì)量一般隨著M×N和L的增加而增加，但存儲量增大。實驗表明圖像的細節(jié)越多，用保持M×N恒定而增加L的方法來提高圖像的顯示效果就越不明顯，因此，對于有大量細節(jié)的圖像只需要少數(shù)的灰度級。2.4圖像采樣和量化SamplingandQuantization

第8章第58頁圖像放大—過采樣;圖像縮小—欠采樣圖像放大過程創(chuàng)建新的像素位置對新位置上的像素賦值圖像收縮過程行-列刪除2.4圖像采樣和量化-放大縮小圖像SamplingandQuantization

（1）、圖像的收縮——行、列刪除2.4圖像采樣和量化-放大縮小圖像SamplingandQuantization

第2章第60頁圖像放大過程創(chuàng)建新的像素位置對新位置上的像素賦值如何確定新像素的位置?如何確定新位置上的像素灰度值？最近鄰域插值(零階插值)雙線性插值(一階插值)雙三次插值(二階插值)…2.4圖像采樣和量化-放大圖像SamplingandQuantization

原像素原像素原像素第2章第61頁最近鄰域內(nèi)插(零階插值)在原圖像中尋找最靠近新位置像素的像素點,并將它的灰度值賦給新像素優(yōu)點:簡單易行速度快缺點:易產(chǎn)生塊效應(yīng)近朱者赤近墨者黑2.4圖像采樣和量化-放大圖像SamplingandQuantization

ABCD第2章第62頁雙線性內(nèi)插(一階插值)在原圖像中尋找新位置像素的4個像素點,并借助雙線性函數(shù)使用4個像素點的灰度值計算新像素點的值優(yōu)點:塊效應(yīng)不明顯缺點:計算復(fù)雜,使圖像細節(jié)退化(平滑作用)2.4圖像采樣和量化-放大圖像SamplingandQuantization

第2章第63頁2.4圖像采樣和量化-放大圖像SamplingandQuantization

用最近領(lǐng)域內(nèi)插法(上一行)和雙線性內(nèi)插法(下一行)得到的放大圖像分別將128×128,64×64,32×32放大到1024×1024圖像放大的效果比較2.4圖像采樣和量化-放大圖像SamplingandQuantization

第二章數(shù)字圖像基礎(chǔ)2.1視覺感知要素

2.3圖像感知和獲取2.4圖像采樣和量化

2.5像素間關(guān)系和基本操作

2.6圖像處理的數(shù)學工具介紹第2章第65頁第2章第66頁像素間的基本關(guān)系相鄰:4-鄰域D-鄰域8-鄰域距離度量鄰接性、連通性區(qū)域、邊界像素間的基本操作算術(shù)運算:加減乘邏輯運算:與或非2.5像素間關(guān)系和基本操作第2章第67頁4-鄰域:當前像素點4個水平和垂直方向上的相鄰像素(x-1,y),(x+1,y),(x,y-1),(x,y+1)D-鄰域:當前像素點4個對角線像素(x-1,y-1),(x-1,y+1),(x+1,y-1),(x+1,y+1)8-鄰域:4鄰域和D鄰域的合集2.5像素間關(guān)系和基本操作-相鄰像素的相鄰僅說明了兩個像素在位置上的關(guān)系，若再加上取值相同或相近，則稱兩個像素鄰接。1、兩個像素p和q鄰接的條件（1）位置相鄰

p(m,n)和q（s,t）位置上滿足相鄰，即（2）灰度值相近，即稱為灰度值相近（似）準則。稱為灰度值相近（似）準則。2.5像素間關(guān)系和基本操作鄰接、連通性、區(qū)域和邊界鄰接性令V是用于定義鄰接性的灰度值集合（相似性準則），存在三種類型的鄰接性：(1)4鄰接:若像素p和q的灰度值均屬于V中的元素，且q在N4(p)中，則p和q是4鄰接的.(2)8鄰接:若像素p和q的灰度值均屬于V中的元素，且q在N8(p)集中,則p和q是8鄰接的.(3)m鄰接(混合鄰接):若像素p和q的灰度值均屬于V中的元素，{①q在N4(p)中,或者②q在ND(p)中}且{集合N4(p)∩N4(q)沒有V值的像素},則具有V值的像素p和q是m鄰接的.4鄰接必8鄰接，反之不一定成立。兩種鄰接及其關(guān)系見下圖所示，相似性準則為V={1}，p與q：4鄰接，也8鄰接；q與r：8鄰接但非4鄰接。4鄰接與8鄰接的關(guān)系m鄰接可以消除8鄰接所帶來的（通路）二義性(b)中心像素p的8鄰接像素：q1,q2pq1pq1q2q2V={1}q1和p:8鄰接，非m鄰接q2和p:8鄰接，又m鄰接只定義8鄰接，則q2和q1之間的通路有兩條（二義）見（b）；定義了m鄰接，則q2和q1之間的通路就只有一條（m通路）見（c）(a)像素安排(b)(c)(c)中心像素p的m鄰接像素：q2不滿足條件：N4(p)∩N4(q1)沒有V值的像素像素