圖像處理基本知識

圖像處理基本知識第1頁，課件共55頁，創(chuàng)作于2023年2月2.1視覺感知2.2圖像的噪聲分析2.3圖像的質(zhì)量評價2.4圖像的采樣與量化(數(shù)字化)2.5像素之間的關(guān)系第2頁，課件共55頁，創(chuàng)作于2023年2月2.1視覺感知2.1.1視覺原理2.1.2亮度適應(yīng)和區(qū)分2.1.3成像模型2.1.4顏色視覺第3頁，課件共55頁，創(chuàng)作于2023年2月2.1視覺感知

2.1.1視覺原理

例：距離100米高15米圖像大小2.55毫米第4頁，課件共55頁，創(chuàng)作于2023年2月桿狀體：7500～15000萬，幾個柱細(xì)胞聯(lián)到同一個神經(jīng)末梢，分辨率低，提供視野的整體視象，不感受顏色對低照度敏感。夜視覺2.1.1視覺原理成像過程：

晶體聚焦；視網(wǎng)膜成像；視網(wǎng)膜圖像反映到中央凹；由光接收器的相對刺激作用產(chǎn)生感覺，把輻射來的能量變?yōu)殡娒}沖；人腦判斷。反映聚焦到視網(wǎng)膜中央凹圖像電脈沖人腦判讀光接收器：錐狀體：600～700萬。對顏色敏感。充分識別圖像細(xì)節(jié)，每個細(xì)胞接一個神經(jīng)末端，又叫適亮視覺（photopicvision）、白晝視覺第5頁，課件共55頁，創(chuàng)作于2023年2月2.1.2亮度適應(yīng)和區(qū)分

1.可見光范圍：電磁輻射刺激視覺人眼可見區(qū)域：380～780nm380nm780nm2.人眼識別光的強(qiáng)度范圍：由夜視閾值到強(qiáng)閃光之間1～1010級第6頁，課件共55頁，創(chuàng)作于2023年2月I－光分布，V－相對光強(qiáng)度效率函數(shù)。亮度：（感覺到光強(qiáng)度）與環(huán)境有關(guān)。3.亮度適應(yīng)現(xiàn)象：

人眼利用改變其整個靈敏度來適應(yīng)不同的亮度范圍。4.亮度適應(yīng)級：視覺系統(tǒng)的當(dāng)前靈敏度級第7頁，課件共55頁，創(chuàng)作于2023年2月5.馬赫帶效應(yīng)（mach）：基于視覺系統(tǒng)有趨于過高或過低估計(jì)不同亮度區(qū)域邊界值的現(xiàn)象2.1.2亮度適應(yīng)和區(qū)分

灰階

距離

馬赫帶效應(yīng)第8頁，課件共55頁，創(chuàng)作于2023年2月2.1.2亮度適應(yīng)和區(qū)分6.同時對比度效應(yīng)：基于人眼對某個區(qū)域感覺到的亮度并不僅僅依賴于它的強(qiáng)度同時對比度效應(yīng)第9頁，課件共55頁，創(chuàng)作于2023年2月1.圖像的數(shù)學(xué)模型：2.1.3成像模型

irradiationreflection黑天鵝絨0.01，不銹鋼0.65，白色墻0.80，鍍銀的器皿0.90，白雪0.98。

靜止、平面、單色圖像表示為一般圖像可表示為第10頁，課件共55頁，創(chuàng)作于2023年2月2.黑白視覺模型

輸入光學(xué)系統(tǒng)輸出MTF:光學(xué)系統(tǒng)的調(diào)制傳輸函數(shù)第11頁，課件共55頁，創(chuàng)作于2023年2月實(shí)驗(yàn)表明：人的視覺系統(tǒng)的MTF是非線性和各向異性的（即旋轉(zhuǎn)可變性），眼睛對光強(qiáng)度的非線性響應(yīng)呈對數(shù)型。光接收器對數(shù)線性系統(tǒng)黑白視覺對數(shù)模型神經(jīng)信號視覺系統(tǒng)的MTF：亮暗在空間上作正弦變化，條紋圖案的物理對比度和感覺對比度之比隨空間頻率變化而變化的曲線第12頁，課件共55頁，創(chuàng)作于2023年2月光感受器——對不同波長有不同靈敏度H1――低通線性系統(tǒng):代表眼睛的光學(xué)性能H2――一般黑白非線性網(wǎng)絡(luò):代表?xiàng)U狀或錐狀視細(xì)胞非線性強(qiáng)度響應(yīng)H3――代表側(cè)抑制過程的具有帶通性能的線性系統(tǒng)H4――具有時間濾波效應(yīng)的線性系統(tǒng)光感受器線性系統(tǒng)H1非線性系H2統(tǒng)線性系統(tǒng)H3線性系統(tǒng)H4黑白視覺擴(kuò)展模型輸出第13頁，課件共55頁，創(chuàng)作于2023年2月顏色，無彩色，彩色彩色視覺模型RGBHSI1、R,G,B彩色空間:面向硬件設(shè)備的彩色模型三基色原理：三基色指可以用來調(diào)配出其它顏色的紅、綠、藍(lán)三種顏色。在R，G，B彩色空間中，任意彩色圖像可由紅、綠、藍(lán)三基色圖像疊加而成。R(x,y)+G(x,y)+B(x,y)2.1.4顏色視覺

第14頁，課件共55頁，創(chuàng)作于2023年2月線性系統(tǒng)綠色視譜感受器彩色視覺擴(kuò)展模型線性系統(tǒng)黃綠視譜感受器藍(lán)色視譜感受器神經(jīng)信號－－線性系統(tǒng)線性系統(tǒng)非線性系統(tǒng)非線性系統(tǒng)非線性系統(tǒng)線性系統(tǒng)線性系統(tǒng)第15頁，課件共55頁，創(chuàng)作于2023年2月2、H、S、I:(面向彩色處理的最常用模型)區(qū)分顏色常用的3種基本特性量：亮度、色調(diào)、飽和度。Intensity，

Hue，Saturation亮度：與物體的反射率成正比色調(diào)：與混合光譜中主要光波長相聯(lián)系飽和度：與一定色調(diào)的純度有關(guān)色調(diào)和飽和度合起來稱為色度。顏色可用亮度和色度共同表示。

光的三基色，顏料的三基色第16頁，課件共55頁，創(chuàng)作于2023年2月2.2圖像的噪聲分析外部噪聲：系統(tǒng)外部干擾從電磁波或經(jīng)電源串進(jìn)系統(tǒng)內(nèi)部而引起的噪聲如無線電、電氣設(shè)備內(nèi)部噪聲：散粒噪聲：由光和電的基本性質(zhì)引起的噪聲。

熱噪聲：光量密度隨時間變化所形成的光量子噪聲。

抖動噪聲：電器的機(jī)械運(yùn)動產(chǎn)生的噪聲。

元器件材料本身引起的噪聲

系統(tǒng)內(nèi)部電路設(shè)備所引起的噪聲：交流、嵌位電路引起的噪聲。

噪聲：妨礙人們感覺器官對所接受的信源信息理解的因素不可預(yù)測，只能用概率統(tǒng)計(jì)方法來認(rèn)識的隨機(jī)誤差第17頁，課件共55頁，創(chuàng)作于2023年2月噪聲與信號的關(guān)系：a）加性噪聲

b）乘性噪聲噪聲從統(tǒng)計(jì)特性上分：a)平穩(wěn)－統(tǒng)計(jì)特性不隨時間變化b)非平穩(wěn)－統(tǒng)計(jì)特性隨時間變化

噪聲從幅度分布上分：Gauss分布、瑞利分布、負(fù)指數(shù)分布、分布、K分布噪聲按頻譜形狀分：a）頻譜均勻的稱白噪聲b）頻譜與f成反比稱1/f噪聲，三角噪聲（與f2成正比）第18頁，課件共55頁，創(chuàng)作于2023年2月圖像系統(tǒng)噪聲的特點(diǎn)：a）噪聲的掃描變換L―掃描點(diǎn)數(shù)，―水平方向的功率密度分布，―垂直方向的功率密度分布b)噪聲與圖像的相關(guān)性，與攝像設(shè)備不同有關(guān)c）噪聲疊加性，同類噪聲可進(jìn)行功率相加，SNR下降二維噪聲－掃描－傳輸－二維噪聲第19頁，課件共55頁，創(chuàng)作于2023年2月2.3圖像質(zhì)量評價2.3.1圖像的主觀評價2.3.2

黑白離散圖像的逼真度量度

第20頁，課件共55頁，創(chuàng)作于2023年2月圖像質(zhì)量評價的研究是圖像信息工程的基本技術(shù)之一。光電變換——傳輸——處理——記錄——其他變換2.3.1圖像的主觀評價圖像增強(qiáng)：就是為了改善圖像的主觀視覺顯示質(zhì)量

圖像復(fù)原：是用于補(bǔ)償圖像的降質(zhì)，使復(fù)原后的圖像接近原像

圖像編碼技術(shù):在保持被編碼圖像一定質(zhì)量的前提下，以盡量少的碼字來表示圖像，以便節(jié)省信道和儲存器容量第21頁，課件共55頁，創(chuàng)作于2023年2月基本概念圖像逼真度：fidelity——描述被評價圖像與標(biāo)準(zhǔn)圖像的偏離程度圖像可懂度：intelligibility——表示圖像能向人或機(jī)器提供信息的能力第22頁，課件共55頁，創(chuàng)作于2023年2月信息源發(fā)送環(huán)境AS變換系統(tǒng)傳輸處理系統(tǒng)逆變換系統(tǒng)信源收信環(huán)境BRTLD圖像通信和圖像質(zhì)量關(guān)系模型圖第23頁，課件共55頁，創(chuàng)作于2023年2月2.3.1圖像的主觀評價

外行——代表平均觀察者感覺得圖像質(zhì)量內(nèi)行——可對圖像質(zhì)量提出較好的臨界判斷主觀評價的方式：絕對評價；相對評價絕對評價——讓觀察者觀看一幅圖像，按照預(yù)先規(guī)定的評定標(biāo)準(zhǔn)判斷圖像質(zhì)量。有時配備一套標(biāo)準(zhǔn)參考圖像，以便評定時進(jìn)行主觀校準(zhǔn)?！叭珒?yōu)度尺度”：非常好圖像5分好圖像4分中等圖像3分差圖像2分非常差圖像1分第24頁，課件共55頁，創(chuàng)作于2023年2月相對評價——請觀察者評定一套圖像，比較某一特定圖組中圖像的優(yōu)劣。圖像從好到壞分類、比較?！叭簝?yōu)度尺度”：最好、稍好….一批中最好的圖像7分比該批的平均水平好的圖像6分稍好于該批的平均水平圖像5分該批平均水平的圖像4分稍次于該批的平均水平圖像3分比該批的平均水平差的圖像2分一批中最差的圖像1分第25頁，課件共55頁，創(chuàng)作于2023年2月平均分?jǐn)?shù)分?jǐn)?shù)妨礙尺度質(zhì)量尺度5分4分3分2分1分絲毫看不出圖像質(zhì)量變壞能看出圖像質(zhì)量變化但不妨礙觀看清楚地看出圖像質(zhì)量變壞對觀看稍有妨礙對觀看有妨礙非常嚴(yán)重地妨礙觀看非常好好一般差非常差妨礙尺度：1、感覺不出。2、剛有察覺。3、明確察覺但圖像僅稍受損。4、圖像受損，但無害。5、有些受害。6、受害明顯。7、差第26頁，課件共55頁，創(chuàng)作于2023年2月電視圖像：雜波、回波、清晰度、對比度、亮度、觀測者類型、試驗(yàn)圖像類型、觀測條件等。我國：線性數(shù)學(xué)模型——不同失真的疊加規(guī)律，定量地給出主觀圖像質(zhì)量與多種失真的關(guān)系。電視系統(tǒng)：通常使用電子測試波形或由攝像機(jī)攝取測試圖案卡片來觀察其性能變化，以進(jìn)行圖像質(zhì)量測試和評價第27頁，課件共55頁，創(chuàng)作于2023年2月2.3.2黑白離散圖像的逼真度量度歸一化均方誤差NMSE第28頁，課件共55頁，創(chuàng)作于2023年2月峰值均方誤差PMSEf(j,k)--被變換的圖像場，A--f(j,k)的最大值等效信噪比PSNR:

第29頁，課件共55頁，創(chuàng)作于2023年2月2.4圖像的采樣與量化

2.4.1采樣2.4.2量化2.4.3采樣與量化的關(guān)系2.4.4二值圖像2.4.5數(shù)據(jù)儲存結(jié)構(gòu)第30頁，課件共55頁，創(chuàng)作于2023年2月2.4圖像的采樣與量化

連續(xù)函數(shù)圖像——圖像空間上采樣——幅度上量化——處理數(shù)字圖像——D/A轉(zhuǎn)換——模擬顯示采樣量化計(jì)算機(jī)fs(x,y)f(x,y)檢測陣列1.采樣：空間上的離散化2.量化：灰度上的離散化3.表達(dá)（建模，圖像數(shù)字化）灰度圖像的陣列表示法:連續(xù)信號（抽樣、量化）――數(shù)字信號第31頁，課件共55頁，創(chuàng)作于2023年2月4.圖像矩陣的特點(diǎn)：a）b）數(shù)字化抽樣：正方形點(diǎn)陣、正三角形點(diǎn)陣、正六角形點(diǎn)陣正方形點(diǎn)陣正三角形點(diǎn)陣正六角形點(diǎn)陣象素象素象素第32頁，課件共55頁，創(chuàng)作于2023年2月1.采樣:所謂采樣就是把位置空間上連續(xù)的模擬圖像變換成離散點(diǎn)的集合的一種操作。這些點(diǎn)稱為采樣點(diǎn)2.二維采樣：先沿垂直方向采樣（得到行線），再沿水平方向采樣3.三維采樣：先沿時間采樣，再垂直方向采樣，再沿水平方向采樣4.采樣點(diǎn)對應(yīng)采樣所得的數(shù)字圖像的像元。5.模擬圖像f(x,y)=>離散點(diǎn)陣f(X,Y)得到M（行），N（列）矩陣，M×N個象素6.采樣點(diǎn)陣：正方形、正三角形、正六角形7.采樣定理：

一維采樣定理：惠特克－卡切尼柯夫－香農(nóng)（whittaker-korelnikov-shannon）采樣定理。當(dāng)時，則函數(shù)f（t）的傅立葉變換為0，亦即f(t)可由相隔為fc/2或更密的樣本正確重構(gòu)。(頻譜寬度2fc，對應(yīng)采樣頻率2fc）

2.4.1采樣(Sampling)第33頁，課件共55頁，創(chuàng)作于2023年2月第34頁，課件共55頁，創(chuàng)作于2023年2月二維采樣定理：采樣頻率大于圖像信號最高頻率的2倍采樣頻率：

例：

奈奎斯特頻率：不混疊時采樣中的最低限采樣間隔△x,△y越小,采樣圖像的分辨率就越高,所占用的存儲容量也越大

第35頁，課件共55頁，創(chuàng)作于2023年2月混疊噪聲孔徑效應(yīng)：實(shí)際采樣脈沖不是理想沖擊函數(shù)，有一定的寬度，會產(chǎn)生失真插入噪聲：由采樣圖像信號恢復(fù)到原圖像，無理想濾波器（在fc內(nèi)頻率特性平坦，相位特性成直線）抖動噪聲：采樣周期為T，但發(fā)射與接受端T存在相位差異，稱相位抖動。

8、采樣誤差第36頁，課件共55頁，創(chuàng)作于2023年2月2.4.2量化離散點(diǎn)陣i(X,Y)=>數(shù)字圖像I(X,Y)Quantizationf(x,y)采樣空間離散的像素矩陣f(x,y)量化對信號的幅度進(jìn)行離散分層的過程數(shù)字圖像量化[量化]所謂量化就是把亮度空間上連續(xù)的亮度變換成離散值或整數(shù)值的一種操作。量化和采樣是兩個不同的概念，量化是在每個采樣點(diǎn)上進(jìn)行的，所以必須先采樣后量化。量化和采樣是圖像數(shù)字化的不可或缺的兩個操作，所以二者又緊密相關(guān)，同時完成。分層量化；量化誤差；均勻量化，非均勻量化

第37頁，課件共55頁，創(chuàng)作于2023年2月1.均勻量化2.非均勻量化：a）

基于視覺特性：對亮度值急劇變化部分無需過細(xì)分層，進(jìn)行粗量化；對亮度值平緩變化部分需過細(xì)分層，進(jìn)行細(xì)量化。b）基于亮度分布:先計(jì)算所有可能的亮度值出現(xiàn)的概率分布對概率分布大的進(jìn)行細(xì)量化對概率分布小的進(jìn)行粗量化c)非均勻量化可以減少量化誤差，又能用較少的比特?cái)?shù)實(shí)現(xiàn)量化3.壓擴(kuò)法量化非線性變換——均勻量化第38頁，課件共55頁，創(chuàng)作于2023年2月M、N—圖像尺寸G---每個像素所具有的離散灰度級數(shù)（不同灰度值的個數(shù)）1.存一幅圖像所需的位數(shù)（bit）B=M×N×k128×128×6＝98304（12kbyte）512×512×8＝2097152（256kbyte）2.4.3采樣與量化參數(shù)的選擇M×N點(diǎn)采樣，每點(diǎn)灰級G級，G=2k，占k位。第39頁，課件共55頁，創(chuàng)作于2023年2月

2.提問：總數(shù)據(jù)量M×N×k位二進(jìn)制數(shù)據(jù)。當(dāng)總存貯容量一定時，M、N與k怎么分配效果才最佳？解：無一般方法，取決于具體圖像性質(zhì)與處理的目的。①對于緩變的圖像，層次要求多時，應(yīng)該粗采樣（M，N?。⒓?xì)量化(k大)，以避免假輪廓②對于細(xì)節(jié)豐富的圖像，如：當(dāng)紋理細(xì)節(jié)多時應(yīng)該細(xì)采樣（M，N大）、粗量化(k小)，以避免模糊（混疊）

例如：人頭像——要照顧層次.b（頻帶窄平滑，采樣間隔可大）。群眾場面——紋理豐富.（頻帶寬，采樣間隔要小，不丟細(xì)節(jié)）第40頁，課件共55頁，創(chuàng)作于2023年2月3.M、N和k的關(guān)系：

（1）圖像質(zhì)量一般隨M、N和k的增加而增加。在極少情況下對固定的M、N，減少k能改進(jìn)圖像質(zhì)量，因?yàn)樵黾恿藞D像的反差，但k太小會出現(xiàn)“假輪廓”，k至少為6，目前一般取為8（2）對具有大量細(xì)節(jié)的圖像常只需要很少的灰度級數(shù)就可較好地表示（3）k為常數(shù)的一系列圖像主觀看起來可以有較大的差異4.非均勻采樣和量化

細(xì)節(jié)部分，分配較多的采樣灰度突變部分，可用較少的灰度級數(shù)第41頁，課件共55頁，創(chuàng)作于2023年2月圖2－11不同采樣點(diǎn)數(shù)對圖像質(zhì)量的影響(a)原始圖像（256×256）;(b)采樣圖像1(128×128);（c）采樣圖像2(64×64).;(d)采樣圖像3(32×32);(e)采樣圖像4(16×16);(f)采樣圖像5(8×8)

第42頁，課件共55頁，創(chuàng)作于2023年2月圖2－12不同量化級別對圖像質(zhì)量的影響(a)原始圖像（256色）；(b)量化圖像1(64色)；(c)量化圖像2(32色)；(d)量化圖像3(16色）；(e）量化圖像4(4色）；(f)量化圖像5(2色）

第43頁，課件共55頁，創(chuàng)作于2023年2月圖2－13圖像空間分辨率和幅度分辨率同時變化產(chǎn)生的效果（a)256×256,128;(b)181×181,64;(c)128×128,32;(d)90×90,16;(e)64×64,8;(f)45×45,4;

第44頁，課件共55頁，創(chuàng)作于2023年2月1.二值圖像:只有黑白兩個灰度級，即象素灰度級非0即1，每個象素占1bit,適合文字圖片，可采用矩陣表示2.為了減少運(yùn)算量,常將灰度圖像轉(zhuǎn)換為二值圖像處理3.二值圖像的鏈碼（Freeman碼）表示法。適合描述直線、和曲線組成的二值圖像。在規(guī)定了鏈的起點(diǎn)坐標(biāo)和鏈的斜率后，就可完全描述直線和曲線。2.4.4二值圖像表示法0（00）1（450）2（900）3（1350）4（1800）5（2250）6（2700）7（3150）八向、六向、四向鏈碼第45頁，課件共55頁，創(chuàng)作于2023年2月鏈碼的一種不等長碼表示方向不等長碼表示00045001-4500119000111-900011111350011111-13500111111180001111111鏈碼的自然碼表示方向十進(jìn)制表示二進(jìn)制自然碼000000450100190020101350301118004100225051012700611031507111若八向碼采用不等長碼（按其概率大小分配），常出現(xiàn)的00，用短碼表示，不常出現(xiàn)的用長碼，可節(jié)約bit數(shù)。例：對由字母和數(shù)字混合組成的符號每個方向平均占1.8～1.9bit，而對一副由一個飲料杯和一個瓶子輪廓構(gòu)成的圖像，平均每個方向占1.5～1.9bit.第46頁，課件共55頁，創(chuàng)作于2023年2月

32111例：如圖的4×4圖像1.用矩陣表示4×4＝16bit2.用二進(jìn)制自然碼表示32111（011，010，001，001，001＝15bit）3.用不等長碼表示135，90，45，45，45（011111，0111，01，01，01＝16bit）第47頁，課件共55頁，創(chuàng)作于2023年2月2.4.5數(shù)據(jù)存儲結(jié)構(gòu)

1、

一維數(shù)組方式:M行×N列2、

多波段圖像數(shù)據(jù)組合結(jié)構(gòu)

1）按各個波段存儲N列M行紅綠藍(lán)2）按掃描行存儲紅綠藍(lán)。。。。。。。第1行3）按各個像素存儲

紅綠藍(lán)。。。。。。。（1，1）（1，2）第48頁，課件共55頁，創(chuàng)作于2023年2月2.5像素之間的關(guān)系2.5.1鄰域與鄰接2.5.2

距離第49頁，課件共55頁，創(chuàng)作于2023年2月2.5.1鄰域與鄰接[鄰域]對于任意像素(X,Y)，像素集合{(x+m,y+n);其中m、n取適當(dāng)?shù)恼麛?shù)}稱為該像素的鄰域（neighbor）。1.4-鄰域{(x-1,y),(x+1,y),(x,y-1),(x,y+1)}(x-1,y)(x,y-1)p(x,y)(x,y+1)(x+1,y)記為第50頁，課件共55頁，創(chuàng)作于2023年2月2.8-鄰域{(x-1,y),(x+1,y),(x,y-1),(x,y+1),(x-1,y-1),(x+1,y-1),(x-1,y+1),(x+1,y+1)}srsrprsrs3.鄰接:如果任意兩個像素相互存在于對方的4-/8-鄰域中，則稱這兩個像素相互4-/8-鄰接。Adjacent4-鄰接（4-adjacent）8-鄰接（8-adjacent）010111010101010101第51頁，課件共55頁，創(chuàng)作于2023年2月2.5.2距離[距離定義]設(shè)p、q、r是某個集合S的元素，滿足下列性質(zhì)（距離的三定理）的函數(shù)d稱為距離函數(shù)：d(p,q)≥0(當(dāng)且僅當(dāng)p=q時，d(p,q)=0)d(p,q)=d(q,p)d(p,r)d(p,q)+d(q,r)