宋懷波第12講：圖像復(fù)原

1、第五章第五章 圖像復(fù)原圖像復(fù)原2/67目目 錄錄5.1 圖像復(fù)原技術(shù)概述圖像復(fù)原技術(shù)概述5.2 圖像退化模型圖像退化模型5.3 圖像復(fù)原方法圖像復(fù)原方法 5.4 運(yùn)動(dòng)模糊圖像的復(fù)原運(yùn)動(dòng)模糊圖像的復(fù)原 5.5 圖像的幾何校正圖像的幾何校正3/67 圖像復(fù)原方法的分類：圖像復(fù)原方法的分類： 圖像復(fù)原大致可以分為圖像復(fù)原大致可以分為兩種方法兩種方法： 一種方法適用于一種方法適用于缺乏圖像先驗(yàn)知識(shí)缺乏圖像先驗(yàn)知識(shí)的情況，此時(shí)可對退化過的情況，此時(shí)可對退化過程建立模型進(jìn)行描述，進(jìn)而尋找一種去除或消弱其影響的過程建立模型進(jìn)行描述，進(jìn)而尋找一種去除或消弱其影響的過程，是一種程，是一種估計(jì)方法估計(jì)方法； 另一

2、種方法是針對原始圖像另一種方法是針對原始圖像有足夠的先驗(yàn)知識(shí)有足夠的先驗(yàn)知識(shí)的情況，對原的情況，對原始圖像建立一個(gè)數(shù)學(xué)模型并根據(jù)它對退化圖像進(jìn)行始圖像建立一個(gè)數(shù)學(xué)模型并根據(jù)它對退化圖像進(jìn)行擬合，擬合，能能夠獲得更好的復(fù)原效果。夠獲得更好的復(fù)原效果。 第一種方法不需要先驗(yàn)知識(shí)第一種方法不需要先驗(yàn)知識(shí)，但其缺點(diǎn)是速度較慢，效果差，但其缺點(diǎn)是速度較慢，效果差 第二種方法只要有正確的模型第二種方法只要有正確的模型，就可在相對較短的時(shí)間內(nèi)得，就可在相對較短的時(shí)間內(nèi)得到較好的效果，缺點(diǎn)是建立準(zhǔn)確的模型通常是十分困難的。到較好的效果，缺點(diǎn)是建立準(zhǔn)確的模型通常是十分困難的。4/67基本思路高質(zhì)量圖像高質(zhì)量圖像

3、退化了的圖像退化了的圖像復(fù)原的圖像復(fù)原的圖像圖像退圖像退化化圖像復(fù)圖像復(fù)原原因果關(guān)系因果關(guān)系研究退化模型研究退化模型5/67p圖像復(fù)原的本質(zhì)是根據(jù)圖像復(fù)原的本質(zhì)是根據(jù)圖像退化原因圖像退化原因，建立相應(yīng)的數(shù)，建立相應(yīng)的數(shù)學(xué)模型，從被污染或畸變的圖像信號(hào)中提取所需的信學(xué)模型，從被污染或畸變的圖像信號(hào)中提取所需的信息，沿著使圖像降質(zhì)的逆過程恢復(fù)圖像本來面貌。息，沿著使圖像降質(zhì)的逆過程恢復(fù)圖像本來面貌。p 廣義上講，圖像復(fù)原是一個(gè)廣義上講，圖像復(fù)原是一個(gè)求逆過程求逆過程，逆問題經(jīng)常，逆問題經(jīng)常存在非唯一解，甚至無解。存在非唯一解，甚至無解。 6/675.2 5.2 圖像退化模型圖像退化模型降質(zhì)過程可看

4、作對原圖像降質(zhì)過程可看作對原圖像f (x,y)作線性運(yùn)算作線性運(yùn)算。 g(x,y) H f (x,y)+n(x,y) 降質(zhì)后降質(zhì)后 降質(zhì)模型降質(zhì)模型 噪聲噪聲Hf (x,y)n(x,y)g(x,y)7/67 以后討論中對降質(zhì)模型以后討論中對降質(zhì)模型H H作以下假設(shè)：作以下假設(shè)： H H是線性的是線性的 H H是空間（或移位）不變的是空間（或移位）不變的 對任一個(gè)對任一個(gè)f f( (x,yx,y) )和任一個(gè)常數(shù)和任一個(gè)常數(shù) 和和 都有：都有： H f(x-,y-) = g(x-,y-) 就是說圖像上任一點(diǎn)的運(yùn)算結(jié)果只取決于該點(diǎn)的輸入值，就是說圖像上任一點(diǎn)的運(yùn)算結(jié)果只取決于該點(diǎn)的輸入值，而與坐標(biāo)

5、位置無關(guān)。而與坐標(biāo)位置無關(guān)。1122122,Hk fx yk fx yk Hfx yk Hfx y5.2 5.2 圖像退化模型圖像退化模型8/675.2 5.2 圖像退化模型圖像退化模型 使用線性位移不變系統(tǒng)的原因使用線性位移不變系統(tǒng)的原因p很多退化都可以用線性位移不變模型來近似，可以借助數(shù)很多退化都可以用線性位移不變模型來近似，可以借助數(shù)學(xué)工具求解圖像復(fù)原問題學(xué)工具求解圖像復(fù)原問題p當(dāng)退化不太嚴(yán)重時(shí)，一般有較好的復(fù)原結(jié)果當(dāng)退化不太嚴(yán)重時(shí)，一般有較好的復(fù)原結(jié)果p盡管實(shí)際非線性和位移可變的情況能更加準(zhǔn)確而普遍地反盡管實(shí)際非線性和位移可變的情況能更加準(zhǔn)確而普遍地反映圖像復(fù)原問題的本質(zhì)，但求解困難。

6、映圖像復(fù)原問題的本質(zhì)，但求解困難。9/67f(i, j)：原始圖像原始圖像g(i,j)：降質(zhì)圖像：降質(zhì)圖像H()： 成像系統(tǒng)的作用，則成像系統(tǒng)的作用，則：由于由于 函數(shù)的篩選性質(zhì)函數(shù)的篩選性質(zhì)（一幅圖像可以看作是由一系列沖激一幅圖像可以看作是由一系列沖激函數(shù)組成的函數(shù)組成的）5.2 圖像退化模型( , )g x y小亮點(diǎn)小亮點(diǎn)成像系統(tǒng)成像系統(tǒng)H10/675.2 圖像退化模型一個(gè)放大的亮脈沖以及退化的沖激一個(gè)放大的亮脈沖以及退化的沖激11/67噪聲模型 圖像中的噪聲項(xiàng)圖像中的噪聲項(xiàng)(x, y)有多種不同模型：有多種不同模型： 高斯（高斯（Gaussian）噪聲噪聲 瑞利（瑞利（Rayleigh）

7、噪聲噪聲 伽馬（伽馬（愛爾蘭）噪聲愛爾蘭）噪聲 指數(shù)（指數(shù)（Exponential）噪聲噪聲 均勻（均勻（Uniform）噪聲噪聲 脈沖（椒鹽）噪聲脈沖（椒鹽）噪聲GaussianRayleighErlangExponentialUniformImpulse12/67噪聲舉例噪聲舉例高斯瑞利愛爾蘭13/67噪聲舉例噪聲舉例指數(shù)均勻噪聲椒鹽14/67 退化模型退化模型： 逆過程：復(fù)原圖像：逆過程：復(fù)原圖像：( , )( , )*( , )( , )g x yh x yf x yn x y( , )( , )*( , ) ( , )* ( , )( , )*( , )( , )( , ) ( ,

8、)( , )( , )1( , )( , )( , )( , )( , )( , )IIIIf x yg x yh x yh x yf x yn x yh x yF u vH u v F u vN u v H u vN u vH u vF u vF u vH u vH u v設(shè)：當(dāng)H(u,v)為0或很小時(shí)， ，原點(diǎn)附近： 圖像完全被噪聲淹沒，造成噪聲放大 ( , )F u v( , )( , )N u vF u,vH u v（）5.3.1 反向?yàn)V波法病態(tài)15/67 解決方法解決方法去除原點(diǎn)、去除原點(diǎn)、 設(shè)置原點(diǎn)值。原點(diǎn)、鄰域均不計(jì)算設(shè)置原點(diǎn)值。原點(diǎn)、鄰域均不計(jì)算 f (x,y)H(u,v) n

9、(x,y) g(x,y)M(u,v)( , )f x y恢復(fù)轉(zhuǎn)移函數(shù)( , )( , ),11/( , )kH u vdM u vk dH u v其中其它 5.3.1 反向?yàn)V波法16/67逆濾波的實(shí)驗(yàn)結(jié)果逆濾波的實(shí)驗(yàn)結(jié)果 (a)模糊圖像 (b) k=0.1 (c) k=0.01k=0.1時(shí)圖像不夠清晰，輪廓也不夠鮮明時(shí)圖像不夠清晰，輪廓也不夠鮮明k=0.01時(shí)雖然輪廓清晰，但引入較大噪聲，且振鈴效應(yīng)時(shí)雖然輪廓清晰，但引入較大噪聲，且振鈴效應(yīng)比較明顯。比較明顯。17/67逆濾波方法對含有噪聲的實(shí)拍圖像的恢復(fù)效果結(jié)論：結(jié)論： 對含有噪聲的圖像，由于逆濾波算法對噪聲有明顯對含有噪聲的圖像，由于逆濾波

10、算法對噪聲有明顯的放大作用，恢原后圖像以噪聲為主，淹沒了原始圖的放大作用，恢原后圖像以噪聲為主，淹沒了原始圖像信號(hào)，由此可見，像信號(hào)，由此可見，逆濾波算法不適合用來恢復(fù)含有逆濾波算法不適合用來恢復(fù)含有噪聲的圖像。噪聲的圖像。18/67 通常功率譜的低頻部分以信號(hào)為主，而高頻部分則主要被噪聲通常功率譜的低頻部分以信號(hào)為主，而高頻部分則主要被噪聲所占據(jù)。所占據(jù)。 逆濾波會(huì)增強(qiáng)高頻部分的噪聲，為克服以上缺點(diǎn)，提出了用逆濾波會(huì)增強(qiáng)高頻部分的噪聲，為克服以上缺點(diǎn)，提出了用最最小均方誤差方法小均方誤差方法（維納濾波）進(jìn)行圖像恢復(fù)。（維納濾波）進(jìn)行圖像恢復(fù)。 維納濾波器的復(fù)原效果良好，計(jì)算量較低，并且抗噪性

11、能優(yōu)良，維納濾波器的復(fù)原效果良好，計(jì)算量較低，并且抗噪性能優(yōu)良，因而在圖像復(fù)原領(lǐng)域得到了廣泛的應(yīng)用，并不斷得到改進(jìn)，許因而在圖像復(fù)原領(lǐng)域得到了廣泛的應(yīng)用，并不斷得到改進(jìn)，許多高效的復(fù)原算法都是以此為基礎(chǔ)形成的。多高效的復(fù)原算法都是以此為基礎(chǔ)形成的。 維納濾波維納濾波5.3.2 約束還原法約束還原法19/67 Wiener濾波恢復(fù)是在假定圖像信號(hào)可近似看作平穩(wěn)隨機(jī)過程的前提下，按照使原圖像 與恢復(fù)后的圖像 之間的均方誤差 達(dá)到最小的準(zhǔn)則，來實(shí)現(xiàn)圖像恢復(fù)的。即： 22min ,eEf x yf x yAndrew和Hunt推導(dǎo)出滿足這一要求的轉(zhuǎn)移函數(shù)為： 22( , )1( , )( , )( ,

12、 )( , )( , )( , )nfH u vF u vG u vSu vH u vH u vrSu v,fx y,fx y2e20/67維納濾波實(shí)現(xiàn)運(yùn)動(dòng)模糊圖像恢復(fù)的實(shí)驗(yàn)結(jié)果維納濾波實(shí)現(xiàn)運(yùn)動(dòng)模糊圖像恢復(fù)的實(shí)驗(yàn)結(jié)果 (c) K = 0.01 (d) K = 0.1 在在K取不同參數(shù)時(shí)維納濾波的恢復(fù)結(jié)果取不同參數(shù)時(shí)維納濾波的恢復(fù)結(jié)果 (a) 實(shí)際拍攝的運(yùn)動(dòng)模糊圖像 (b) K = 0.00121/67 在在K取不同參數(shù)時(shí)對復(fù)原圖像的二值化結(jié)果取不同參數(shù)時(shí)對復(fù)原圖像的二值化結(jié)果 (a) K =0.001 (b) K = 0.01邊緣提取的結(jié)果 (c) K = 0.1 (d) K =0.01時(shí)恢復(fù)

13、圖像的邊緣檢測結(jié)果22/67(a) (a) 運(yùn)動(dòng)模糊和加性噪聲圖像運(yùn)動(dòng)模糊和加性噪聲圖像 (b) (b) 逆濾波復(fù)原逆濾波復(fù)原 (c) (c) 維納濾波復(fù)原維納濾波復(fù)原(d), (e), (f) (d), (e), (f) 順序同上，但其中的噪聲幅值降低一個(gè)數(shù)量級(jí)順序同上，但其中的噪聲幅值降低一個(gè)數(shù)量級(jí)(g), (h), (i) (g), (h), (i) 順序同上，但其中的噪聲幅值降低五個(gè)數(shù)量級(jí)順序同上，但其中的噪聲幅值降低五個(gè)數(shù)量級(jí)23/675.4 運(yùn)動(dòng)模糊圖像復(fù)原的基本原理運(yùn)動(dòng)模糊圖像復(fù)原的基本原理運(yùn)動(dòng)模糊的基本原理運(yùn)動(dòng)模糊的基本原理 運(yùn)動(dòng)模糊圖像的退化模型運(yùn)動(dòng)模糊圖像的退化模型運(yùn)動(dòng)模糊

14、圖像的點(diǎn)擴(kuò)散函數(shù)運(yùn)動(dòng)模糊圖像的點(diǎn)擴(kuò)散函數(shù)勻速直線運(yùn)動(dòng)模糊點(diǎn)擴(kuò)散函數(shù)的參數(shù)確定勻速直線運(yùn)動(dòng)模糊點(diǎn)擴(kuò)散函數(shù)的參數(shù)確定運(yùn)動(dòng)模糊點(diǎn)擴(kuò)散函數(shù)的離散化運(yùn)動(dòng)模糊點(diǎn)擴(kuò)散函數(shù)的離散化24/67 在獲取景物圖像時(shí)，如果在相機(jī)在獲取景物圖像時(shí)，如果在相機(jī)曝光期間曝光期間景物和攝像機(jī)之景物和攝像機(jī)之間存在相對運(yùn)動(dòng)，拍得的照片都可能存在模糊的現(xiàn)象，這種由間存在相對運(yùn)動(dòng)，拍得的照片都可能存在模糊的現(xiàn)象，這種由于于相對運(yùn)動(dòng)相對運(yùn)動(dòng)造成圖像模糊現(xiàn)象就是造成圖像模糊現(xiàn)象就是運(yùn)動(dòng)模糊運(yùn)動(dòng)模糊。5.4.1 運(yùn)動(dòng)模糊的基本原理運(yùn)動(dòng)模糊的基本原理由于高速運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)模糊圖像由于高速運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)模糊圖像25/67運(yùn)動(dòng)模糊圖像的形成過

15、程。運(yùn)動(dòng)模糊圖像的形成過程。運(yùn)動(dòng)模糊圖像成像原理運(yùn)動(dòng)模糊圖像成像原理26/67解決運(yùn)動(dòng)模糊的方法一般有兩種解決運(yùn)動(dòng)模糊的方法一般有兩種: :減少曝光時(shí)間減少曝光時(shí)間。但相機(jī)的曝光時(shí)間并不可能無限制地。但相機(jī)的曝光時(shí)間并不可能無限制地減小，隨著曝光時(shí)間減小，圖像信噪比減小，圖像的質(zhì)減小，隨著曝光時(shí)間減小，圖像信噪比減小，圖像的質(zhì)量也較低，所以這種方法用途極其有限量也較低，所以這種方法用途極其有限; ;舉例：舉例：高幀頻相機(jī)，每秒幾百萬幀，價(jià)格高幀頻相機(jī)，每秒幾百萬幀，價(jià)格8 8萬美元起。萬美元起。主要用在需要進(jìn)行高速或超高速的攝影上，例如，高速主要用在需要進(jìn)行高速或超高速的攝影上，例如，高速鐵路

16、等。鐵路等。建立運(yùn)動(dòng)圖像的復(fù)原模型建立運(yùn)動(dòng)圖像的復(fù)原模型，通過數(shù)學(xué)模型來解決圖像，通過數(shù)學(xué)模型來解決圖像的復(fù)原問題。這種方法具有普遍性，因而也是研究解決的復(fù)原問題。這種方法具有普遍性，因而也是研究解決運(yùn)動(dòng)模糊的主要手段。運(yùn)動(dòng)模糊的主要手段。 27/67 由勻速直線運(yùn)動(dòng)造成圖像模糊的復(fù)原問題更具有一般性和普由勻速直線運(yùn)動(dòng)造成圖像模糊的復(fù)原問題更具有一般性和普遍意義。變速的、非直線運(yùn)動(dòng)在某些條件下可以被分解為遍意義。變速的、非直線運(yùn)動(dòng)在某些條件下可以被分解為分分段勻速直線運(yùn)動(dòng)段勻速直線運(yùn)動(dòng)。 在曝光量適當(dāng)和聚焦正確的情況下，假設(shè)快門開啟和關(guān)閉瞬在曝光量適當(dāng)和聚焦正確的情況下，假設(shè)快門開啟和關(guān)閉瞬時(shí)

17、完成，則曝光量時(shí)完成，則曝光量 可以表達(dá)為對實(shí)際景物圖像可以表達(dá)為對實(shí)際景物圖像 的一的一個(gè)積分：個(gè)積分： 如果景物是靜止的，即如果景物是靜止的，即 ，那么上述積分只是，那么上述積分只是 與時(shí)間的乘積，曝光時(shí)間的變化只影響成像的反差。與時(shí)間的乘積，曝光時(shí)間的變化只影響成像的反差。 , dg x tw x t( , )w x t( , )g x t ,w x tf x f x5.4.2 運(yùn)動(dòng)模糊圖像的退化模型運(yùn)動(dòng)模糊圖像的退化模型28/675.4 5.4 運(yùn)動(dòng)模糊圖像的復(fù)原運(yùn)動(dòng)模糊圖像的復(fù)原 退化的原因?yàn)橐阎嘶脑驗(yàn)橐阎?對退化過程有先驗(yàn)知識(shí)，如希望能確定對退化過程有先驗(yàn)知識(shí)，如希望能確定P

18、SF和噪聲特性和噪聲特性 即確定：即確定： h(x,y)與與n(x,y) g(x,y)=H f (x,y)+n(x,y)29/675226,expH u vc uv1根據(jù)導(dǎo)致模糊的物理過程（先驗(yàn)知識(shí)）根據(jù)導(dǎo)致模糊的物理過程（先驗(yàn)知識(shí)）1）大氣湍流造成的傳遞函數(shù)大氣湍流造成的傳遞函數(shù) PSFPSF模糊模型c：與湍流性質(zhì)有關(guān)的常數(shù)：與湍流性質(zhì)有關(guān)的常數(shù)30/672 2）光學(xué)系統(tǒng)散焦退化函數(shù)光學(xué)系統(tǒng)散焦退化函數(shù) 離焦模糊離焦模糊是由于成像區(qū)域中存在是由于成像區(qū)域中存在不同深度不同深度的對象造成的圖像的對象造成的圖像退化，退化，幾何光學(xué)的分析表明，光學(xué)系統(tǒng)散焦造成的圖像退化幾何光學(xué)的分析表明，光學(xué)系統(tǒng)

19、散焦造成的圖像退化相應(yīng)的點(diǎn)擴(kuò)散函數(shù)是一個(gè)相應(yīng)的點(diǎn)擴(kuò)散函數(shù)是一個(gè)均勻分布的圓形光斑均勻分布的圓形光斑，其表達(dá)式為，其表達(dá)式為: : 其中其中R R為散焦斑半徑。如果退化圖像的信噪比較高時(shí)，則可由為散焦斑半徑。如果退化圖像的信噪比較高時(shí)，則可由 的傅立葉變換在頻域圖上產(chǎn)生的圓形軌跡來確定的傅立葉變換在頻域圖上產(chǎn)生的圓形軌跡來確定R R。22221 ,0 xyRRh x y其它,h x y31/67 000( , ),dTg x yf x x t y y tt模糊后圖像任意點(diǎn)的值模糊后圖像任意點(diǎn)的值 ：sin ( , ) cossinllwH u vlww uv 由于運(yùn)動(dòng)造成的點(diǎn)的位移長度與水平方向

20、成 角特點(diǎn)：圖像的頻譜在垂直于該方向上存在暗直線，可估出特點(diǎn)：圖像的頻譜在垂直于該方向上存在暗直線，可估出 的大小，的大小，運(yùn)動(dòng)方向運(yùn)動(dòng)方向 也可由圖像的頻譜估計(jì)出來也可由圖像的頻譜估計(jì)出來l已知：設(shè)相機(jī)不動(dòng)，對象運(yùn)動(dòng)，運(yùn)動(dòng)分量已知：設(shè)相機(jī)不動(dòng)，對象運(yùn)動(dòng)，運(yùn)動(dòng)分量x,y分別為分別為x0(t)，y0(t)相機(jī)快相機(jī)快門速度是理想的，快門開啟時(shí)間（曝光時(shí)間）門速度是理想的，快門開啟時(shí)間（曝光時(shí)間）T T。 3）勻速直線運(yùn)動(dòng)模糊下的勻速直線運(yùn)動(dòng)模糊下的PSFPSF 相機(jī)與景物之間相對運(yùn)動(dòng)造成圖像降質(zhì)，相機(jī)與景物之間相對運(yùn)動(dòng)造成圖像降質(zhì)， H(u,v) 運(yùn)動(dòng)模糊：運(yùn)動(dòng)模糊：32/672由圖像中的點(diǎn)或線

21、估計(jì)（后驗(yàn)知識(shí)）由圖像中的點(diǎn)或線估計(jì)（后驗(yàn)知識(shí)）1 1）原始景物中有一清晰的點(diǎn)或點(diǎn)光源。由所成的像）原始景物中有一清晰的點(diǎn)或點(diǎn)光源。由所成的像得到退化系統(tǒng)的得到退化系統(tǒng)的PSFPSF2 2）原始景物中確定一條線，成像，由直線產(chǎn)生模糊，）原始景物中確定一條線，成像，由直線產(chǎn)生模糊，根據(jù)模糊可以測定在于邊緣垂直方向上的根據(jù)模糊可以測定在于邊緣垂直方向上的PSFPSF斷面曲斷面曲線，得出一維線，得出一維PSFPSF，如果，如果PSFPSF對稱，旋轉(zhuǎn)一維對稱，旋轉(zhuǎn)一維PSFPSF得到得到二維二維PSFPSF33/67（a a）模糊圖像）模糊圖像 （b b）恢復(fù)后的圖像）恢復(fù)后的圖像 去除由勻速運(yùn)動(dòng)引起

22、的模糊34/67a) 原始圖像 b) 模糊圖像 c) 復(fù)原圖像運(yùn)動(dòng)模糊圖像的恢復(fù)處理水平勻速直線運(yùn)動(dòng)引起模糊的復(fù)原35/675.5 5.5 圖像的幾何校正圖像的幾何校正5.5.1 5.5.1 幾何畸變的描述幾何畸變的描述5.5.2 5.5.2 幾何校正幾何校正36/671 1 引言引言LennaLenna及變形圖像及變形圖像37/675.5 5.5 圖像的幾何校正圖像的幾何校正 幾何畸變校正幾何畸變校正 以一副圖像為基準(zhǔn)，去校正另一種方式攝入的圖像，以校以一副圖像為基準(zhǔn)，去校正另一種方式攝入的圖像，以校正其幾何畸變，就叫做圖像的正其幾何畸變，就叫做圖像的幾何畸變復(fù)原幾何畸變復(fù)原或者或者幾何畸變

23、幾何畸變校正校正。38/67 幾何校正幾何校正是圖像幾何畸變的反運(yùn)算，是由輸出圖像像是圖像幾何畸變的反運(yùn)算，是由輸出圖像像素坐標(biāo)反算輸入圖像坐標(biāo)，然后通過灰度再采樣求出素坐標(biāo)反算輸入圖像坐標(biāo)，然后通過灰度再采樣求出輸出像素灰度值。輸出像素灰度值。 圖像幾何校正的兩個(gè)步驟圖像幾何校正的兩個(gè)步驟 (1)(1)空間變換：空間變換：對圖像平面上的像素進(jìn)行重新排列以對圖像平面上的像素進(jìn)行重新排列以 恢復(fù)原空間關(guān)系恢復(fù)原空間關(guān)系 (2)(2)灰度插值：灰度插值：對空間變換后的像素賦予相應(yīng)的灰度對空間變換后的像素賦予相應(yīng)的灰度 值以恢復(fù)原位置的灰度值值以恢復(fù)原位置的灰度值5.5 5.5 圖像的幾何校正圖像的

24、幾何校正39/675.5.1 幾何畸變的描述幾何畸變的描述 f (x, y) g(x, y) 幾何基準(zhǔn)圖像的坐標(biāo)系統(tǒng)用幾何基準(zhǔn)圖像的坐標(biāo)系統(tǒng)用(x, y)來表示來表示需要校正的圖像的坐標(biāo)系統(tǒng)用需要校正的圖像的坐標(biāo)系統(tǒng)用(x, y)表示表示設(shè)兩個(gè)圖像坐標(biāo)系統(tǒng)之間的關(guān)系用解析式表示設(shè)兩個(gè)圖像坐標(biāo)系統(tǒng)之間的關(guān)系用解析式表示11001100NNijijijNNijijijxa x yyb x y通常通常h h1 1( (x x, ,y y) )和和h h2 2( (x x, ,y y) )用多項(xiàng)式來表示：用多項(xiàng)式來表示：12( , )( , )xh x yyh x y40/67 通常用線性畸變來近似較

25、小的幾何畸變通常用線性畸變來近似較小的幾何畸變 更精確一些可以用二次型來近似更精確一些可以用二次型來近似 若基準(zhǔn)圖像為若基準(zhǔn)圖像為f(x,y)，畸變圖像為，畸變圖像為g(x,y)，對于景物，對于景物上的同一個(gè)點(diǎn)，假定其灰度不變，則上的同一個(gè)點(diǎn)，假定其灰度不變，則012012xaa xa yybb xb y2201234522012345xaa xa ya xa xya yybb xb yb xb xyb y( , )( ,)f x yg x y5.5.2 幾何校正幾何校正41/675.5.2 幾何校正幾何校正 幾何變換幾何變換 通常用已知的多對對應(yīng)點(diǎn)來確定系數(shù)通常用已知的多對對應(yīng)點(diǎn)來確定系數(shù)a

26、, b 線性畸變線性畸變 可由基準(zhǔn)圖找出三個(gè)點(diǎn)可由基準(zhǔn)圖找出三個(gè)點(diǎn)(x1, y1), (x2, y2), (x3, y3)與畸變圖像與畸變圖像上三上三 個(gè)點(diǎn)個(gè)點(diǎn)(x1, y1), (x2, y2), (x3, y3)一一對應(yīng)。一一對應(yīng)。012012xaa xa yybb xb y42/675.5.2 幾何校正幾何校正將對應(yīng)點(diǎn)代入，有：將對應(yīng)點(diǎn)代入，有： 解聯(lián)立方程組，得出解聯(lián)立方程組，得出6 6個(gè)系數(shù)。個(gè)系數(shù)。111022213332111022213332x1xyx1xyx1xyy1xyy1xyy1xyaaabbb 43/67二次畸變二次畸變2201234522012345xaa xa ya

27、 xa xya yybb xb yb xb xyb y有有1212個(gè)未知量，需要個(gè)未知量，需要6 6對已知對應(yīng)點(diǎn)對已知對應(yīng)點(diǎn)112233445566112233445566( ,)(,)(,)(,)(,)(,)( ,)(,)(,)(,)(,)(,)x yxyxyxyxyxyx yxyxyxyxyxy5.5.2 幾何校正幾何校正44/675.5.2 幾何校正幾何校正代入上式代入上式記作矩陣形式記作矩陣形式同樣有同樣有解方程組，得到解方程組，得到ai，bi 12個(gè)系數(shù)。個(gè)系數(shù)。 xAa221011111122222222222265666666111xaxyxx yyxaxyxx yyxaxyxx

28、 yy yAb45/67f(x,y)g(x, y)5.5.2 幾何校正 內(nèi)插法確定像素的灰度值內(nèi)插法確定像素的灰度值 幾何變換是由輸出圖像像素坐標(biāo)反算出輸入圖像坐標(biāo)，但幾何變換是由輸出圖像像素坐標(biāo)反算出輸入圖像坐標(biāo)，但該坐標(biāo)并非整數(shù)，需要進(jìn)行灰度該坐標(biāo)并非整數(shù)，需要進(jìn)行灰度再采樣再采樣。 例：例：46/67最近鄰插值 雙線性插值Nearest Neighbor Bilinear 再采樣是通過灰度插值來完成的再采樣是通過灰度插值來完成的5.5.2 幾何校正47/671 1最近鄰元法最近鄰元法在待求像素的四鄰點(diǎn)中，將距離這點(diǎn)最近的鄰點(diǎn)灰度賦給待求在待求像素的四鄰點(diǎn)中，將距離這點(diǎn)最近的鄰點(diǎn)灰度賦給待

29、求像素。該方法最簡單，但校正后的圖像有明顯鋸齒狀，即存在像素。該方法最簡單，但校正后的圖像有明顯鋸齒狀，即存在灰度不連續(xù)性?；叶炔贿B續(xù)性。2 2雙線性內(nèi)插法雙線性內(nèi)插法雙線性內(nèi)插法是利用待求像素四個(gè)鄰點(diǎn)的灰度在二方向上作雙線性內(nèi)插法是利用待求像素四個(gè)鄰點(diǎn)的灰度在二方向上作線性內(nèi)插線性內(nèi)插, , 計(jì)算比最近鄰點(diǎn)法復(fù)雜些，計(jì)算量大。具有低通濾計(jì)算比最近鄰點(diǎn)法復(fù)雜些，計(jì)算量大。具有低通濾波性質(zhì)，使高頻分量受損，圖像輪廓有一定模糊。波性質(zhì)，使高頻分量受損，圖像輪廓有一定模糊。 3 3三次內(nèi)插法三次內(nèi)插法 該算法計(jì)算量最大，但內(nèi)插效果最好，精度最高。該算法計(jì)算量最大，但內(nèi)插效果最好，精度最高。 48/6

30、7雙線性內(nèi)插法雙線性內(nèi)插法(0,0)f(0,0)(x,0)(0,y)(0,1)(x,1)(1,1)(1,0)f(1,0)(x,y)f(x,y)灰度雙線性插值示意圖yxf(0,1)f(1,1)49/67用最近鄰插值和雙線性插值的方法分別將老虎放大用最近鄰插值和雙線性插值的方法分別將老虎放大1.51.5倍。倍。采用最近鄰采用最近鄰插值放大插值放大1.51.5倍倍采用雙線性插采用雙線性插值放大值放大1.51.5倍倍50/67 幾何運(yùn)算幾何運(yùn)算 幾何運(yùn)算可以改變圖像中物體之間的空間關(guān)系。幾何運(yùn)算可以改變圖像中物體之間的空間關(guān)系。這種運(yùn)算可以看成是圖像內(nèi)的各物體在圖像內(nèi)移動(dòng)這種運(yùn)算可以看成是圖像內(nèi)的各物

31、體在圖像內(nèi)移動(dòng)的過程。例如，物體的轉(zhuǎn)動(dòng)、扭曲、傾斜、拉伸等的過程。例如，物體的轉(zhuǎn)動(dòng)、扭曲、傾斜、拉伸等等，都是幾何運(yùn)算的結(jié)果。等，都是幾何運(yùn)算的結(jié)果。51/672022-1-15圖像的平移圖像的平移圖像的平移非常簡單，所用到的是中學(xué)學(xué)圖像的平移非常簡單，所用到的是中學(xué)學(xué)過的直角坐標(biāo)系的平移變換公式：過的直角坐標(biāo)系的平移變換公式： yyyxxx52/672022-1-15圖像的平移圖像的平移注意：注意：平移后的景物與原圖像相同，但平移后的景物與原圖像相同，但“畫布畫布”一一定是擴(kuò)大了。否則就會(huì)丟失信息。定是擴(kuò)大了。否則就會(huì)丟失信息。2, 1yx下移1 1行，右移2 2列53/672022-1-15圖像的鏡像圖像的鏡像鏡像分為水平鏡像和垂直鏡像鏡像分為水平鏡像和垂直鏡像 水平鏡像計(jì)算公式為：水平鏡像計(jì)算公式為： )(水平鏡像yyxx1 2 3123123-3 -2 -1發(fā)生問題：發(fā)生問題：矩陣下標(biāo)不能為負(fù)矩陣下標(biāo)不能為負(fù)平移：平移：xxyyy 4y 54/670,0 xy 水平鏡像水平鏡像55/672022-1-15圖像的鏡像圖像的鏡像同理：垂直鏡像計(jì)算公式為：同理：垂直鏡像計(jì)算公式為：)(垂直鏡像yyxx1 2 31 2 31 2 3-3 -2 -14x 56/670,0 xy 垂直鏡像垂直鏡像