數(shù)字圖像處理 第五章_圖像復(fù)原與重建

1、電子信息與自動化學(xué)院數(shù)字圖像處理1第五章 圖 像 復(fù) 原 與 重 建1.1.退化模型退化模型 2.2.代數(shù)恢復(fù)方法代數(shù)恢復(fù)方法 3.3.頻率域恢復(fù)方法頻率域恢復(fù)方法 4.4.幾何校正幾何校正 5.5.圖像重建圖像重建電子信息與自動化學(xué)院數(shù)字圖像處理2第五章第五章 圖像復(fù)原與重建圖像復(fù)原與重建v什么是圖像復(fù)原？什么是圖像復(fù)原？v什么是圖像重建？什么是圖像重建？v數(shù)字圖像如何進(jìn)行幾何變換（縮放、旋轉(zhuǎn)等）數(shù)字圖像如何進(jìn)行幾何變換（縮放、旋轉(zhuǎn)等）電子信息與自動化學(xué)院數(shù)字圖像處理35.1 5.1 退化模型退化模型v退化的概念退化的概念 圖像在形成、傳輸和記錄過程中，由于成圖像在形成、傳輸和記錄過程中，由

2、于成像系統(tǒng)、傳輸介質(zhì)和設(shè)備的不完善，使圖像的像系統(tǒng)、傳輸介質(zhì)和設(shè)備的不完善，使圖像的質(zhì)量下降，這一過程稱為圖像的退化。質(zhì)量下降，這一過程稱為圖像的退化。核心：圖像質(zhì)量下降核心：圖像質(zhì)量下降原因：成像系統(tǒng)、傳輸介質(zhì)和設(shè)備不完善原因：成像系統(tǒng)、傳輸介質(zhì)和設(shè)備不完善產(chǎn)生環(huán)節(jié)：形成、傳輸和記錄產(chǎn)生環(huán)節(jié)：形成、傳輸和記錄5.1.1退化電子信息與自動化學(xué)院數(shù)字圖像處理4v退化的典型表現(xiàn)退化的典型表現(xiàn) 畸變畸變廣角鏡頭拍攝魚眼鏡頭拍攝5.1.15.1.1 退化退化電子信息與自動化學(xué)院數(shù)字圖像處理5v退化的典型表現(xiàn)退化的典型表現(xiàn) 模糊模糊夜景拍攝室內(nèi)拍攝5.1.15.1.1 退化退化電子信息與自動化學(xué)院數(shù)字圖

3、像處理6v退化的典型表現(xiàn)退化的典型表現(xiàn) 失真失真5.1.15.1.1 退化退化電子信息與自動化學(xué)院數(shù)字圖像處理7v退化的典型表現(xiàn)退化的典型表現(xiàn) 混入噪聲混入噪聲5.1.15.1.1 退化退化電子信息與自動化學(xué)院數(shù)字圖像處理8v造成退化的常見因素造成退化的常見因素 5.1.15.1.1 退化退化電子信息與自動化學(xué)院數(shù)字圖像處理9v產(chǎn)生退化的具體原因產(chǎn)生退化的具體原因 光學(xué)系統(tǒng)的像差光學(xué)系統(tǒng)的像差 光學(xué)成像衍射光學(xué)成像衍射 成像系統(tǒng)的非線性畸變成像系統(tǒng)的非線性畸變 攝影膠片的感光的非線性攝影膠片的感光的非線性 成像過程的相對運動成像過程的相對運動 大氣的湍流效應(yīng)大氣的湍流效應(yīng) 環(huán)境隨機(jī)噪聲環(huán)境隨機(jī)

4、噪聲5.1.15.1.1 退化退化電子信息與自動化學(xué)院數(shù)字圖像處理10v克服退化的措施克服退化的措施圖像復(fù)原圖像復(fù)原 采取一定的方法盡可能地減少或消除圖像質(zhì)采取一定的方法盡可能地減少或消除圖像質(zhì)量的下降，恢復(fù)圖像的本來面目，這就是圖像復(fù)量的下降，恢復(fù)圖像的本來面目，這就是圖像復(fù)原，也稱為圖像恢復(fù)。原，也稱為圖像恢復(fù)。 典型圖像復(fù)原是典型圖像復(fù)原是利用利用退化現(xiàn)象的某種退化現(xiàn)象的某種先驗知先驗知識識，建立退化現(xiàn)象的數(shù)學(xué)模型，再根據(jù)模型進(jìn)行，建立退化現(xiàn)象的數(shù)學(xué)模型，再根據(jù)模型進(jìn)行反向的推演運算，以恢復(fù)原來的景物圖像。反向的推演運算，以恢復(fù)原來的景物圖像。v圖像復(fù)原的一般過程圖像復(fù)原的一般過程分析退

5、化原因 建立退化模型 反向推演 恢復(fù)圖像5.1.15.1.1 退化退化電子信息與自動化學(xué)院數(shù)字圖像處理11v圖像復(fù)原與圖像增強(qiáng)圖像復(fù)原與圖像增強(qiáng) 目的：目的： 都是為了改善圖像的質(zhì)量。都是為了改善圖像的質(zhì)量。 不同之處：不同之處： 圖像復(fù)原是試圖利用退化過程的先驗知識使已退化的圖像圖像復(fù)原是試圖利用退化過程的先驗知識使已退化的圖像恢復(fù)本來面目，即根據(jù)退化的原因，恢復(fù)本來面目，即根據(jù)退化的原因， 分析引起退化的環(huán)境因分析引起退化的環(huán)境因素，建立相應(yīng)的數(shù)學(xué)模型，素，建立相應(yīng)的數(shù)學(xué)模型， 并沿著使圖像降質(zhì)的逆過程恢復(fù)并沿著使圖像降質(zhì)的逆過程恢復(fù)圖像。從圖像質(zhì)量評價的角度來看，圖像。從圖像質(zhì)量評價的角

6、度來看， 圖像復(fù)原就是提高圖像圖像復(fù)原就是提高圖像的可理解性。的可理解性。 而圖像增強(qiáng)不考慮圖像如何退化，只通過試探各種技術(shù)來而圖像增強(qiáng)不考慮圖像如何退化，只通過試探各種技術(shù)來提高視覺效果，圖像增強(qiáng)的過程基本上是一個探索的過程，提高視覺效果，圖像增強(qiáng)的過程基本上是一個探索的過程， 它利用人的心理狀態(tài)和視覺系統(tǒng)去控制圖像質(zhì)量，它利用人的心理狀態(tài)和視覺系統(tǒng)去控制圖像質(zhì)量， 直到人們直到人們的視覺系統(tǒng)滿意為止。的視覺系統(tǒng)滿意為止。 5.1.15.1.1 退化退化電子信息與自動化學(xué)院數(shù)字圖像處理12v評價準(zhǔn)則（對圖像復(fù)原結(jié)果的評價）評價準(zhǔn)則（對圖像復(fù)原結(jié)果的評價） 最小均方準(zhǔn)則最小均方準(zhǔn)則 加權(quán)均方準(zhǔn)

7、則加權(quán)均方準(zhǔn)則 最大熵準(zhǔn)則最大熵準(zhǔn)則5.1.15.1.1 退化退化電子信息與自動化學(xué)院數(shù)字圖像處理135.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型v退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型 在時域在時域 在頻域在頻域f (x, y)g (x, y)n (x, y)h h( (x x, ,y y) ),(),(),(),(),(*),(),(yxnddyxhfyxnyxhyxfyxg),(),(),(),(vuNvuHvuFvuG電子信息與自動化學(xué)院數(shù)字圖像處理14離散圖像退化的數(shù)學(xué)模型 一維離散退化模型一維離散退化模型 設(shè)f(x)為具有A個采樣值的離散輸入函數(shù)，h(x)為具有B個采樣值的退化系統(tǒng)的

8、沖激響應(yīng)函數(shù)，則經(jīng)退化系統(tǒng)后的離散輸出函數(shù)g(x)為輸入f(x)和沖激響應(yīng)h(x)的卷積，即 g(x)=f(x)*h(x) 5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型電子信息與自動化學(xué)院數(shù)字圖像處理151010)()(MxAAxxfxfe1010)()(MxBBxxhxhe輸出為 10)()()()()(Mmeeeeemxhmfxhxfxg式中，x=0, 1, 2, , M-1。 為了避免上述卷積所產(chǎn)生的各個周期重疊（設(shè)每個采樣函數(shù)的周期為M），分別對f(x)和h(x)用添零延伸的方法擴(kuò)展成周期M=A+B-1的周期函數(shù)， 即5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型電子信息

9、與自動化學(xué)院數(shù)字圖像處理16 因為fe(x)和he(x)已擴(kuò)展成周期函數(shù)，故ge(x)也是周期性函數(shù)， 用矩陣表示為 ) 1()2() 1 ()0()0()2() 1() 3() 1 ()2()2()0() 1 () 1() 1()0() 1()2() 1 ()0(MffffhMhMhMhhhMhhhMhhhMggggeeeeeeeeeeeeeeee5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型電子信息與自動化學(xué)院數(shù)字圖像處理17因為he(x)的周期為M，所以he(x)=he(x+M)，即 ) 1 () 1() 3() 3()2()2() 1() 1(eeeeeeeehMhMhhMhhM

10、hh)0()2() 1()3() 1 ()2()2()0() 1 () 1 () 1()0(eeeeeeeeeeeehMhMhhhhhhhhMhhH5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型電子信息與自動化學(xué)院數(shù)字圖像處理18Hfg ) 1()2() 1 ()0()0()2() 1()3() 1 ()2()2()0() 1 () 1() 1()0() 1()2() 1 ()0(MffffhMhMhMhhhMhhhMhhhMggggeeeeeeeeeeeeeeeeg、f都是M維列向量，H是MM階矩陣，矩陣中的每一行元素均相同，只是每行以循環(huán)方式右移一位，因此矩陣H是循環(huán)矩陣。循環(huán)矩陣相

11、加或相乘得到的還是循環(huán)矩陣。5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型10)()()()()(Mmeeeeemxhmfxhxfxg電子信息與自動化學(xué)院數(shù)字圖像處理19二維離散模型二維離散模型 設(shè)輸入的數(shù)字圖像f(x, y)大小為AB，點擴(kuò)展函數(shù)h(x, y)被均勻采樣為CD大小。為避免交疊誤差，仍用添零擴(kuò)展的方法， 將它們擴(kuò)展成M=A+C-1和N=B+D-1個元素的周期函數(shù)。 其他且其他且01010),(),(01010),(),(DyCxyxhyxhByAxyxfyxfee5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型電子信息與自動化學(xué)院數(shù)字圖像處理20則輸出的降質(zhì)數(shù)字圖像為

12、 1010),(*),(),(),(),(NneeMmeyxhyxfnymxhnmfyxg式中：x=0, 1, 2, , M-1； y=0, 1, 2, , N-1。 二維離散退化模型同樣可以表示為：Hfg 式中，g、 f是MN1維列向量，H是MNMN維矩陣。其方法是將g(x, y)和f(x, y)中的元素排成列向量。 5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型電子信息與自動化學(xué)院數(shù)字圖像處理21032121011210HHHHHHHHHHHHHMMMMMMHi(i=0, 1, 2, M-1)為子矩陣，大小為NN，即H矩陣由MM個大小為NN的子矩陣組成， 稱為分塊循環(huán)矩陣。分塊矩陣是

13、由延拓函數(shù)he(x, y)的第j行構(gòu)成的，構(gòu)成方法如下: 5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型電子信息與自動化學(xué)院數(shù)字圖像處理22)0 ,()3,()2,() 1,()0 ,() 1,()0 ,() 1 ,() 1 ,()2,() 1,()0 ,(jhNjhNjhNjhjhNjhjhjhjhNjhNjhjhHeeeeeeeeeeeej若把噪聲考慮進(jìn)去, 則離散圖像退化模型為 1010),(),(),(),(NneeeMmeyxnnymxhnmfyxg5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型電子信息與自動化學(xué)院數(shù)字圖像處理23寫成矩陣形式為 nHfg 上述線性空間不變

14、退化模型表明，在給定了g(x, y)，并且知道退化系統(tǒng)的點擴(kuò)展函數(shù)h(x, y)和噪聲分布n(x, y)的情況下，可估計出原始圖像f(x, y)。 假 設(shè) 圖 像 大 小 M = N = 5 1 2 ， 相 應(yīng) 矩 陣 H 的 大 小 為MNMN=262 144262 144，這意味著要解出f (x, y)需要解262 144個聯(lián)立方程組，其計算量十分驚人。 5.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型電子信息與自動化學(xué)院數(shù)字圖像處理245.1.2 5.1.2 退化的數(shù)學(xué)模型退化的數(shù)學(xué)模型v結(jié)論結(jié)論 離散圖像的時域數(shù)學(xué)模型離散圖像的時域數(shù)學(xué)模型可寫為可寫為f (x, y)g (x, y

15、)n (x, y)h h( (x x, ,y y) ),(),(*),(),(yxnyxhyxfyxgnHfgg、 f、n是MN1維列向量，H是MNMN維矩陣電子信息與自動化學(xué)院數(shù)字圖像處理255.2 5.2 代數(shù)恢復(fù)法代數(shù)恢復(fù)法v利用時域表達(dá)式利用時域表達(dá)式 已知g、H，求 fnHfg電子信息與自動化學(xué)院數(shù)字圖像處理265.3 5.3 頻率域恢復(fù)方法頻率域恢復(fù)方法v5.3.1 5.3.1 逆濾波恢復(fù)法逆濾波恢復(fù)法 v5.3.2 5.3.2 去除由勻速運動引起的模糊去除由勻速運動引起的模糊v5.3.3 5.3.3 維納濾波復(fù)原方法維納濾波復(fù)原方法電子信息與自動化學(xué)院數(shù)字圖像處理27 對于線性位

16、移不變系統(tǒng)對于線性位移不變系統(tǒng)vuH,1yxnyxhyxfyxg, vuNvuFvuHvuG,vuHvuGvuF,vuHvuNvuHvuGvuF,恢復(fù)原圖像稱為逆濾波器傅立葉變換不考慮噪聲5.3.1 5.3.1 逆濾波恢復(fù)法逆濾波恢復(fù)法電子信息與自動化學(xué)院數(shù)字圖像處理28v逆濾波恢復(fù)法的基本步驟逆濾波恢復(fù)法的基本步驟 (1)對退化圖像g(x，y)作二維離散傅立葉變換，得到G(u,v)；(2)計算系統(tǒng)點擴(kuò)散函數(shù)h(x，y)的二維傅立葉變換，得到H(u,v);（為避免混疊， h(x，y) 應(yīng)延拓）(3)逆濾波計算(4)計算 的逆傅立葉變換，求得 。 ),(yxf),( vuF),(/),(),(v

17、uHvuGvuF5.3.1 5.3.1 逆濾波恢復(fù)法逆濾波恢復(fù)法電子信息與自動化學(xué)院數(shù)字圖像處理295.3.1 5.3.1 逆濾波恢復(fù)法逆濾波恢復(fù)法v存在問題存在問題 圖像復(fù)原時，由于圖像復(fù)原時，由于H(u,vH(u,v) )在分母上，當(dāng)在分母上，當(dāng)u-vu-v平面上的某平面上的某些點或區(qū)域些點或區(qū)域H(uH(u, v), v)很小或等于零，即出現(xiàn)了零點時，很小或等于零，即出現(xiàn)了零點時， 就會導(dǎo)致不穩(wěn)定解。因此，即使沒有噪聲，一般也不就會導(dǎo)致不穩(wěn)定解。因此，即使沒有噪聲，一般也不可能精確地復(fù)原可能精確地復(fù)原f(xf(x, y), y)。 如果考慮噪聲項如果考慮噪聲項N(xN(x, y), y)

18、，則出現(xiàn)零點時，則出現(xiàn)零點時， 噪聲項將噪聲項將被放大。它意味著退化圖像中小的噪聲干擾在被放大。它意味著退化圖像中小的噪聲干擾在H(uH(u, v), v)取得很小值的那些頻譜上將對恢復(fù)圖像產(chǎn)生很大的影取得很小值的那些頻譜上將對恢復(fù)圖像產(chǎn)生很大的影響。響。 因此對多數(shù)圖像直接采用逆濾波復(fù)原會遇到上述求解因此對多數(shù)圖像直接采用逆濾波復(fù)原會遇到上述求解方程的病態(tài)性。方程的病態(tài)性。電子信息與自動化學(xué)院數(shù)字圖像處理305.3.1 5.3.1 逆濾波恢復(fù)法逆濾波恢復(fù)法v 改進(jìn)方法改進(jìn)方法 在在H(u,vH(u,v）=0=0及其附近，人為仔細(xì)設(shè)置及其附近，人為仔細(xì)設(shè)置H H-1-1(u,v)(u,v)的值

19、，的值，使使N(u,vN(u,v) )* *H H-1-1(u,v)(u,v)不會對不會對F F（u u，v v）產(chǎn)生太大影響。）產(chǎn)生太大影響。 下圖給出了下圖給出了H(u,vH(u,v) )、H H-1-1(u,v)(u,v)同改進(jìn)的濾波特性同改進(jìn)的濾波特性H HI I(u,v(u,v) )的一維波形，從中可看出與正常濾波的差別。的一維波形，從中可看出與正常濾波的差別。 (a) 退化系統(tǒng)的傳遞函數(shù) (b) 逆濾波器傳遞函數(shù) (c) 改進(jìn)的逆濾波器傳遞函數(shù) 電子信息與自動化學(xué)院數(shù)字圖像處理315.3.1 5.3.1 逆濾波恢復(fù)法逆濾波恢復(fù)法v 改進(jìn)方法改進(jìn)方法 退化系統(tǒng)的傳遞函數(shù)退化系統(tǒng)的傳遞

20、函數(shù)H H( (u u, v, v) )帶寬比噪聲的帶寬要窄帶寬比噪聲的帶寬要窄得多，其頻率特性具有低通性質(zhì)?？扇〉屯V波性質(zhì)得多，其頻率特性具有低通性質(zhì)?？扇〉屯V波性質(zhì)的的H H-1-1( (u,vu,v) )001DD 0DD ),(1),(vuHvuH電子信息與自動化學(xué)院數(shù)字圖像處理325.3.1 5.3.1 逆濾波恢復(fù)法逆濾波恢復(fù)法v低頻區(qū)域低頻區(qū)域 一維情況一維情況020-低頻區(qū)域電子信息與自動化學(xué)院數(shù)字圖像處理335.3.1 5.3.1 逆濾波恢復(fù)法逆濾波恢復(fù)法v低頻區(qū)域低頻區(qū)域 二維情況二維情況x-低頻區(qū)域2yx02電子信息與自動化學(xué)院數(shù)字圖像處理34逆濾波法復(fù)原圖像(a) 原

21、始圖像； (b) 退化圖像； (c)復(fù)原圖像 (a)(b)(c)5.3.1 5.3.1 逆濾波恢復(fù)法逆濾波恢復(fù)法電子信息與自動化學(xué)院數(shù)字圖像處理355.3.2 5.3.2 去除由勻速運動引起的模糊去除由勻速運動引起的模糊v 運動模糊：拍攝正在運動的物體，或運動模糊：拍攝正在運動的物體，或拍攝靜止物體攝像機(jī)抖動，都會使被拍攝靜止物體攝像機(jī)抖動，都會使被攝物體在曝光期間內(nèi)相對像面產(chǎn)生位攝物體在曝光期間內(nèi)相對像面產(chǎn)生位移，使像出現(xiàn)模糊。運動模糊是場景移，使像出現(xiàn)模糊。運動模糊是場景能量在傳感器拍攝瞬間（能量在傳感器拍攝瞬間（T T）內(nèi)在像平）內(nèi)在像平面上的非正常積累。面上的非正常積累。 v 假定假定

22、f(x,yf(x,y) )表示無運動模糊的清晰圖表示無運動模糊的清晰圖像，相對運動用像，相對運動用 和和 表示，則表示，則運動模糊圖像運動模糊圖像 是曝光時間內(nèi)像平是曝光時間內(nèi)像平面上能量的積累面上能量的積累 tx0 ty0yxg, Tdttyytxxfyxg000,電子信息與自動化學(xué)院數(shù)字圖像處理36進(jìn)行傅立葉變換得到進(jìn)行傅立葉變換得到 ： TTdttvytuxjvuFdxdyvyuxjdttyytxxfdxdyvyuxjyxgvuG0000002exp,2exp,2exp, TdttvytuxjvuH0002exp,令：則得到：vuFvuHvuG,5.3.2 5.3.2 去除由勻速運動引起

23、的模糊去除由勻速運動引起的模糊例子例子 ：書上書上P110P110圖圖電子信息與自動化學(xué)院數(shù)字圖像處理375.3.3 5.3.3 維納濾波復(fù)原法維納濾波復(fù)原法 維納濾波器是指使復(fù)原圖像與原圖像之間的均方誤差最維納濾波器是指使復(fù)原圖像與原圖像之間的均方誤差最小的濾波器，即找到：小的濾波器，即找到： 得到得到 使使 滿足這一條件的濾波器為：滿足這一條件的濾波器為： 式中上標(biāo)式中上標(biāo)* *表示復(fù)共軛，表示復(fù)共軛，P Pf f(u,v(u,v) )， P Pn n(u,v(u,v) )分別為輸入分別為輸入圖像和噪聲圖像的功率譜密度圖像和噪聲圖像的功率譜密度min),(),(2yxfyxfE),(),(

24、),(),(),(2*vuPvuPvuHvuHvuHfnw),(yxHw),(),(),(yxHyxGyxFw電子信息與自動化學(xué)院數(shù)字圖像處理38v特點特點 當(dāng)當(dāng)H(u,vH(u,v)=0 )=0 或者其幅值很小時，分母不會或者其幅值很小時，分母不會為零，不會出現(xiàn)被零除的情形；為零，不會出現(xiàn)被零除的情形； 當(dāng)當(dāng)P Pn n(u,v(u,v)=0)=0時，維納濾波復(fù)原法就變?yōu)槟鏁r，維納濾波復(fù)原法就變?yōu)槟鏋V波復(fù)原法；濾波復(fù)原法； 當(dāng)當(dāng)P Pf f(u,v(u,v)=0)=0時，時，F(xiàn)(u,vF(u,v)=0)=0，說明圖像中沒，說明圖像中沒有有效信息，無法復(fù)原；有有效信息，無法復(fù)原； 對于受噪聲影

25、響的圖像，維納濾波的效果對于受噪聲影響的圖像，維納濾波的效果好于逆濾波；好于逆濾波；5.3.3 5.3.3 維納濾波復(fù)原法維納濾波復(fù)原法),(),(),(),(),(2*vuPvuPvuHvuHvuHfnw電子信息與自動化學(xué)院數(shù)字圖像處理395.3.3 5.3.3 維納濾波復(fù)原法維納濾波復(fù)原法v 維納濾波復(fù)原法的基本步驟：維納濾波復(fù)原法的基本步驟： 對退化圖像對退化圖像g(x,yg(x,y) )進(jìn)行二維離散傅立葉變換，得到進(jìn)行二維離散傅立葉變換，得到G(u,vG(u,v) )； 計算系統(tǒng)沖激響應(yīng)計算系統(tǒng)沖激響應(yīng)h(x,yh(x,y) )的二維離散傅立葉變換，得的二維離散傅立葉變換，得到到H(u

26、,vH(u,v) )；（為避免混疊，；（為避免混疊， h h( (x x，y y) ) 應(yīng)延拓）應(yīng)延拓） 估算噪聲的功率譜估算噪聲的功率譜P Pn n(u,v(u,v) )和輸入圖像的功率譜和輸入圖像的功率譜P Pf f(u,v(u,v) )； 依公式計算依公式計算F(u,vF(u,v) )； 計算計算F(u,vF(u,v) )的傅立葉反變換，求得還原圖像的傅立葉反變換，求得還原圖像f(x,yf(x,y) )電子信息與自動化學(xué)院數(shù)字圖像處理405.4 5.4 幾何校正幾何校正v幾何失真幾何失真 數(shù)字圖像在獲取過程中，由于成像系統(tǒng)的非線性，成數(shù)字圖像在獲取過程中，由于成像系統(tǒng)的非線性，成像后的圖

27、像與原景物圖像相比，會產(chǎn)生比例失調(diào)，甚像后的圖像與原景物圖像相比，會產(chǎn)生比例失調(diào)，甚至扭曲，我們把這類圖像退化現(xiàn)象稱之為幾何失真至扭曲，我們把這類圖像退化現(xiàn)象稱之為幾何失真 分類分類 系統(tǒng)失真：有規(guī)律、能預(yù)測系統(tǒng)失真：有規(guī)律、能預(yù)測 非系統(tǒng)失真：隨機(jī)的非系統(tǒng)失真：隨機(jī)的(a)(b)(c)(d)幾種典型的幾何失真(a) 原圖像； (b) 梯形失真； (c) 枕形失真； (d) 桶形失真 電子信息與自動化學(xué)院數(shù)字圖像處理41v幾何校正幾何校正 將幾何失真的圖像校正成無幾何失真的圖像將幾何失真的圖像校正成無幾何失真的圖像 基本方法：基本方法： 先建立幾何校正的數(shù)學(xué)模型；先建立幾何校正的數(shù)學(xué)模型； 利

28、用已知條件確定模型參數(shù)；利用已知條件確定模型參數(shù)； 根據(jù)模型對圖像進(jìn)行幾何校正。根據(jù)模型對圖像進(jìn)行幾何校正。 步驟步驟 圖像空間坐標(biāo)的變換；圖像空間坐標(biāo)的變換； 確定校正空間各像素的灰度值（灰度內(nèi)插）。確定校正空間各像素的灰度值（灰度內(nèi)插）。5.4 5.4 幾何校正幾何校正電子信息與自動化學(xué)院數(shù)字圖像處理425.4 5.4 幾何校正幾何校正電子信息與自動化學(xué)院數(shù)字圖像處理43 空間幾何坐標(biāo)變換 按照一幅標(biāo)準(zhǔn)圖像按照一幅標(biāo)準(zhǔn)圖像f(x, y)或一組基準(zhǔn)點去校正另一幅幾何失或一組基準(zhǔn)點去校正另一幅幾何失真圖像真圖像g(x,y) ，稱之為空間幾何坐標(biāo)變換。，稱之為空間幾何坐標(biāo)變換。 根據(jù)兩幅圖像的一

29、些已知對應(yīng)點對根據(jù)兩幅圖像的一些已知對應(yīng)點對(也稱為控制點對也稱為控制點對)建立起建立起函數(shù)關(guān)系式，將失真圖像的函數(shù)關(guān)系式，將失真圖像的x-y坐標(biāo)系變換到標(biāo)準(zhǔn)圖像坐標(biāo)系變換到標(biāo)準(zhǔn)圖像x-y坐標(biāo)坐標(biāo)系，從而實現(xiàn)失真圖像按標(biāo)準(zhǔn)圖像的幾何位置校正，使系，從而實現(xiàn)失真圖像按標(biāo)準(zhǔn)圖像的幾何位置校正，使g(x,y) 中的每一像點都可在中的每一像點都可在f(x, y) 中找到對應(yīng)像點。中找到對應(yīng)像點。 設(shè)兩幅圖像坐標(biāo)系統(tǒng)之間幾設(shè)兩幅圖像坐標(biāo)系統(tǒng)之間幾何畸變關(guān)系能用解析式來描述何畸變關(guān)系能用解析式來描述),(1yxhx ),(2yxhy 5.4 5.4 幾何校正幾何校正電子信息與自動化學(xué)院數(shù)字圖像處理44v同

30、名像素同名像素 對于景物中的一個點，在對于景物中的一個點，在f(x,yf(x,y) )和和g(x,yg(x,y)中都中都有其對應(yīng)像素，這對應(yīng)的像素稱為同名像素。假定其有其對應(yīng)像素，這對應(yīng)的像素稱為同名像素。假定其灰度是不變的，即灰度是不變的，即v已知已知h h1 1(x,y)(x,y)和和h h2 2(x,y)(x,y)條件下的幾何校正條件下的幾何校正 ),(),(yxgyxf 直接法（前向映射法）間接法（后向映射法）5.4 5.4 幾何校正幾何校正電子信息與自動化學(xué)院數(shù)字圖像處理455.4 5.4 幾何校正幾何校正v直接法（前向映射法）直接法（前向映射法） 缺點：像素分布是不規(guī)則的，會出現(xiàn)像

31、素擠壓、缺點：像素分布是不規(guī)則的，會出現(xiàn)像素擠壓、疏密不均等現(xiàn)象，不能滿足要求。疏密不均等現(xiàn)象，不能滿足要求。),(),(21yxhyyxhx),(),(21yxhyyxhx直接法（前向映射法）電子信息與自動化學(xué)院數(shù)字圖像處理465.4 5.4 幾何校正幾何校正v間接法間接法 設(shè)恢復(fù)的圖像像素在基準(zhǔn)坐標(biāo)系統(tǒng)為等距網(wǎng)格的交叉設(shè)恢復(fù)的圖像像素在基準(zhǔn)坐標(biāo)系統(tǒng)為等距網(wǎng)格的交叉點，從網(wǎng)格交叉點的坐標(biāo)（點，從網(wǎng)格交叉點的坐標(biāo)（x,yx,y）出發(fā)算出在已知畸變）出發(fā)算出在已知畸變圖像上的坐標(biāo)圖像上的坐標(biāo)(x,y) ，即，即yxhyxhyx,),(21雖然點（x,y）坐標(biāo)為整數(shù)，但(x,y)一般不為整數(shù)，不會

32、位于畸變圖像像素中心，因而不能直接確定該點的灰度值，而只能由其在畸變圖像的周圍像素灰度內(nèi)插求出，作為對應(yīng)像素（x,y）的灰度值，據(jù)此獲得校正圖像。由于間接法內(nèi)插灰度容易，所以一般采用間接法進(jìn)行幾何糾正。 間接法（后向映射法）電子信息與自動化學(xué)院數(shù)字圖像處理47v像素灰度內(nèi)插方法像素灰度內(nèi)插方法 最近鄰元法（最近鄰域法，最近鄰元法（最近鄰域法，Nearest NeighborNearest Neighbor） 雙線性內(nèi)插法雙線性內(nèi)插法 （BilinearBilinear） 三次內(nèi)插法（三次卷積法，三次內(nèi)插法（三次卷積法，BicubicBicubic） 著名看圖軟件ACDSee中顯示的插值方法5.

33、4 5.4 幾何校正幾何校正電子信息與自動化學(xué)院數(shù)字圖像處理485.4 5.4 幾何校正幾何校正v最近鄰元法最近鄰元法 在待求像素的四鄰點中，將距離這點最近的鄰點灰度在待求像素的四鄰點中，將距離這點最近的鄰點灰度賦給待求像素。賦給待求像素。 該方法最簡單，效果尚佳，但校正后的圖像有明顯鋸該方法最簡單，效果尚佳，但校正后的圖像有明顯鋸齒狀，即存在灰度不連續(xù)性。齒狀，即存在灰度不連續(xù)性。*(u,v)(u+1,v)(u,v+1)(u+1,v+1)(uo,vo)電子信息與自動化學(xué)院數(shù)字圖像處理495.4 5.4 幾何校正幾何校正v雙線性內(nèi)插法雙線性內(nèi)插法 利用待求像素四個鄰點的灰度在利用待求像素四個鄰

34、點的灰度在二方向上作線性內(nèi)插。二方向上作線性內(nèi)插。 該方法要比最近鄰元法復(fù)雜，計該方法要比最近鄰元法復(fù)雜，計算量大。但沒有灰度不連續(xù)性的算量大。但沒有灰度不連續(xù)性的缺點，結(jié)果令人滿意。它具有低缺點，結(jié)果令人滿意。它具有低通濾波性質(zhì)，使高頻分量受損，通濾波性質(zhì)，使高頻分量受損，圖像輪廓有一定模糊。圖像輪廓有一定模糊。),(),() 1,(),(jifvjifjifvjif) 1, 1(), 1()1 ( ) 1,()1 (),()1)(1 (),(jiuvfjifvujivfujifvuujuif), 1(), 1() 1, 1(), 1(jifvjifjifvjif電子信息與自動化學(xué)院數(shù)字圖像

35、處理505.4 5.4 幾何校正幾何校正v三次內(nèi)插法三次內(nèi)插法 利用三次多項式利用三次多項式S(xS(x) )來逼近理論上的最佳插值來逼近理論上的最佳插值函數(shù)函數(shù)sin(x)/xsin(x)/x)184 . 5(2|02|1|5|841|0|21)(3232xxxxxxxxxS(i-1,j-1)(i-1,j+2)(i+2,j-1)(i+2,j+2)(x,y)u v電子信息與自動化學(xué)院數(shù)字圖像處理51ABCvjuifyxf),(),(TvSvSvSvSA)2()1 ()()1 (TuSuSuSuSC)2()1 ()()1 ()2, 2() 1, 2(), 2() 1, 2()2, 1() 1,

36、1(), 1() 1, 1()2,() 1,(),() 1,()2, 1() 1, 1(), 1() 1, 1(jifjifjifjifjifjifjifjifjifjifjifjifjifjifjifjifB 求像素(x,y)的灰度值由其周圍十六個點的灰度值加權(quán)內(nèi)插得到 該算法計算量最大，但內(nèi)插效果最好，精度最高。5.4 5.4 幾何校正幾何校正電子信息與自動化學(xué)院數(shù)字圖像處理525.45.4幾何校正幾何校正v像素灰度內(nèi)插法效果比較像素灰度內(nèi)插法效果比較原始影像灰度表面 最近鄰內(nèi)插法雙線性內(nèi)插法 三次內(nèi)插法電子信息與自動化學(xué)院數(shù)字圖像處理535.4 5.4 幾何校正幾何校正v像素灰度內(nèi)插法效

37、果比較像素灰度內(nèi)插法效果比較原始影像（8x8像素，放大圖） 最近鄰內(nèi)插法雙線性內(nèi)插法 三次內(nèi)插法電子信息與自動化學(xué)院數(shù)字圖像處理545.5 5.5 圖像重建圖像重建v圖像重建圖像重建 一般指由一個物體的多個（軸向）投影圖重建一般指由一個物體的多個（軸向）投影圖重建目標(biāo)圖像的技術(shù)目標(biāo)圖像的技術(shù) 從投影重建圖像又可看成是一類特殊的圖像恢從投影重建圖像又可看成是一類特殊的圖像恢復(fù)技術(shù)復(fù)技術(shù) 把投影看成是一種劣化過程，而重建則是一種把投影看成是一種劣化過程，而重建則是一種復(fù)原過程復(fù)原過程 電子信息與自動化學(xué)院數(shù)字圖像處理55v應(yīng)用應(yīng)用 醫(yī)療放射學(xué)醫(yī)療放射學(xué) 核醫(yī)學(xué)核醫(yī)學(xué) 電子顯微電子顯微 無線和雷達(dá)無

38、線和雷達(dá) 天文學(xué)天文學(xué) 光顯微光顯微 全息成像學(xué)全息成像學(xué) 理論視覺理論視覺5.5 5.5 圖像重建圖像重建電子信息與自動化學(xué)院數(shù)字圖像處理565.5 5.5 圖像重建圖像重建v具體技術(shù)簡單了解即可具體技術(shù)簡單了解即可電子信息與自動化學(xué)院數(shù)字圖像處理575.5 5.5 圖像重建圖像重建v圖像重建的三種模型圖像重建的三種模型 透射模型：建立于能量通過物體后有一部分能量會被吸收的基礎(chǔ)透射模型：建立于能量通過物體后有一部分能量會被吸收的基礎(chǔ)之上，該模型經(jīng)常用于之上，該模型經(jīng)常用于X X射線、電子射線及光線和熱輻射的情況下，射線、電子射線及光線和熱輻射的情況下，它們都遵從一定的吸收規(guī)則。它們都遵從一定

39、的吸收規(guī)則。 發(fā)射模型：用來確定物體的位置，該方法已經(jīng)廣泛用于正電子檢發(fā)射模型：用來確定物體的位置，該方法已經(jīng)廣泛用于正電子檢測，它是通過在相反的方向分解散射的兩束伽馬射線來實現(xiàn)的。測，它是通過在相反的方向分解散射的兩束伽馬射線來實現(xiàn)的。這兩束射線的渡越時間可用來確定物體的位置。這兩束射線的渡越時間可用來確定物體的位置。 反射模型：可以用來測定物體的表面特征，例如光線、電子束、反射模型：可以用來測定物體的表面特征，例如光線、電子束、激光或超聲波等都可以用來進(jìn)行這種測定。激光或超聲波等都可以用來進(jìn)行這種測定。電子信息與自動化學(xué)院數(shù)字圖像處理585.5.1 5.5.1 計算機(jī)斷層掃描（計算機(jī)斷層掃

40、描（CTCT）的二維重建）的二維重建 計算機(jī)斷層掃描的基本原理，如圖所示，從線性并排著的計算機(jī)斷層掃描的基本原理，如圖所示，從線性并排著的X X線源發(fā)射一定強(qiáng)度的線源發(fā)射一定強(qiáng)度的X X線，把通過身體的線，把通過身體的X X線用與線用與X X線源平行排線源平行排列的列的X X線檢測器接收。然后把線檢測器接收。然后把X X線源和檢測器組以體軸為中心一線源和檢測器組以體軸為中心一點一點的旋轉(zhuǎn)，反復(fù)進(jìn)行同樣的操作。利用這樣求得的在各個點一點的旋轉(zhuǎn)，反復(fù)進(jìn)行同樣的操作。利用這樣求得的在各個角度上的投影數(shù)據(jù)，就得到了垂直于體軸的斷面圖像。角度上的投影數(shù)據(jù)，就得到了垂直于體軸的斷面圖像。 電子信息與自動化學(xué)院數(shù)字圖像處理59 從多個投影數(shù)據(jù)重建圖像有多種方法，這里介紹最基本的傅立葉變換法。 圖像f(x,y)的傅立葉變換為 而f(x,y)對x軸的投影為對其進(jìn)行傅立葉變換得dxdyeyxfvuFyvxuj)(2),(),(dyyxfxPy),()()0 ,(),()()(22uFdxdyeyxfdxe