圖像處理第6章 圖像校正和修補

本章主要內(nèi)容圖像仿射變換幾何失真校正圖像修復(fù)區(qū)域填充第六章圖像校正和修補不同位置具有不同灰度的像素構(gòu)成一幅灰度圖像，圖像的退化反映在像素的位置及灰度變化上，因此恢復(fù)像素的位置和灰度也就是恢復(fù)圖像。幾何失真：像素位置發(fā)生改變；圖像缺損：像素灰度發(fā)生改變。6.1圖像仿射變換1、定義：

一個仿射變換是一個非奇異線性變換接一個平移變換。矩陣表達(dá)為：{仿射變換可看作對基本坐標(biāo)變換的擴(kuò)展}6.1.1一般仿射變換用分塊矩陣表達(dá)：式中，A是一個2×2的非奇異矩陣；t是一個2×1的矢量；0是一個2×1矢量。一個平面上的仿射有6個自由度，對應(yīng)6個矩陣元素（4個對應(yīng)矩陣A的元素，兩個對應(yīng)矢量t的元素）圖6.1.1對多邊形進(jìn)行放射變換得到的結(jié)果如下圖6.1.1，分別表示2、分解放射變換的本質(zhì)是在一個特定的角度上對兩個相互正交的方向上進(jìn)行放縮，所以可以把A分解成兩個基本變換的組合：一個非各向同性放縮和一個旋轉(zhuǎn),即其中，R(θ)和R(?)分別表示旋轉(zhuǎn)θ和?的角度；D是對角矩陣：(6.1.3)(6.1.4)

所以仿射矩陣A可以看作是先進(jìn)行一個旋轉(zhuǎn)(?)，然后沿X、Y方向分別放縮λ1和λ2，接著旋轉(zhuǎn)回去(-?)，最后再進(jìn)行一個旋轉(zhuǎn)(θ)的級聯(lián)。虛線代表變換前，實線代表變換后。

6.1.2仿射變換的分解結(jié)果非各向同性放縮變形旋轉(zhuǎn)R（θ）

仿射變換可以看作是平移、放縮、旋轉(zhuǎn)和剪切變換的一種綜合。不考慮平移，矩陣A可分解為旋轉(zhuǎn)、剪切和放縮變換矩陣的級聯(lián)：放縮剪切旋轉(zhuǎn)(6.1.5)其中參數(shù)Sx、Sy、Jx和θ可根據(jù)矩陣系數(shù)來計算：式中，det(A)是矩陣A的行列式。剪切變換和旋轉(zhuǎn)變換可利用第二章式（2.1.17）的3步剪切變換進(jìn)行如下修正同時實現(xiàn)：所以，仿射變換可利用上式的剪切變換后加一個放縮變換來計算(6.1.6)3、系數(shù)

仿射變換也可直接表示成從（x,y）到（x',y'）的如下變換：如果令D=SxSy-JxJy表示矩陣的行列式，則反變換可寫成：圖6.1.3

4個系數(shù)在仿射變換中的作用示意4、性質(zhì)仿射變換有如下性質(zhì)：（1）仿射變換將有限點映射為有限點，即能建立歷一一對應(yīng)的關(guān)系；（2）仿射變換將直線映射為直線；（3）仿射變換將平行直線映射為平行直線；（4）當(dāng)區(qū)域P和Q是沒有退化的三角形（即面積不為0），那么存在一個唯一的仿射變換A可將P映射為Q，即Q=A(P);（5）仿射變換將導(dǎo)致區(qū)域面積的變化。下面對第5個性質(zhì)給以解釋：(說明面積變化是仿射變換的后果之一)

仿射變換可分解為包括剪切變化的多個變換。當(dāng)正方形受到X方向的剪切作用會變成菱形，如下圖：圖6.1.4剪切造成的變形

雖然剪切本身不改變面積，但剪切后單方向的伸縮會導(dǎo)致面積變化，一般區(qū)域的面積為:S=SxSy-JxJy

圖6.1.5剪切和剪切后的正方形圖6.1.5顯示了一個單位正方形的4個角點坐標(biāo)是如何受到放射變換的影響。Sx=Sy=1,Jx=0.5,Jy=0.3時，正方形的面積縮小為0.85；如果剪切系數(shù)較小，且JxJy<<SxSy,則剪切不會過多地影響面積的變化，面積仍幾乎為SxSy；如果圖中菱形受到延長對角線方向的壓縮，剪切后的形狀能被壓回到一個正方形的樣子，但這個正方形相對于原來的正方形旋轉(zhuǎn)了41°?？梢娗‘?dāng)?shù)亟M合伸縮和剪切系數(shù)能產(chǎn)生簡單的旋轉(zhuǎn)，當(dāng)Sx=Sy=cosθ,Jx=sinθ和Jy=-sinθ時，就能得到這樣的結(jié)果，此時面積變化SxSy-JxJy=1。6.1.2特殊仿射變換1、相似變換相似變換的矩陣表達(dá)為（逆時針為正）：或用分塊矩陣寫成：

式中，s表示各向同性放縮；R表示一個特殊的2×2正交矩陣（RTR=RRT=I,且det(R)=1）,對應(yīng)旋轉(zhuǎn)。平面上的相似變換有4個自由度，所以可根據(jù)兩組點的對應(yīng)性來計算。（6.1.13）

一個相似變換可以保持兩條曲線在交點處的角度，解釋為保形性，所以相似變換又被稱為同形變換。如下圖：圖6.1.6對區(qū)域進(jìn)行相似變換得到的結(jié)果與一般仿射變換相比，這里沒有非各向同性放縮，所以相似變換比仿射變換少兩個自由度。具體來說就是沒有表示放縮方向的角度?和表示兩個放縮參數(shù)λ1和λ2的比值。左邊為原圖；1,2,3分別對應(yīng)s=1.5,θ=-90°,t=[1,0]T;s=1,θ=180°，t=[4,8]T;s=0.5,θ=0°，t=[5,7]T。2、等距變換等距變換的矩陣表達(dá)為（逆時針為正）：或用分塊矩陣表達(dá)為：式中，e=±1,R是一個一般的正交矩陣，det(R)=±1。（6.1.15）（6.1.16）

等距變換保持了兩個點之間的所有距離，也就是對任意兩點p、q，他們變換前后距離相等。等距變換有四個自由度（與相似變換相比少了各向同性放縮，但e可選正負(fù)1），所以可根據(jù)兩組點的對應(yīng)性來算。e=1,θ=-90oT=(2,0)Te=-1,θ=180oT=(4,8)Te=1,θ=0oT=(5,6)T由上可見，如果e=1，那么等距變換可以保持朝向；如果e=-1，那么將反轉(zhuǎn)朝向,即此時的矩陣R相當(dāng)于前一種情況的R與一個鏡像表示的組合。3、歐式變換歐式變換的矩陣表達(dá)為（逆時針為正）：或分塊矩陣為：式中，R是一個特殊的正交矩陣，det(R)=1,這里e固定取了1。

一個歐式運動是先旋轉(zhuǎn)（可看做是特殊的正交變換）后平移的組合，所以歐式變換可表達(dá)剛提的運動。平面上的歐式變換有3個自由度，所以可根據(jù)兩組點的對應(yīng)性來計算。θ=-90oT=(2,0)Tθ=0oT=(4,6)Tθ=90oT=(2,4)T

若兩個區(qū)域P和Q是用歐式變換聯(lián)系在一起的，則可以說著這兩個兩個區(qū)域是全等的或疊合的或同余的。6.1.3變換間的聯(lián)系1、變換的層次

在最一般的仿射變換下，相似變換、等距變換和歐式變換逐步專門化。相似變換是仿射變換的特例等距變換是相似變換的特例歐式變換時等距變換的特例2、變換的對比表6.1.1變換的對比由于它們的自由度不同，所以要確定變換矩陣所需要對應(yīng)點的組數(shù)也不同，各種變換都可以分解為一些更基本變換的組合。低層次的變換繼承了高層次變換的不變量，在高層次上的變換能產(chǎn)生在低層次上的變換所產(chǎn)生的所有結(jié)果，并且還可使變換對象的形狀產(chǎn)生更復(fù)雜的變化。6.2幾何失真校正

對圖像的幾何失真校正是坐標(biāo)變換的一種具體應(yīng)用。主要包括兩個工作：

1、空間變換：對圖像平面上的像素進(jìn)行重新排列以恢復(fù)原空間關(guān)系；

2、灰度插值：對空間變換后的像素賦予相應(yīng)的灰度值以恢復(fù)原位置的灰度值6.2.1空間變換

幾何失真模型：圖像f(x,y)受幾何形變的影響變成失真圖像g(x',y')?？杀硎緸閤'=s(x,y)

y'=t(x,y)

其中s(x,y)和t(x,y)代表產(chǎn)生幾何失真圖像的兩個空間變換函數(shù)。線性失真時：s(x,y)=k1x+k2y+k3t(x,y)=k4x+k5y+k6非線性失真時：s(x,y)=k1+k2x+k3y+k4x2+k5xy+k6y2t(x,y)=k7+k8x+k9y+k10x2+k11xy+k12y2（6.2.1）（6.2.2）

在輸入圖（失真圖）和輸出圖（校正圖）之間找到一些位置確定知道的點，然后利用這些點建立這兩幅圖之間其他像素空間位置的對應(yīng)關(guān)系。圖6.2.1失真圖像和校正圖的對應(yīng)點兩個四邊形的頂點作為對應(yīng)點。四邊形區(qū)域內(nèi)幾何失真過程用一堆雙線性等式表示：

四組對應(yīng)點解八個系數(shù),將一幅圖分成一系列覆蓋全圖的四邊形區(qū)域的集合，對每個區(qū)域都找足夠的對應(yīng)點以計算進(jìn)行映射所需要的系數(shù)。s(x,y)=k1x+k2y+k3xy+k4t(x,y)=k5x+k6y+k7xy+k8帶入式(6.2.1)和(6.2.2)，就可得到失真前后兩圖坐標(biāo)間關(guān)系：x'=k1x+k2y+k3xy+k4y'=k5x+k6y+k7xy+k8(6.2.7)(6.2.8)(6.2.9)(6.2.10)6.2.2灰度插值灰度插值：失真圖像g(x',y')是數(shù)字圖像，其像素值僅在坐標(biāo)為整數(shù)處有定義，所以在非整數(shù)處的像素值就要用其周圍一些整數(shù)處的像素值來計算，這叫做灰度插值。圖6.2.2

灰度插值示意圖將離（x',y'）最近的像素的灰度值作為（x',y'）的灰度值賦給原圖（x,y）處像素原始不失真圖失真圖1、前向映射和后向映射前向映射：將實際采集的失真圖像坐標(biāo)向原始的不失真圖像映射。后向映射：將原始的不失真圖像坐標(biāo)反映射到實際采集的失真圖像中。失真圖像中像素點映射到不是真圖像的四個像素點之間，所以最后灰度由許多失真圖的像素之和決定。失真圖想中像素點對應(yīng)到不是真圖像的4個像素之間，則先根據(jù)插值算法計算出該位置的灰度，再將其映射給不是真圖像的對應(yīng)像素。前向映射和后向映射對比：

前向映射缺點：

1,有一些失真圖像坐標(biāo)可能會映射到不失真圖像之外，產(chǎn)生計算方面的浪費；2，不失真圖像的許多像素的灰度將由許多失真圖像像素的貢獻(xiàn)之和決定，需要較多的尋址；3，不失真圖像中像素的灰度并不與失真圖像中像素的灰度有一一對應(yīng)關(guān)系，不能采用最近鄰插值；4，有可能不失真圖像中某些像素得不到來自失真圖像的賦值（產(chǎn)生孔洞），而有些像素得到來自失真圖像的過多賦值。

將像素看成一個正方形，并將不失真圖像中像素被失真圖像中像素覆蓋的面積作為分配權(quán)值（左圖），后向映射不失真圖像是逐個像素得到的，而每個像素的灰度是由一步映射確定的。既可以避免在不失真圖像中產(chǎn)生空洞，也不需要重復(fù)計算多個失真圖像像素的貢獻(xiàn)值之和，所以后向映射在實際應(yīng)用中更為廣泛（右圖）。圖6.2.4前向映射和后向映射對比2、插值灰度的計算

對插值灰度的計算方法有很多種，最簡單的是最近鄰插值，就是將離（x',y'）點最近的像素的灰度值作為（x',y'）點的灰度值賦給原圖(x,y)處像素。這種方法計算量小，但有時不夠精確（例圖6.2.2）。雙線性插值：利用（x',y'）點的4個最近鄰像素的灰度值來計算（x',y'）處的灰度值（參考圖6.2.5）。1、（x',y'）最鄰近像素為A,B,C,D,坐標(biāo)分別為(i,j),(i+1,j),(i,j+1),(i+1,j+1),灰度值分別為g(A),g(B),g(C),g(D)則E,F兩點的灰度值為：g(E)=(x'-i)[g(B)-g(A)]+g(A)g(F)=(x'-i)[g(D)-g(C)]+g(C)則（x',y'）點的灰度值g(x',y')為g(x',y')=(x'-j)[g(F)-g(E)]+g(E)圖6.2.5

雙線性插值雖然前面的水平插值和垂直插值均是線性的，但在一般情況下，他們的串行使用導(dǎo)致對4個最近鄰像素的一個非線性表面擬合。2、

利用（x',y'）點任意3個不共線的鄰近像素來計算（x',y'）點處的灰度值。再根據(jù)g(C),g(E)就可計算（x',y'）點處的灰度值圖6.2.6用三個鄰近像素點進(jìn)行雙線性插值三線性插值：

如需更高精度，可采用三線性插值方法。它利用點（x',y'）的16個最鄰近像素的灰度值來計算其灰度值。計算公式為：

其中Wx，Wy為橫坐標(biāo)和縱坐標(biāo)的插值的加權(quán)值。右圖為計算方法。圖6.2.7三次線性插值方法6.3圖像修復(fù)

圖像中部分區(qū)域缺損，像素灰度急劇改變，使圖像不完整的情況：1、在采集有遮擋的場景圖象或掃描有破損的老圖片時產(chǎn)生的部分內(nèi)容的缺失；2、在圖象加工中去除特定區(qū)域(無關(guān)景物)后留下的空白；3、圖象上覆蓋文字或受到干擾（照片撕裂或有劃痕）導(dǎo)致的變化4、對圖象進(jìn)行有損壓縮時而造成的部分信息丟失5、在（網(wǎng)絡(luò)上）傳輸數(shù)據(jù)時由于網(wǎng)絡(luò)故障所導(dǎo)致的象素丟失解決上述問題的方法稱為圖像修補6.3.1圖像修補原理圖像修補：基于不完整的圖象和對原始圖象的先驗知識，通過采用相應(yīng)的方法糾正或校正前述區(qū)域缺損問題以達(dá)到恢復(fù)圖象原貌的目的。修補可分為修復(fù)（插補）和補全（填充）兩種。修復(fù)（插補）：修補尺度較小的區(qū)域，利用局部結(jié)構(gòu)信息；補全（填充）：修補尺度較大的區(qū)域，考慮整圖紋理信息。兩者均是要將圖像中確實信息部分補全和復(fù)原，相互之間在尺度上并沒有嚴(yán)格的界限。區(qū)別是技術(shù)上修復(fù)多利用圖像的局部結(jié)構(gòu)信息而不特別利用區(qū)域的紋理信息，填充則常需考慮整幅圖像并借助紋理信息；功能上修復(fù)多用于圖像復(fù)原，填充多用于景物移除。如果對圖像中信息缺失的部分沒有任何先驗知識或?qū)θ笔У脑虿涣私?，對圖像的修補是一個病態(tài)的問題，解是不確定的。圖像修補的困難來源于三個方面：1、領(lǐng)域復(fù)雜性：需修補區(qū)域隨應(yīng)用而不相同；2、圖象復(fù)雜性：性質(zhì)在不同尺度表現(xiàn)不同；3、模式復(fù)雜性：考慮視覺上有意義的模式。圖6.3.1模式復(fù)雜性示例

圖像缺損作為圖像退化的一種特殊情況，其中的某些區(qū)域有可能完全丟失，但其他的區(qū)域有可能完全沒有改變。

如果原始圖象f(x,y)，其分布的空間區(qū)域用F表示；缺失部分為d(x,y)，其空間區(qū)域用D表示；待修補圖象g(x,y)，其分布的空間區(qū)域也是F。所謂修補就是要用保持原狀的空間區(qū)域，即F-D中的信息去估算和恢復(fù)D中缺失的信息。6.3.2圖像修補中各區(qū)域示意原始圖像待修補圖像，D是待修補區(qū)域源區(qū)域：圖中F-D部分，代表原圖像中可用來修補區(qū)域D的部分；靶區(qū)域：圖中待修補區(qū)域D部分。

借助（5.1.1）的退化模型，圖像修補模型可表示為：沒有發(fā)生退化的部分（6.3.1）目標(biāo)是根據(jù)上式來估計和復(fù)原{f(x,y)}D。效果上，一方面修補后區(qū)域D中的灰度、顏色和紋理等應(yīng)與D周圍的灰度、顏色和紋理等相對應(yīng)或協(xié)調(diào)；另一方面D周圍的結(jié)構(gòu)信息應(yīng)可延伸到D的內(nèi)部。關(guān)于圖像修補的示例，參考書中例6.3.1。此處不過講解。6.3.2全變分模型

全變分模型可用于去除劃痕或尺寸較小靶區(qū)域的修復(fù)，它是一種基本和典型的圖像修補模型，全變分算法是一種非各向同性的擴(kuò)散算法，可用于在去噪的同時保持邊緣的連續(xù)性和尖銳性。這種方法可以很好地保持圖像中的線性結(jié)構(gòu)，缺點是不一定能保持圖像細(xì)節(jié)。擴(kuò)散的代價函數(shù)：（6.3.2）式中，▽f為f

的梯度，為去除噪聲，還要受到下面約束條件：目標(biāo)是使待修復(fù)區(qū)域及其邊界部分盡可能平滑式中，||F-D||為區(qū)域F-D的面積，σ是噪聲均方差。該6.3.3式作用是使修復(fù)過程對噪聲比較魯棒。（6.3.3）

借助拉格朗日因子將上兩式結(jié)合起來將有約束問題轉(zhuǎn)化成無約束問題：引入擴(kuò)展的拉格朗日因子λD:則泛函數(shù)（6.3.4）成為：（6.3.4）（6.3.5）（6.3.6）根據(jù)分變原理，得到對應(yīng)的能量梯度下降方程：式中，代表散度。此式為一個非線性反應(yīng)擴(kuò)散方程，擴(kuò)散系數(shù)為1/∣▽f∣。在待修復(fù)區(qū)域D的內(nèi)部λD為0，此式退化為純粹的擴(kuò)散方程；而在待修復(fù)區(qū)域D的周圍，此式的第二項使方程的解趨于原始圖像。對此方程解偏微分就可獲得原始圖像。 （6.3.7）6.3.3混合模型前面介紹的全變分模型中，擴(kuò)散只向梯度的正交方向（即邊緣方向）進(jìn)行，而不向梯度方向進(jìn)行，使得全變分模型可能產(chǎn)生虛假輪廓。將全變分模型中代價函數(shù)里的梯度項改為梯度平方項：考慮約束條件并轉(zhuǎn)化成無約束問題，再借助擴(kuò)展拉格朗日因子得：這樣得到一個調(diào)和模型。調(diào)和模型是一種各向同性的擴(kuò)散，沒有對邊緣方向和梯度方向加以區(qū)別，所以可以減弱虛假輪廓現(xiàn)象，但可能導(dǎo)致邊緣產(chǎn)生一定的模糊。（6.3.8）（6.3.9）兩種模型的加權(quán)和的混合模型：代價函數(shù)里的梯度項取為：式中，h∈（0,1），為加權(quán)參數(shù)?；旌夏Ｐ偷姆汉癁椋航Y(jié)合兩種模型的混合模型（P-調(diào)和模型）：代價函數(shù)的梯度項取為：式中，p∈（1,2）為控制參數(shù)。P-調(diào)和模型的泛函為：h=1時為全變分模型p=1時為全變分模型，p=2時為調(diào)和模型，1<p<2時試圖在兩個模型間取得一個較好的平衡（6.3.10）6.4區(qū)域填充

6.3節(jié)介紹的方法對修復(fù)尺度小的缺失區(qū)域比較有效，但當(dāng)缺失區(qū)域尺度比較大時會出現(xiàn)一些問題。如擴(kuò)散造成一定的模糊，且程度隨缺失區(qū)域的尺度增加而增加；還有可能產(chǎn)生內(nèi)外紋理特性差別較大的問題，導(dǎo)致修復(fù)不理想。解決上述問題的基本思路包括以下兩種：(1)將圖象分解為結(jié)構(gòu)部分和紋理部分，對結(jié)構(gòu)性強(qiáng)的部分用擴(kuò)散方法進(jìn)行插補，而對紋理明顯的部分則借助紋理合成的技術(shù)進(jìn)行填充；(2)在圖象未退化部分選擇一些樣本塊，用這些樣本塊來替代擬填充區(qū)域邊界處的圖象塊（這些塊的未退化部分與所選樣本塊有接近的特性），并逐步向擬填充區(qū)域內(nèi)部遞進(jìn)填充。

基于第1種思路的方法是一種混合的方法，擴(kuò)散的方法借助了結(jié)構(gòu)信息，但要完全用紋理合成來填補大面積靶區(qū)域仍有一定風(fēng)險和難度；基于第2種思路的方法常稱為基于樣本的圖象填充方法。這類方法直接用源區(qū)域中的信息（包括紋理信息）來填補靶區(qū)域。與基于偏微分方程的擴(kuò)散方法相比，基于樣本的方法在填補紋理內(nèi)容方面常可取得更好的結(jié)果，尤其是靶區(qū)域的尺度比較大時。6.4.1基于樣本的方法

基于樣本的圖像補全方法使用保持原狀的空間區(qū)域去估計和填充待修補部分中缺失的信息。整個填充過程是迭代進(jìn)行的，包括以下3個步驟：(1)計算圖象塊的優(yōu)先權(quán)填充圖象塊的工作是從外向里進(jìn)行的，先填充具有較強(qiáng)連續(xù)邊緣（人對邊緣信息更敏感）的區(qū)域和其中已知信息較多的區(qū)域。以邊界點p為中心的圖象塊P(p)的優(yōu)先權(quán)值的計算：

式中，第一項C(p)也稱為置信度項，表示當(dāng)前圖像塊中完好像素點所占比例；第二項D(P)也稱為數(shù)據(jù)項，是在點p的等照度線（灰度值相等的線）與單位法向量的內(nèi)積。(2)傳播紋理和結(jié)構(gòu)信息先確定出具有最高優(yōu)先權(quán)的圖象塊（靶區(qū)域），然后從源區(qū)域中選圖象塊數(shù)據(jù)來填充它，和要使兩個圖象塊中已填充象素的平方差的最小。這樣填充的結(jié)果可將紋理和結(jié)構(gòu)都從源區(qū)域傳播到靶區(qū)域中。(3)更新置信