數(shù)字影像相關(guān)

數(shù)字影像相關(guān)第一頁，共四十八頁，編輯于2023年，星期三核點：基線延長線與左、右像片的交點稱為核點。AS1S2l1a1a2l2§9-1核線影像一、基本概念核面：通過攝影基線與地面所作的平面稱為核面。核線：核面與像片面的交線稱為核線。第二頁，共四十八頁，編輯于2023年，星期三AS1S2l1a1a2l2§9-1核線影像沿核線方向，將航片的灰度重新排列，所形成的影像稱為核線影像。同名核線：同一核面與兩像片面的交線稱為同名核線。通過像主點的核面稱為主核面，通常左主核面與右主核面不重合。同名像點必然位于同名核線上。第三頁，共四十八頁，編輯于2023年，星期三§9-1核線影像二、同名核線的確定同名核線的確定歸結(jié)于取得同名核線上的像點坐標(biāo)，然后把左、右像片的同名核線上的諸點的灰度值按核線方向排列，形成核線影像。確定同名核線有兩種方法：（一）根據(jù)共面條件這種方法從核線定義出發(fā)，直接在傾斜像片上獲取同名核線。核線是一條直線。在左片上取一個像點a(xa，ya)，要確定過a的核線l，需再確定其上的另一點b。要確定右片上l的同名核線l′，需要確定l′上的兩個點a′、b′。這里a、a′或b、b′不要求是同名像點。第四頁，共四十八頁，編輯于2023年，星期三§9-1核線影像如右圖，在左片上選定一像點a，現(xiàn)要確定過a的核線l和右片上的同名核線l′。設(shè)b點為l上的任一點，由圖知，SS′

、Sa、Sb三線共面：若采用單獨像對基線系，有：第五頁，共四十八頁，編輯于2023年，星期三§9-1核線影像像空輔坐標(biāo)與像空間坐標(biāo)之間的轉(zhuǎn)換關(guān)系為：將共面條件式展開，有：而：第六頁，共四十八頁，編輯于2023年，星期三§9-1核線影像則有：當(dāng)給定xb，由上式就可求得yb。當(dāng)有了a、b兩點坐標(biāo)，就可得到過a點的左核線了。第七頁，共四十八頁，編輯于2023年，星期三§9-1核線影像同理，a和a′應(yīng)位于同一核面內(nèi)，則有：最后得到a′的直線方程為：這樣就可得到a′的坐標(biāo)，再可求得b′的坐標(biāo)。這樣l′也可得到。第八頁，共四十八頁，編輯于2023年，星期三§9-1核線影像（二）基于數(shù)字影像幾何糾正的核線關(guān)系傾斜航片上的核線相交于核點，當(dāng)航片對平行于基線的平面投影時，水平像片上的核線相互平行，且平行于x軸。第九頁，共四十八頁，編輯于2023年，星期三§9-1核線影像則傾斜像片上像點(x,y)與水平像片上像點(xt,yt)的關(guān)系為：式中ai、bi、ci為傾斜像片P相對于攝影基線的方位元素的函數(shù)。在水平像片上同名核線上的點的yt坐標(biāo)為常數(shù)，將yt=c帶入上式，有：第十頁，共四十八頁，編輯于2023年，星期三§9-1核線影像在水平像片上取一些等間隔點，帶入x、y的公式中，就可得到一些列的像點坐標(biāo)(x,y)，這些點就位于傾斜影像的核線上，將這些點的灰度直接賦給水平影像上的相應(yīng)像點，就可獲得水平影像上的核線。由于水平影像對上，同名核線的v坐標(biāo)相等，因此將v′=c帶入右影像共線方程中，就可獲得右影像上的同名核線。此方法的實質(zhì)就是數(shù)字糾正，將傾斜影像上的核線投影到水平像片上，求得水平影像上的同名核線。第十一頁，共四十八頁，編輯于2023年，星期三§9-1核線影像三、生成核線影像1、直接在傾斜影像上獲取核線影像在求出了核線后，就可得到核線的斜率K，在核線上根據(jù)一個起點即K，就能確定核線在傾斜影像上的位置，這樣就能獲得沿核線方向排列的影像。第十二頁，共四十八頁，編輯于2023年，星期三§9-1核線影像2、在“水平”影像上獲取核線影像從水平核線影像上，根據(jù)公式獲取傾斜影像上對應(yīng)核線上的點的坐標(biāo)，由于所求得的像點不一定恰好位于原始采樣像元中心，如圖，這時可通過重采樣來獲取灰度值，再把像元的灰度值填回“水平”影像。第十三頁，共四十八頁，編輯于2023年，星期三攝影測量中立體像對的量測是提取地物三維信息的基礎(chǔ)。在數(shù)字?jǐn)z影測量中，是以影像匹配代替?zhèn)鹘y(tǒng)的人工觀測，來達(dá)到自動確定同名像點的目的的。最初的影像匹配采用了相關(guān)技術(shù)，因而也稱影像匹配為影像相關(guān)，實際上影像相關(guān)只是影像匹配方法的一種。影像相關(guān)是利用相關(guān)函數(shù)，評價兩塊影像的相似性以確定同名點。即先取出以待定點為中心的小區(qū)域中的影像信號，然后取出另一影像中相應(yīng)區(qū)域的影像信號，計算兩者的相關(guān)函數(shù)，以相關(guān)函數(shù)最大值的相應(yīng)區(qū)域的中心點作為同名像點?！?-2影像相關(guān)原理第十四頁，共四十八頁，編輯于2023年，星期三一、二維影像相關(guān)二維相關(guān)時，一般在左影像上先確定一個待定點，作為目標(biāo)點，以待定點為中心，選取m×n個像素的灰度矩陣作為目標(biāo)區(qū)域。為了在右影像上搜索同名點，必須估計出該同名點可能存在的范圍，建立一個k×l（k>m,l>n）個像素的灰度矩陣作為搜索區(qū)，相關(guān)的過程就是依次在搜索區(qū)中取出m×n個像素灰度矩陣，計算其與目標(biāo)區(qū)的相似性測度，當(dāng)相似性測度取得最大值時，該搜索窗口的中心像素被認(rèn)為是同名點?！?-2影像相關(guān)原理第十五頁，共四十八頁，編輯于2023年，星期三二、一維相關(guān)一維相關(guān)是在核線影像山進行的。由于同名像點必然位于同名核線上，那么就可以沿著同名核線搜索同名像點。這樣就將二維相關(guān)變成一維相關(guān)，大量節(jié)省搜索時間。理論上目標(biāo)區(qū)域和搜索區(qū)域均可以是一維窗口，但是為了保證相關(guān)結(jié)果的可靠性，應(yīng)有較多的樣本進行估計，因而目標(biāo)窗口中的像素不應(yīng)太少。因此一維相關(guān)目標(biāo)區(qū)選以待定點為中心的m×n個像素的窗口，此時搜索區(qū)為m×l（l>n）個像素的灰度陣列，搜索工作只在一個方向上進行?！?-2影像相關(guān)原理第十六頁，共四十八頁，編輯于2023年，星期三同名點的確定是以匹配測度為基礎(chǔ)的，因而如何定義匹配測度，則是影像匹配最首要的任務(wù)。在各種實現(xiàn)算法中，基于統(tǒng)計理論的一些基本方法得到了較廣泛的應(yīng)用?！?-3數(shù)字影像匹配的基本算法若影像匹配的目標(biāo)窗口灰度矩陣為G(gi,j)(i=1,2,…,m,j=1,2,…,n)，m和n是G的行列數(shù)。與G相應(yīng)的灰度函數(shù)為g(x,y)，(x,y)∈D，將G中元素排成一行，構(gòu)成一個N=m·n的目標(biāo)向量X=(x1,x2,…,xN)。搜索區(qū)灰度矩陣為G'(g'i,j)(i=1,2,…,k,j=1,2,…,l)，與G'相對應(yīng)的灰度函數(shù)為g'(x',y')，G'中任意一個N=m·n的子塊構(gòu)成搜索向量，記為Y=(x1,x2,…,xN)。第十七頁，共四十八頁，編輯于2023年，星期三1、相關(guān)函數(shù)（矢量數(shù)積）對于離散灰度數(shù)據(jù)來說，g(x,y)與g'(x',y')的相關(guān)函數(shù)定義為：§9-3數(shù)字影像匹配的基本算法式中，r、c為目標(biāo)區(qū)中心像素的行列號。若R(c0,r0)>R(c,r)，則c0,r0為搜索區(qū)影像相對于目標(biāo)區(qū)影像的位移行、列參數(shù)。第十八頁，共四十八頁，編輯于2023年，星期三相關(guān)函數(shù)的估計值就是矢量X與Y的數(shù)積：§9-3數(shù)字影像匹配的基本算法在N維空間{y1,y2,…,yN}中，R=(x·Y)是y1,y2,…,yN的線性函數(shù)，第十九頁，共四十八頁，編輯于2023年，星期三當(dāng)N=2時，R=x1y1+x2y2是二維平面上垂直于X的一條直線。設(shè)X、Y的模為|X|、|Y|，夾角為θ，則§9-3數(shù)字影像匹配的基本算法因目標(biāo)向量X為已知常數(shù)，故相關(guān)函數(shù)最大等價于Y在X上的投影最大。第二十頁，共四十八頁，編輯于2023年，星期三2、協(xié)方差函數(shù)（矢量投影）協(xié)方差函數(shù)是中性化的相關(guān)函數(shù)，g(x,y)與g‘(x’,y‘)的協(xié)方差函數(shù)定義為：§9-3數(shù)字影像匹配的基本算法若C(c0,r0)>C(c,r)，則c0,r0為搜索區(qū)影像相對于目標(biāo)區(qū)影像的位移行、列參數(shù)。第二十一頁，共四十八頁，編輯于2023年，星期三設(shè)，，令§9-3數(shù)字影像匹配的基本算法,矢量是X在矢量E上的投影，X，與X’構(gòu)成直角三角形，X是斜邊。同理，Y，與Y’也具有相同的關(guān)系。第二十二頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法協(xié)方差函數(shù)的估計值即X’與Y’的數(shù)積：由于C是Y’在X’的投影與X’的長之積，因而協(xié)方差測度等價于Y’在X’的投影最大，而在二維空間中是平行于或E的一條直線。第二十三頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法3、相關(guān)系數(shù)（矢量夾角）相關(guān)系數(shù)是標(biāo)準(zhǔn)化的協(xié)方差函數(shù)，協(xié)方差函數(shù)除以兩信號的方差，既得相關(guān)系數(shù)：第二十四頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法相關(guān)系數(shù)的估值最大，等價于矢量X’與Y’的夾角最小。第二十五頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法4、差平方和（差矢量模）差平方和的計算公式為：若S2(c0,r0)>S2(c,r)，則c0，r0為搜索區(qū)影像相對于目標(biāo)區(qū)影像的位移行、列參數(shù)。第二十六頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法兩影像窗口灰度差平方和即灰度向量X與Y的差矢量X-Y的模的平方和。它是N維空間點Y與點X之間距離的平方。故差平方和最小等于N維空間點Y與點X的距離最小。當(dāng)N=2時，S2=(x1-x2)2+(y1-y2)2=min是二維平面上的一個圓。第二十七頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法5、差絕對值和（差矢量分量絕對值和）g(x,y)與g’(x’,y’)的差絕對值和為：兩影像窗口灰度差絕對值和即矢量X與Y之差矢量X-Y之分量的絕對值之和。第二十八頁，共四十八頁，編輯于2023年，星期三§9-3數(shù)字影像匹配的基本算法當(dāng)N=2時，S=|x1-y1|+|x2-y2|=min是二維平面上以(x1,y1)為中心，邊長為21/2S、對角線與坐標(biāo)軸平行的一個正方形。第二十九頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配最小二乘影像匹配(LSM)由德國Ackermann教授提出的。該方法充分利用了影像窗口內(nèi)的信息進行平差計算，使影像匹配可以達(dá)到1/10甚至1/100像素的高精度，即影像精度可達(dá)子像素等級。LSM可以非常靈活領(lǐng)入各種已知參數(shù)和條件，從而可以進行整體平差。它不僅可以解決“單點”的影像匹配問題，以求其“視差”；也可以直接解求其空間坐標(biāo)；而且可以同時解求待定點的坐標(biāo)與影像的外方位元素；還可以同時解決“多點”影像匹配或“多片”影像匹配。另外，在LSM系統(tǒng)中可以很方便地引入“粗差檢測”，從而大大提高影像匹配的可靠性。第三十頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配一、最小二乘影像匹配原理上節(jié)我們學(xué)過的判斷相似性測度中，差平方和最小。將灰度差記為v，則上述判斷為：這種思想與最小二乘法的原則是一致的，但它僅僅認(rèn)為影像灰度只存在偶然誤差（隨即噪聲），沒有考慮影像灰度中存在著系統(tǒng)誤差。即：第三十一頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配這就是一般的按照差平方和最小原則進行影像匹配的數(shù)學(xué)模型，若在此系統(tǒng)中引入系統(tǒng)變形的參數(shù)，就構(gòu)成了最小二乘影像匹配系統(tǒng)。影像灰度的系統(tǒng)變形可分為輻射畸變和幾何畸變。產(chǎn)生輻射變形的原因有照明及被攝物體輻射面的方向、大氣與攝影機物鏡所產(chǎn)生的衰減、攝影處理條件的差異以及影像數(shù)字化過程中所產(chǎn)生的誤差。產(chǎn)生幾何變形的原因主要有攝影機方位不同所產(chǎn)生的影像的透視畸變、影像的各種畸變以及由于地形坡度所產(chǎn)生的影像畸變。在近似豎直攝影下，地形高差是幾何畸變的主要因素，因此，陡峭的山區(qū)的影像匹配要比平坦地區(qū)影像匹配困難。第三十二頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配1、僅考慮輻射的線性畸變的最小二乘匹配（相關(guān)系數(shù)法）假定灰度分布g2相對于另一灰度分布g1存在著線性畸變，則它們之間的表達(dá)式為：其中，h0，h1為畸變參數(shù)，ni為隨即噪聲，按上式可列出最小二乘匹配的數(shù)學(xué)模型為：第三十三頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配上式在的條件下可得法方程式為：解法方程可得：第三十四頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配假定對g1，g2作過中心化處理，即：則：則在消除了兩個灰度分布系統(tǒng)的輻射畸變后，其殘余灰度差平方和為：第三十五頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配因為相關(guān)系數(shù)的平方為：則有：其中是噪聲的功率，是信號的功率，則信噪比為：由此可知，以相關(guān)系數(shù)最大作為影像匹配搜索同名點的準(zhǔn)則，其實質(zhì)是搜索信噪比為最大的灰度序列。第三十六頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配2、僅考慮影像相對位移餓一維最小二乘匹配上面的方法僅僅考慮輻射畸變，而影像匹配的主要目的是確定影像的相對位移，尋找同名點。因此在最小二乘影像匹配中，可引入幾何變形參數(shù)，直接解算影像位移。假設(shè)兩個一維灰度函數(shù)g1(x)，g2(x)，除隨即噪聲n1和n2外，g2還相對于g1存在零次幾何變形，兩者的關(guān)系為：將Δx作為未知數(shù)，對上式列誤差方程式為：第三十七頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配對于離散的數(shù)字影像而言，灰度函數(shù)的導(dǎo)數(shù)可表示為：按最小二乘原理，解得影像的相對位移為：此方法中，在取得初匹配結(jié)果后，解算Δx，加到初始值上，反復(fù)迭代。第三十八頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配二、單點最小二乘影像匹配兩個二維影像之間的幾何變形不僅存在著相對移位，還存在著圖形變形。在立體像對中，左影像上為矩形的影像窗口，在右影像上可能是個任意四邊形。因此只有充分考慮影像的幾何變形，才能獲得最佳的影像匹配。由于影像匹配窗口的尺寸很小，一般只考慮一次畸變：第三十九頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配若同時考慮到右影像相對于左影像的線性灰度畸變，則有：將上式線性化，得到最小二乘影像匹配的誤差方程式為：第四十頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配觀測值Δg是相應(yīng)像素的灰度值，誤差方程式的系數(shù)為：上式中，dh0,dh1,…,db2等8個是待定參數(shù)的改正數(shù)，是未知數(shù)，它們的初值分別為：第四十一頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配按上式逐個像元建立誤差方程式，矩陣表示為：V=CX-L，未知數(shù)為：將上式線性化，得到最小二乘影像匹配的誤差方程式為：由誤差方程式可建立法方程：第四十二頁，共四十八頁，編輯于2023年，星期三§9-4最小二乘影像匹配最小二乘影像匹配的迭代過程為：1、幾何變形改正。根據(jù)幾何變形改正參數(shù)ai、bi的初始值，將左影像窗口的影像坐標(biāo)變換