基于國產(chǎn)高分遙感影像的條帶拼接及配準(zhǔn)融合算法研究

1、公路年月第期文章編號：（）中圖分類號：文獻(xiàn)標(biāo)識碼：基于國產(chǎn)高分遙感影像的條帶拼接及配準(zhǔn)融合算法研究劉惠彬，劉曉東，楊璇（上海工程技術(shù)大學(xué)電子電氣工程學(xué)院上海市；中交宇科（北京）空間信息技術(shù)有限公司北京市）摘要：針對國產(chǎn)遙感衛(wèi)星受硬件水平所限，定軌定姿精度較差，成像幾何質(zhì)量較低等現(xiàn)實問題，以我國衛(wèi)星影像為研究處理對象，解決多影像聯(lián)合自動匹配、子線陣影像自動拼接、全色與多光譜影像智能融合等關(guān)鍵技術(shù)，為影像在交通行業(yè)應(yīng)用奠定了堅實的技術(shù)基礎(chǔ)。關(guān)鍵詞：遙感影像；條帶拼接；配準(zhǔn)；融合衛(wèi)星遙感作為人類獲取地球系統(tǒng)數(shù)據(jù)和認(rèn)知地球系統(tǒng)的重要手段，已經(jīng)廣泛應(yīng)用于國土資源遙感、環(huán)境與大氣探測、應(yīng)急監(jiān)測、國防軍事等

2、諸多領(lǐng)域。在現(xiàn)有技術(shù)體系下，遙感衛(wèi)星的關(guān)鍵處理依賴于硬件水平、軌道和姿態(tài)精度，但國產(chǎn)遙感衛(wèi)星受硬件水平所限，定軌定姿精度較低，缺乏與國外遙感衛(wèi)星抗衡的核心競爭力，應(yīng)用水平受到制約。針對高分（辨率）遙感影像在交通行業(yè)的應(yīng)用，筆者在實驗過程中發(fā)現(xiàn)主要存在如下兩個問題。（）條帶影像拼接：受硬件水平所限，通常為保證一定幅寬，獲取的高分辨率衛(wèi)星影像是由安置在成像面上多條陣列影像拼接而成，子陣列的拼接需要使用子條帶影像間的連接點進(jìn)行檢校。理論上拼接只在參考高度上是正確的。但是對大多數(shù)傳感器而言，上述拼接誤差都足夠小，可以忽略不計。例如對于影像來說，偏離參考高度可能造成個像素的拼接誤差。國內(nèi)學(xué)者對國產(chǎn)衛(wèi)星的

3、多子線陣影像拼接進(jìn)行了很多研究，一般都是基于地物成像的連續(xù)性假設(shè)，先建立圖像配準(zhǔn)連接點對，通過構(gòu)建子線陣影像間像點坐標(biāo)映射關(guān)系進(jìn)行拼接的。采用這種方法獲得的拼接后影像并不滿足原有線陣的嚴(yán)密成像模型，定位的相對精度較差，一般在個像素左右，遠(yuǎn)遠(yuǎn)不能滿足高精度的要求。（）影像配準(zhǔn)融合：隨著高空間分辨率、高光譜分辨率、多種類傳感器的不斷發(fā)展（如、）等，我們可直接獲得地面物體的形狀、大小、位置、性質(zhì)及環(huán)境相互關(guān)系等地面目標(biāo)的特征信息。面對新的高分辨率數(shù)據(jù)類型，今后的研究工作應(yīng)對現(xiàn)有各種融合方法的原理、特點進(jìn)行綜合分析，應(yīng)利用小波分析、神經(jīng)網(wǎng)絡(luò)等理論，致力于發(fā)展更為有效而且可靠的新的融合技術(shù)，以適合于新型

4、數(shù)據(jù)自身融合的方法及高分辨率（）與低分辨率（，甚至更低）數(shù)據(jù)間的融合處理技術(shù)，充分有效地利用不同尺度、不同時相、不同類型的海量遙感數(shù)據(jù)。盡管目前的融合算法很多，但是缺乏從特定應(yīng)用角度的融合算法設(shè)計。大多數(shù)算法沒有從物理機(jī)理和應(yīng)用目的進(jìn)行分析，而是依據(jù)圖像質(zhì)量的評價體系進(jìn)行設(shè)計和比較，這樣得到的結(jié)果不具有針對性，雖然圖像整體效果增強(qiáng)，但是不能滿足增強(qiáng)感興趣的信息的目的。本文通過研究基于高精度幾何檢校場的在軌幾何檢校，基于已知地理參考數(shù)據(jù)的遙感影像智能匹配和高精度定位，高分子線陣拼接，全色影像與多光譜影像的自動配準(zhǔn)與融合等關(guān)鍵技術(shù)，提高國產(chǎn)遙感衛(wèi)星的對地定位精度，改進(jìn)幾何成像質(zhì)量，并根據(jù)相關(guān)理論和

5、算法，研究國產(chǎn)遙感衛(wèi)星的幾何質(zhì)量改進(jìn)軟件模塊，最終為國產(chǎn)高分衛(wèi)星技術(shù)在交通行業(yè)的應(yīng)用提供國產(chǎn)遙感衛(wèi)星的高精度幾何檢校參數(shù)和定位參數(shù)、高質(zhì)量拼接影像和彩色融合影像。收稿日期：基本原理條帶影像拼接線陣影像的拼接可分為像方拼接與物方拼接兩種方式。若要在像方直接完成各影像的準(zhǔn)確拼接，必須在各影像間進(jìn)行匹配，通過匹配得到的同名點解算影像間的位置關(guān)系。但由于影像受到投影差的影響，對于高程起伏較大的區(qū)域，通過簡單的位置解算顯然無法實現(xiàn)影像的精確接邊。而高分辨率相機(jī)內(nèi)部之間像素重疊一般較小，也決定了僅僅通過該重疊范圍內(nèi)的匹配點很難正確解算出影像間復(fù)雜的幾何關(guān)系，因此先對影像進(jìn)行正射糾正處理，選擇在物方進(jìn)行拼接

6、是十分合理的。由于子線陣重疊區(qū)域過小，相互之間無法直接匹配定向，因此可利用已有的物方影像數(shù)據(jù)為基準(zhǔn)對高分辨率相機(jī)各影像進(jìn)行再定向，進(jìn)而實現(xiàn)基于物方的無縫拼接。該物方影像可以是高精度的地理參考影像，也可以是同衛(wèi)星同軌道的同時相影像。比如衛(wèi)星的影像再定向即是以該衛(wèi)星同時相的全色影像為基準(zhǔn)。以國產(chǎn)衛(wèi)星的高分辨率相機(jī)（相機(jī)）為例，其相機(jī)的焦平面與地面對應(yīng)關(guān)系如圖所示。要想獲取此類傳感器的標(biāo)準(zhǔn)景正射影像產(chǎn)品，需解決多個子線陣影像（影像）之間的拼接問題。下文將以衛(wèi)星的相機(jī)為例，介紹多子線陣影像的標(biāo)準(zhǔn)景正射影像制作方法。圖的相機(jī)焦平面與輸出數(shù)據(jù)的對應(yīng)關(guān)系子線陣影像的拼接可分為像方拼接與物方拼接兩種方式。若要

7、在像方直接完成各影像的準(zhǔn)確拼接，必須在各影像間進(jìn)行匹配，通過匹配得到的同名點解算影像間的位置關(guān)系。但由于影像受到投影差的影響，對于高程起伏較大的區(qū)域，通過簡單的位置解算顯然無法實現(xiàn)影像的精確接邊。而相機(jī)內(nèi)部之間個像素的重疊，也決定了僅僅通過該重疊范圍內(nèi)的匹配點很難正確解算出影像間復(fù)雜的幾何關(guān)系，因此先對影像進(jìn)行正射糾正處理，選擇在物方進(jìn)行拼接是十分合理的。由于子線陣重疊區(qū)域過小，相互之間無法直接匹配定向，因此可利用已有的物方影像數(shù)據(jù)為基準(zhǔn)對各影像進(jìn)行再定向，進(jìn)而實現(xiàn)基于物方的無縫拼接。該物方影像可以是高精度的地理參考影像，也可以是同衛(wèi)星同軌道的同時相影像。衛(wèi)星的影像再定向即是以該衛(wèi)星同時相的全

8、色影像為基準(zhǔn)。其處理過程主要分為四個步驟：首先進(jìn)行全色影像的對地精確定位，使其成為定向的物方基準(zhǔn)；其次進(jìn)行全色影像與各影像之間的匹配，得到兩者之間大量的同名點；再次根據(jù)全色影像的定向參數(shù)，將匹配的點位單片交會到數(shù)據(jù)上，獲取點位的物方三維坐標(biāo)，并將其作為控制點，對影像的初始定向參數(shù)進(jìn)行精化；最后基于有理函數(shù)模型（），利用各影像和全色上的同名點進(jìn)行像方與物方的模型關(guān)系解算，得到高擬合精度的有理多項式系數(shù)（）參數(shù)。完成再定向后，直接進(jìn)行子線陣影像的糾正、鑲嵌、羽化的同步處理。糾正至地面坐標(biāo)系后，各影像之間存在一定的重疊，其位置關(guān)系如圖所示。因此不同于對單張影像的正射糾正，正射影像在重疊區(qū)域存在一個地

9、面點與多個像方點對應(yīng)的情況，在糾正過程中要設(shè)法明確每一個地面點對應(yīng)的像方點（可能是一個點，也可能是存在于不同影像上的多個點），并從中選擇最適合的像點進(jìn)行灰度賦值，即可得到無縫拼接的正射影像。由于影像之間最多只存在二度重疊，所以僅在影像接邊處存在二選一的情況，如圖所示，當(dāng)?shù)孛纥c在和兩片影像上均存在對應(yīng)點時（由于兩片影像的定向參數(shù)精度并不完全一致，故像方的對應(yīng)點可能存在差別），通過比較、到其所在影像邊緣的距離、的值，可知點在像方距離哪一片影像更近，進(jìn)而決定從該影像上獲取灰度值。 公路 年第期圖片正射影像的位置關(guān)系圖重疊區(qū)域中地面點與像方點的對應(yīng)關(guān)系綜上，當(dāng)某地面點在兩片影像上均存在對應(yīng)點時，可得出

10、下式：（，）（，），（，），（）式中：（，）為正射影像上像點的灰度值；（，）為第片影像上對應(yīng)像點的灰度值；表示第片上的對應(yīng)像點到影像近端邊緣處的垂直距離。該方法得到的正射影像會在影像接邊處存在一定的灰度差異，能夠較明顯地觀察到鋸齒狀的鑲嵌線，因此需要對鑲嵌線附近的影像進(jìn)行羽化過渡處理。對已經(jīng)完成拼接的影像進(jìn)行羽化處理是一個繁瑣的過程，但若選擇在糾正拼接的過程中完成羽化過渡，只需采用距離加權(quán)法進(jìn)行改進(jìn)即可：（，）（，），（，），（）（，）（）（，）， 烅烄烆（）式中：（），可理解為像方點到“鑲嵌線”的距離；為羽化過渡區(qū)域的寬度。全色多光譜影像配準(zhǔn)與融合實現(xiàn)國產(chǎn)衛(wèi)星全色影像與多光譜影像的融合，其關(guān)

11、鍵技術(shù)在于如何實現(xiàn)在整景范圍內(nèi)，不同分辨率的多光譜影像和全色影像的高精度配準(zhǔn)。在實際處理數(shù)據(jù)過程中，因為受到衛(wèi)星抖動、行時不準(zhǔn)確等諸多因素的影響，全色與多光譜影像之間的相對位置往往很難保持較高精度水平。分辨率的不一致與相對位置關(guān)系的不確定，對影像之間的高精度配準(zhǔn)帶來較大影響。另一方面，國產(chǎn)衛(wèi)星影像由于當(dāng)前探測器制作工藝和技術(shù)的限制，衛(wèi)星成像系統(tǒng)的光譜響應(yīng)存在一些偏差，全色多光譜影像融合前，需要進(jìn)行一定的輻射處理，消除波段之間的強(qiáng)度不一問題、增強(qiáng)影像的清晰度、同時需要對融合算法進(jìn)行研究，找到適合國產(chǎn)衛(wèi)星數(shù)據(jù)的影像融合算法。為解決多尺度影像數(shù)據(jù)產(chǎn)品的配準(zhǔn)與融合問題所采取的技術(shù)路線如圖所示。圖多尺度

12、影像配準(zhǔn)與融合技術(shù)路線示意首先，為解決尺度差異問題，將影像采用上一步的幾何糾正方法糾正到同一尺度下，并創(chuàng)建糾正影像縮略圖；其次，將縮略圖通過特征匹配算法進(jìn)行匹配，利用匹配結(jié)果計算后續(xù)匹配的預(yù)測值；再次，提取待匹配影像上的特征點，利用匹配預(yù)測值，以一定的搜索范圍進(jìn)行灰度相關(guān)，并在灰度相關(guān)結(jié)果的基礎(chǔ)上進(jìn)行最小二乘匹配；然后，在影像局部小范圍內(nèi)，充分顧及匹配點位之間的相互聯(lián)系，利用移動曲面法進(jìn)行匹配點粗差剔除；最后，將匹配點采用基于年第期劉惠彬等：基于國產(chǎn)高分遙感影像的條帶拼接及配準(zhǔn)融合算法研究泰森多邊形算法構(gòu)建不規(guī)則三角網(wǎng)，利用對應(yīng)三角形上的匹配點構(gòu)建局部區(qū)域的仿射變換模型進(jìn)行兩幅影像的配準(zhǔn)糾正，

13、同時進(jìn)行信息融合，最終得到多尺度影像的信息融合產(chǎn)品。（）粗匹配。由于受到衛(wèi)星姿態(tài)軌道參數(shù)、相機(jī)參數(shù)以及數(shù)據(jù) 精 度 的 影 響，正 射 糾 正 之 后 得 到 兩 幅的精度往往并不一致，這導(dǎo)致兩幅影像上的同名點坐標(biāo)存在差異，無法直接進(jìn)行影像融合。對于同名點坐標(biāo)差距達(dá)到幾百個像素的影像，如果直接利用坐標(biāo)預(yù)測進(jìn)行灰度匹配，則需要設(shè)置非常大的搜索窗口才有可能找到同名點，這樣將極大延長匹配用時，也將降低匹配結(jié)果的可靠性。特征匹配算法無需進(jìn)行區(qū)域搜索，其匹配結(jié)果在剔除粗差后具有很高的可靠性。故在進(jìn)行基于灰度相關(guān)的影像匹配之前，首先采用算法對影像縮略圖進(jìn)行粗匹配。雖然這種方法計算量大、相較灰度匹配更加耗時

14、，并不適合直接用于像幅較大的衛(wèi)星遙感影像之間的匹配，但是這種劣勢反映到影像縮略圖上則基本可以忽略不計。如圖所示為對兩幅衛(wèi)星的全色與多光譜正射影像縮略圖的匹配結(jié)果。圖全色與多光譜影像縮略圖粗匹配結(jié)果（）相關(guān)系數(shù)法與最小二乘匹配。在進(jìn)行精匹配之前，需要對影像做以下兩個方面處理：首先，將多光譜影像灰度化，并采用濾波器對全色影像與灰度化的多光譜影像進(jìn)行增強(qiáng)，這樣不僅可以消除影像灰度尺度的不一致，同時可提高影像的信噪比，從而保證影像特征在灰度空間的高相關(guān)性；其次，采用改進(jìn)的算子提取子像素級特征點，通過設(shè)置合理的閾值將影像劃分為格網(wǎng)，可以提取得到均勻分布的特征點。然后以相關(guān)系數(shù)為相似性測度進(jìn)行影像精匹配。

15、相關(guān)系數(shù)法是一種常用的在空間域中直接利用像元灰度進(jìn)行相關(guān)的算法。對于兩個圖像子窗口構(gòu)成的灰度矩陣而言，其相關(guān)系數(shù)（，）定義如下：（，）（，）（，）（，）·（，）槡（）式中：，為參考圖像子窗口中（，）處的像素灰度值；，為匹配圖像中以參考點（，）為中心的搜索區(qū)域（，）處的像素灰度值；、為窗口內(nèi)的平均值?；谙嚓P(guān)系數(shù)法的影像匹配結(jié)果只能達(dá)到像素級精度，以其匹配結(jié)果為初值再進(jìn)行最小二乘匹配，將能達(dá)到子像素級的匹配精度。最小二乘影像匹配的基本思想，即在影像匹配中引入影像間的幾何變形參數(shù)與輻射畸變參數(shù)，同時按最小二乘的原則解求這些參數(shù)。由于影像匹配窗口的尺寸均很小，所以一般只考慮一次畸變：（）式

16、中：，為左片像點坐標(biāo)；，為右片像點坐標(biāo)；，（，）為變形參數(shù)。同時再考慮到右方影像相對于左方影像的線性灰度畸變，則可得：（，）（，）（，）（，） （）最小二乘影像匹配的具體步驟如下。幾何變形改正。根據(jù)幾何變形改正參數(shù)，由式（）將左方影像窗口的影像坐標(biāo)變換至右方影像陣列。重采樣。由于換算所得的坐標(biāo)，一般不可能是右方影像陣列中的整數(shù)行列號，因此重采樣是必須的，由重采樣獲得（，）。一般來說，重采樣可采用雙線性內(nèi)插。輻射畸變改正。利用由最小二乘影像匹配所求得輻射畸變改正參數(shù)，對上述重采樣的結(jié)果作輻射改正：·（，）。根據(jù)左、右灰度陣列（，）和·（，），計算左、右影像匹配窗口中的相關(guān)系數(shù)

17、，判斷是否需要繼續(xù)迭代。一般來說，若相關(guān)系數(shù)小于前一次迭代后所求得的相關(guān)系數(shù)，則可認(rèn)為迭代結(jié)束，也可根據(jù)幾何變形參數(shù)是否小于某個預(yù)定的 公路 年第期閾值判斷迭代是否結(jié)束。若迭代結(jié)束，轉(zhuǎn)至步驟。采用最小二乘影像匹配，解求變形參數(shù)的改正值：，。計算變形參數(shù)：，轉(zhuǎn)至步驟。計算最佳匹配點位置。根據(jù)最小二乘匹配的精度理論可知：匹配精度取決于影像灰度的梯度·，·。因此，可用梯度的平方為權(quán)，在左方影像窗口內(nèi)對坐標(biāo)做加權(quán)平均：··· ···（）（）匹配點粗差剔除。無論是基于特征的粗匹配，還是基于灰度的精匹配，其匹配結(jié)果都必須進(jìn)行粗

18、差剔除以保證其可靠性。在將原始影像糾正為之后，影像匹配的粗差剔除需要解決三個方面的問題：一是線陣列成像時刻的外方位元素是以掃描行為單元記錄的，在大范圍影像的糾正過程中，各掃描行影像的外方位元素變化比較大；二是目前線陣的制作工藝水平有限，探元的畸變會使得像元產(chǎn)生不規(guī)則的變形；三是不同傳感器在成像時刻的系統(tǒng)誤差是不同的，在配準(zhǔn)處理中這種系統(tǒng)誤差也無法通過傳統(tǒng)的策略進(jìn)行抵消。因此，很難有一種嚴(yán)格的數(shù)學(xué)模型來精確描述影像之間的幾何關(guān)系，以便作為影像匹配粗差剔除的依據(jù)。分析上述幾個方面的問題，不難看出，在融合影像的局部小范圍內(nèi)，若充分顧及匹配點位之間的相互聯(lián)系，并進(jìn)一步消除成像系統(tǒng)誤差，才能得到近似滿足

19、同名像點投影關(guān)系的數(shù)學(xué)模型，進(jìn)而對匹配粗差進(jìn)行有效剔除。如圖所示，假設(shè)有像點和是相對于點的兩個可能的匹配結(jié)果，在各點所在的曲面上，實心點位為待定點，空心點位為關(guān)系點。將待定點與其附近的關(guān)系點構(gòu)建三角網(wǎng)之后可以看到，圖（）中點與圖（）中點為正確匹配點，盡管圖（）與圖（）存在畸變，通過局部模型變換可以將這種畸變消除；此時若出現(xiàn)圖（）中的錯誤匹配點，則通過比較局部模型誤差可以探測出該粗差。綜上所述，本文剔除粗差的具體算法可分為以下幾步：依據(jù)任一影像的像點坐標(biāo)構(gòu)建匹配點集的三角網(wǎng)結(jié)構(gòu)；采用移動曲面擬合的思想，在三角網(wǎng)上進(jìn)行有限曲面遍歷，利用曲面上的關(guān)系點進(jìn)行模型解算，并對曲面上待定點進(jìn)行估計；統(tǒng)計曲面

20、上關(guān)系點的規(guī)律，并根據(jù)統(tǒng)計結(jié)果進(jìn)行待定點估計的判定，從而決定待定點是否為粗差；重復(fù)第一步到第三步，直至所有點位滿足局部幾何關(guān)系，算法結(jié)束。圖影像匹配粗差剔除示意（）影像配準(zhǔn)融合。常用的影像融合方法有變換法、變換法、高通濾波法、小波變換法以及線性加權(quán)法。以變換法為例，變換法算法較為簡單，常用于進(jìn)行衛(wèi)星影像的融合處理。其具體處理步驟如下。取多光譜圖像用于融合的三個波段數(shù)據(jù)，對其進(jìn)行變換，得到顏色空間中圖像的亮度（）、色調(diào)（）和飽和度（）三個分量。將變換后得到的分量用高分辨率全色圖像的亮度分量替換。將，進(jìn)行反變換，生成融合圖像。此外，不正確的匹配點對會造成融合后的影像上對應(yīng)區(qū)域產(chǎn)生明顯的重影現(xiàn)象，從

21、以下融合結(jié)果來看并沒有產(chǎn)生該現(xiàn)象，說明在經(jīng)過粗差剔除之后，匹配結(jié)果中已經(jīng)基本不含錯誤點。多組試驗表明，以上方案能夠在正射影像定位精度不穩(wěn)定的情況下實現(xiàn)影像精配準(zhǔn)，其配準(zhǔn)精度達(dá)到子像素級。試驗及結(jié)果分析條帶影像拼接圖所示為衛(wèi)星相機(jī)的片原始影像與處理后得到的標(biāo)準(zhǔn)景正射影像結(jié)果，圖所示為羽化前后的接邊區(qū)域的對比。數(shù)據(jù)的部分波段（的第、波段）存在條帶效應(yīng)，一般認(rèn)為條帶效應(yīng)是由于傳感器上不同探測單元對同一地物場景的不同探測相應(yīng)度造成的，因此需要對邊緣進(jìn)行羽化，圖是羽化后的效果。多源遙感影像配準(zhǔn)及融合圖所示為試驗數(shù)據(jù)的匹配點，以紅年第期劉惠彬等：基于國產(chǎn)高分遙感影像的條帶拼接及配準(zhǔn)融合算法研究圖衛(wèi)星的原始

22、影像與處理后得到的正射影像圖衛(wèi)星正射影像拼接結(jié)果色標(biāo)記的點為被剔除掉的粗差點。匹配搜索窗口大小為×，匹配窗口大小為×，相關(guān)系數(shù)閾值為。經(jīng)統(tǒng)計，整景影像的匹配點為個，其中正確點個，誤匹配率極低。利用前述方法對誤匹配點進(jìn)行剔除后，可得到大量均勻分布的正確同名點。圖試驗影像匹配結(jié)果圖為對衛(wèi)星的全色影像與多光譜影像數(shù)據(jù)進(jìn)行處理后得到的高分辨率彩紅外正射影像?？梢钥吹?，無論是飛機(jī)的機(jī)翼還是建筑物的棱角等影像細(xì)節(jié)都表現(xiàn)出良好的融合效果。融合后的彩紅外影像既能清晰地表達(dá)地物的細(xì)節(jié)特征，同時又具備較為豐富的光譜信息，應(yīng)用價值較高。圖衛(wèi)星高分辨率彩紅外結(jié)果圖為利用國產(chǎn)高分號衛(wèi)星影像全色和多光譜數(shù)據(jù)進(jìn)行配準(zhǔn)融合后的結(jié)果，可以看到融合后道路的幾何紋理及光譜信息都大大增加了，在交通領(lǐng)域具有廣闊的應(yīng)用前景。結(jié)論及展望本文研究國產(chǎn)高分衛(wèi)星遙感影像條帶拼