一種城區(qū)航空影像與機(jī)載lidar點云自動配準(zhǔn)算法

一種城區(qū)航空影像與機(jī)載lidar點云自動配準(zhǔn)算法

1基于點、線相似不變性的自動配準(zhǔn)算法航空圖像具有豐富的含義信息，是地物提取中最大的數(shù)據(jù)來源之一。由于缺乏直接的三維信息，使用圖像進(jìn)行數(shù)據(jù)處理有一定的限制。機(jī)載激光雷達(dá)(airbornelightdetectionandranging,LiDAR)是一種新型的航空對地觀測傳感器,具有主動觀測、受天氣影響小、不受陰影影響、對地物間縫隙有一定穿透性并能直接獲取地表三維幾何信息等優(yōu)點。將航空影像和LiDAR點云配準(zhǔn)、融合,可同時獲取地物的空間信息及語義信息,有效彌補了單一數(shù)據(jù)源的不足,在災(zāi)害評估、真正射影像制作、道路、建筑物自動建模等領(lǐng)域有很大的應(yīng)用前景。與傳統(tǒng)配準(zhǔn)算法不同,航空影像與機(jī)載LiDAR點云的配準(zhǔn),是二維與三維數(shù)據(jù)、連續(xù)影像與離散點云之間的配準(zhǔn)問題,傳統(tǒng)影像之間的配準(zhǔn)方法收效甚微。近10年來,國內(nèi)外學(xué)者對其進(jìn)行了一定的研究,大致可以歸結(jié)為3類算法。①通過航空影像密集匹配獲取三維點集,然后通過ICP(iterativeclosestpoint)或其改進(jìn)方法建立其與機(jī)載LiDAR點云的對應(yīng)關(guān)系,這本質(zhì)上是一種3D-3D配準(zhǔn)變換。這類算法無法進(jìn)行單張影像與點云的配準(zhǔn),同時密集匹配生成點云的過程會降低配準(zhǔn)精度。②將LiDAR點云按照高程或強度轉(zhuǎn)換為二維影像,再依據(jù)傳統(tǒng)的圖像配準(zhǔn)方法實現(xiàn)兩種數(shù)據(jù)的配準(zhǔn)。如基于互信息的全局配準(zhǔn)方法、基于SIFT(scaleinvariantfeaturetransform)算子的配準(zhǔn)方法、基于FFT變換的算法、6元組松弛法等。這類算法充分利用了原有的成熟圖像配準(zhǔn)算法,自動化程度高,然而規(guī)則化過程中的誤差、點位選取不準(zhǔn)的誤差,都會降低配準(zhǔn)精度。③部分學(xué)者嘗試建立遙感影像與機(jī)載LiDAR點云之間的直接配準(zhǔn)模型。文獻(xiàn)[15—16]用直線特征或平面特征建立遙感影像與激光點云的直接映射關(guān)系。文獻(xiàn)將空間三維點采用參數(shù)方程和輔助變量聯(lián)合表示,通過擴(kuò)展的共線方程,建立起二維影像點(2D)與的點云空間三維直線(3D)的直接映射關(guān)系,避免了LiDAR空間點位選取不準(zhǔn)的誤差、點云內(nèi)插誤差以及密集匹配的誤差,配準(zhǔn)模型嚴(yán)密、簡單,具有一定的推廣價值。該算法的自動化程度取決于配準(zhǔn)基元的選取與匹配的自動化程度,需要進(jìn)一步的研究。基于上述分析,本文綜合第2類和第3類算法的優(yōu)點,提出一種基于點、線相似不變性的自動配準(zhǔn)算法。首先,將點云內(nèi)插成強度影像(和取反的強度影像),通過SIFT算法提取足夠多的匹配點對,并實現(xiàn)點云與影像的粗配準(zhǔn);同時分別基于點云和航空影像提取邊緣特征,并通過一定規(guī)則將一條較長的邊緣自動的分割為若干較短的邊緣直線;然后利用局部區(qū)域中點特征與線特征的相似不變性,通過匹配點對搜索匹配直線對;最后采用基于擴(kuò)展共線方程的2D-3D嚴(yán)密配準(zhǔn)模型實現(xiàn)航空影像與LiDAR點云的精配準(zhǔn)。技術(shù)流程如圖1所示。2旋轉(zhuǎn)法影像與常規(guī)影像的對比SIFT算法通過在DOG尺度空間尋找極值點作為特征點,并在鄰域計算梯度直方圖作為該點的局部特征描述符,它能夠較好地克服兩幅影像因旋轉(zhuǎn)、比例尺不一以及光源不同導(dǎo)致的差異。本文采用文獻(xiàn)的建議,分別利用LiDAR點云內(nèi)插距離影像、強度影像和取反后的強度影像與遙感圖像進(jìn)行匹配,提取足夠多的匹配點,并利用RANSAC算法消除錯配,最后對所有匹配點按可靠性進(jìn)行排序,選擇可靠性較高的匹配點,基于DLT模型進(jìn)行粗配準(zhǔn)。3線屬性的提取3.1精確直線特征的獲取本文采用從粗到細(xì)的策略從LiDAR點云中提取線特征(主要指建筑物輪廓線),首先利用文獻(xiàn)提出的技術(shù)流程從LiDAR點云中快速提取建筑的大致輪廓線并進(jìn)行分割,然后根據(jù)建筑物的掃描特征,提出一種精確提取建筑物特征線的“微元特征分析法”。詳細(xì)步驟如下:(1)建筑物點檢測。將點云柵格化成距離影像DSM,再采用形態(tài)學(xué)濾波方法獲取DEM數(shù)據(jù),進(jìn)一步求得規(guī)則化的nDSM,最后利用高差閾值對nDSM進(jìn)行分割,求出建筑物區(qū)域及其對應(yīng)的建筑物點。(2)建筑物輪廓生成與規(guī)則化。采用AlphaSha[pes20]算法從檢測出的建筑物點中提取建筑物初始輪廓,采用袖子算法提取原始輪廓的關(guān)鍵點,進(jìn)而得到輪廓線的骨架,再對骨架線進(jìn)行規(guī)則化處理,最后得到規(guī)則化后的建筑物輪廓。(3)特征直線提取。獲取規(guī)則化的建筑物輪廓后,依據(jù)線段的長度與角度,將輪廓拆分為多條直線。(4)利用“微元特征分析法”提取精確直線特征。由于目前主流的機(jī)載LiDAR硬件所采集的點云空間分辨率不高,并非所用邊緣點都正好落在屋頂邊緣,同時考慮到建筑物點識別(特別是邊緣點)可能存在誤差等原因,初步提取的建筑物輪廓通常不是嚴(yán)格分布在實際建筑物邊界,規(guī)則化后的邊緣線可能會向建筑物內(nèi)部收縮不超過點間距0.5倍的距離。由于LiDAR的掃描特性,航線兩側(cè)特征線偏移的方向不一致,內(nèi)縮誤差在平差運算中可能得到一定的消減,文獻(xiàn)提出為控制點設(shè)定相應(yīng)的精度(權(quán)值),計點云高程精度為控制點高程精度,計0.5個點間距與點云平面精度之和為平面精度,然后代入平差方程求最優(yōu)解。該方法難以完全消除建筑物邊緣的內(nèi)縮誤差。本文利用LiDAR的掃描特性,通過“微元特征分析法”對精化一部分邊緣線。其理論為:當(dāng)掃描角大于一定的閾值時(如圖2(a)所示),激光光束打到建筑物墻立面形成點云,利用概略邊緣線及其在地面上的投影組成一個特征立面V,該特征平面沿其法線方向的微小移動即為V在該特征上的微小變量(本文dv取點間距的0.6倍,如圖2(b)),定義為“微元特征”。統(tǒng)計“微元特征”內(nèi)點的個數(shù)是否達(dá)到給定的閾值,若滿足,則利用最小二乘原理擬合墻立面,然后以墻立面的水平位置為約束獲取精化的邊緣直線。具體步驟如下:(1)遍歷初始邊緣線,搜索每條直線的“微元特征”。(2)統(tǒng)計微小立面的點云個數(shù),并計算出微元內(nèi)的點密度。(3)若點密度大于閾值,根據(jù)最小二乘原理擬合墻立面,以墻立面與建筑物頂面的交線為約束條件精化邊緣線;反之,轉(zhuǎn)到(1)。(4)遍歷所有的邊緣線,提取精化后的直線為特征線。建筑物是否存在立面點、立面點數(shù)量的多少與建筑物的高度、朝向、飛機(jī)的高度、飛行方向等眾多因素相關(guān)。LiDAR工程中,視場角一般在50°左右,即掃描角在-25°和+25°之間。試驗發(fā)現(xiàn),當(dāng)掃描角絕對值大于5°時,除特別小、密集的建筑(如棚屋區(qū))外,大部分建筑物至少有一個墻立面存在點云。因此,在城市地區(qū)利用“微元特征分析法”得到的精確特征線,可以覆蓋大部分區(qū)域,滿足精配準(zhǔn)的要求。當(dāng)精確提取的特征線分布不足時,可參考文獻(xiàn)的方案,將其他特征線賦以較小的權(quán)重,代入平差方程獲得最優(yōu)解。3.2基于特征線的優(yōu)化基于點云提取的線特征精度稍差但完整性好,基于影像提取的邊緣能準(zhǔn)確覆蓋建筑物內(nèi)外邊緣像素,但是比較破碎。本文采用LSD法提取特征直線,與傳統(tǒng)的Canny算子結(jié)合Hough變換提取直線的方法相比,漏檢現(xiàn)象少,完整性也較好。同時,為了提高自動匹配算法的運行效率,通過計算線段的長度、長度比、角度、端點間距離、線段間法向距離等參數(shù),對基于影像提取的特征線進(jìn)行優(yōu)化。具體可分下述幾種情況:(1)如圖3(a)所示的輪廓ABCD,通過角度閾值和長度閾值,切割成AB、BC、CD3條線段。(2)如圖3(b)的輪廓ABCDE,簡化成選段AE。(3)若一條明顯的線段被分割成幾條短小線段,如圖3(c)所示,線段AB、CD、EF可以合并為線段AF。(4)若多條線段平行且線段間距離非常相近,如圖3(d)所示,選段AB、CD可以合并為線段A′B′。4自動匹配算法為了滿足共面條件,將基于LiDAR點云提取的特征線沿著Z軸投影到點云強度影像上,利用L1={q1,q2,…,qn}表示其集合,通過L2={p1,p2,…,pm}表示基于粗匹配后的航空影像提取的直線段集合,C={c1,c2,…,ck}表示匹配點對的集合,其中cm={(ai,bj),0≤m≤k}。本文中的直線通過系數(shù)矩陣表示,如直線Ax+By+C=0,表示為[ABC]T。如圖4所示,特征線q位于點云空間,特征線p是q在航空影像上的匹配直線,由于粗匹配后的航空影像已被近似地投影到點云空間,大部分誤差已消除,同時一組匹配特征線對所涉及的范圍較小,可以假設(shè)它們之間只存在微小的角度差異和尺度差異,線對之間的關(guān)系可以通過式(1)表示式中,H表示變換矩陣;s表示比例因子,其大小由H和p決定。如圖4所示,特征點a1、a2位于q附近,a1、a2在航空影像上的匹配點b1、b2位于p周圍?？芍ヅ潼c對之間的關(guān)系也滿足用同一變換矩陣,用表示a1、a2、b1、b2的齊次坐標(biāo),可得將式(1)、式(2)代入式(4)可得式(5)的物理意義是:當(dāng)兩個特征點距離特征直線足夠近時,特征點與特征直線之間的距離比相等,即滿足相似不變性。利用該特性,即可通過匹配點對搜索匹配的直線對。本文以點云空間的特征線q為例,介紹自動匹配的步驟:(1)以特征線q的法線方向α·L(q)和與直線平行方向的β·L(q)為界設(shè)置搜索區(qū)域(如圖5所示,本文α、β各取2),找出搜索區(qū)域內(nèi)所有的匹配點對,以及影像空間中與該區(qū)域有交集的全部“待匹配特征線”ΔP={Δp１,Δp２,…,Δpｎ}。(2)通過式(6)計算q與每條“待匹配直線”的相似性Sim(q,Δp),由式(6)可知,當(dāng)Δp與q相匹配且參與計算的兩個匹配點對也沒有錯配時,Sim(q,Δp)≈1。(3)為了盡可能地消除粗匹配中錯匹配點的影響,本文針對每條“疑似匹配直線”Δp,與搜索區(qū)域內(nèi)所有的匹配點對一起,計算所有的相似性測度值,然后取最大值maxSim(q)作為相似性測度依據(jù)(4)重復(fù)(1)—(3),直到搜索出所有的匹配直線對。(5)本文提取建筑物邊緣直線為線配準(zhǔn)基元,因此有大量的平行線段存在,假設(shè)c1、c2為平行的特征線附近的匹配點對,當(dāng)c1、c2組成的“線段”與線特征平行時,僅僅通過maxSim(q)進(jìn)行判斷邏輯不夠嚴(yán)密,容易造成錯判。為了增強算法的抗差性,引入直線之間的距離作為輔助的相似性測度參數(shù)。直線距離定義如圖6所示:q為點云空間的特征線;Δp為影像空間的特征線在點云空間的投影直線;O為Δp的中點,取O一定距離(本文取2.5m)的端點A、B,A到q的距離為d1,B到q的距離為d2,則q與Δp的距離為(6)引入長度比和角度差作為測度依據(jù)。理論上,同名特征線長度基本一致,考慮到基于影像提取的直線完整性不如基于點云提取的直線,本文限定點云特征線與影像特征線長度比是1~3倍;特征線之間的夾角也可以起到有效的濾除效果,通過設(shè)定夾角閾值15°,可快速去除大部分不匹配的直線段。在(3)之前,通過(5)、(6)進(jìn)行明顯的非匹配直線濾除,可有效提高匹配效率。5云空間特征線的關(guān)系精配共線方程是攝影測量中的基本方程,其實質(zhì)是二維影像坐標(biāo)和三維物方坐標(biāo)之間的轉(zhuǎn)化關(guān)系。如果在影像空間特征線p上任取一點α,可以確定α在LiDAR點云空間的同名點β在p的匹配特征線q上,通過特征線端點A、B的坐標(biāo)并引入輔助參數(shù)λ可精確表示β的坐標(biāo),如式(9)所示將上述關(guān)系代入原始的共線方程,得到擴(kuò)展的共線方程模型(10),通過該模型實現(xiàn)航空影像與LiDAR點云的精配準(zhǔn)通過最小二乘平差迭代使得點云空間每條直線表示的空間點不斷接近真值,最后同時解算出航空影像外方位元素以及輔助參數(shù)λ,實現(xiàn)精確配準(zhǔn),當(dāng)初始外方位元素未知時,可利用該思路擴(kuò)展多項式模型等其他配準(zhǔn)模型實現(xiàn)精配準(zhǔn)。6配準(zhǔn)精度評價為了驗證本文算法的實際效果,采用長春某地區(qū)的航空影像與LiDAR點云試驗(如圖7所示),測區(qū)人工地物豐富,分布合理,典型性較高。其中,LiDAR點云平均點間距約0.7m,高程精度約0.15m,水平精度約0.4m。相機(jī)的CCD像元大小為0.0068mm,焦距60mm,航高約1500m,地面分辨率約0.2m。其中,粗配準(zhǔn)的結(jié)果如表1所示,基于點云提取的匹配點和特征線(精化后)的分布如圖8所示,粗配準(zhǔn)后的點云與影像疊加效果如圖9所示。由表1可知:1由于距離影像與航空影像紋理差異太大,錯匹配率過高,匹配結(jié)果不具備實用性;2點云強度影像能取得較好的匹配效果,可能是機(jī)載LiDAR所采用的激光屬于紅外波段而光學(xué)影像屬于可見光波段的緣故,將強度值取反再與光學(xué)影像進(jìn)行匹配,獲取的匹配點數(shù)量更多、可靠性更高;3盡管試驗中采取RANSAC算法進(jìn)行了去噪,但無論采用哪種數(shù)據(jù),都難以避免較大的錯配率。由圖8、圖9可知:1特征線分布比較均勻,分布密度與人工建筑的分布呈近似的正相關(guān)關(guān)系;2每條特征線周圍有一定數(shù)量的匹配點集,基本保證相似不變性的判斷條件;3粗匹配后的影像已經(jīng)近似投影到點云空間,但是通過圖9發(fā)現(xiàn),屋頂面沒有完全套合,尚存在一定的偏差。為了對比精配準(zhǔn)和粗配準(zhǔn)之間的差別,分別截取幾個不同角落的點云,與通過精配準(zhǔn)模型轉(zhuǎn)化后的正射影像疊加,如圖10所示。上邊是基于SIFT算法的粗配準(zhǔn)結(jié)果,下面為精細(xì)配準(zhǔn)后的結(jié)果,從圖中可以看出,上面的點云與影像位置存在著較明顯的錯位,精配準(zhǔn)后影像與點云的套合度均得到一定程度的改善。由于點云的特殊性,傳統(tǒng)光學(xué)影像之間的配準(zhǔn)精度評價方法(相關(guān)系數(shù)、互信息等),不適用于影像與LiDAR點云的配準(zhǔn)精度的精確評價。