中南大學生物醫(yī)學工程所 圖像配準

圖像配準中南大學生物醫(yī)學工程研究所圖像配準的用途意義圖像配準（或圖像匹配）是評價兩幅或多幅圖像的相似性以確定同名點的過程。圖像配準算法就是設法建立兩幅圖像之間的對應關系,確定相應幾何變換參數(shù),對兩幅圖像中的一幅進行幾何變換的方法。圖像配準是圖像分析和處理的基本問題。它在航空影像自動制圖、圖像三維重構、計算機視覺、遙感融合、模式識別、醫(yī)學圖像處理、影像分析等領域都有重要應用。中南大學生物醫(yī)學工程研究所圖像配準圖像配準參考圖像（主圖像）待配準圖像（輔圖像）配準圖像中南大學生物醫(yī)學工程研究所圖像配準用詞說明各種圖像配準的文獻都會出現(xiàn)“配準、匹配、幾何校正”三個詞，它們的含義比較相似。一般兩幅圖像之間用“配準（register,registration）”；尋找同名特征(點)的過程叫“匹配（match,matching）”;根據(jù)主輔圖像之間的幾何變換關系，對輔圖像進行逐像素處理變?yōu)榕錅蕡D像的過程叫做“幾何校正（geometriccorrection）”。中南大學生物醫(yī)學工程研究所圖像配準配準方法分類按照配準算法所利用的圖像信息，可以分為基于區(qū)域的方法和基于特征的方法?；趨^(qū)域的匹配主要是模板匹配和基于相位（頻率）的匹配方法；基于特征的匹配包括基于特征點集的匹配和基于線特征（圖像中邊緣信息）的匹配算法。按自動化程度可以分為人工、半自動和全自動三種類型。中南大學生物醫(yī)學工程研究所圖像配準模板匹配模板匹配法是在一幅影像中選取一個的影像窗口作模板，大小通常為5×5或7×7，然后通過相關函數(shù)的計算來找到它在搜索圖中的坐標位置。設模板T放在搜索圖S上平移，模板覆蓋下的那塊搜索圖叫做子圖Si,j，子圖的中心點在S圖中的坐標(i,j)，叫參考點。中南大學生物醫(yī)學工程研究所圖像配準相似性測度用以下測度來衡量T和Si,j的相似程度：根據(jù)施瓦茲不等式，，并且在比值為常數(shù)時取極大值為1。但實際上兩幅不同圖像的P值介于0和1之間，很難達到理想值。根據(jù)經(jīng)驗取某個閾值P0，如果P>P0，則匹配成功；P<P0，則匹配失敗。中南大學生物醫(yī)學工程研究所圖像配準金字塔模板匹配為了加快搜索速度，很多影像匹配方法使用金字塔影像。對影像進行一次采樣率為1/n(n=2,3)的重采樣，即把影像的每n×n個像素變?yōu)橐粋€像素，這樣就得到一對長、寬都為原來1/n的影像，把它作為金字塔的第二層。再對第二層用同樣方法進行一次采樣率為1/n的重采樣，又得到第三層（頂層）。原始影像作為金字塔影像的底層。中南大學生物醫(yī)學工程研究所圖像配準金字塔影像匹配的步驟第一步：頂層的匹配，得到一個平移初始值。第二步：根據(jù)平移初始值乘以n得到第二層平移量初始值，在它m×m個像元的鄰域內(nèi)進行模板匹配。第三步：根據(jù)第二層匹配值乘以n得到第三層平移量初始值，再進行一次模板匹配。如果影像尺寸不是特別大，可以只用兩層金字塔。中南大學生物醫(yī)學工程研究所圖像配準基于特征的配準算法基于特征的算法(feature-basedmatching)先提取圖像顯著特征，再進行特征匹配，大大壓縮了圖像信息的數(shù)據(jù)量，同時保持了圖像的位移、旋轉(zhuǎn)、比例方面的特征，故在配準時計算量小，速度較快、魯棒性好。當兩幅圖像之間的線性位置關系不明確時，應使用基于特征的匹配。一般來說特征匹配算法可分為四步:1.特征提取;2.特征描述;3.特征匹配；4.非特征像素之間的匹配。中南大學生物醫(yī)學工程研究所圖像配準基于特征的配準步驟在特征匹配前，首先要從兩幅圖像中提取灰度變化明顯的點、線等特征形成特征集。在兩幅圖像對應的特征集中利用特征匹配算法盡可能的將存在匹配關系的特征對選擇出來。通過特征建立兩幅圖像之間的多項式變換關系，達到以點代面的效果。對于非特征像素點，利用上述多項式變換關系來進行幾何校正，從而實現(xiàn)兩幅圖像之間逐像素的配準。中南大學生物醫(yī)學工程研究所圖像配準人工匹配步驟1.人工選取控制點2.多項式匹配中南大學生物醫(yī)學工程研究所圖像配準用遙感軟件進行幾何校正

遙感軟件的幾何校正功能是利用地面控制點(GroundControlPoint,GCP)進行的幾何校正，它通常用多項式來近似描述遙感圖像的幾何畸變過程，并利用控制點求得這個幾何畸變模型，然后利用此模型進行幾何校正，這種校正不考慮畸變的具體原因，而只考慮如何利用畸變模型來校正圖像。

中南大學生物醫(yī)學工程研究所圖像配準校正步驟幾何精校正一般可分為以下四個步驟：

1.建立原始圖像與校正后圖像的坐標系。

2.確定控制點對。

3.選擇畸變數(shù)學模型，比如一次、二次、三次多項式。

4.幾何校正的精度分析。

中南大學生物醫(yī)學工程研究所圖像配準中南大學生物醫(yī)學工程研究所圖像配準半自動匹配1.用戶先把主輔圖像進行預處理，先進行重采樣、旋轉(zhuǎn)、去除噪聲等，使兩幅影像的分辨率、角度等基本一致后，再進行配準。2.用戶先指定三個控制點，程序根據(jù)三個控制點算出主輔圖像旋轉(zhuǎn)、平移和尺度差異，再用金字塔模板匹配方法進行配準。中南大學生物醫(yī)學工程研究所圖像配準全自動匹配不需要用戶事先提供任何信息，單純依據(jù)兩幅圖像自身的信息進行匹配計算。由于主輔圖像之間存在旋轉(zhuǎn)、平移和尺度差異，如何找到初始定位信息是其難點。方法多種多樣。包括直方圖匹配、Hu不變矩、金字塔模板匹配、小波Gabor算子、基于空間變換的方法等。將在后面特征點匹配部分講述。中南大學生物醫(yī)學工程研究所圖像配準基于TIN的圖像配準算法流程中南大學生物醫(yī)學工程研究所圖像配準特征類型灰度特征點。Moravec算子、Forstner算子與Hannah算子。角點。SUSAN算子,Harris算子，王算子，沈俊算子。邊緣特征（線型）。Canny算子,Marr算子。紋理特征?；叶裙采仃?，小波Gabor算子。中南大學生物醫(yī)學工程研究所圖像配準Moravec算子Moravec算子是利用灰度方差提取特征點的算子，它在四個主要方向上，選擇具有最大-最小灰度方差的點作為特征點。其步驟為：

1計算各像元的興趣值（InterestValue）。在以像素為中心w×w的影像窗口中（如5×5的窗口），計算圖中所示四個方向相鄰像素灰度差的平方和：

中南大學生物醫(yī)學工程研究所圖像配準Mor冰ave律c算子取其中盛最小者冬作為該繞像素的拘興趣值乓：V=m狀in{V疏1，V2，V3，V4}中南大斗學生物升醫(yī)學工簡程研究母所河圖像懇配準給定一嘆經(jīng)驗閾說值，將碰興趣值饞大于該瓦閾值的伴點（即捎窗口的施中心點虛）作為堡候選點華。閾值確的選擇直應以候比選點中裳包括所弟需要的做主要特堤征點而薦又不含侮過多的嚴非特征惠點為原宴則。取候選點幻玉中的極值難點作為特謠征點。在用一定大小孟的窗口內(nèi),將候選點穩(wěn)中興趣值忌不是最大叼者均去掉兄，僅留下唐一個興趣況值最大者禍，該像素健即為一個煩特征點。如果兩蹄個特征順點之間鴨的距離辣過短，虎則去掉菊其中一硬個。否向則，在舊影像校宿正時，繳三角形劑邊長過衡短將使原解算出級來的仿箏射變換調(diào)參數(shù)出撥現(xiàn)錯誤響。中南大學咱生物醫(yī)學懶工程研究稱所倒圖像配準角點提護取-SUS脅AN算子SUSA奏N算法是恥由英國擴牛津大荒學的S.細M.見Smi希th幸,J筐.瘋M.誓Bra聲dy首先提撒出的,它主要色是用來柏計算圖貓像中的哄角點特倦征的。SUSA尸N算法的特欣點:1.對角點貿(mào)的檢測擴比對邊恢緣檢測輩的效果蹦要好,適用于姑基于角拌點匹配障的圖像來配準;2.無需梯度家運算,保證了算唉法的效率;3.具有積浪分特性(在一個酒模板內(nèi)帝計算SUSA娛N面積),這樣就貞使得SUS薯AN算法在抗住噪和計算顧速度方面匆有較大的縱改進。中南大德學生物謝醫(yī)學工燙程研究其所漠圖像膜配準SUSA葡N算法用一個一喘定半徑的掌圓模板放卸置在圖像末上（如圖憂）。如果辰模板上存環(huán)在一區(qū)域紐奉，使該區(qū)火域上對應捏圖像的每竊一像素處載的灰度值虜與圓心的幸灰度值相問同（或相通近），那今么就定義爸該區(qū)域為撓核值相似招區(qū)，即USA槽N，其中損像素的格個數(shù)定柴義為這繡個模板椒的面積撇。中南大渣學生物語醫(yī)學工飛程研究蚊所撤圖像晌配準中南大學敬生物醫(yī)學炎工程研究菌所訴圖像配準SUSA籮N算法捧的基本原尿理圖像上每堵一點都有悉一個鄰近怨的具有相神似灰度值雄的局部區(qū)功域是SUSA壤N算法的務基礎。即這個局窯部區(qū)域脅或USA辯N包含了詳許多關眼于圖像蹤蝶結(jié)構的冤信息。SUSA性N算法的基猶本原理是接：在每個貸像素移動沫一個小的坦圓形模板駛以檢測局紫部信息，姜并利用預給先設定的愈亮度閾值舅比較模板隱核及其周凈圍像素的燭亮度值，屑亮度值相師同或相近胸的為一個USAN，最后償通過面晃積最小稼的USAN檢測角悼點。中南大潔學生物欲醫(yī)學工供程研究鬼所備圖像砌配準邊緣特許征提取“基于T扛IN的多疑源影像幾鐘何配準”育沒有使用津邊緣提取帆算子，所貞以這里不奪介紹其算滅法。（a）原圖帳（b）Mar波r算子結(jié)跌果爺（c）Cann柄y算子結(jié)壺果中南大捎學生物濫醫(yī)學工膏程研究鉆所感圖像諷配準紋理特征紋理是哲用來識滔別目標梳的重要派方法，峰它是圖灶像中一諷個很重貢要而又濱難以描康述的特看性，至拴今還沒賤有公認然的定義贏。有些翅圖像在階局部區(qū)貫域內(nèi)呈枝現(xiàn)不規(guī)狠則性，逮而在整莫體上表妄現(xiàn)出某必種規(guī)律匠性。習慣上飼把這種輝局部不駱規(guī)則而眉宏觀有根規(guī)律的敵特性稱凳之為紋丑理。以紋理裹特性為嚴主導的受圖像，謝常稱為環(huán)紋理圖意像，如揉木材紋裳理、皮突膚紋理丸、織物暈紋理等德。通過喚對物體弄紋理特陪征的提聞取，可陷以對圖訴像進行桿分類、縣配準等虎操作。中南大學聚生物醫(yī)學飼工程研究浴所翻圖像配準局部不半規(guī)律，兆整體具搬有一定稻規(guī)律性棄的特性稈。基本單元濃的重復性粗糙性方向性中南大學課生物醫(yī)學行工程研究嬌所怖圖像配準提取紋理書特征的方擠法灰度共姨生矩陣焦?；谛〔ㄥX的Gab鄙or算子。中南大肢學生物叼醫(yī)學工找程研究蝦所徐圖像邊配準直方圖葛匹配中南大學洞生物醫(yī)學趟工程研究便所映圖像配準Hu不揭變矩196登2年Hute提出Hu不變矩未，它對史于匹配頭影像之移間的平鳴移、旋姜轉(zhuǎn)和大撞小尺度污變化具床有自適陣應性阻，但它達只適用似于相似曬變換，怎不適于奔仿射變盡換。Hu最初用待以下7個不變矩壓公式來描徹述目標特跡征:中南大采學生物齡醫(yī)學工白程研究佛所傅圖像洽配準但實際上塊大部分文是獻都采用6個無量風綱、消跟誤差的底組合不熱變矩筋：中南大學界生物醫(yī)學批工程研究掌所秘圖像配準點模式犧匹配模式識別鄙中的點模激式匹配，協(xié)使用特征印點集中點散與點之間禍的位置關牽系進行匹桶配，較少臟（或沒有猶）利用圖硬像灰度、出紋理和邊府緣信息，皇所以它對阻圖像之間治的旋轉(zhuǎn)、不灰度、紋充理、分辨叢率等差異叢不敏感，攝能夠匹配銳不同傳感窯器的圖像偶，且能進堂行圖像之騎間的全自春動配準。匹配兩賣個特征休點集的紡實質(zhì)是鼻找到它碼們的同咸構子集肉。要用到較但多的數(shù)學們知識。中南大學逮生物醫(yī)學漿工程研究側(cè)所遭圖像配準點模式輛匹配Pen看gyu魔Ho齒ng等用圖論雄的方法，撿把兩點集店看作兩個售無向圖，肺然后提取豆它們的同卷構子圖，偷但其算法輕復雜，只吩能用于匹戀配簡單圖粗片（如商砍標），對卷于復雜圖公片計算量勇過大。羅綱等以抹傳統(tǒng)的Ume梁yam染a點集相關扮度量為基臉礎,結(jié)合Pro進cru虎ste喝s正規(guī)化方奧法,通過引入敲加權矩陣幣得到新的斥相關度量歉函數(shù),解決了甩傳統(tǒng)方斥法要求斯點集維智數(shù)相同嗚的缺點陳，經(jīng)過么迭代運默算,可對存在獲幾何失真,且維數(shù)旋不同的葉兩點集稼進行精驗確配準桃，但計易算量較在大。中南大尋學生物毫醫(yī)學工冤程研究口所額圖像刪配準張立華誓等將待鋪匹配的焦兩個二皇維點集帶分別轉(zhuǎn)芒化成為規(guī)一個n維空間粉中的向貪量,對這兩個扔向量中的襯各元素進繁行簡單的恢排序來解盜決點集匹阿配問題。田原等通晚過建立一庸種圖像點旨集間距離糾的描述方蔽法，提出移基于點集地不變性匹度配的目標寬檢測與識侵別方法。舒麗霞墾等用Haus快dorf觀f距離對路兩特征更點集進泉行匹配,得到點彼集間的栽仿射變床換關系惜。孫燾等對慈主輔圖像決的特征點劈燕集分別進姨行Whit堵enin斷g變換,將點集散間的一他般仿射餡變換問消題轉(zhuǎn)換吐為剛性敬變換問柄題。中南大學悅生物醫(yī)學芬工程研究器所羨圖像配準桑農(nóng)等著以四元毀組代替姻點對進擁行點特區(qū)征松弛監(jiān)匹配算競法，提圈出了基論于點特喪征的具勝有旋轉(zhuǎn)礙與比例例不變松饑弛匹配福算法，枝但是該丑算法在子匹配迭賺代過程飯中必須轎對所有來實時圖監(jiān)中的點趣特征進鍬行一次先比例與偉旋轉(zhuǎn)變避換,這在一垮定程度國上影響云了匹配澆速度。陳志剛藍等以六嘩元組為鐮基礎構罩建三角脊形,利用三誰角形在汁平移、幣比例放此大和旋漫轉(zhuǎn)變換辜后與原射三角形濤相似的零特性將點其引入性到基本暈點特征茫松弛匹堤配算法控中,提出一括種比例墳與旋轉(zhuǎn)仗不變點皮特征松麻弛匹配徒算法。中南大學殘生物醫(yī)學策工程研究題所桐圖像配準不規(guī)則三猾角網(wǎng)不規(guī)則季三角網(wǎng)?。╰ria農(nóng)ngul聾ated私irr駱egul虎arn迷etwo處rk，TIN導)在地形圖檔的制作中鳥被廣泛使灶用。繪制榆等高線時養(yǎng)，先用測很量點構造TIN，然后傘再根據(jù)TIN內(nèi)插等高稼線。中南大鑄學生物高醫(yī)學工撕程研究招所知圖像爹配準不規(guī)則三謹角網(wǎng)TIN的優(yōu)點瞧：能真反實反映丹地形變弟化，相沙比gri煉d，數(shù)據(jù)量摩很小。在地形闖變化較折大、特壯征點多啄的區(qū)域輩，三角不網(wǎng)密集棗，能很叫好地反醋映地形陸變化；截而在開載闊、平遲坦的區(qū)礦域，特就征點少產(chǎn)，三角硬網(wǎng)稀疏隸，不會則造成大織量的冗忠余數(shù)據(jù)棵，也不連會無謂晨地增加射計算量店。TIN用于圖像緩配準時，怨同樣具有劣這一優(yōu)點壓。中南大學列生物醫(yī)學挑工程研究李所鞋圖像配準Del做aun供ay三榮角網(wǎng)Del冊aun悔ay三角網(wǎng)宜常常被碌用于TIN的生成執(zhí)。Dela笨unay三角網(wǎng)省為相互小鄰接且齊互不重理疊的三染角形的丸集合，忙每一三交角形的廢外接圓累內(nèi)不包救含其它壺的點。中南大炕學生物掉醫(yī)學工淺程研究警所尸圖像愚配準構TIN的基本原傍則TIN是惟一的暖。即對于茄同樣的點稀集，所構享三角網(wǎng)應斑該只有一說種；力求最斗佳的三屠角形幾兔何形狀凝，每個玩三角形熊盡量接衛(wèi)近等邊久形狀；保證最伐鄰近的川點構成婦三角形帽，即三深角形的刃邊長之攻和最小受。中南大學補生物醫(yī)學痰工程研究釘所冒圖像配準小面元微今分校正法在主輔圖芹像中用匹徹配好的特齊征點集構放造TIN?？梢钥醋骷~奉三角網(wǎng)把梳從影像微寧分成很多做微小的面船元，每個梁三角形就室是一個很扇小的面元戲，在這個掩面元內(nèi)，撿可以只考芳慮影像的臺一次形變便。以從影像櫻中的各個響三角形為啟單位，對滅三角形內(nèi)悟各個點進奏行幾何校倒正，從而榨對整幅從攜影像進行理校正。這統(tǒng)種幾何校躬正方法叫泄做小面元籠微分校吐正法。對于山憲區(qū)遙感舌影像，陵多項式沃校正方緩法的精祥度不夠母，必須耀采用小奸面元微講分校正組的方法鑄，其擋幾何校濤正誤差鈔可以控召制在0.3個像素邀以內(nèi)。中南大學握生物醫(yī)學朽工程研究率所袖圖像配準小面元微仗分校正法蠢步驟下面以影灘像中任一顛三角形W為例說洗明影像診幾何校旨正的原才理。輔擊影像中鮮三角形W的三個破角點為a,b,擔c，它們在善主影像中飼對應的點且為A,B坡,C,它們的羞坐標分賽別為屑，。把W看作小毫面元，烘則有仿技射變換英：中南大學閣生物醫(yī)學凡工程研究斷所維圖像配準其中欺是仿射帶變換參上數(shù)。把影，柏代入展方程可以年得到仿射獄變換參數(shù)爆。先根據(jù)事主影像梁大小生導成一幅丑和主影腎像坐標橫一致的延配準影閣像，因主為還沒切有輸入刷任何值娘，所以序是空白庫影像。配準影像隨中三角形W內(nèi)任何一坡個像素，碎都可以通截過方程組留解算出它查在輔影像鍋中對應的筍的同名點拒像素坐標(行列值)。同名點寫坐標是侍小數(shù)，袋必須經(jīng)練過插值摘計算，書得到配紐奉準點DN值。中南大事學生物證醫(yī)學工鄭程研究透所塊圖像桿配準插值方跌法最鄰近乞法立方卷霜積法雙線性粗法雙線性插鄰值法公式垂如下：中南大宮學生物慢醫(yī)學工泰程研究飾所珍圖像肯配準查找三角許形內(nèi)各像巡壽素點計算沫量較大，坑本文作者下通過試驗盆發(fā)現(xiàn)，用境三角形外要接矩形內(nèi)涼所有像素娘點代替三攝角形內(nèi)像撫素點進行健計算，可翻使計算速世度提高4倍左右穴，而校懼正效果頸相差不修大。中南大學王生物醫(yī)學嶄工程研究攜所舉圖像配準試驗主圖像為2002年7月9日武漢諸市ETM瓦+圖像的第4波段(近紅外趕波段，塵分辨率28.銜5m，大小500除0×4瘦000葛)，輔圖像徑為197說8年10月16日的MSS旗-5(紅光波段味，分辨率57m，大小3550私×388追0)，兩幅講圖像的派色調(diào)反攜差很大符（如圖申）。中南大學戒生物醫(yī)學界工程研究扣所岸圖像配準MODI分S影像的置小面元校姿正EOS檔/MO蓮DIS衛(wèi)星接捕收系統(tǒng)精提供的1B級影像機中,圖像信息紀和經(jīng)緯度泰信息是分桃離的,而且經(jīng)線訊、緯線呈莖不規(guī)則的僚曲線。要鋒使用這些座數(shù)據(jù),通常要菌先設法民把每點祝的經(jīng)緯伐度信息啊經(jīng)過投前影計算憑，轉(zhuǎn)換岸到用戶廣所需的你坐標系笛統(tǒng)中。借助遙感級軟件進行戀幾何校正幫，處理過膚程中需要桑多次人機秘交互,因此處做理人員午必須在于計算機情前守候,浪費大就量的時倡間。用IDL文(I貼nte桌rac奏tiv高eD根ata覆La虛ngu躁age警)語言開隱發(fā)了一獅個基于接三角網(wǎng)坦的小面榨元幾何疊校正程參序,它具備毛批處理地功能,處理過程丘中不需人泰工干預,而且用戶凳可以自定普義處理范灶圍和波段掩，使MODI騾S數(shù)據(jù)預予處理變鏡得非常但方便。中南大抬學生物詢醫(yī)學工帝程研究呼所境圖像鐮配準MOD選IS?？裾昂髴俚挠跋窬暥惹鸾?jīng)凝度至原始影像慢校仗正影像中南大學底生物醫(yī)學大工程研究忙所鼓圖像配準中南大學槐生物醫(yī)學滑工程研究輸所圖圖像配準基于三角宇網(wǎng)的小面炊元幾何校止正如果逐倍點投影郵計算一脫幅大小乏為541訓6×1熊968損0的MODI敘S影像,其計算量鍛非常大，污用普通PC機要計雕算十幾仆天。所堂以現(xiàn)有發(fā)的幾何敬校正算笑法都用舟“以點誘代面”吉的思想逝，采用鍵多項式籍或三角免網(wǎng)的方仙法?；谌x角網(wǎng)的壘小面元壟幾何校爬正，其破實質(zhì)在唱于以點賊代面進宅行幾何鑄校正，造先對三潮角形三刊個頂點宵進行投同影計算堪，然后害根據(jù)三棗角形頂內(nèi)點建立江三角形息校正前潑后之間牲的仿射譯變換關蜘系。中南大撇學生物百醫(yī)學工咽程研究沖所深圖像治配準控制點選愧取在輸入半影像及輝其對應根的經(jīng)緯設度數(shù)據(jù)孫中,按固定的您行列間隔唇選取控制賺點,并用數(shù)墳組記錄伴下所有滲控制點槽的像素著坐標（零行和列振）和大周地坐標(B,L)。控切制點數(shù)扭據(jù)