基于知識融合的遙感影像分類方法研究

基于知識融合的遙感影像分類方法研究

1基于信號模型的遙感圖像分類隨著人工智能技術(shù)和理論的發(fā)展，遙感圖像分類研究也進入了高水平智能發(fā)展的方向。主要熱點包括空間結(jié)構(gòu)信息的提取和分類、基于知識的空間邏輯分類和信息提取、非線性和非手動神經(jīng)網(wǎng)絡(luò)分類方法等。人工神經(jīng)網(wǎng)絡(luò)(ANN)是由大量處理單元(神經(jīng)元)相互連接的網(wǎng)絡(luò)結(jié)構(gòu),反映了人腦功能的基本特征,是人腦的某種抽象、簡化和模擬。ANN信息處理是由神經(jīng)元之間的相互作用來實現(xiàn)的,知識和信息的存儲表現(xiàn)為網(wǎng)絡(luò)結(jié)構(gòu)分布式的物理聯(lián)系,網(wǎng)絡(luò)的學習和處理過程決定于神經(jīng)元連接權(quán)值的動態(tài)變化。由于ANN通常采用非線性作用函數(shù),因此其動態(tài)運行構(gòu)成了非線性動力學系統(tǒng),具有不可預測、不可逆、多吸引子等特點,因此ANN可模擬大規(guī)模自適應(yīng)的非線性復雜系統(tǒng)。ANN廣泛應(yīng)用于優(yōu)化、模式識別、知識處理、信號處理等領(lǐng)域,其中很早就成功應(yīng)用于模式識別領(lǐng)域,80年代末開始應(yīng)用于遙感圖像分類。遙感圖像分類是反映人對圖像的一種理解,理解包括淺層的視覺生理理解和深層的邏輯心理理解等兩種層次,大多基于ANN方法的圖像識別正是人的視覺生理現(xiàn)象的簡單模擬。雖然當今體系結(jié)構(gòu)計算機系統(tǒng)要模擬整個復雜人腦系統(tǒng)或視覺系統(tǒng)是不可能的,但ANN是基于簡單神經(jīng)元結(jié)構(gòu)單元的網(wǎng)絡(luò)結(jié)構(gòu),與傳統(tǒng)統(tǒng)計方法相比,具有并行處理、自適應(yīng)、非線性動力機制等優(yōu)勢;另外,特征空間可自由分布,類別在特征空間中可分布為多簇,因此當特征空間很復雜時,或者源數(shù)據(jù)具有不同的統(tǒng)計分布時,也能獲得理想的分類結(jié)果。地學知識和地理信息的輔助決策可以大大提高遙感影像分類和信息提取的精度。ANN除了以其神經(jīng)計算能力進行低層次圖像視覺識別外,其非符號的連接主義的知識處理能力使地學知識、地理信息與遙感信息互相融合,來完成深層影像理解及空間決策分析,是遙感圖像分析的研究方向之一。Benediktsson(1990)用ANN方法,在MSS影像和3類地形數(shù)據(jù)(高程、坡度、方位)基礎(chǔ)上對土地覆蓋進行劃分;JRC(1991)用DTM數(shù)據(jù)的高程數(shù)據(jù)和2個時相的SPOTHRV影像作為輸入數(shù)據(jù)并應(yīng)用多層感知器神經(jīng)網(wǎng)絡(luò)(MLP)進行土地覆蓋分類。本文首先回顧多層感知器(MLP)模型和BP學習算法及其改進方法;然后提出基于知識人工神經(jīng)網(wǎng)絡(luò)遙感圖像分類的兩種層次的集成框架;最后以具體遙感土地覆蓋分類為例,對基于知識ANN分類方法進行比較分析。2多層傳感器多功能2.1多層感知器模型感知器(Perceptron)是1957年美國學者Rosenblatt提出的一種用于模式分類的神經(jīng)網(wǎng)絡(luò)模型。當時的感知器模型只包括單結(jié)點的一個層,故稱為單層感知器(圖1)。結(jié)點的輸出為:y=f∑i=0n?1wixi?θ∑i=0n-1wixi-θ(1)其中,wi為連接權(quán)重,xi為輸入向量x的第I分量值,θ為輸出閾值,f為激勵函數(shù),一般為強制非線性輸出函數(shù)。單層感知器只適用線性可分數(shù)據(jù),而對于非線性可分數(shù)據(jù),判別邊界會產(chǎn)生振蕩。為解決非線性可分數(shù)據(jù)的多類別分解問題,Rumelhart等人提出了多層感知器(MultipleLayerPerceptron,MLP)模型。這種網(wǎng)絡(luò)模型的結(jié)構(gòu)是由不同層次的結(jié)點集合組成,每一層的結(jié)點通過與下一層互連輸出到下一結(jié)點層,其輸出層通過連接權(quán)值而被放大、衰減或抑制。除了輸入層,每一結(jié)點的輸入為前一層所有節(jié)輸出值的加權(quán)和。每一結(jié)點的激勵輸出值由結(jié)點輸入、激勵函數(shù)及偏置量決定。MLP網(wǎng)絡(luò)由感受層(S)、聯(lián)想層(A)、響應(yīng)層(R)構(gòu)成(圖2)。S,A,R均是由同類神經(jīng)元構(gòu)成。感受層為網(wǎng)絡(luò)結(jié)構(gòu)的輸入層,用于特征向量的輸入,它相當于人工視網(wǎng)膜,用于感知目標對象。聯(lián)想層為網(wǎng)絡(luò)中隱含層;而響應(yīng)層則為網(wǎng)絡(luò)的輸出層。S層單元與A層單元通過聯(lián)結(jié)關(guān)系構(gòu)成對處理對象的聯(lián)想矩陣,A層單元與R層單元之間的聯(lián)結(jié)構(gòu)成對處理對象的決策矩陣。通過訓練調(diào)整,使網(wǎng)絡(luò)形成有序的、具有復雜映射和決策能力的穩(wěn)定結(jié)構(gòu)。2.2隱層控制基本原理反向傳播(BackPropagation,BP)學習算法是MLP模型中被最廣泛應(yīng)用的,是最小均方誤差(LMS)算法的一般化,用梯度搜索技術(shù),使等于均方差的代價函數(shù)最小。網(wǎng)絡(luò)開始訓練時選用較小的隨機互聯(lián)權(quán)值與內(nèi)部閾值,通過反復加載訓練樣本并調(diào)整權(quán)值,直到代價函數(shù)下降到可以接受的容限值。BP算法正是將非線性多層感知器系統(tǒng)的判決能力與均方誤差函數(shù)極小化的LMS算法相結(jié)合的產(chǎn)物。如圖2中,在j層,結(jié)點的輸入值為:netj=∑jwjioinetj=∑jwjioi(2)為滿足非線性與連續(xù)可微的條件,結(jié)點強制非線性輸出函數(shù),又稱激勵函數(shù)f(x),一般選用Sigmoid型函數(shù)。中間層j輸出值為:oj=f(netj),同樣在輸出層k的輸入為:netk=∑wkjoj,輸出值為:ok=f(netk)。對于一輸入樣本p,其平方誤差可定義為:Ep=12∑k(tpk?opk)2Ep=12∑k(tpk-opk)2(3)對于整個網(wǎng)絡(luò)系統(tǒng)的總均方誤差為:E=1/p∑Ep,其中p為訓練樣本總數(shù)。網(wǎng)絡(luò)訓練的目的是找到一組權(quán)值,使E極小化。LMS算法用梯度下降法,即權(quán)重的增量正比于誤差的負導數(shù),使得過程收斂。設(shè)wkj(t)是連接隱層結(jié)點與輸出層結(jié)點在t時刻的聯(lián)結(jié)權(quán)值,wji(t)是連接隱層結(jié)點與輸入層結(jié)點在t時刻的聯(lián)結(jié)權(quán)值;η是一個正的常數(shù)項,稱為學習率,反映權(quán)重的調(diào)整速率。η太小,則學習的效率較低;反之若η太大,則可能引起振蕩。為此,可引入動量項α,使權(quán)重的變化與w(t)-w(t-1)有關(guān),可以濾除權(quán)重空間中誤差曲面的高頻偏差,使有效的權(quán)重間隔加大。一般情況下,動量項在減小振蕩的同時,使算法收斂速度更快。通過推導,誤差調(diào)整增量可表示為:Δwji(t)=ηδjoi+αΔwji(t?1)Δwkj(t)=ηδkoj+αΔwkj(t?1)Δwji(t)=ηδjoi+αΔwji(t-1)Δwkj(t)=ηδkoj+αΔwkj(t-1)(4)其中:δj=oj(1?oj)∑kδkwkjδk=(tk?ok)ok(1?ok)δj=oj(1-oj)∑kδkwkjδk=(tk-ok)ok(1-ok)(5)式中,tk是輸出層的期望輸出,ok是輸出層實際輸出。BP算法的學習過程,由正向傳播和反向傳播組成。在正向傳播過程中,輸入信息從輸入層經(jīng)過隱層,再傳向輸出層,每一層的神經(jīng)元的狀態(tài)值只影響下一層的神經(jīng)元的狀態(tài)值;如果在輸出層不能得到期望的輸出值,則轉(zhuǎn)入反向傳播,將誤差信號沿逆向通路返回,通過修正各層神經(jīng)元的權(quán)值,使得網(wǎng)絡(luò)的總誤差值收斂到極小。BP算法實質(zhì)上是把一組樣本的輸入輸出問題轉(zhuǎn)化為非線性優(yōu)化問題,采用梯度下降法,迭代運算修正網(wǎng)絡(luò)聯(lián)結(jié)權(quán)重,相應(yīng)于學習記憶,而加入隱層結(jié)點是為了使優(yōu)化問題的可調(diào)參數(shù)增加,獲得更精確解。MLP相當于從輸入到輸出通過對簡單的非線性函數(shù)的組合,實現(xiàn)了復雜的非線性映射。BP算法也存在一些限制,如局部極小、學習效率低、網(wǎng)絡(luò)結(jié)構(gòu)難以確定等等,使其在實際應(yīng)用中受到限制。在實際應(yīng)用過程中,必須根據(jù)處理和分析對象的特點和預期目標,對算法和模型進行改進。針對大量基于BP神經(jīng)網(wǎng)絡(luò)(BPNN)的遙感影像分類應(yīng)用中碰到的問題,我們得出幾點BP學習算法的改進方法:(1)輸入向量的預處理(白化處理)。在對遙感影像分類之前,對樣本值進行歸一化處理,避免網(wǎng)絡(luò)前后傳播過程過飽和現(xiàn)象。(2)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置。隱層的數(shù)目和隱層的結(jié)點數(shù)難以確定,增加隱層數(shù)目和結(jié)點數(shù),可以提高精度,且有效地較少局部極小的幾率,但需要更長的學習時間。根據(jù)參考文獻,如果網(wǎng)絡(luò)包含兩個隱層,第一隱層的結(jié)點數(shù)至少是輸入層結(jié)點的2到3倍,而根據(jù)本次工作的經(jīng)驗,甚至應(yīng)該是4倍于輸入層結(jié)點數(shù);同樣,第二層隱層的結(jié)點數(shù)應(yīng)該至少為輸出層結(jié)點數(shù)的2到3倍;如果網(wǎng)絡(luò)只有一個隱層,則其結(jié)點數(shù)則至少為以上所述兩層結(jié)點數(shù)的最大值;如果仍然不能達到足夠精確的分類結(jié)果,則可以適當增加隱層結(jié)點的數(shù)目,直到獲得預期的結(jié)果。(3)學習速率η的自適應(yīng)性動態(tài)調(diào)整。學習率η的確定,雖然困難,但卻是影響算法效率的關(guān)鍵。事實上最優(yōu)的BP算法,其η應(yīng)該是隨時間的變化而作動態(tài)調(diào)整。η調(diào)整規(guī)則如下:(a)網(wǎng)絡(luò)中每個權(quán)值可具有不同η;(b)每個η允許隨時間變化;(c)當網(wǎng)絡(luò)中相對于某權(quán)值的誤差偏量的符號連續(xù)保持不變時,即權(quán)值空間中誤差曲面比較平穩(wěn),則該權(quán)值的η應(yīng)適當增加;(d)當網(wǎng)絡(luò)中相對于某權(quán)值的誤差偏量的符號發(fā)生振蕩時,即權(quán)值空間中誤差曲面起伏較大,該權(quán)值η應(yīng)該適當減小;(e)η值的增減有一定的限度。動態(tài)地修正η對于誤差曲面比較平穩(wěn)的網(wǎng)絡(luò)可提高學習速度,而對于起伏較大的誤差曲面,可防止發(fā)生振蕩,加速尋找全局極小,因此同樣也提高了收斂速度。(4)利用遺傳算法(GA)進行網(wǎng)絡(luò)權(quán)值和網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。GA是模擬生命進化機制的搜索優(yōu)化方法,而BP學習算法正是使網(wǎng)絡(luò)從無序到有序的優(yōu)化過程,所以利用GA是實現(xiàn)網(wǎng)絡(luò)優(yōu)化的手段之一。(5)地理信息及知識的輔助決策。一般結(jié)構(gòu)化地理信息的參與,只需增加特征向量的維數(shù);而非結(jié)構(gòu)性知識的輔助可通過建立知識庫,根據(jù)實際分析對象來決定網(wǎng)絡(luò)結(jié)構(gòu)、學習參數(shù)、學習過程中的參數(shù)變化等。遙感信息和地理信息、地學知識相融合形成分布式的網(wǎng)絡(luò)知識結(jié)構(gòu),提高了影像分類的精度,也保障了網(wǎng)絡(luò)穩(wěn)定性。3基于知識的多段感知器遙感分類模型3.1雷達影像的提取處理基于BP學習算法的多層感知器(MLP)模型的遙感影像分類方法已在土地覆蓋分類、專題信息提取等方面得到應(yīng)用,簡單概括如下:(1)多源遙感影像數(shù)據(jù)的土地覆蓋分類。數(shù)據(jù)輸入的來源可包括多波段、多時相、多平臺以及地理輔助數(shù)據(jù)等通過數(shù)據(jù)層的像素層、特征層的融合數(shù)據(jù)等。(2)專題信息提取。利用BPNN進行植被信息提取并通過BPNN對雷達影像的降雪、降水信息進行提取等。(3)空間結(jié)構(gòu)信息提取。主要通過BPNN在影像上以一定大小的區(qū)域(或窗口)為單元進行空間結(jié)構(gòu)的識別和提取,如線狀(如道路、河流)信息提取、紋理結(jié)構(gòu)信息的識別和提取、城市單元結(jié)構(gòu)提取、地物形狀信息識別(如軍事目標識別)等。(4)模糊分類。應(yīng)用BPNN對樣本數(shù)據(jù)中混合像元所含的多種信息的含量及地物歸屬不確定性進行學習,然后進行信息含量的提取或混合像元的分解。3.2遙感影像知識的決策成分雖然這些分類應(yīng)用的目標不盡相同,但是都是建立在統(tǒng)一的神經(jīng)計算模型之上,即輸入特征相量,通過分布式神經(jīng)元的學習記憶及前向推理,輸出結(jié)果(歸屬類別)。目前大多數(shù)基于BPNN的應(yīng)用模型,主要是通過對所選取的包含先驗知識的樣本數(shù)據(jù)進行學習,然后利用BPNN高度復雜的映射計算能力來獲得最后的分類結(jié)果,因此其知識的決策成分主要蘊涵于對樣本數(shù)據(jù)的采集,其中也包括了目視解譯的經(jīng)驗知識成分。這僅是低層次的視覺神經(jīng)生理模擬的影像理解,而遙感影像是具有地學屬性的,要揭示更深層的影像地學規(guī)律以獲得更精確的影像分類和信息提取結(jié)果,則需要匯集相關(guān)的地學信息和專家知識來模擬地學專家視覺活動和邏輯判斷能力來獲取對遙感影像的地學認知。另外,由于遙感信息的復雜性和不確定性導致樣本數(shù)據(jù)所包含的知識的決策信息是不完全的,因此如果要進一步提高分類的精度,需要融合其他輔助信息來加強網(wǎng)絡(luò)的決策判別能力。一般通過兩種方式進行地學輔助信息與神經(jīng)網(wǎng)絡(luò)分類模型的融合(圖3):(1)結(jié)構(gòu)化地理信息數(shù)據(jù)作為NN輸入向量的空間數(shù)據(jù)維之一與遙感數(shù)據(jù)并行參與BPNN的學習和分類過程。(2)非結(jié)構(gòu)化地學知識與空間數(shù)據(jù)集成形成決策規(guī)則庫,通過推理機制,形成對BPNN分類結(jié)果的后驗驗證知識庫,來對分類或信息提取的結(jié)果進行驗證和修正,以提高影像分類的合理性和保證精度的提高。3.3圖像理解的處理地學知識的表示與地學知識庫的構(gòu)造要結(jié)合具體地學問題的研究特點。規(guī)則是地學知識的主要表示方法,能反映地學客觀事物的基本規(guī)律性。但是由于在實際問題中,所掌握的規(guī)則大多是經(jīng)驗性、常識性的知識,其含義是不精確的,因此所反映的規(guī)則也是不確定的,規(guī)則的不確定性可用可信度CF(CertaintyFactor,CF)來表示。采用產(chǎn)生式的模糊規(guī)則形式來表達知識,其基本形式為:IF(條件),THEN(結(jié)論),CF(可信度因子)其中,CF的取值為,反映結(jié)論的可能性程度,當CF=0時,則完全排除結(jié)論的可能性;而當CF=1時,表示結(jié)論完全可靠。本次試驗工作所采用的部分規(guī)則如下:If((dem>0.0)or(slope>0.0))thenidisc1CFisclose-to0.01If(dem>=1.0)thenidisc4CFisvery-close-to0.06\:\:符號邏輯的知識處理過程與神經(jīng)網(wǎng)絡(luò)的計算協(xié)同作用是對整個視覺圖像理解過程的簡單模擬,即首先通過神經(jīng)網(wǎng)絡(luò)的復雜映射計算獲得對圖像目標發(fā)自本能的基本認識,然后用所具備的后天獲得的知識來進一步推斷、確認和驗證,使所感知的對象具有一定的專業(yè)屬性。基于地學知識的土地覆蓋分類過程是以光譜數(shù)據(jù)為基礎(chǔ)的BPNN神經(jīng)網(wǎng)絡(luò)分類器所獲得的結(jié)果作為初始數(shù)據(jù),然后使用地形輔助數(shù)據(jù)和知識庫中的規(guī)則,進行不確定推理,最后確定出像素單元的所歸屬的類別。規(guī)則與BP神經(jīng)網(wǎng)絡(luò)繼承的基本處理過程如下:(1)通過BPNN對訓練樣本進行學習;(2)輸入遙感影像的未知模式向量A,用BPNN計算獲得輸出向量y1,作為當前模式A屬于各類別的后驗概率,即屬于各類別的可信度的初始值;(3)輸入所對應(yīng)的輔助數(shù)據(jù)向量C,對規(guī)則庫通過規(guī)則匹配進行推理,計算獲得該模式的后驗可信度向量y2,如果無匹配規(guī)則,則獲得一預先設(shè)定的各類別可信度一致的常向量o;(4)根據(jù)D-S證據(jù)理論確定模式屬于各類別的最終可信度,最后取最大可信度分量作為該模式的最后類別。設(shè)由BPNN計算獲得的模式A后驗可信度向量為:m1={0.2,0.3,0.3,0.1,0.1},由不確定推理獲得的模式A的可信度向量為:m2={0.1,0.3,0.4,0.0,0.1},則最后總的可信度m為:m(G)=m1⊕m2(G)=∑x∩ym1(x)?m2(y)1?∑x∩y=?m1(x)?m2(y)m(G)=m1⊕m2(G)=∑x∩ym1(x)?m2(y)1-∑x∩y=?m1(x)?m2(y)式中,G為其中的一個子集,這里表示所屬的類別,?是空集,m(G)表示總可信度一部分分給G的數(shù)據(jù)。通過計算得到y(tǒng)={0.14,0.35,0.43,0.04,0.04},所以最后的類別為第3類。4應(yīng)用測試4.1實驗數(shù)據(jù)及樣本土地覆蓋分類是指通過對遙感影像上各種地物光譜信息的分析,將像元劃分為不同類型的土地覆蓋單位,因此地物的光譜屬性是土地覆蓋分類的主要判別依據(jù)。本文以香港元朗地區(qū)為實驗區(qū),進行了BPNN分類模型支持下的遙感影像分類的應(yīng)用,對分類結(jié)果與典型的統(tǒng)計方法——最大似然法分類器(MLC)進行了綜合比較分析。BPNN輸入層結(jié)點數(shù)目等于參與分類的數(shù)據(jù)的特征空間的維數(shù),輔助數(shù)據(jù)是通過結(jié)構(gòu)化形式參與分類,相當于增加了輸入向量的維數(shù);BPNN的輸出層等于欲分類的土地類型的數(shù)目。選用TM的4個波段為BPNN的輸入向量:A=(PCA1,CH4,CH5,CH7)。其中PCA1是CH1(藍色波段)、CH2(綠色波段)、CH3(紅色波段)這3個相關(guān)程度比較大的可見光波段經(jīng)過主成分(PCA)變換后所選取的第1主成分,其中基本包含了R、G、B這3個波段的總體信息含量,通過PCA變換可以降低特征的維數(shù),提高學習和分類效率;另外,CH4為近紅外波段,CH5和CH7為中紅外波段(分別是1.55—1.75μm和2.08—2.35μm)。選用的遙感資料為Landsat-TM5數(shù)據(jù)(1996年3月3日)。影像大小為600行×600列,覆蓋大約3200km2。通過對實際區(qū)域情況的了解和對影像進行目視解譯,把該區(qū)域大致分為以下10個大類的地物類型:C1—水體(海洋);C2—河流、水塘(淡水);C3—沼澤;C4—紅樹林;C5—城鎮(zhèn)區(qū);C6—道路;C7—裸地;C8—綠地;C9—林地;C10—高山草地。其中水體(C1、C2)、建筑物(C5、C6)、植被(C8、C9和C10)等由于其光譜特征的相近性,在樣本的特征空間分布中互相混雜,很難分清。對照土地利用圖,分別準備了包含1700個訓練樣本的數(shù)據(jù)集和包含800個測試樣本的數(shù)據(jù)集。首先在這些樣本數(shù)據(jù)集的基礎(chǔ)上用傳統(tǒng)的統(tǒng)計方法——最大似然分類器(MLC)進行了分類實驗,獲得對測試樣本的誤差矩陣(表1),結(jié)果表明MLC方法所獲得的總體測試精度為83.22%,其中學習過程大致所需的時間為5s;然后,對同樣的訓練樣本數(shù)據(jù)集進行BPNN神經(jīng)網(wǎng)絡(luò)的訓練,然后輸入測試樣本分別獲得分類類別,并通過與目標類別相比較,得出BPNN分類器的測試樣本的誤差矩陣(表2),網(wǎng)絡(luò)結(jié)構(gòu)分別為4,20,10個結(jié)點,大致需要通過25min左右、約120000次循環(huán)學習后,網(wǎng)絡(luò)達到基本收斂,最后測試精度為87.90%,總體精度比MLC提高4.68%。4.2測試樣本的選擇大量應(yīng)用實例表明,土地覆蓋/土地利用對地形因子有明顯的依賴關(guān)系。在本次實驗工作中,通過融合高程及其派生數(shù)據(jù)-坡度等因子對類別劃分進行控制,一定程度上提高了分類的精度。根據(jù)實際情況與地學基本知識,初步得出幾方面地形與土地覆蓋的關(guān)系,如在高程大于0的區(qū)域不可能有海洋;紅樹林一般分布在海拔0—2m之間;道路、城鎮(zhèn)一般分布在海拔5m以上、100m以下